JP7119631B2 - 検知装置、検知方法および検知プログラム - Google Patents

検知装置、検知方法および検知プログラム Download PDF

Info

Publication number
JP7119631B2
JP7119631B2 JP2018116796A JP2018116796A JP7119631B2 JP 7119631 B2 JP7119631 B2 JP 7119631B2 JP 2018116796 A JP2018116796 A JP 2018116796A JP 2018116796 A JP2018116796 A JP 2018116796A JP 7119631 B2 JP7119631 B2 JP 7119631B2
Authority
JP
Japan
Prior art keywords
distribution
encoder
data
detection
vae
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116796A
Other languages
English (en)
Other versions
JP2019219915A (ja
Inventor
大志 高橋
具治 岩田
友貴 山中
真徳 山田
哲志 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018116796A priority Critical patent/JP7119631B2/ja
Priority to US17/253,131 priority patent/US20210264285A1/en
Priority to PCT/JP2019/024297 priority patent/WO2019244930A1/ja
Publication of JP2019219915A publication Critical patent/JP2019219915A/ja
Application granted granted Critical
Publication of JP7119631B2 publication Critical patent/JP7119631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. visible personal calling systems or remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. visible personal calling systems or remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Fuzzy Systems (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Game Theory and Decision Science (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、検知装置、検知方法および検知プログラムに関する。
近年、車やエアコン等の様々な物をインターネットに接続するいわゆるＩｏＴの普及に伴い、物に取り付けられたセンサのセンサデータを用いて物の異常や故障を事前に検知する技術が注目されている。例えば、機械学習を用いてセンサデータが示す異常値を検出して、物に異常や故障が発生する前触れを検知する。すなわち、機械学習によりデータの確率分布を推定する生成モデルを作成し、発生する確率が高いデータを正常、発生する確率が低いデータを異常と定義して異常を検知する。
データの確率分布を推定する技術として、潜在変数とニューラルネットワークとを用いた機械学習による生成モデルであるＶＡＥ（Variational AutoEncoder）が知られている（非特許文献１～３参照）。ＶＡＥは、大規模かつ複雑なデータの確率分布を推定するため、異常検知、画像認識、動画認識、音声認識等の様々な分野に応用されている。一般に、ＶＡＥでは、潜在変数の事前分布は標準ガウス分布と仮定されている。
Diederik P.Kingma、Max Welling、"Auto-Encoding Variational Bayes"、[online]、2014年5月、［２０１８年５月２５日検索]、インターネット＜URL:https://arxiv.org/abs/1312.6114＞ Matthew D.Hoffman、Matthew J.Johnson、"ELBO surgery: yet another way to carve up the variational evidence lower bound"、[online]、2016年、Workshop in Advances in Approximate Bayesian Inference、NIPS 2016、［２０１８年５月２５日検索]、インターネット＜URL:http://approximateinference.org/2016/accepted/HoffmanJohnson2016.pdf＞ Jakub M.Tomczak、Max Welling、"VAE with a VampPrior"、[online]、2017年、arXiv preprint arXiv:1705.07120、［２０１８年５月２５日検索]、インターネット＜URL:https://arxiv.org/abs/1705.07120＞
しかしながら、従来のＶＡＥでは、潜在変数の事前分布を標準ガウス分布と仮定した場合には、データの確率分布の推定の精度が低かった。
本発明は、上記に鑑みてなされたものであって、ＶＡＥによるデータの確率分布を高精度に推定することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る検知装置は、センサが出力するデータを取得する取得部と、エンコーダとデコーダとを含んで前記データの確率分布を表す生成モデルにおいて、該エンコーダの事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と前記周辺化事後分布との密度比を用いてカルバックライブラー情報量を近似し、前記データを用いて該生成モデルを学習する学習部と、学習された生成モデルを用いて前記データの確率分布を推定し、新たに取得された前記データの推定される発生確率が所定の閾値より低い場合に異常として検知する検知部と、を備えることを特徴とする。
本発明によれば、ＶＡＥによるデータの確率分布を高精度に推定可能となる。
図１は、検知装置の概要を説明するための説明図である。 図２は、検知装置の概略構成を例示する模式図である。 図３は、学習部の処理を説明するための説明図である。 図４は、検知部の処理を説明するための説明図である。 図５は、検知部の処理を説明するための説明図である。 図６は、検知処理手順を示すフローチャートである。 図７は、検知プログラムを実行するコンピュータを例示する図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［検知装置の概要］
本実施形態の検知装置は、ＶＡＥをベースにした生成モデルを作成してＩｏＴのセンサデータの異常を検知する。ここで、図１は、検知装置の概要を説明するための説明図である。図１に示すように、ＶＡＥは、エンコーダおよびデコーダと呼ばれる２つの条件付き確率分布で構成される。
エンコーダｑφ（ｚ｜ｘ）は、高次元のデータｘを符号化して、低次元の潜在変数ｚによる表現に変換する。ここで、φはエンコーダのパラメータである。また、デコーダｐθ（ｘ｜ｚ）は、エンコーダで符号化されたデータを復号化して、元のデータｘを再現する。ここで、θはデコーダのパラメータである。元のデータｘが連続値の場合、一般に、エンコーダおよびデコーダにはガウス分布が適用される。図１に示す例では、エンコーダの分布はＮ（ｚ；μφ（ｘ），σ２ φ（ｘ））であり、デコーダの分布はＮ（ｘ；μθ（ｚ），σ２ θ（ｚ））である。
具体的には、ＶＡＥは、次式（１）に示すように、真のデータの確率分布ｐＤ（ｘ）をｐθ（ｘ）として再現する。ここで、ｐλ（ｚ）は事前分布と呼ばれ、一般に、平均μ＝０、分散σ２＝１の標準ガウス分布と仮定される。
Figure 0007119631000001
ＶＡＥは、真のデータ分布と生成モデルによるデータ分布との差を最小にするように学習を行う。すなわち、ＶＡＥの生成モデルは、デコーダの再現率を表す尤度に対応する対数尤度の平均値を最大にするように、エンコーダのパラメータφおよびデコーダのパラメータθを決定することにより、作成される。これらのパラメータは、対数尤度の下界を表す変分下界が最大となる場合において決定される。言い換えれば、ＶＡＥの学習においては、変分下界にマイナス１を乗じた損失関数の平均値を最小化するように、エンコーダおよびデコーダのパラメータが決定される。
具体的には、ＶＡＥの学習では、次式（２）に示すように、対数尤度を周辺化した周辺化対数尤度ｌｎｐθ（ｘ）の平均値を最大化するように、パラメータが決定される。
Figure 0007119631000002
周辺化対数尤度は、次式（３）に示すように、変分下界により下から抑えられる。
Figure 0007119631000003
すなわち、周辺化対数尤度の変分下界は、次式（４）で表される。
Figure 0007119631000004
上記式（４）の第一項（にマイナスを付したもの）は、再構成誤差と呼ばれる。また、第二項は、事前分布ｐλ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量と呼ばれる。上記式（４）に示したように、変分下界とは、カルバックライブラー情報量で正則化された再構成誤差と解釈することができる。つまり、カルバックライブラー情報量は、エンコーダｑφ（ｚ｜ｘ）が事前分布ｐλ（ｚ）に近づくように正則化する項ということができる。ＶＡＥは、第一項を大きく、第二項のカルバックライブラー情報量を小さくして、周辺化対数尤度の平均値を最大化するように、学習を行う。
ところで、上記したように、事前分布は標準ガウス分布と仮定されるが、その場合には、ＶＡＥの学習が妨げられ、データの確率分布の推定精度が低いことが知られている。これに対し、ＶＡＥに最適な事前分布は、解析的に求めることができるものである。
そこで、本実施形態の検知装置では、事前分布を、次式（５）に示すように、エンコーダｑφ（ｚ｜ｘ）を周辺化した周辺化事後分布ｑφ（ｚ）に置換する（非特許文献２参照）。
Figure 0007119631000005
一方、事前分布ｐλ（ｚ）を周辺化事後分布ｑφ（ｚ）に置換した場合には、周辺化事後分布ｑφ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量を解析的に求めることができない。そこで、本実施形態の検知装置では、カルバックライブラー情報量を精度よく近似できるように、標準のガウス分布と周辺化事後分布との密度比を用いて、カルバックライブラー情報量を近似する。これにより、データの確率分布を高精度に推定可能なＶＡＥの生成モデルが作成される。
［検知装置の構成］
図２は、検知装置の概略構成を例示する模式図である。図２に例示するように、検知装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ネットワーク３を介したサーバ等の外部の装置と制御部１５との通信を制御する。
記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する検知処理により学習されたデータの生成モデルのパラメータ等が記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図４に例示するように、取得部１５ａ、学習部１５ｂおよび検知部１５ｃとして機能する。なお、これらの機能部は、異なるハードウェアに実装されてもよい。
取得部１５ａは、センサが出力するデータを取得する。例えば、取得部１５ａは、ＩｏＴ機器に取り付けられたセンサが出力するセンサデータを、通信制御部１３を介して取得する。センサデータとしては、例えば、車に取り付けられた温度、速度、回転数、走行距離等のセンサのデータや、工場内で稼働する多種多様な機器のそれぞれに取り付けられた温度、振動数、音等のセンサのデータが例示される。
学習部１５ｂは、エンコーダとデコーダとを含んでデータの確率分布を表す生成モデルにおいて、該エンコーダの事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と周辺化事後分布との密度比を用いてカルバックライブラー情報量を近似し、データを用いて生成モデルを学習する。
具体的には、学習部１５ｂは、データが発生する確率分布を表す生成モデルを、ガウス分布に従うエンコーダとデコーダとを含むＶＡＥをベースに作成する。その際、学習部１５ｂは、該エンコーダの事前分布を、上記式（５）に示した該エンコーダを周辺化した周辺化事後分布ｑφ（ｚ）に置換する。さらに、学習部１５ｂは、平均μ＝０、分散σ２＝１の標準ガウス分布ｐ（ｚ）と周辺化事後分布ｑφ（ｚ）との密度比を推定することで、周辺化事後分布ｑφ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量を近似する。
ここで、密度比推定とは、２つの確率分布のそれぞれを推定することなく、２つの確率分布の密度比を推定する手法である。それぞれの確率分布を解析的に求めなられない場合であっても、それぞれの確率分布からのサンプリングが可能な場合には、２つの確率分布の密度比を求めることができるので、密度比推定の適用が可能である。
具体的には、周辺化事後分布ｑφ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量は、次式（６）に示すように２つの項に分解できる。
Figure 0007119631000006
上記式（６）において、第一項は、標準ガウス分布ｐ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量であり、解析的に計算可能である。また、第二項は、標準ガウス分布ｐ（ｚ）と周辺化事後分布ｑφ（ｚ）との密度比を用いて表される。この場合に、標準ガウス分布ｐ（ｚ）からも周辺化事後分布ｑφ（ｚ）からも容易にサンプリングが可能であるため、密度比推定の適用が可能である。
なお、高次元のデータについては、密度比の推定精度が低いことが知られているが、ＶＡＥの潜在変数ｚは低次元であるため、密度比の推定を高精度に行うことが可能である。
具体的には、次式（７）に示すように、ｚの関数Ｔ（ｚ）を用いた目的関数を最大化するＴ（ｚ）をＴ＊（ｚ）とする。この場合に、次式（８）に示すように、Ｔ＊（ｚ）は、標準ガウス分布ｐ（ｚ）と周辺化事後分布ｑφ（ｚ）との密度比に等しくなる。
Figure 0007119631000007
Figure 0007119631000008
そこで、学習部１５ｂは、次式（９）に示すように、上記式（６）に示したカルバックライブラー情報量の密度比をＴ＊（ｚ）に置換する近似を行う。
Figure 0007119631000009
これにより、学習部１５ｂは、周辺化事後分布ｑφ（ｚ）に対するエンコーダｑφ（ｚ｜ｘ）のカルバックライブラー情報量を精度よく近似することが可能となる。したがって、学習部１５ｂは、データの確率分布を高精度に推定可能なＶＡＥの生成モデルを作成できる。
図３は、学習部１５ｂの処理を説明するための説明図である。図３には、各種の手法により学習された生成モデルの対数尤度が例示されている。図３において、標準ガウス分布は、従来のＶＡＥを表す。また、ＶａｍｐＰｒｉｏｒは、潜在変数を混合分布としたＶＡＥを表す（非特許文献３参照）。また、対数尤度は、生成モデルの精度評価の尺度であり、値が大きいほど精度が高いことを表す。図３に示す例では、手書き数字のサンプルデータであるＭＮＩＳＴのデータセットを用いて、対数尤度が算出されている。
図３に示すように、従来のＶＡＥおよびＶａｍｐＰｒｉｏｒと比較して、上記実施形態に示した本発明の手法により、対数尤度の値が大きくなり精度が向上していることがわかる。このように、本実施形態の学習部１５ｂにより、高精度な生成モデルを作成できる。
図２の説明に戻る。検知部１５ｃは、学習された生成モデルを用いてデータの確率分布を推定し、新たに取得されたデータの推定される発生確率が所定の閾値より低い場合に異常として検知する。例えば、図４および図５は、検知部１５ｃの処理を説明するための説明図である。図４に例示するように、検知装置１０では、車等のモノに取り付けられた速度、回転数、走行距離等のセンサのデータを取得部１５ａが取得して、学習部１５ｂがデータの確率分布を表す生成モデルを作成する。
また、検知部１５ｃが、作成された生成モデルを用いてデータ発生の確率分布を推定する。そして、検知部１５ｃは、新たに取得部１５ａが取得したデータの推定される発生確率が、所定の閾値以上の場合には正常、所定の閾値より低い場合には異常と判定する。
例えば、図５（ａ）に示したように、２次元のデータ空間に点で示したデータが与えられた場合に、検知部１５ｃは、学習部１５ｂが作成した生成モデルを用いて、図５（ｂ）に示すように、データ発生の確率分布を推定する。図５（ｂ）において、データ空間上の色が濃いほど、その部分のデータの発生の確率が高いことを示している。したがって、図５（ｂ）に×で示した発生の確率が低いデータは、異常データと見なすことができる。
また、検知部１５ｃは異常を検知した場合に、警報を出力する。例えば、出力部１２あるいは通信制御部１３を介して管理装置等に、異常検知の旨のメッセージやアラームを出力する。
［検知処理］
次に、図６を参照して、本実施形態に係る検知装置１０による検知処理について説明する。図６は、検知処理手順を示すフローチャートである。図６のフローチャートは、例えば、検知処理の開始を指示する操作入力があったタイミングで開始される。
まず、取得部１５ａが、車等のモノに取り付けられた速度、回転数、走行距離等のセンサのデータを取得する（ステップＳ１）。次に、学習部１５ｂが、取得されたデータを用いて、ガウス分布に従うエンコーダとデコーダとを含んでデータの確率分布を表す生成モデルを学習する（ステップＳ２）。
その際、学習部１５ｂは、エンコーダの事前分布を、該エンコーダを周辺化した周辺化事後分布に置換する。また、学習部１５ｂは、標準ガウス分布と周辺化事後分布との密度比を用いてカルバックライブラー情報量を近似する。
次に、検知部１５ｃが、作成された生成モデルを用いてデータ発生の確率分布を推定する（ステップＳ３）。また、検知部１５ｃは、新たに取得部１５ａが取得したデータの推定される発生確率が所定の閾値より低い場合に、異常として検知する（ステップＳ４）。検知部１５ｃは異常を検知した場合に、警報を出力する。これにより、一連の検知処理が終了する。
以上、説明したように、本実施形態の検知装置１０において、取得部１５ａが、センサが出力するデータを取得する。また、学習部１５ｂが、エンコーダとデコーダとを含んでデータの確率分布を表す生成モデルにおいて、該エンコーダの事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と周辺化事後分布との密度比を用いてカルバックライブラー情報量を近似し、取得したデータを用いて生成モデルを学習する。検知部１５ｃは、学習された生成モデルを用いてデータの確率分布を推定し、新たに取得されたデータの推定される発生確率が所定の閾値より低い場合に異常として検知する。
これにより、検知装置１０は、低次元の潜在変数を用いた密度比推定を適用して、高精度なデータの生成モデルを作成することができる。このように、検知装置１０は、ＩｏＴ機器のセンサデータのように大規模かつ複雑なデータの生成モデルを高精度に学習することができる。したがって、データの発生確率を高精度に推定し、データの異常を検知することが可能となる。
例えば、検知装置１０は、車に取り付けられた温度、速度、回転数、走行距離等の各種センサが出力する大規模かつ複雑なデータを取得して、走行中の車に発生した異常を高精度に検知することができる。あるいは、検知装置１０は、工場内で稼働する多種多様な機器のそれぞれに取り付けられた温度、振動数、音等のセンサが出力する大規模かつ複雑なデータを取得して、いずれかの機器に異常が発生した場合に高精度に異常を検知することができる。
なお、本実施形態の検知装置１０は、従来のＶＡＥをベースとしたものに限定されない。すなわち、学習部１５ｂの処理は、ＶＡＥの特殊なケースであるＡＥ（Auto Encoder）をベースとしてもよいし、エンコーダおよびデコーダがガウス分布以外の確率分布に従うものとしてもよい。
［プログラム］
上記実施形態に係る検知装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、検知装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の検知処理を実行する検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の検知プログラムを情報処理装置に実行させることにより、情報処理装置を検知装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）等のスレート端末等がその範疇に含まれる。
また、検知装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の検知処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、検知装置１０は、ＩｏＴ機器のセンサのデータを入力とし、異常を検知した場合に検知結果を出力する検知処理サービスを提供するサーバ装置として実装される。この場合、検知装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の検知処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、検知装置１０と同様の機能を実現する検知プログラムを実行するコンピュータの一例を説明する。
図７は、検知プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
また、検知プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した検知装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
また、検知プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
なお、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
１０ 検知装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１５ 制御部
１５ａ 取得部
１５ｂ 学習部
１５ｃ 検知部

Claims (5)

  1. センサが出力するデータを取得する取得部と、
    エンコーダとデコーダとを含んで前記データの確率分布を表すＶＡＥ（Variational AutoEncoder）において、該エンコーダに適用される事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と前記周辺化事後分布との密度比を用いて、前記周辺化事後分布に対する該エンコーダのカルバックライブラー情報量を近似し、近似されたカルバックライブラー情報量を用いて該ＶＡＥを学習する学習部と、
    学習されたＶＡＥを用いて前記データの確率分布を推定し、新たに取得された前記データの推定される発生確率が所定の閾値より低い場合に異常として検知する検知部と、
    を備えることを特徴とする検知装置。
  2. 前記エンコーダおよび前記デコーダは、ガウス分布に従うことを特徴とする請求項１に記載の検知装置。
  3. 前記検知部は、異常を検知した場合に、警報を出力することを特徴とする請求項１または２に記載の検知装置。
  4. 検知装置で実行される検知方法であって、
    センサが出力するデータを取得する取得工程と、
    エンコーダとデコーダとを含んで前記データの確率分布を表すＶＡＥ（Variational AutoEncoder）において、該エンコーダに適用される事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と前記周辺化事後分布との密度比を用いて、前記周辺化事後分布に対する該エンコーダのカルバックライブラー情報量を近似し、近似されたカルバックライブラー情報量を用いて該ＶＡＥを学習する学習工程と、
    学習されたＶＡＥを用いて前記データの確率分布を推定し、新たに取得された前記データの推定される発生確率が所定の閾値より低い場合に異常として検知する検知工程と、
    を含んだことを特徴とする検知方法。
  5. センサが出力するデータを取得する取得ステップと、
    エンコーダとデコーダとを含んで前記データの確率分布を表すＶＡＥ（Variational AutoEncoder）において、該エンコーダに適用される事前分布を、該エンコーダを周辺化した周辺化事後分布に置換し、かつ、標準ガウス分布と前記周辺化事後分布との密度比を用いて、前記周辺化事後分布に対する該エンコーダのカルバックライブラー情報量を近似し、近似されたカルバックライブラー情報量を用いて該ＶＡＥを学習する学習ステップと、
    学習されたＶＡＥを用いて前記データの確率分布を推定し、新たに取得された前記データの推定される発生確率が所定の閾値より低い場合に異常として検知する検知ステップと、
    をコンピュータに実行させるための検知プログラム。
JP2018116796A 2018-06-20 2018-06-20 検知装置、検知方法および検知プログラム Active JP7119631B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018116796A JP7119631B2 (ja) 2018-06-20 2018-06-20 検知装置、検知方法および検知プログラム
US17/253,131 US20210264285A1 (en) 2018-06-20 2019-06-19 Detecting device, detecting method, and detecting program
PCT/JP2019/024297 WO2019244930A1 (ja) 2018-06-20 2019-06-19 検知装置、検知方法および検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116796A JP7119631B2 (ja) 2018-06-20 2018-06-20 検知装置、検知方法および検知プログラム

Publications (2)

Publication Number Publication Date
JP2019219915A JP2019219915A (ja) 2019-12-26
JP7119631B2 true JP7119631B2 (ja) 2022-08-17

Family

ID=68984073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116796A Active JP7119631B2 (ja) 2018-06-20 2018-06-20 検知装置、検知方法および検知プログラム

Country Status (3)

Country Link
US (1) US20210264285A1 (ja)
JP (1) JP7119631B2 (ja)
WO (1) WO2019244930A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392458A1 (en) * 2019-10-18 2022-12-08 Dolby Laboratories Licensing Corporation Methods and system for waveform coding of audio signals with a generative model

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7183904B2 (ja) * 2019-03-26 2022-12-06 日本電信電話株式会社 評価装置、評価方法、および、評価プログラム
US11232782B2 (en) * 2019-08-30 2022-01-25 Microsoft Technology Licensing, Llc Speaker adaptation for attention-based encoder-decoder
JP7541660B2 (ja) * 2020-01-06 2024-08-29 日本電気通信システム株式会社 自律移動装置、学習装置、異常検知方法、及びプログラム
AU2020428327B2 (en) * 2020-02-14 2023-11-16 Ntt, Inc. Learning device, learning method, and learning program
DE102020212277A1 (de) * 2020-09-29 2022-03-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Restnutzungsdauer basierend auf einer prädiktiven Diagnose von Komponenten eines elektrischen Antriebssystems mithilfe Verfahren künstlicher Intelligenz
US20230085991A1 (en) * 2021-09-19 2023-03-23 SparkCognition, Inc. Anomaly detection and filtering of time-series data
US20230171622A1 (en) * 2021-11-30 2023-06-01 Microsoft Technology Licensing, Llc State-based anomaly detection to enable diagnostic data collection for specific subscribers in core network nodes of a telecommunications network
CN120429798B (zh) * 2025-07-04 2025-10-14 广东电网有限责任公司广州供电局 针对智能量测终端的应用检测方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027145A (ja) 2015-07-16 2017-02-02 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2017094267A1 (ja) 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
WO2017168870A1 (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置及び情報処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU645761B2 (en) * 1989-10-02 1994-01-27 Kabushiki Kaisha Komatsu Seisakusho Managing system for construction vehicles
US10573304B2 (en) * 2015-05-26 2020-02-25 Katholieke Universiteit Leuven Speech recognition system and method using an adaptive incremental learning approach
US10776712B2 (en) * 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027145A (ja) 2015-07-16 2017-02-02 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2017094267A1 (ja) 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
WO2017168870A1 (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置及び情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392458A1 (en) * 2019-10-18 2022-12-08 Dolby Laboratories Licensing Corporation Methods and system for waveform coding of audio signals with a generative model
US12424226B2 (en) * 2019-10-18 2025-09-23 Dolby Laboratories Licensing Corporation Methods and system for waveform coding of audio signals with a generative model by implementing a probability distribution

Also Published As

Publication number Publication date
WO2019244930A1 (ja) 2019-12-26
US20210264285A1 (en) 2021-08-26
JP2019219915A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7119631B2 (ja) 検知装置、検知方法および検知プログラム
KR102931455B1 (ko) 실시간 얼굴 랜드마크 검출
US11574198B2 (en) Apparatus and method with neural network implementation of domain adaptation
JP7229308B2 (ja) 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
US11907675B2 (en) Generating training datasets for training neural networks
JP7331940B2 (ja) 学習装置、推定装置、学習方法および学習プログラム
US20230297823A1 (en) Method and system for training a neural network for improving adversarial robustness
CN118071742A (zh) 一种基于标签引导扩散模型的特征级虚拟多模态融合方法
JP6691079B2 (ja) 検知装置、検知方法および検知プログラム
WO2021095509A1 (ja) 推定システム、推定装置および推定方法
KR20160128869A (ko) 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
US11688175B2 (en) Methods and systems for the automated quality assurance of annotated images
CN117574098B (zh) 一种学习专注度分析方法以及相关装置
CN110753239A (zh) 视频预测方法、视频预测装置、电子设备和车辆
CN119337074A (zh) 一种基于条件扩散的不完全多模态感知数据恢复方法及系统
CN119048449A (zh) 一种基于改进图注意力机制的密封钉缺陷检测的方法、系统、计算机可读存储介质及计算机程序产品
EP3715988A1 (en) System, device and method for detecting anomalies in industrial assets
CN119678214A (zh) 蛋白质序列生成和表示学习
JP7331938B2 (ja) 学習装置、推定装置、学習方法及び学習プログラム
US20240303966A1 (en) Detection device, detection method, and detection program
CN112766465A (zh) 用于智能转动性能检测的神经网络的训练方法
US12536637B2 (en) Systems and methods for determining image suitability for trained models
CN120599668B (zh) 基于扩散变压器先验的三维人体姿态估计方法及系统
CN113469932A (zh) 信息处理的方法、电子设备和介质
WO2025200078A1 (en) Face tracking based on spatial-temporal aggregation and rigid prior

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350