WO2012128207A1 - 多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム - Google Patents

多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム Download PDF

Info

Publication number
WO2012128207A1
WO2012128207A1 PCT/JP2012/056862 JP2012056862W WO2012128207A1 WO 2012128207 A1 WO2012128207 A1 WO 2012128207A1 JP 2012056862 W JP2012056862 W JP 2012056862W WO 2012128207 A1 WO2012128207 A1 WO 2012128207A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
mixed
mixture
mixed model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/056862
Other languages
English (en)
French (fr)
Inventor
遼平 藤巻
森永　聡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US13/824,857 priority Critical patent/US8731881B2/en
Priority to KR1020137015232A priority patent/KR101329904B1/ko
Priority to JP2013505945A priority patent/JP5403456B2/ja
Priority to EP12760613.5A priority patent/EP2687994A4/en
Priority to SG2013026182A priority patent/SG189314A1/en
Priority to CN201280003749.0A priority patent/CN103221945B/zh
Publication of WO2012128207A1 publication Critical patent/WO2012128207A1/ja
Anticipated expiration legal-status Critical
Priority to US14/242,915 priority patent/US20140214747A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a mixed model estimation device, a mixed model estimation method, and a mixed model estimation program for multivariate data, and more particularly to a mixed model estimation device and a mixed model estimation method for multivariate data for estimating the number, type, and parameters of models to be mixed. And a mixed model estimation program.
  • the mixed model is a model that represents data by a plurality of models, and is an important model for industrial applications.
  • models include various models such as a mixed normal distribution and a mixed hidden Markov model.
  • a mixed model is used for detecting illegal medical claims by detecting outliers (Non-Patent Document 1), detecting a network failure (Non-Patent Document 2), and the like.
  • clustering of customer behavior in marketing learning that similar customers belong to the same model
  • topic analysis of sentences learning that sentences of the same topic belong to the same model
  • Non-patent Document 3 When the number of mixtures (number of mixtures) of a plurality of models (also referred to as “components”) constituting the mixture model and the type of each component are specified, the EM algorithm (Non-patent Document 3) It is possible to specify the parameters of the distribution (model) by using any known technique such as the variational Bayes method (Non-Patent Document 4). In order to estimate this parameter, it is necessary to determine the number of mixtures and the type of each component. Such a problem that identifies the shape of a model is generally called a “model selection problem” or a “system identification problem”, and is an extremely important problem for building a reliable model. Technology has been proposed.
  • a method of selecting a model having the maximum model posterior probability is known.
  • this method 1) a method based on a Bayesian information criterion, 2) a method based on a variational Bayesian method (for example, Non-Patent Document 4), 3) a method for determination by nonparametric Bayesian estimation using a Dirichlet process (for example, non-patent)
  • Several proposals such as literature 5 have been proposed.
  • Kenji Yamanishi, and Yuko Maruyama "Dynamic Syslog Mining for Network Failure Monitoring", Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2005), A508.
  • model selection can be performed without making assumptions on the model prior distribution.
  • the Fischer information matrix is irregular in the mixture model, the criterion cannot be correctly defined, and an appropriate number of mixtures cannot be selected.
  • the number of mixtures is determined by using a Direchlet distribution or a Direchlet process as a prior distribution with respect to the mixture ratio.
  • a model having a high model posterior probability is not selected, and therefore it is difficult to select an appropriate number of mixtures.
  • Non-Patent Document 6 efficiently searches for the number and type of models to be mixed by minimizing the expected information criterion for hidden variables with respect to the minimum description length known to be equivalent to the Bayes information criterion.
  • a method has been proposed. However, in this method, the Fisher information matrix becomes irregular in the mixed model for the same reason as in the above method 1), and the criterion itself loses its validity, so that appropriate model selection cannot be performed.
  • the object of the present invention is to solve the above-mentioned problem, and to solve the model selection problem of the mixed model, the number of model candidates that increase exponentially with the number and type of the mixture can be increased at high speed under an appropriate criterion.
  • the data to be the estimation target of the mixed model, the candidate number of the number of mixtures necessary for estimating the mixed model of the data, the types of components constituting the mixed model, and the A data input unit for inputting parameters, and a mixture number is set from the mixture number candidate values, and the variation probability of the hidden variable with respect to the random variable that is a target of the mixture model estimation of the data is set for the set mixture number.
  • a mixing unit comprising: a processing unit that estimates a mixed model; and a model estimation result output unit that outputs a model estimation result by the processing unit.
  • Model estimation apparatus is provided.
  • the data input unit configures the mixture model with the data to be the estimation target of the mixture model, the candidate number of the mixture number necessary for estimating the mixture model of the data, and the mixture model.
  • the type of component and its parameters are input, the processing unit sets the number of mixtures from the candidate number of the mixture number, and the hidden variable for the random variable that is the target of the mixture model estimation of the data for the set mixture number
  • the component type and its parameters are optimized so that the lower bound of the model posterior probability separated for each component of the mixed model is maximized using the calculated variational probability of the hidden variable
  • the model estimation result output unit outputs the model estimation result by the processing unit. Estimation method is provided.
  • a computer is used to estimate data of a mixture model, a candidate value of the number of mixtures necessary for estimation of the mixture model of the data, and components of the mixture model.
  • a data input unit for inputting the type and its parameters, and a mixture number is set from the mixture number candidate values, and for the set mixture number, the change of the hidden variable for the random variable that is the target of the mixture model estimation of the data is changed.
  • a mixing unit having a processing unit that estimates an optimal mixed model and a model estimation result output unit that outputs a model estimation result by the processing unit.
  • Mixture model estimation program for functioning as a model estimating device is provided.
  • the model selection problem of a mixed model it is possible to realize model selection at high speed based on an appropriate criterion for the number of model candidates that exponentially increases with the number and type of mixtures. it can.
  • components candidate from S 1 may be S C, for example in the mixture distribution, ⁇ normal distribution, log normal distribution, an exponential distribution ⁇ or a, a mixed polynomial curve model, ⁇ 0-order curve, a primary curve, secondary Curve, cubic curve ⁇ .
  • theta is the number of mixtures C and component type S 1, ..., is a function of S C, it is omitted in the convenience of notation.
  • a set of X and Z is called a “perfect variable” (in contrast, X is called an incomplete variable).
  • the simultaneous distribution for this complete variable is defined as P (X, Z
  • the posterior probability of the value z n of the hidden variable Z is expressed by P (z n
  • the mixed model is described.
  • the present invention is not limited to this, and an extension related to a similar model such as a hidden Markov model obtained by extending the mixed model can be easily configured. Is possible.
  • the distribution in which the target random variable is X is described.
  • the present invention is not limited to this, and a conditional model such as a mixed regression model or a mixed classification model is used.
  • the present invention can also be applied to P (Y
  • a mixed model estimation apparatus 110 inputs data (input data) 111 expressed by a plurality of models constituting the mixed model, and for the input data 111 The number of mixtures and the type of each component are optimized and output as a model estimation result 112.
  • the mixed model estimation device 110 includes a data input device (data input unit) 101, a mixture number setting unit 102, an initialization processing unit 103, a hidden variable variation probability calculation processing unit 104, and a hidden variable variation probability storage.
  • the mixture number setting unit 102, the initialization processing unit 103, the hidden variable variation probability calculation processing unit 104, the model optimization processing unit 106, the optimality determination processing unit 107, and the optimal model selection processing unit 108 are included in the present invention.
  • a computer CPU (Central Processing Unit), processor, data processing device, etc.) that operates under program control. Any hardware and software configuration may be used.
  • the data input device 101 is a device for inputting the input data 111, and simultaneously inputs parameters necessary for model estimation, such as the types and parameters of components to be mixed and candidate values for the number of mixtures. .
  • the data input device 101 may have any configuration as long as it can input the input data 111 and parameters necessary for estimating the model thereof.
  • the data input device 101 may be configured by a device such as a communication device, a storage device, and a computer. .
  • the mixture number setting unit 102 selects and sets the mixture number of the model from the input candidate values for the mixture number.
  • the set number of mixtures is denoted as C.
  • the initialization processing unit 103 performs initialization processing for estimation. Note that initialization can be performed by any method. Examples include setting the component type randomly for each component, setting the parameters of each component randomly according to the set type, and setting the variation probability of the hidden variable randomly. .
  • the hidden variable variation probability calculation processing unit 104 calculates the variation probability of the hidden variable.
  • the parameter ⁇ is calculated by the initialization processing unit 103 or the model optimization processing unit 106, the value is used.
  • the calculation method of the variation probability q (Z) of the hidden variable is calculated by solving the optimization problem shown in Equation (4).
  • G to be optimized is a lower bound of Bayesian posterior probability, and is calculated by Equation (5).
  • the hidden variable variation probability storage unit 105 stores the variation probability of the hidden variable for each data calculated by the hidden variable variation probability calculation processing unit 104 (Q (t ⁇ 1) in the previous paragraph is Q (t ) is updated to).
  • the hidden variable variation probability storage unit 105 may have any configuration as long as it is a storage device such as a memory capable of storing the variation probability of the hidden variable for each calculated data.
  • the hidden variable variation probability storage unit 105 may be incorporated in a computer. It may be provided outside.
  • the model optimization processing unit 106 reads the variation probability Q (t) of the hidden variable stored in the hidden variable variation probability storage unit 105, and uses the equation (6) to determine the optimum model H ( t) and the parameter ⁇ (t) are calculated.
  • the G defined by equation (5) since it is possible to decompose a function of the optimization for each component, specify the type of S C throat from the component type of the combination (S 1 S 1 to S C and parameters ⁇ 1 S 1 to ⁇ C SC can be separately optimized without considering the As a result, when optimizing the component type, it is possible to avoid the combination explosion and perform the optimization.
  • the optimality determination processing unit 107 determines the lower bound of the model posterior probability calculated by Expression (7).
  • the types and parameters of the components are optimized by processing from the hidden variable variation probability calculation processing unit 104 to the optimumity determination processing unit 107.
  • the optimum model selection processing unit 108 determines that the model maximal model posterior probability lower bound value (the first term in the equation (7)) is larger than the currently set model posterior probability lower bound. Is set as the optimal model.
  • the process moves to the model estimation result output device 109 and is still optimal. If there is a mixture number candidate that has not been converted, the process proceeds to the mixture number setting unit 102.
  • the model estimation result output device 109 outputs an optimal number of mixtures, component types, parameters, and the like as a model estimation result 112.
  • the model estimation result output device 109 may have any configuration as long as the model estimation result 112 can be output.
  • the model estimation result output device 109 may include a communication device, a storage device, and a device such as a computer.
  • the mixed model estimation apparatus 110 generally operates as follows.
  • input data 111 is input from the data input device 101 (step S100).
  • the mixture number setting unit 102 selects and sets a mixture number that has not yet been optimized among the input candidate values for the mixture number (step S101).
  • the initialization processing unit 103 performs initialization processing of parameters and hidden variable variation probabilities for estimation on the designated mixture number (step S102).
  • the hidden variable variation probability calculation processing unit 104 calculates the variation probability of the hidden variable, and stores the calculated variation probability in the hidden variable variation probability storage unit 105 (step S103).
  • model optimization processing unit 106 performs type and parameter estimation for each component (step S104).
  • the optimality determination processing unit 107 determines whether the lower bound of the model posterior probability has converged (steps S105 and S106).
  • step S106 when the convergence is not determined (step S106: NO), the hidden variable variation probability calculation processing unit 104, the model optimization processing unit 106, and the optimality determination processing unit 107 perform steps S103 to S106, respectively. Repeat the process.
  • step S106 when it is determined that it has converged (step S106: YES), in the optimal model selection processing unit 108, a lower bound of the model posterior probability of the currently set optimal model (mixed number, type, parameter); The lower bounds of the model posterior probabilities calculated up to step S106 are compared, and the larger one is set as the optimum model (step S107).
  • step S108 If it remains as a result (step S108: YES), the mixture number setting unit 102, the initialization processing unit 103, the hidden variable variation probability calculation processing unit 104, the model optimization processing unit 106, and the optimality determination processing unit. 107, the optimum model selection processing unit 108 repeats the processing of steps S101 to S108.
  • step S108 determines whether it does remain (step S108: NO) or not remain (step S108: NO). If it does not remain (step S108: NO), the model estimation result output device 109 outputs the model estimation result 112, and the process is completed (step S109).
  • the present embodiment by maximizing the lower bound of the model posterior probability, it is possible to efficiently estimate the number, types, and parameters of the models to be mixed. In other words, by repeatedly optimizing the lower bound of the model posterior probabilities separated for each component, it is possible to optimize the type and parameters of the component and also optimize the number of components.
  • model selection can be realized at high speed based on an appropriate criterion for the number of model candidates that exponentially increase with the number and type of the mixture.
  • the mixed model estimation apparatus proposed in this embodiment When the mixed model estimation apparatus proposed in this embodiment is used, the number of mixtures and the independence of each component can be optimized at high speed with respect to a mixture distribution of a plurality of distributions having different independence with respect to multidimensional data. Is possible.
  • the mixed model estimation apparatus proposed in the present embodiment when used, it can be applied to any multidimensional distribution regardless of the multidimensional normal distribution.
  • the mixed model estimation apparatus proposed in the present embodiment When the mixed model estimation apparatus proposed in the present embodiment is used, the number of mixtures and the type of distribution of each component can be optimized with respect to a mixture distribution of a plurality of different distributions.
  • a mixed distribution in which the number and parameters of each distribution are optimized can be calculated.
  • the risk distribution is generally a large number of event groups with small risks (for example, mistakes in administrative procedures, modeled with lognormal distribution, etc.), and low-frequency but high-risk event groups (such as stock misordering). Modeled with a normal distribution with an average value).
  • the mixed model estimation device proposed in this embodiment can be applied to any plurality of types of distributions regardless of examples of normal distribution, lognormal distribution, and exponential distribution.
  • the mixed model estimation device proposed in the present embodiment can be applied to any mixed model of a plurality of types of regression functions regardless of examples of polynomial curves.
  • failure diagnosis that identifies the type of failure that occurs in a vehicle using a plurality of sensor values acquired from vehicle data. Since the sensor to be noticed differs depending on the failure, the car, and the running state, the sensor value that the classification function should use also changes.
  • the output probability is a different distribution such as a normal distribution, a log normal distribution, and an exponential distribution depending on the hidden state, it is possible to learn a hidden Markov model in which the number and parameters of each distribution are optimized.
  • the above mixed model estimation device can be realized by hardware, software, or a combination thereof.
  • the hardware and software configurations in this case are not particularly limited, and any form can be applied as long as the functions described above can be realized.
  • (Supplementary note 1) Data input for inputting data to be estimated for the mixed model, candidate values for the number of mixtures necessary for estimating the mixed model of the data, types of components constituting the mixed model, and parameters thereof And The mixture number is set from the mixture number candidate values, and the variation probability of the hidden variable is calculated for the random number that is the target of the mixture model estimation of the data for the set mixture number.
  • a processing unit that estimates an optimal mixed model by optimizing the type of the component and its parameters so that the lower bound of the model posterior probability separated for each component of the mixed model using a probability is maximized;
  • a mixed model estimation device comprising: a model estimation result output unit that outputs a model estimation result by the processing unit.
  • the said process part calculates the optimal mixture number of a mixture model by calculating the lower bound of the said model posterior probability, the said component kind, and its parameter about all the mixture numbers of the said mixture number candidate value.
  • the mixed model estimation apparatus according to supplementary note 1, wherein the mixed model estimation apparatus is obtained.
  • the lower bound of the model posterior probability of the currently set optimal mixed model is compared with the lower bound of the model posterior probability calculated this time, the larger one is set as the optimal mixed model,
  • the mixture model estimation apparatus according to appendix 1 or 2 wherein an optimum mixture model is estimated by repeating the processing of the equations (4) to (7) for all the mixture numbers of the mixture number candidate values. .
  • the data input unit includes data to be a mixture model estimation target, candidate values for the number of mixtures necessary for estimation of the mixture model of the data, types of components constituting the mixture model, and parameters thereof
  • the processing unit sets the number of mixtures from the mixture number candidate values, and calculates the variation probability of the hidden variable for the random variable that is the target of the mixture model estimation of the data for the set number of mixtures.
  • Optimal mixture model by optimizing the type of component and its parameters so that the lower bound of the model posterior probability separated for each component of the mixture model is maximized using the calculated variational probability of the hidden variable
  • a model estimation result output unit outputs a model estimation result by the processing unit.
  • the said process part calculates the optimal mixture number of a mixture model by calculating the lower bound of the said model posterior probability, the said component type, and its parameter about all the mixture numbers of the said mixture number candidate value.
  • the computer inputs data to be a mixture model estimation target, candidate values for the number of mixtures necessary for estimation of the mixture model of the data, types of components constituting the mixture model, and parameters thereof
  • the number of mixtures is set from the data input unit and the mixture number candidate value, and the variation probability of the hidden variable for the random variable that is the target of the mixture model estimation of the data is calculated for the set number of mixtures.
  • the optimal mixture model is estimated by optimizing the component type and its parameters so that the lower bound of the model posterior probability separated for each component of the mixture model is maximized using the variation probability of the hidden variable.
  • a model estimation result output unit for outputting a model estimation result by the processing unit Mixture model estimation program for causing to function.
  • the said process part calculates the optimal mixture number of a mixture model by calculating the lower bound of the said model posterior probability, the said component kind, and its parameter about all the mixture numbers of the said mixture number candidate value.
  • the present invention can be used for the application of a mixed model estimation device, a mixed model estimation method, and a mixed model estimation program for multivariate data.
  • Apparatus and method for estimating mixed models such as multiple mixed distributions, mixed distributions of different types of stochastic regression functions, mixed distributions of different types of probabilistic discriminant functions, and mixed distributions of hidden Markov models with different output probabilities It can be used for program purposes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

混合モデルのモデル選択問題に対して、混合の数および種類と共に指数的に増加するモデルの候補数に対して、適切な基準のもとで高速にモデル選択を実現する。混合モデル推定装置は、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、混合数の候補値から混合数を設定し、設定した混合数に対し、データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるようにコンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、処理部によるモデル推定結果を出力するモデル推定結果出力部とを有する。

Description

多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム
　本発明は、多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラムに関し、特に混合するモデルの数、種類、パラメータを推定する多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラムに関する。
　混合モデル（混合分布）は、複数のモデルによってデータを表現するモデルであり、産業応用上、重要なモデルである。このようなモデルには、例えば混合正規分布や混合隠れマルコフモデルなど様々なモデルが存在する。産業上の応用例としては、例えば外れ値検出による不正医療請求の検出（非特許文献１）や、ネットワークの障害検出（非特許文献２）などに混合モデルが利用されている。その他にも、マーケティングにおける顧客行動のクラスタリング（類似する顧客が同一のモデルに属するとみなして学習する）や文章のトピック分析（同一トピックの文章が同一のモデルに属するとみなして学習する）なども混合モデルの重要な応用例である。
　一般的に、混合モデルを構成する複数のモデル（「コンポーネント」とも言う。）の混合の数（混合数）と各コンポーネントの種類が特定されている場合には、ＥＭアルゴリズム（非特許文献３）や変分ベイズ法（非特許文献４）など、公知の任意の技術を利用して、分布（モデル）のパラメータを特定することが可能である。このパラメータを推定するためには、混合の数や各コンポーネントの種類を決定する必要がある。このような、モデルの形を特定する問題は、一般的に「モデル選択問題」や「システム同定問題」と呼ばれ、信頼性のあるモデルを構築するために極めて重要な問題であり、そのための技術が提案されている。
　例えば、混合するモデルの数を決定する方法として、モデル事後確率が最大となるモデルを選択する方法が知られている。この方法として、１）ベイズ情報量基準に基づく方法、２）変分ベイズ法に基づく方法（例えば非特許文献４）、３）Dirichlet過程を利用したノンパラメトリックベイズ推定によって決定する方法（例えば非特許文献５）、など複数提案されている。
Kenji Yamanishi, Jun-ichi Takeuchi, Graham Williams, and  Peter Milne, "Online Unsupervised Outlier Detection Using Finite Mixtures with Discounting Learning Algorithms", Proceedings of the Sixth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2000), ACM Press, 2000, pp. 320-324. Kenji Yamanishi, and Yuko Maruyama, "Dynamic Syslog Mining for Network Failure Monitoring", Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2005), ACM Press, 2005, pp. 499-508. A.P. Dempster, N.M. Laird, and D.B. Rubin, "Maximum Likelihood from Incomplete Data via the EM Algorithm", Journal of Royal Statical Society. Series B (Methodological), Vol.39, No.1, 1977, pp. 1-38. Adrian Corduneanu and Christopher M. Bishop, "Variational Bayesian Model Selection for Mixture Distributions", In Artificial Intelligence and Statistics 2001, T. Jaakkola and T. Richardson (eds.), Morgan Kaufmann, pp. 27-34. Carl Edward Rasmussen, "The Infinite Gaussian Mixture Model", in Advances in Neural Information Processing Systems 12, S.A. Solla, T.K. Leen and K.-R. Muller (eds.), MIT Press (2000), pp. 554-560. Ryohei Fujimaki, Satoshi Morinaga, Michinari Monmma, Kenji Aoki and Takayuki Nakata, "Linear Time Model Selection for Mixture of Heterogeneous Components", Proceedings of the 1st Asian Conference on Machine Learning, 2009
　上記１）の方法では、モデルの事前分布に仮定を置くことなくモデル選択を行うことができる。しかし、この場合、混合モデルではフィッシャー情報行列が非正則となり、基準を正しく定義することができず、適切な混合数を選択することができない。
　上記２）および３）の方法では、混合比に対する事前分布としてDirechlet分布やDirechlet過程を用いることで混合数を決定する。しかし、この場合、一般的にはモデル事後確率の高いモデルを選択していることにはならないため、適切な混合数を選択することは難しい。
　さらに、上記１）から３）の方法では、混合するモデルの種類を最適化することは、計算量の問題で事実上不可能である。この計算量の問題の例として、混合多項式曲線の選択問題を説明する。
　多項式曲線は、直線（１次曲線）、２次曲線、３次曲線と、複数の次数が存在する。そのため、混合数を１からＣｍａｘまで、曲線の次数を１からＤｍａｘまで探索して最適なモデルを選択する場合、上記の方法では、直線が１つと２次曲線が２つ（混合数は３）、３次曲線が３つと４次曲線が２つ（混合数は５）など全てのモデルの候補に対して情報量基準を計算する必要があった。このモデルの候補の数は、例えばＣｍａｘ＝１０、Ｄｍａｘ＝１０とした場合には約十万通り、Ｃｍａｘ＝２０、Ｄｍａｘ＝２０とした場合には数百億通りとなり、探索すべきモデルの複雑さと共に指数的に増加する。
　なお、上記の方法のほか、赤池情報量基準や交差検定など他のモデル選択基準に基づく方法も提案されている。しかし、いずれもコンポーネント種類の組合せを回避することはできない。
　上記に関し、非特許文献６では、ベイズ情報量基準と等価性の知られる最小記述長に関して、隠れ変数に対する期待情報量基準を最小化することで、混合するモデルの数と種類を効率的に探索する方法が提案されている。しかし、この方法では、上記１）の方法と同様の理由により混合モデルではフィッシャー情報行列が非正則となり、基準そのものが正当性を失うため、適切なモデル選択を行うことができない。
　本発明の目的は、上記課題を解決し、混合モデルのモデル選択問題に対して、混合の数および種類と共に指数的に増加するモデルの候補数に対して、適切な基準のもとで高速にモデル選択を実現する混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラムを提供することにある。
　本発明の第１の観点によれば、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有することを特徴とする混合モデル推定装置が提供される。
　本発明の第２の観点によれば、データ入力部が、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力し、処理部が、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定し、モデル推定結果出力部が、前記処理部によるモデル推定結果を出力することを特徴とする混合モデル推定方法が提供される。
　本発明の第３の観点によれば、コンピュータを、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有する混合モデル推定装置として機能させるための混合モデル推定プログラムが提供される。
　本発明によれば、混合モデルのモデル選択問題に対して、混合の数および種類と共に指数的に増加するモデルの候補数に対して、適切な基準のもと高速にモデル選択を実現することができる。
本発明の実施の形態に係る混合モデル推定装置の構成を示すブロック図である。 図１に示す混合モデル推定装置の動作を示すフローチャートである。
　次に、本発明に係る混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラムの実施の形態について、図面を参照して詳細に説明する。
　本発明の実施の形態では、入力されたデータ（観測値）に対し、式（１）のＰ（Ｘ|θ）に示される混合モデルの推定を行う装置及び方法を提案する。
Figure JPOXMLDOC01-appb-M000008
 　式（１）において、Ｃは混合数を、Ｘは入力されたデータに対してその混合モデル推定のターゲットとなる確率変数を、θ＝（π１，…，πＣ，φ１ Ｓ１，…，φＣ ＳＣ）はモデル（コンポーネント）のパラメータを、Ｓ１，…，ＳＣはコンポーネント種類を表す（パラメータθのうち、π１，…，πＣは混合数１からＣの混合比、φ１ Ｓ１，…，φＣ ＳＣは混合数１からＣに対応するコンポーネントＳ１からＳＣに関する分布のパラメータをそれぞれ表す）。なお、Ｓ１からＳＣとなりうるコンポーネント候補は、例えば混合分布では、｛正規分布、対数正規分布、指数分布｝であったり、混合多項曲線モデルでは、｛０次曲線、１次曲線、２次曲線、３次曲線｝であったりする。また、θは、混合数Ｃとコンポーネント種類Ｓ１，…，ＳＣの関数であるが、表記の都合上で省略する。
　次に、確率変数Ｘに対する隠れ変数Ｚ＝（Ｚ１，…，ＺＣ）を定義する。Ｚｃ＝１は、Ｘがｃ番目のコンポーネントから生成されたデータであることを意味し、Ｚｃ＝０は、そうでないことを意味する。また、Σｃ＝１ ＣＺｃ＝１である。ＸとＺの組は「完全変数」と呼ばれる（その対比として、Ｘは不完全変数と呼ぶ）。この完全変数に関する同時分布は、式（２）に示すＰ（Ｘ，Ｚ|θ）として定義される。
Figure JPOXMLDOC01-appb-M000009
 　以下の説明では、確率変数Ｘに対するＮ個の観測値（データ）をｘｎ（ｎ＝１，…，Ｎ）、観測値ｘｎに対するＮ個の隠れ変数Ｚの値をｚｎ（ｎ＝１，…，Ｎ）とする。この隠れ変数Ｚの値ｚｎの事後確率は、式（３）に示すＰ（ｚｎ|ｘｎ，θ）であらわされる。
Figure JPOXMLDOC01-appb-M000010
 　なお、本実施の形態では混合モデルに対して説明しているが、本発明はこれに限定されず、例えば混合モデルを拡張した隠れマルコフモデル等、類似のモデルに関する拡張は容易に構成することが可能である。同様に、本実施の形態では、ターゲットとなる確率変数をＸとした分布について説明しているが、本発明はこれに限定されず、例えば混合回帰モデルや混合分類モデルのように、条件付モデルＰ（Ｙ｜Ｘ）（Ｙはターゲットとなる確率変数）に関しても適用可能である。
　図１を参照すると、本発明の実施の形態に関わる混合モデル推定装置１１０は、混合モデルを構成する複数のモデルにより表現されるデータ（入力データ）１１１を入力し、その入力データ１１１に対して混合の数および各コンポーネントの種類を最適化し、モデル推定結果１１２として出力する。この混合モデル推定装置１１０は、データ入力装置（データ入力部）１０１と、混合数設定部１０２と、初期化処理部１０３と、隠れ変数変分確率計算処理部１０４と、隠れ変数変分確率記憶部１０５と、モデル最適化処理部１０６と、最適性判定処理部１０７と、最適モデル選択処理部１０８と、モデル推定結果出力装置（モデル推定結果出力部）１０９とを含む。
　このうち、混合数設定部１０２、初期化処理部１０３、隠れ変数変分確率計算処理部１０４、モデル最適化処理部１０６、最適性判定処理部１０７、および最適モデル選択処理部１０８は、本発明の処理部に対応するものであり、例えばプログラム制御により動作するコンピュータ（ＣＰＵ（Central Processing Unit）、プロセッサ、データ処理装置等）で構成されるが、それぞれの機能を実現可能な構成であれば、ハードウェア及びソフトウェア構成はいずれのものでもよい。
　データ入力装置１０１は、入力データ１１１を入力するための装置であり、この際に混合されるコンポーネントの種類及びそのパラメータや、混合数の候補値など、モデルの推定に必要なパラメータを同時に入力する。データ入力装置１０１は、入力データ１１１及びそのモデルの推定に必要なパラメータを入力可能な装置であれば、いずれの構成でもよく、例えば通信装置や記憶装置およびコンピュータ等のデバイスで構成してもよい。
　混合数設定部１０２は、モデルの混合数を入力された混合数の候補値から選択して設定する。以下では、設定された混合数をＣと表記することとする。
　初期化処理部１０３は、推定のための初期化処理を実施する。なお、初期化は任意の方法によって実施することが可能である。例としては、コンポーネントの種類をコンポーネントごとにランダムに設定し、設定された種類にしたがって、各コンポーネントのパラメータをランダムに設定する方法や、隠れ変数の変分確率をランダムに設定する方法が挙げられる。
　隠れ変数変分確率計算処理部１０４は、隠れ変数の変分確率を計算する。ここで、パラメータθは、初期化処理部１０３あるいはモデル最適化処理部１０６で計算されているため、その値を利用する。
　隠れ変数の変分確率ｑ（Ｚ）の計算方法は、式（４）に示される最適化問題を解くことによって計算される。
Figure JPOXMLDOC01-appb-M000011
 　Ｚ＾Ｎ＝Ｚ１，…，ＺＮは、データに対応する隠れ変数であり、上付きの（ｔ）は、ｔ回目の繰り返しで計算された値であることを示す。また、モデルは、Ｈ＝（Ｓ１，…，ＳＣ）と定義している。最適化されるＧは、ベイズ事後確率の下界であり、式（５）によって計算される。また、Ｑ（ｔ－１）＝｛ｑ（０），ｑ（１），…，ｑ（ｔ－１）｝は、隠れ変数変分確率記憶部１０５に記憶されている、前の繰り返し処理までに計算された隠れ変数の変分確率の集合である。
Figure JPOXMLDOC01-appb-M000012
 　隠れ変数変分確率記憶部１０５は、隠れ変数変分確率計算処理部１０４で計算された各データに対する隠れ変数の変分確率を記憶する（前の段落におけるＱ（ｔ－１）がＱ（ｔ）に更新される）。隠れ変数変分確率記憶部１０５は、計算された各データに対する隠れ変数の変分確率を記憶可能なメモリ等の記憶装置であれば、いずれの構成でもよく、例えばコンピュータ内に内蔵されるものでも、外部に設けられるものでもよい。
　モデル最適化処理部１０６は、隠れ変数変分確率記憶部１０５へ記憶されている隠れ変数の変分確率Ｑ（ｔ）を読み込み、式（６）によって、ｔ回目の繰り返しにおける最適なモデルＨ（ｔ）とパラメータθ（ｔ）を算出する。
Figure JPOXMLDOC01-appb-M000013
 　この処理において重要な点は、式（５）によって定義されたＧは、コンポーネントごとに最適化の関数を分解することが可能なため、コンポーネント種類の組合せ（Ｓ１からＳＣのどの種類を指定するか）を考慮することなく、Ｓ１からＳＣ及びパラメータφ１ Ｓ１からφＣ ＳＣを別々に最適化することが可能な点である。これによって、コンポーネントの種類を最適化する際に、組合せ爆発を回避して最適化を実行することが可能となる。
　最適性判定処理部１０７では、式（７）で計算されるモデル事後確率の下界の収束を判定する。
Figure JPOXMLDOC01-appb-M000014
 　その結果、モデル事後確率の下界の収束が判定していない場合には、隠れ変数変分確率計算処理部１０４から最適性判定処理部１０７の処理を繰り返す。
　以上の隠れ変数変分確率計算処理部１０４から最適性判定処理部１０７の処理を繰り返し、モデルとパラメータを最適化することで、モデル事後確率の下界を最大化する適切なモデルを選択することが可能となる。繰り返し処理によってモデル事後確率の下界が単調に増加することは、式（８）として示される。
Figure JPOXMLDOC01-appb-M000015
 　混合数設定部１０２で設定された混合数Ｃに対して、隠れ変数変分確率計算処理部１０４から最適性判定処理部１０７の処理で、コンポーネントの種類とパラメータが最適化される。
　最適モデル選択処理部１０８は、最大化されたモデル事後確率の下界の値（式（７）の第１項）が、現在設定されているモデル事後確率の下界よりも大きい場合には、そのモデルを最適なモデルとして設定する。全ての混合数の候補値についてモデルの事後確率の下界（及びコンポーネント種類とパラメータ）が計算され、最適な混合数が計算された場合には、処理がモデル推定結果出力装置１０９へ移り、まだ最適化の済んでいない混合数の候補が存在する場合には、混合数設定部１０２へ処理が移る。
　モデル推定結果出力装置１０９は、最適な混合数、コンポーネントの種類、パラメータなどをモデル推定結果１１２として出力する。モデル推定結果出力装置１０９は、モデル推定結果１１２を出力可能なものであれば、いずれの構成でもよく、例えば通信装置や記憶装置およびコンピュータ等のデバイスで構成してもよい。
　図２を参照すると、本実施の形態に関する混合モデル推定装置１１０は、概略以下のように動作する。
　まず、データ入力装置１０１から入力データ１１１を入力する（ステップＳ１００）。
　次に、混合数設定部１０２において、入力された混合数の候補値のうち、まだ最適化の行なわれていない混合数を選択し設定する（ステップＳ１０１）。
　次に、初期化処理部１０３において、指定された混合数に対して、推定のためパラメータや隠れ変数変分確率の初期化処理を実施する（ステップＳ１０２）。
　次に、隠れ変数変分確率計算処理部１０４において、隠れ変数の変分確率を計算し、計算された変分確率を隠れ変数変分確率記憶部１０５へ記憶する（ステップＳ１０３）。
　次に、モデル最適化処理部１０６において、各コンポーネントに対して種類とパラメータの推定を実施する（ステップＳ１０４）。
　次に、最適性判定処理部１０７において、モデル事後確率の下界が収束したかを判定する（ステップＳ１０５、Ｓ１０６）。
　その結果、収束と判定されなかった場合（ステップＳ１０６：ＮＯ）には、隠れ変数変分確率計算処理部１０４、モデル最適化処理部１０６、最適性判定処理部１０７において、それぞれステップＳ１０３からＳ１０６の処理を繰り返す。
　一方、収束したと判定された場合（ステップＳ１０６：ＹＥＳ）には、最適モデル選択処理部１０８において、現在設定されている最適なモデル（混合数、種類、パラメータ）のモデル事後確率の下界と、ステップＳ１０６までで計算されたモデル事後確率の下界を比較し、値の大きい方を最適なモデルとして設定する（ステップＳ１０７）。
　次に、推定されていない混合数の候補が残っているかを判定する（Ｓ１０８）。
　その結果、残っている場合（ステップＳ１０８：ＹＥＳ）には、混合数設定部１０２、初期化処理部１０３、隠れ変数変分確率計算処理部１０４、モデル最適化処理部１０６、最適性判定処理部１０７、最適モデル選択処理部１０８において、それぞれステップＳ１０１からＳ１０８の処理を繰り返す。
　一方、残っていない場合（ステップＳ１０８：ＮＯ）には、モデル推定結果出力装置１０９により、モデル推定結果１１２を出力し、処理を完了する（ステップＳ１０９）。
　従って、本実施の形態によれば、モデル事後確率の下界を最大化することによって、混合するモデルの数、種類、パラメータの全てを効率よく推定することができる。つまり、コンポーネントごとに分離されたモデル事後確率の下界を繰り返し最適化することで、コンポーネントの種類とパラメータとを最適化し、コンポーネントの数も最適化することができる。
　これにより、混合モデルのモデル選択問題に対して、混合の数および種類と共に指数的に増加するモデルの候補数に対して、適切な基準のもとで高速にモデル選択を実現することができる。
　以下では、本実施の形態で提案する混合モデル推定装置が適用可能なモデルやその応用例について、具体的に説明する。
　（独立性の異なる複数の混合分布）
　本実施の形態で提案する混合モデル推定装置を利用すると、多次元データに対して独立性の異なる複数の分布の混合分布に関し、混合の数および各コンポーネントの独立性を高速に最適化することが可能である。
　例えば、３次元の正規分布を例に考えると、３次元では、次元の独立（従属）の組合せが８種類考えられ、コンポーネントの候補として独立性（共分散行列の非対角要素の非ゼロ要素の位置）の異なる正規分布を与えることが考えられる。
　例えば異なる年代や性別、生活習慣をもつ人々の健康診断検査値（体重、血圧、血糖など）を入力データとし、分布推定をする場合に、年代・性別・生活習慣によって異なる検査値の依存関係を自動的にモデル化することが可能である。さらにそのような依存関係を選択した上で、どのデータがどのコンポーネントから発生したかを隠れ変数の事後確率の値から調べることによって、検査項目間の依存関係の異なる群の抽出（クラスタリング）を行うことができる。
　なお、本実施の形態で提案する混合モデル推定装置を利用すると、多次元正規分布に関わらず、任意の多次元分布に関して適用することが可能である。
　（異種多様な複数の混合分布）
　本実施の形態で提案する混合モデル推定装置を利用すると、複数の異なる分布の混合分布に関して、混合の数および各コンポーネントの分布の種類を最適化することが可能である。
　例えば、正規分布、対数正規分布、指数分布を混合させる分布の候補とした場合には、各分布の数とパラメータが最適化された混合分布を計算することが可能である。
　例として、オペレーショナルリスクの推定への応用を説明する。リスクの分布は一般には小さなリスクをもつ多数の事象群（例えば事務手続きのミスなど。対数正規分布などでモデル化）と、低頻度であるが高リスクの事象群（株の誤発注など。高い平均値をもつ正規分布などでモデル化）が混合した分布となる。
　本発明を利用することによって、リスクの種類が複数（多変量）となった場合でも、自動的に適切な分布の種類、数、パラメータを自動決定しリスクの分布を推定することが可能である。
　本実施の形態で提案する混合モデル推定装置を利用すると、正規分布、対数正規分布、指数分布の例に関わらず、任意の複数種類の分布に関して適用することが可能である。
　（異なる種類の確率的な回帰関数の混合分布）
　本実施の形態で提案する混合モデル推定装置を利用すると、異なる種類の確率的回帰関数の混合分布に関して、混合の数および各コンポーネントに関する回帰関数を最適化することが可能である。
　例えば、多項式曲線（多次元の場合は曲面）による回帰曲線の混合モデルを考える。この場合、各コンポーネントの候補としては、次数の異なる多項式曲線が考えられる。本発明で提案する混合モデル推定装置を利用すると、混合の数と各コンポーネントの多項式曲線の次数を最適化することが可能である。
　本実施の形態で提案する混合モデル推定装置を利用すると、多項式曲線の例に関わらず、任意の複数種類の回帰関数の混合モデルに関して適用することが可能である。
　（異なる種類の確率的な識別関数の混合分布）
　本実施の形態で提案する混合モデル推定装置を利用すると、異なる種類の確率的分類関数の混合分布に関して、混合の数および各コンポーネントに関する分類関数を最適化することが可能である。
　例えば、自動車データから取得される複数のセンサ値を用いて自動車に発生する故障の種類を特定する故障診断を考える。故障や自動車、走行状態によって、注目すべきセンサが異なるため、分類関数が利用すべきセンサ値もかわってくる。
　本実施の形態を利用することによって、様々なデータが混在する場合にも、複数の異なるセンサ値を利用する分類関数を自動的に推定することが可能である（コンポーネントの候補は、どのセンサ値を利用するか等）。
　（異なる出力確率を持つ隠れマルコフモデルの混合分布）
　本実施の形態で提案する混合モデル推定装置を利用すると、異なる出力確率を持つ隠れマルコフモデルについて、隠れ状態数と出力確率の種類、パラメータを最適化することが可能である。
　例えば、隠れ状態によって出力確率が正規分布、対数正規分布、指数分布といった異なる分布である場合にも、各分布の数とパラメータが最適化された隠れマルコフモデルを学習することが可能である。
　例えば、音声認識では隠れ状態数や出力確率の推定が重要となるが、複数の異なる環境で取得された音声はノイズの状態などが異なるため、出力確率が異なる。このような状況でも本実施の形態を利用することによって効率的なモデル推定が可能となる。
　上記の混合モデル推定装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。この場合のハードウェア、ソフトウェア構成は特に限定されるものではなく、上述した機能を実現可能なものであれば、いずれの形態でも適用可能である。
　上記の実施の形態及び実施例の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
　（付記１）混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、
　前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、
　前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有することを特徴とする混合モデル推定装置。
　（付記２）前記処理部は、前記混合数の候補値の全ての混合数について、前記モデル事後確率の下界、前記コンポーネントの種類及びそのパラメータを計算することにより、最適な混合モデルの混合数を求めることを特徴とする付記１に記載の混合モデル推定装置。
　（付記３）前記混合モデルは、前記混合数をＣとし、前記確率変数をＸとし、前記コンポーネントの種類をＳ１，…，ＳＣとし、前記コンポーネントのパラメータをθ＝（π１，…，πＣ，φ１ Ｓ１，…，φＣ ＳＣ）（π１，…，πＣ：混合数１からＣの混合比、φ１ Ｓ１，…，φＣ ＳＣ：混合数１からＣに対応するコンポーネントＳ１からＳＣに関する分布のパラメータ）としたとき、式（１）で示され、
　前記確率変数Ｘと前記隠れ変数Ｚとの組である完全変数に関する同時分布は、前記確率変数Ｘに対する隠れ変数をＺ＝（Ｚ１，…，ＺＣ）としたとき、式（２）で定義され、
　前記隠れ変数Ｚの事後確率は、前記確率変数Ｘに対するＮ個のデータをｘｎ（ｎ＝１，…，Ｎ）とし、前記ｘｎに対するＮ個の隠れ変数Ｚの値をｚｎ（ｎ＝１，…，Ｎ）としたとき、式（３）で表され、
　前記処理部は、前記隠れ変数をＺＮ＝Ｚ１，…，ＺＮとし、前記隠れ変数の変分確率をＱ（ｔ）＝｛ｑ（０），ｑ（１），…，ｑ（ｔ）｝（上付きの（ｔ）：ｔ回目の繰り返しで計算された値）とし、前記混合モデルをＨ＝（Ｓ１，…，ＳＣ）とし、前記モデル事後確率の下界をＧとしたとき、前記隠れ変数の変分確率を、式（４）で示される最適化問題を解くことで計算し、前記モデル事後確率の下界を、式（５）で計算し、前記隠れ変数の変分確率を用いて、ｔ回目の繰り返しにおける最適な混合モデルＨ（ｔ）とそのコンポーネントのパラメータθ（ｔ）とを、式（６）で計算し、前記モデル事後確率の下界の収束を、式（７）で判定し、収束したと判定されない場合、式（４）から式（７）の処理を繰り返し、収束したと判定された場合、現在設定されている最適な混合モデルのモデル事後確率の下界と、今回計算されたモデル事後確率の下界とを比較し、値の大きい方を最適な混合モデルとして設定し、前記混合数の候補値の全ての混合数について、式（４）から式（７）の処理を繰り返すことにより最適な混合モデルを推定することを特徴とする付記１又は２に記載の混合モデル推定装置。
　（付記４）前記混合モデルは、独立性の異なる複数の混合分布で構成されることを特徴とする付記１から３のいずれかに記載の混合モデル推定装置。
　（付記５）
　前記混合モデルは、異種多様な複数の混合分布で構成されることを特徴とする付記１から３のいずれかに記載の混合モデル推定装置。
　（付記６）
　前記混合モデルは、異なる種類の確率的な回帰関数の混合分布で構成されることを特徴とする付記１から３のいずれかに記載の混合モデル推定装置。
　（付記７）
　前記混合モデルは、異なる種類の確率的な識別関数の混合分布で構成されることを特徴とする付記１から３のいずれかに記載の混合モデル推定装置。
　（付記８）
　前記混合モデルは、異なる出力確率を持つ隠れマルコフモデルの混合分布で構成されることを特徴とする付記１から３のいずれか１項に記載の混合モデル推定装置。
　（付記９）データ入力部が、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力し、処理部が、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定し、モデル推定結果出力部が、前記処理部によるモデル推定結果を出力することを特徴とする混合モデル推定方法。
　（付記１０）前記処理部が、前記混合数の候補値の全ての混合数について、前記モデル事後確率の下界、前記コンポーネントの種類及びそのパラメータを計算することにより、最適な混合モデルの混合数を求めることを特徴とする付記９に記載の混合モデル推定方法。
　（付記１１）前記混合モデルは、前記混合数をＣとし、前記確率変数をＸとし、前記コンポーネントの種類をＳ１，…，ＳＣとし、前記コンポーネントのパラメータをθ＝（π１，…，πＣ，φ１ Ｓ１，…，φＣ ＳＣ）（π１，…，πＣ：混合数１からＣの混合比、φ１ Ｓ１，…，φＣ ＳＣ：混合数１からＣに対応するコンポーネントＳ１からＳＣに関する分布のパラメータ）としたとき、式（１）で示され、
　前記確率変数Ｘと前記隠れ変数Ｚとの組である完全変数に関する同時分布は、前記確率変数Ｘに対する隠れ変数をＺ＝（Ｚ１，…，ＺＣ）としたとき、式（２）で定義され、
　前記隠れ変数Ｚの事後確率は、前記確率変数Ｘに対するＮ個のデータをｘｎ（ｎ＝１，…，Ｎ）とし、前記ｘｎに対するＮ個の隠れ変数Ｚの値をｚｎ（ｎ＝１，…，Ｎ）としたとき、式（３）で表され、
　前記処理部が、前記隠れ変数をＺＮ＝Ｚ１，…，ＺＮとし、前記隠れ変数の変分確率をＱ（ｔ）＝｛ｑ（０），ｑ（１），…，ｑ（ｔ）｝（上付きの（ｔ）：ｔ回目の繰り返しで計算された値）とし、前記混合モデルをＨ＝（Ｓ１，…，ＳＣ）とし、前記モデル事後確率の下界をＧとしたとき、前記隠れ変数の変分確率を、式（４）で示される最適化問題を解くことで計算し、前記モデル事後確率の下界を、式（５）で計算し、前記隠れ変数の変分確率を用いて、ｔ回目の繰り返しにおける最適な混合モデルＨ（ｔ）とそのコンポーネントのパラメータθ（ｔ）とを、式（６）で計算し、前記モデル事後確率の下界の収束を、式（７）で判定し、収束したと判定されない場合、式（４）から式（７）の処理を繰り返し、収束したと判定された場合、現在設定されている最適な混合モデルのモデル事後確率の下界と、今回計算されたモデル事後確率の下界とを比較し、値の大きい方を最適な混合モデルとして設定し、前記混合数の候補値の全ての混合数について、式（４）から式（７）の処理を繰り返すことにより最適な混合モデルを推定することを特徴とする付記９又は１０に記載の混合モデル推定方法。
　（付記１２）前記混合モデルは、独立性の異なる複数の混合分布で構成されることを特徴とする付記９から１１のいずれかに記載の混合モデル推定方法。
　（付記１３）
　前記混合モデルは、異種多様な複数の混合分布で構成されることを特徴とする付記９から１１のいずれかに記載の混合モデル推定方法。
　（付記１４）
　前記混合モデルは、異なる種類の確率的な回帰関数の混合分布で構成されることを特徴とする付記９から１１のいずれかに記載の混合モデル推定方法。
　（付記１５）
　前記混合モデルは、異なる種類の確率的な識別関数の混合分布で構成されることを特徴とする付記９から１１のいずれかに記載の混合モデル推定方法。
　（付記１６）
　前記混合モデルは、異なる出力確率を持つ隠れマルコフモデルの混合分布で構成されることを特徴とする付記９から１１のいずれかに記載の混合モデル推定方法。
　（付記１７）コンピュータを、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有する混合モデル推定装置として機能させるための混合モデル推定プログラム。
　（付記１８）前記処理部が、前記混合数の候補値の全ての混合数について、前記モデル事後確率の下界、前記コンポーネントの種類及びそのパラメータを計算することにより、最適な混合モデルの混合数を求めることを特徴とする付記１７に記載の混合モデル推定プログラム。
　（付記１９）前記混合モデルは、前記混合数をＣとし、前記確率変数をＸとし、前記コンポーネントの種類をＳ１，…，ＳＣとし、前記コンポーネントのパラメータをθ＝（π１，…，πＣ，φ１ Ｓ１，…，φＣ ＳＣ）（π１，…，πＣ：混合数１からＣの混合比、φ１ Ｓ１，…，φＣ ＳＣ：混合数１からＣに対応するコンポーネントＳ１からＳＣに関する分布のパラメータ）としたとき、式（１）で示され、
　前記確率変数Ｘと前記隠れ変数Ｚとの組である完全変数に関する同時分布は、前記確率変数Ｘに対する隠れ変数をＺ＝（Ｚ１，…，ＺＣ）としたとき、式（２）で定義され、
　前記隠れ変数Ｚの事後確率は、前記確率変数Ｘに対するＮ個のデータをｘｎ（ｎ＝１，…，Ｎ）とし、前記ｘｎに対するＮ個の隠れ変数Ｚの値をｚｎ（ｎ＝１，…，Ｎ）としたとき、式（３）で表され、
　前記処理部が、前記隠れ変数をＺＮ＝Ｚ１，…，ＺＮとし、前記隠れ変数の変分確率をＱ（ｔ）＝｛ｑ（０），ｑ（１），…，ｑ（ｔ）｝（上付きの（ｔ）：ｔ回目の繰り返しで計算された値）とし、前記混合モデルをＨ＝（Ｓ１，…，ＳＣ）とし、前記モデル事後確率の下界をＧとしたとき、前記隠れ変数の変分確率を、式（４）で示される最適化問題を解くことで計算し、前記モデル事後確率の下界を、式（５）で計算し、前記隠れ変数の変分確率を用いて、ｔ回目の繰り返しにおける最適な混合モデルＨ（ｔ）とそのコンポーネントのパラメータθ（ｔ）とを、式（６）で計算し、前記モデル事後確率の下界の収束を、式（７）で判定し、収束したと判定されない場合、式（４）から式（７）の処理を繰り返し、収束したと判定された場合、現在設定されている最適な混合モデルのモデル事後確率の下界と、今回計算されたモデル事後確率の下界とを比較し、値の大きい方を最適な混合モデルとして設定し、前記混合数の候補値の全ての混合数について、式（４）から式（７）の処理を繰り返すことにより最適な混合モデルを推定することを特徴とする付記１７又は１８に記載の混合モデル推定プログラム。
　（付記２０）前記混合モデルは、独立性の異なる複数の混合分布で構成されることを特徴とする付記１７から１９のいずれかに記載の混合モデル推定プログラム。
　（付記２１）
　前記混合モデルは、異種多様な複数の混合分布で構成されることを特徴とする付記１７から１９のいずれかに記載の混合モデル推定プログラム。
　（付記２２）
　前記混合モデルは、異なる種類の確率的な回帰関数の混合分布で構成されることを特徴とする付記１７から１９のいずれかに記載の混合モデル推定プログラム。
　（付記２３）
　前記混合モデルは、異なる種類の確率的な識別関数の混合分布で構成されることを特徴とする付記１７から１９のいずれかに記載の混合モデル推定プログラム。
　（付記２４）
　前記混合モデルは、異なる出力確率を持つ隠れマルコフモデルの混合分布で構成されることを特徴とする付記１７から１９のいずれかに記載の混合モデル推定プログラム。
　以上、実施の形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年３月１８日に出願された日本出願特願２０１１－０６０７３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上説明したようには、本発明は、多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラムの用途に利用可能であり、例えば独立性の異なる複数の混合分布、異種多様な複数の混合分布、異なる種類の確率的な回帰関数の混合分布、異なる種類の確率的な識別関数の混合分布、異なる出力確率を持つ隠れマルコフモデルの混合分布等の混合モデルを推定する装置、方法、プログラムの用途に利用可能である。
１０１　データ入力装置（データ入力部）
１０２　混合数設定部
１０３　初期化処理部
１０４　隠れ変数変分確率計算処理部
１０５　隠れ変数変分確率記憶部
１０６　モデル最適化処理部
１０７　最適性判定処理部
１０８　最適モデル選択処理部
１０９　モデル推定結果出力装置（モデル推定結果出力部）
１１０　混合モデル推定装置
１１１　入力データ
１１２　モデル推定結果

Claims (10)

  1. 　混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、
    　前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、
    　前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有することを特徴とする混合モデル推定装置。
  2. 　前記処理部は、前記混合数の候補値の全ての混合数について、前記モデル事後確率の下界、前記コンポーネントの種類及びそのパラメータを計算することにより、最適な混合モデルの混合数を求めることを特徴とする請求項１に記載の混合モデル推定装置。
  3. 　前記混合モデルは、
    　前記混合数をＣとし、前記確率変数をＸとし、前記コンポーネントの種類をＳ１，…，ＳＣとし、前記コンポーネントのパラメータをθ＝（π１，…，πＣ，φ１ Ｓ１，…，φＣ ＳＣ）（π１，…，πＣ：混合数１からＣの混合比、φ１ Ｓ１，…，φＣ ＳＣ：混合数１からＣに対応するコンポーネントＳ１からＳＣに関する分布のパラメータ）としたとき、
    Figure JPOXMLDOC01-appb-M000001
     で示され、
    　前記確率変数Ｘと前記隠れ変数Ｚとの組である完全変数に関する同時分布は、
    　前記確率変数Ｘに対する隠れ変数をＺ＝（Ｚ１，…，ＺＣ）としたとき、
    Figure JPOXMLDOC01-appb-M000002
     で定義され、
    　前記隠れ変数Ｚの事後確率は、
    　前記確率変数Ｘに対するＮ個のデータをｘｎ（ｎ＝１，…，Ｎ）とし、前記ｘｎに対するＮ個の隠れ変数Ｚの値をｚｎ（ｎ＝１，…，Ｎ）としたとき、
    Figure JPOXMLDOC01-appb-M000003
     で表され、
    　前記処理部は、
    　前記隠れ変数をＺＮ＝Ｚ１，…，ＺＮとし、前記隠れ変数の変分確率をＱ（ｔ）＝｛ｑ（０），ｑ（１），…，ｑ（ｔ）｝（上付きの（ｔ）：ｔ回目の繰り返しで計算された値）とし、前記混合モデルをＨ＝（Ｓ１，…，ＳＣ）とし、前記モデル事後確率の下界をＧとしたとき、
    　前記隠れ変数の変分確率を、
    Figure JPOXMLDOC01-appb-M000004
     で示される最適化問題を解くことで計算し、
    　前記モデル事後確率の下界を、
    Figure JPOXMLDOC01-appb-M000005
     で計算し、
    　前記隠れ変数の変分確率を用いて、ｔ回目の繰り返しにおける最適な混合モデルＨ（ｔ）とそのコンポーネントのパラメータθ（ｔ）とを、
    Figure JPOXMLDOC01-appb-M000006
     で計算し、
    　前記モデル事後確率の下界の収束を、
    Figure JPOXMLDOC01-appb-M000007
     で判定し、収束したと判定されない場合、式（４）から式（７）の処理を繰り返し、収束したと判定された場合、現在設定されている最適な混合モデルのモデル事後確率の下界と、今回計算されたモデル事後確率の下界とを比較し、値の大きい方を最適な混合モデルとして設定し、
    　前記混合数の候補値の全ての混合数について、式（４）から式（７）の処理を繰り返すことにより最適な混合モデルを推定することを特徴とする請求項１又は２に記載の混合モデル推定装置。
  4. 　前記混合モデルは、独立性の異なる複数の混合分布で構成されることを特徴とする請求項１から３のいずれか１項に記載の混合モデル推定装置。
  5. 　前記混合モデルは、異種多様な複数の混合分布で構成されることを特徴とする請求項１から３のいずれか１項に記載の混合モデル推定装置。
  6. 　前記混合モデルは、異なる種類の確率的な回帰関数の混合分布で構成されることを特徴とする請求項１から３のいずれか１項に記載の混合モデル推定装置。
  7. 　前記混合モデルは、異なる種類の確率的な識別関数の混合分布で構成されることを特徴とする請求項１から３のいずれか１項に記載の混合モデル推定装置。
  8. 　前記混合モデルは、異なる出力確率を持つ隠れマルコフモデルの混合分布で構成されることを特徴とする請求項１から３のいずれか１項に記載の混合モデル推定装置。
  9. 　データ入力部が、混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力し、
    　処理部が、前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定し、
    　モデル推定結果出力部が、前記処理部によるモデル推定結果を出力することを特徴とする混合モデル推定方法。
  10. 　コンピュータを、
    　混合モデルの推定対象となるデータと、このデータの混合モデルの推定に必要な、混合数の候補値と、前記混合モデルを構成するコンポーネントの種類及びそのパラメータとを入力するデータ入力部と、
    　前記混合数の候補値から混合数を設定し、設定した混合数に対し、前記データの混合モデル推定のターゲットとなる確率変数に対する隠れ変数の変分確率を計算し、計算した隠れ変数の変分確率を用いて前記混合モデルのコンポーネントごとに分離されたモデル事後確率の下界が最大となるように前記コンポーネントの種類及びそのパラメータを最適化することにより最適な混合モデルを推定する処理部と、
    　前記処理部によるモデル推定結果を出力するモデル推定結果出力部とを有する混合モデル推定装置として機能させるための混合モデル推定プログラム。
PCT/JP2012/056862 2011-03-18 2012-03-16 多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム Ceased WO2012128207A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US13/824,857 US8731881B2 (en) 2011-03-18 2012-03-16 Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program
KR1020137015232A KR101329904B1 (ko) 2011-03-18 2012-03-16 다변량 데이터의 혼합 모델 추정 장치, 혼합 모델 추정 방법 및 혼합 모델 추정 프로그램을 기록한 컴퓨터 판독가능 기록 매체
JP2013505945A JP5403456B2 (ja) 2011-03-18 2012-03-16 多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム
EP12760613.5A EP2687994A4 (en) 2011-03-18 2012-03-16 PLURI-VARIABLE DATA MIX MODEL ESTIMATION DEVICE, METHOD, AND PROGRAM
SG2013026182A SG189314A1 (en) 2011-03-18 2012-03-16 Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program
CN201280003749.0A CN103221945B (zh) 2011-03-18 2012-03-16 多变量数据混合模型估计装置、混合模型估计方法
US14/242,915 US20140214747A1 (en) 2011-03-18 2014-04-02 Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011060732 2011-03-18
JP2011-060732 2011-03-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/824,857 A-371-Of-International US8731881B2 (en) 2011-03-18 2012-03-16 Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program
US14/242,915 Continuation US20140214747A1 (en) 2011-03-18 2014-04-02 Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program

Publications (1)

Publication Number Publication Date
WO2012128207A1 true WO2012128207A1 (ja) 2012-09-27

Family

ID=46879354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/056862 Ceased WO2012128207A1 (ja) 2011-03-18 2012-03-16 多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム

Country Status (7)

Country Link
US (2) US8731881B2 (ja)
EP (1) EP2687994A4 (ja)
JP (1) JP5403456B2 (ja)
KR (1) KR101329904B1 (ja)
CN (1) CN103221945B (ja)
SG (1) SG189314A1 (ja)
WO (1) WO2012128207A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179579A1 (ja) * 2012-05-31 2013-12-05 日本電気株式会社 隠れ変数モデル推定装置および方法
WO2015068330A1 (ja) * 2013-11-05 2015-05-14 日本電気株式会社 モデル推定装置、モデル推定方法およびモデル推定プログラム
US9324026B2 (en) 2013-09-20 2016-04-26 Nec Corporation Hierarchical latent variable model estimation device, hierarchical latent variable model estimation method, supply amount prediction device, supply amount prediction method, and recording medium
JPWO2015166637A1 (ja) * 2014-04-28 2017-04-20 日本電気株式会社 メンテナンス時期決定装置、劣化予測システム、劣化予測方法および記録媒体
CN110298478A (zh) * 2019-05-16 2019-10-01 中国人民解放军海军工程大学 模块化贮存模式下补充贮存方案的优化方法及装置
CN111612102A (zh) * 2020-06-05 2020-09-01 华侨大学 基于局部特征选择的卫星影像数据聚类方法、装置及设备
US10885011B2 (en) 2015-11-25 2021-01-05 Dotdata, Inc. Information processing system, descriptor creation method, and descriptor creation program
US11360873B2 (en) 2016-09-06 2022-06-14 Kabushiki Kaisha Toshiba Evaluation device, evaluation method, and evaluation program
US11514062B2 (en) 2017-10-05 2022-11-29 Dotdata, Inc. Feature value generation device, feature value generation method, and feature value generation program
US11727203B2 (en) 2017-03-30 2023-08-15 Dotdata, Inc. Information processing system, feature description method and feature description program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489632B2 (en) * 2013-10-29 2016-11-08 Nec Corporation Model estimation device, model estimation method, and information storage medium
US9355196B2 (en) * 2013-10-29 2016-05-31 Nec Corporation Model estimation device and model estimation method
CN104200090B (zh) * 2014-08-27 2017-07-14 百度在线网络技术（北京）有限公司 基于多源异构数据的预测方法和装置
CN106156856A (zh) * 2015-03-31 2016-11-23 日本电气株式会社 用于混合模型选择的方法和装置
JP7388230B2 (ja) * 2020-02-17 2023-11-29 富士通株式会社 混合物性能最適化装置、混合物性能最適化プログラム、混合物性能最適化方法、及び混合冷媒

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202358A (ja) 2000-01-21 2001-07-27 Nippon Telegr & Teleph Corp <Ntt> 混合モデルのベイズ推定方法および混合モデルのベイズ推定プログラムを記録した記録媒体
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置，ならびにその確率分布推定方法および異常行動検出方法
US7657102B2 (en) * 2003-08-27 2010-02-02 Microsoft Corp. System and method for fast on-line learning of transformed hidden Markov models
JP4902378B2 (ja) 2007-02-06 2012-03-21 日本放送協会 混合モデル初期値算出装置及び混合モデル初期値算出プログラム
JP5068228B2 (ja) 2008-08-04 2012-11-07 日本電信電話株式会社 非負値行列分解の数値計算方法、非負値行列分解の数値計算装置、プログラムおよび記憶媒体
JP5332647B2 (ja) 2009-01-23 2013-11-06 日本電気株式会社 モデル選択装置、モデル選択装置の選択方法及びプログラム
JP5170698B2 (ja) 2009-04-27 2013-03-27 独立行政法人産業技術総合研究所 確率的推論装置
US9208436B2 (en) * 2010-03-03 2015-12-08 Nec Corporation Model selection device, model selection method and model selection program
US8504491B2 (en) * 2010-05-25 2013-08-06 Microsoft Corporation Variational EM algorithm for mixture modeling with component-dependent partitions

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A.P. DEMPSTER; N.M. LAIRD; D.B. RUBIN: "Maximum Likelihood from Incomplete Data via the EM Algorithm", JOURNAL OF ROYAL STATICAL SOCIETY. SERIES B (METHODOLOGICAL, vol. 39, no. 1, 1977, pages I-38
ADRIAN CORDUNEANU; CHRISTOPHER M. BISHOP: "Artificial Intelligence and Statistics", 2001, MORGAN KAUFMANN, article "Variational Bayesian Model Selection for Mixture Distributions", pages: 27 - 34
CARL EDWARD RASMUSSEN: "Advances in Neural Information Processing Systems", vol. 12, 2000, MIT PRESS, article "The Infinite Gaussian Mixture Model", pages: 554 - 560
KENJI YAMANISHI; JUN-ICHI TAKEUCHI; GRAHAM WILLIAMS; PETER MILNE: "Proceedings of the Sixth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2000", 2000, ACM PRESS, article "Online Unsupervised Outlier Detection Using Finite Mixtures with Discounting Learning Algorithms", pages: 320 - 324
KENJI YAMANISHI; YUKO MARUYAMA: "Proceedings of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2005", 2005, ACM PRESS, article "Dynamic Syslog Mining for Network Failure Monitoring", pages: 499 - 508
RYOHEI FUJIMAKI ET AL.: "Senkei Jikan Ishu Kongo Model Sentaku no Tameno Kitai Johoryo Kijun Saishoka-ho", DAI 12 KAI JOHORON-TEKI GAKUSHU RIRON WORKSHOP TECHNICAL REPORT-SHU, 19 October 2009 (2009-10-19), pages 312 - 319, XP008171188 *
RYOHEI FUJIMAKI; SATOSHI MORINAGA; MICHINARI MONMMA; KENJI AOKI; TAKAYUKI NAKATA: "Linear Time Model Selection for Mixture of Heterogeneous Components", PROCEEDINGS OF THE 1ST ASIAN CONFERENCE ON MACHINE LEAMING, 2009
See also references of EP2687994A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043261B2 (en) 2012-05-31 2015-05-26 Nec Corporation Latent variable model estimation apparatus, and method
WO2013179579A1 (ja) * 2012-05-31 2013-12-05 日本電気株式会社 隠れ変数モデル推定装置および方法
US9324026B2 (en) 2013-09-20 2016-04-26 Nec Corporation Hierarchical latent variable model estimation device, hierarchical latent variable model estimation method, supply amount prediction device, supply amount prediction method, and recording medium
WO2015068330A1 (ja) * 2013-11-05 2015-05-14 日本電気株式会社 モデル推定装置、モデル推定方法およびモデル推定プログラム
JPWO2015068330A1 (ja) * 2013-11-05 2017-03-09 日本電気株式会社 モデル推定装置、モデル推定方法およびモデル推定プログラム
JPWO2015166637A1 (ja) * 2014-04-28 2017-04-20 日本電気株式会社 メンテナンス時期決定装置、劣化予測システム、劣化予測方法および記録媒体
US10885011B2 (en) 2015-11-25 2021-01-05 Dotdata, Inc. Information processing system, descriptor creation method, and descriptor creation program
US11360873B2 (en) 2016-09-06 2022-06-14 Kabushiki Kaisha Toshiba Evaluation device, evaluation method, and evaluation program
US11727203B2 (en) 2017-03-30 2023-08-15 Dotdata, Inc. Information processing system, feature description method and feature description program
US11514062B2 (en) 2017-10-05 2022-11-29 Dotdata, Inc. Feature value generation device, feature value generation method, and feature value generation program
CN110298478A (zh) * 2019-05-16 2019-10-01 中国人民解放军海军工程大学 模块化贮存模式下补充贮存方案的优化方法及装置
CN111612102A (zh) * 2020-06-05 2020-09-01 华侨大学 基于局部特征选择的卫星影像数据聚类方法、装置及设备
CN111612102B (zh) * 2020-06-05 2023-02-07 华侨大学 基于局部特征选择的卫星影像数据聚类方法、装置及设备

Also Published As

Publication number Publication date
CN103221945B (zh) 2016-09-14
US8731881B2 (en) 2014-05-20
JP5403456B2 (ja) 2014-01-29
KR101329904B1 (ko) 2013-11-14
CN103221945A (zh) 2013-07-24
EP2687994A1 (en) 2014-01-22
US20140214747A1 (en) 2014-07-31
KR20130080060A (ko) 2013-07-11
JPWO2012128207A1 (ja) 2014-07-24
US20130211801A1 (en) 2013-08-15
SG189314A1 (en) 2013-05-31
EP2687994A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5403456B2 (ja) 多変量データの混合モデル推定装置、混合モデル推定方法および混合モデル推定プログラム
Lei et al. GCN-GAN: A non-linear temporal link prediction model for weighted dynamic networks
JP6020561B2 (ja) 隠れ変数モデル推定装置および方法
Mousavian et al. Information theory in systems biology. Part I: Gene regulatory and metabolic networks
JP6725700B2 (ja) 異常なユーザ行動関連アプリケーションデータを検出するための方法、装置、およびコンピュータ読み取り可能な媒体
Nanni et al. A classifier ensemble approach for the missing feature problem
US20140343903A1 (en) Factorial hidden markov models estimation device, method, and program
Chanda et al. Mining of attribute interactions using information theoretic metrics
Probst Hyperparameters, tuning and meta-learning for random forest and other machine learning algorithms
Khodabandelou et al. Supervised vs. unsupervised learning for intentional process model discovery
Ghasemloo et al. An agglomerative clustering algorithm for simulation output distributions using regularized Wasserstein distance
Dzemyda et al. Large-scale data analysis using heuristic methods
Zhang et al. Building bridges, not walls: Advancing interpretability by unifying feature, data, and model component attribution
JP6398991B2 (ja) モデル推定装置、方法およびプログラム
Chen et al. Sparse subnetwork inference for neural network epistemic uncertainty estimation with improved Hessian approximation
Blachnik Comparison of various feature selection methods in application to prototype best rules
Anderson Bayesian sequential optimal experimental design for inverse problems using deep reinforcement learning
Ghahramani et al. A simple and general exponential family framework for partial membership and factor analysis
Nakada et al. Online Bayesian learning with natural sequential prior distribution
Hlaváčková-Schindler Causality in time series: its detection and quantification by means of information theory
Yong Multi-Objective Bayesian Optimization with Independent Tanimoto Kernel Gaussian Processes for Diverse Pareto Front Exploration
Zhang et al. Computer Science Review
Beirão Multivariate Correlations for Early Classification
Farahani et al. Foundations of Machine Learning: Concepts and Algorithms
Sedghi et al. Simultaneous estimation of sub-model number and parameters for mixture probability principal component regression

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12760613

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013505945

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13824857

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012760613

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012760613

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137015232

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE