WO2021140957A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021140957A1
WO2021140957A1 PCT/JP2020/048727 JP2020048727W WO2021140957A1 WO 2021140957 A1 WO2021140957 A1 WO 2021140957A1 JP 2020048727 W JP2020048727 W JP 2020048727W WO 2021140957 A1 WO2021140957 A1 WO 2021140957A1
Authority
WO
WIPO (PCT)
Prior art keywords
data set
data
unit
information processing
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/048727
Other languages
English (en)
French (fr)
Inventor
正典 宮原
裕士 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021570019A priority Critical patent/JP7639710B2/ja
Priority to EP20912940.2A priority patent/EP4089598A4/en
Publication of WO2021140957A1 publication Critical patent/WO2021140957A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program designed to improve user satisfaction with predictive analysis.
  • Leak means using data that cannot be used at the time of prediction for training a prediction model, or the data itself. For example, when predicting the number of bento boxes sold, it is expected that the prediction accuracy of the forecast model will be improved if the data "whether or not the bento boxes are sold out on that day" is used for learning. However, the purpose of predicting the number of sales is to predict the number of bento boxes sold a few days ago to determine the number of products manufactured, and the data that is not known until the day of sold out is actually used. Can't.
  • the prediction accuracy of the prediction model differs between the time of pre-evaluation and the time of actual operation, and the user's satisfaction level. May decrease.
  • Patent Document 1 the leak is not particularly examined.
  • This disclosure was made in view of such a situation, and is intended to improve user satisfaction with predictive analysis.
  • the present disclosure includes a leak detection unit that detects the possibility of leakage of the data set based on the nature of the data set used for learning the prediction model used for the prediction analysis.
  • the possibility of leakage of the data set is detected based on the nature of the data set used for learning the prediction model used for the prediction analysis.
  • Embodiment 1-1 Embodiment 1-1. Background 1-2. Configuration example of the information processing system according to the embodiment 1-3. Outline of information processing according to the embodiment 1-4. Configuration example of the information processing device according to the embodiment 1-5. Configuration example of the time series processing unit according to the embodiment 1-6. Configuration example of leak detection and correction unit according to the embodiment 1-7. Information processing procedure according to the embodiment 2. Modification example 3. Hardware configuration
  • the user decides what kind of predictive analysis should be performed based on the accumulated data. Furthermore, the user evaluates the business effect obtained by introducing the predictive analysis by conducting a proof experiment of the determined predictive analysis. In this way, by conducting a demonstration experiment and evaluating the business effect obtained by the predictive analysis, the user can introduce a highly effective predictive analysis into the business, and the predictive analysis can be utilized in the business.
  • FIG. 1 is a diagram illustrating a business introduction of predictive analysis.
  • step S1 the user sets a problem as to which data is used and what is predicted in the accumulated data. For example, when setting a problem, "use data such as the customer's annual income and total assets to predict whether or not a loan will be in bad debt" or "data such as past sales and customer age group”. Use it to predict future sales. " In this way, the appropriate problem setting differs depending on the business field and the user. Therefore, the user sets a problem based on his / her own knowledge and experience, for example.
  • step S2 the user constructs a data set according to the problem setting from the accumulated data.
  • the user constructs a data set by, for example, extracting data to be used for predictive analysis from accumulated data, and interpreting and structuring the data according to the predictive analysis. For example, the knowledge and experience of the user may be required to construct the data set.
  • step S3 the user generates a prediction model based on the problem setting and the data set. Predictive models are generated using common machine learning. In this case, the user can generate a prediction model using, for example, an existing information processing device.
  • step S4 the user evaluates the accuracy of the generated prediction model.
  • the accuracy of the prediction model is evaluated using a general evaluation index such as the area under the curve (AUC) or the accuracy.
  • AUC area under the curve
  • the user can evaluate the accuracy of the prediction model using, for example, an existing information processing device.
  • step S5 the user conducts a demonstration experiment using the generated prediction model.
  • the user collects data in a limited range such as a period or region, and performs predictive analysis of the data using the generated prediction model.
  • the user introduces predictive analysis into the business on a trial basis, for example, by changing the purchase of goods or the business partner according to the analysis result.
  • step S6 the user measures the effect of the demonstration experiment.
  • the user measures the effect by comparing the data before and after the experiment, for example, comparing the sales when the predictive analysis is introduced on a trial basis with the sales before the introduction.
  • the user then introduces predictive analytics into the actual business, depending on the results of the proof-of-concept experiments and the measured effects.
  • This disclosure focuses on this point and allows the information processing device to perform predictive analysis including extraction of problem settings and construction of data sets.
  • FIG. 2 is a diagram showing a configuration example of the information processing system 1 according to the embodiment of the present disclosure.
  • the information processing system 1 includes a terminal device 11 and an information processing device 12.
  • the terminal device 11 and the information processing device 12 are connected to each other via a predetermined communication network (network N) so as to be communicable by wire or wirelessly.
  • the information processing system 1 may include a plurality of terminal devices 11 and a plurality of information processing devices 12.
  • the terminal device 11 is an information processing device used by the user.
  • the terminal device 11 is used to provide a service related to predictive analysis.
  • the terminal device 11 may be any device as long as the processing in the embodiment can be realized.
  • the terminal device 11 may be any device as long as it provides a service related to predictive analysis to the user and has a display for displaying information.
  • the terminal device 11 is a device such as a notebook PC (Personal Computer), a desktop PC, a tablet terminal, a smartphone, a mobile phone, or a PDA (Personal Digital Assistant).
  • the information processing device 12 is used to provide a service related to predictive analysis to a user.
  • the information processing device 12 is an information processing device that controls information on the results of problem setting and predictive analysis evaluation based on user data so as to be displayed to the user.
  • the information processing device 12 generates an image showing information about the result of the problem setting and the predictive analysis evaluation, and provides the image to the terminal device 11.
  • the information processing device 12 controls the display of the terminal device 11. That is, the information processing device 12 is also a server device that provides information to be displayed on the terminal device 11. For example, the information processing device 12 controls the display of the terminal device 11 by transmitting an image including control information to the terminal device 11.
  • the control information is described in, for example, a script language such as Javascript (registered trademark), CSS, or the like.
  • the information processing device 12 may provide the terminal device 11 with an application for displaying the provided image or the like. Further, the application itself provided from the information processing device 12 to the terminal device 11 may be regarded as control information.
  • FIG. 3 is a diagram schematically showing an analysis process according to the embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a past case according to the embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of user data according to the embodiment of the present disclosure.
  • the user data is, for example, data collected by the user.
  • the user data includes various data such as customer information and product information.
  • the user uses the user data to perform predictive analysis such as next month's sales.
  • the information processing device 12 acquires a past case.
  • the past case includes the problem setting of the predictive analysis performed in the past.
  • the prediction target hereinafter, also referred to as the past target
  • the analysis data used for the prediction analysis of the past target such as which data was used for the past prediction.
  • a set hereinafter, also referred to as a past data set
  • the past case includes, for example, the past data set 31.
  • the historical dataset 31 includes, for example, "customer ID”, “loan amount”, “loan type”, “years of service” and “credit loss”. Further, in FIG. 4, it is indicated by diagonal lines that “credit loss” is a past target.
  • the past case includes the past data set 31 and the past object (here, “credit loss”).
  • step S12 the information processing device 12 acquires user data.
  • the user data is data generated and collected by the user, and is data used for model generation of predictive analysis and the like.
  • the user data 41 shown in FIG. 5 includes, for example, "customer ID”, "loan amount”, “loan type”, “years of service”, “annual income”, “total account balance”, and "credit loss”.
  • the information processing device 12 extracts a prediction target based on the acquired past case and user data 41.
  • the information processing device 12 selects, for example, a past object related to the user from past cases.
  • the information processing device 12 selects a past target by using a recommender system using information about the user, such as a department to which the information processing device 12 belongs or a predictive analysis performed by the user in the past.
  • a recommender system using information about the user, such as a department to which the information processing device 12 belongs or a predictive analysis performed by the user in the past.
  • the information processing apparatus 12 selects the “credit loss” of the past data set 31 shown in FIG. 4 from the past case as the past target.
  • the information processing device 12 extracts the same items as the selected past target from the user data 41 as a prediction target (hereinafter, also referred to as an extraction target) for which the prediction analysis is performed this time.
  • a prediction target hereinafter, also referred to as an extraction target
  • the past target selected by the information processing apparatus 12 is “lost debt”. Therefore, the information processing device 12 extracts "credit loss” from the user data 41 shown in FIG. 5 as a prediction target.
  • the “credit loss” to be extracted is indicated by a diagonal line. The details of the extraction method of the extraction target will be described later with reference to FIG. 7.
  • the information processing apparatus 12 constructs a data set (hereinafter, also referred to as a construction data set) used for predictive analysis of the extraction target based on the user data 41.
  • the information processing device 12 extracts, for example, items related to the extraction target as a construction data set. For example, the information processing device 12 extracts "customer ID”, “loan amount”, “loan type”, “years of service”, and "credit loss” from the user data 41 shown in FIG. 5 to generate a construction data set.
  • the information processing device 12 constructs a data set including a part of the user data 41 shown in FIG. 5, but the present invention is not limited to this.
  • a data set including all user data 41 may be constructed. The details of the data set construction method will be described later with reference to FIG. 7.
  • step S15 the information processing apparatus 12 learns the prediction model based on the extraction target and the construction data set.
  • the information processing device 12 converts the data of the construction data set excluding the prediction target (extraction target) into a feature vector.
  • the information processing apparatus 12 generates a prediction model by solving a classification or regression problem by machine learning based on a feature vector and an extraction target.
  • step S16 the information processing device 12 evaluates the accuracy of the prediction analysis by evaluating the generated prediction model.
  • the information processing device 12 evaluates the prediction model using the prediction model and the construction data set.
  • the evaluation index is selected according to the analysis method, for example, AUC or Accuracy in the case of classification analysis, MAE (Mean Absolute Error) in the case of regression analysis, and the like.
  • step S17 the information processing device 12 presents the extraction information including the extraction target and the evaluation result to the user.
  • FIG. 6 is a diagram showing an example of an image presented to the user in the terminal device 11 under the control of the information processing device 12.
  • the information processing device 12 presents the user with a combination of the problem setting and the evaluation result.
  • the extraction result when the information processing apparatus 12 extracts a plurality of problem settings is displayed.
  • the information processing apparatus 12 displays a list of combinations of problem setting and evaluation results as in the image IM1.
  • the user can decide whether or not to perform the predictive analysis with the problem setting presented by the information processing apparatus 12 by referring to the evaluation result, for example.
  • the content presented to the user by the information processing device 12 is not limited to the problem setting and the evaluation result.
  • the information processing apparatus 12 may present at least one of the construction data set, the extraction target, and the evaluation result to the user.
  • the information processing apparatus 12 may present reference information when the user selects a problem setting, such as an effect obtained when predictive analysis is performed.
  • the information processing device 12 extracts the problem setting, so that the user does not have to perform the problem setting and can perform the predictive analysis more easily. Further, when the information processing apparatus 12 evaluates the accuracy of the predictive analysis, the user can select the predictive analysis to be executed based on the accuracy evaluation, and the predictive analysis with high accuracy can be performed more easily.
  • the information processing device 12 includes a communication unit 101, a storage unit 102, and a control unit 103.
  • the information processing device 12 includes an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 12, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may have it.
  • the communication unit 101 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 101 is connected to the network N by wire or wirelessly, and transmits / receives information to / from another information processing device such as a terminal device 11 or an external server.
  • a NIC Network Interface Card
  • the storage unit 102 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 7, the storage unit 102 includes a past case storage unit 121, a user data storage unit 122, and a user profile storage unit 123. Although not shown, the storage unit 102 may store various information such as an image that is the basis of the image provided to the terminal device 11.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • a storage device such as a hard disk or an optical disk.
  • the storage unit 102 includes a past case storage unit 121, a user data storage unit 122, and a user profile storage unit 123.
  • the storage unit 102 may store various information such as an image that is the basis of the image provided to the terminal device 11.
  • the past case storage unit 121 stores past cases.
  • Past cases include information about predictive analytics performed in the past.
  • the past case storage unit 121 stores, for example, a case when predictive analysis is introduced into the business in the past.
  • the past cases may be appropriately acquired from an external server or the like without being held by the information processing device 12.
  • FIG. 8 is a diagram showing an example of the past case storage unit 121.
  • the past case storage unit 121 provides information on, for example, "problem setting", “data set”, “collection cost”, “prediction model”, “model evaluation result”, “demonstration experiment”, “business effect”, etc. for each case.
  • the past case storage unit 121 stores a plurality of past cases, such as past cases A, B, and so on.
  • “Problem setting” is information indicating what data was used and what was predicted in the predictive analysis.
  • “problem setting” for example, there are a plurality of "use items” (explanatory variables) such as “what data was used” and one "prediction target” (objective variable) such as "what was predicted”. included.
  • "use items” explanatory variables
  • prediction target objective variable
  • the items shown by diagonal lines are the prediction targets, and the remaining items are the items to be used.
  • the "data set” is a past data set used for training the prediction model.
  • a “data set” is a data set including "input data” and "correct answer data”.
  • the past data set 31 shown in FIG. 4 corresponds to such a “data set”.
  • Collection cost is the cost of collecting the data used in the predictive analytics.
  • the “collection cost” includes, for example, the period and cost required for collecting data for each item.
  • the "prediction model” is a past prediction model (hereinafter, also referred to as a past model) generated by using the "problem setting" and "data set” to be stored.
  • a “predictive model” is a model generated by solving a classification or regression problem, for example, by machine learning.
  • the “model evaluation result” is the result of the accuracy evaluation of the "prediction model” to be stored.
  • the “model evaluation result” includes the evaluation result by an evaluation index such as AUC or Accuracy.
  • “Demonstration experiment” is information on the contents and results of the demonstration experiment conducted for the business introduction of predictive analysis.
  • the “demonstration experiment” includes, for example, information such as the period and range of the experiment, the data used in the experiment, the effect obtained by the experiment, and the cost of the experiment.
  • Business effect is information on the business effect obtained after introducing predictive analysis into the business.
  • the "business effect” includes, for example, information such as a profit amount such as an improved sales amount and a cost reduction amount such as a reduced labor cost.
  • the past case storage unit 121 stores various information when the predictive analysis is introduced into the business in the past for each of a plurality of past cases.
  • the above-mentioned past case is an example, and if the past case storage unit 121 stores the "problem setting" and the "data set", for example, the "collection cost", the "model evaluation result", and the "demonstration experiment”. Etc., some information may not be stored, or information other than the above-mentioned information may be stored.
  • User data storage unit 122 Returning to FIG. 7, the user data storage unit 122 will be described.
  • User data is various data created or collected by the user.
  • As the data format of user data a wide variety of formats are assumed, for example, as listed below.
  • the user data may be appropriately acquired from the terminal device 11, an external server, or the like without being held by the information processing device 12. Further, the user data may be raw data directly acquired from a camera, a sensor, or the like, or may be processed data obtained by performing processing such as feature extraction on the raw data. Alternatively, the user data may include metadata that is a recognition result obtained by performing recognition processing of raw data or processed data.
  • the user profile storage unit 123 stores profile information about the user.
  • the profile information includes, for example, user information and user case information.
  • the user information is information about the user, and includes, for example, information about the user ID, the company name to which the user belongs, the department, the industry, and the like.
  • the user information may include information related to the user's interests and interests, such as search history of websites and databases, browsing history of websites, keywords contained in e-mails and office documents.
  • the user case information includes information related to the past predictive analysis performed by the user.
  • the user case information includes, for example, information on predictive analysis performed by the user in the past, information on past cases in which the user has been involved, and the like. It should be noted that such predictive analysis may be performed by the user himself or herself, or may be performed by the department or company to which the user belongs.
  • control unit 103 for example, a program stored inside the information processing apparatus 12 (for example, a program according to the present disclosure) is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like using the RAM or the like as a work area. It is realized by being done. Further, the control unit 103 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 103 includes an acquisition unit 141, an information processing unit 142, and a display control unit 143.
  • the information processing unit 142 includes a time prediction unit 151, an interpretation unit 152, an extraction unit 153, a time series processing unit 154, a leak detection correction unit 155, a learning unit 156, an evaluation unit 157, a prediction unit 158, a collection decision unit 159, and the like.
  • the contribution calculation unit 160 is provided.
  • the internal structure of the control unit 103 is not limited to the configuration shown in FIG. 7, and may be another configuration as long as it is a configuration for performing information processing described later. Further, the connection relationship of each processing unit included in the control unit 103 is not limited to the connection relationship shown in FIG. 7, and may be another connection relationship.
  • the acquisition unit 141 acquires various information from the storage unit 102. For example, the acquisition unit 141 acquires a plurality of past cases from the past case storage unit 121. For example, the acquisition unit 141 acquires user data from the user data storage unit 122. For example, the acquisition unit 141 acquires profile information from the user profile storage unit 123.
  • the acquisition unit 141 may acquire various information from an external server, a terminal device 11, or the like instead of the past case storage unit 121, the user data storage unit 122, and the user profile storage unit 123.
  • the time prediction unit 151 predicts the time required for the analysis process performed by the control unit 103 from the start of data acquisition by the acquisition unit 141 to the presentation of the processing result such as problem setting extraction to the user.
  • the time prediction unit 151 uses the user data (hereinafter, also referred to as a part of data) acquired by the acquisition unit 141 at a predetermined time (for example, 1 second) to perform analysis processing such as extraction, learning, and evaluation of problem settings. Do.
  • the analysis process is a process performed by each unit of the control unit 103 from the start of data acquisition by the acquisition unit 141 to the presentation of the processing result to the user, and the details will be described later.
  • the time prediction unit 151 measures the processing time of the analysis process performed using some data.
  • the analysis process may take several hours or more, and in some cases several days, depending on the type and size of user data. Therefore, there is a user's request to know the time required for the analysis process. Therefore, the time prediction unit 151 calculates the prediction processing time using some data. As a result, it is possible to present the user with an estimate of the time required for the analysis process. At this time, by limiting the size of the data used for calculating the predicted processing time to a size that can be acquired in, for example, 1 second, the time required for calculating the predicted processing time can be suppressed to a short time.
  • the time prediction unit 151 does not simply calculate the prediction processing time from the size of the user data, but actually executes the analysis processing using a part of the data to calculate the prediction processing time.
  • the size of user data can be easily obtained, but the time required for predictive analysis depends not only on the size of user data but also on the nature of the data. Therefore, the time prediction unit 151 can actually execute the processing and calculate the prediction processing time, so that the prediction accuracy of the prediction processing time can be improved.
  • the time prediction unit 151 calculates the prediction processing time using some data acquired at a predetermined time, but the prediction processing time is not limited to this.
  • the time prediction unit 151 may calculate the prediction processing time using some data of a predetermined size (for example, 100 rows to 2000 rows).
  • the time prediction unit 151 may predict the prediction processing time using a trained processing time prediction model prepared in advance.
  • the time prediction unit 151 uses, for example, the number of items (number of columns) from some data, the loss rate of each item, the data type of each item (character string / numerical value / date, etc.), and the type of machine learning (binary value). Extract information such as classification / multi-value classification / regression, etc.). The time prediction unit 151 uses the extracted information to predict the prediction processing time by the learned processing time prediction model.
  • the time prediction unit 151 may update the prediction processing time at a predetermined timing such as the passage of a certain time or the timing when the processing of each unit is completed.
  • the time prediction unit 151 uses some data to execute a process that has not yet been completed at a predetermined timing.
  • the time prediction unit 151 updates the prediction processing time by recalculating the prediction processing time based on the time required for the executed processing.
  • the partial data used for updating the predicted processing time may be the same as the partial data used for calculating the predicted processing time before the update, or may be the user data acquired again at the time of this update. ..
  • the interpretation unit 152 which will be described later, performs structured processing on all user data
  • user data of a predetermined size is acquired from all the user data that has undergone structured processing and is used as a part of data. May be good.
  • the interpretation unit 152 analyzes and structures the user data acquired from the user data storage unit 122 by the acquisition unit 141. First, the data analysis performed by the interpretation unit 152 will be described.
  • user data includes various data formats.
  • the interpretation unit 152 analyzes user data using, for example, a recognizer (not shown) for each type of data. It is assumed that the recognizer is stored in the storage unit 102, for example.
  • the interpretation unit 152 performs recognition processing for detecting an face / character string / general object or the like from the image using an image recognizer for the image data included in the user data, for example.
  • the interpretation unit 152 detects a user ID (terminal ID), a shooting location, a shooting time, and the like from the data given to the image.
  • the interpretation unit 152 detects a character string from the image, and the telephone number, company name, purchased product, product price, total amount, payment method (cash / credit / electronic money / QR code (registered trademark) payment, etc.) And so on.
  • the interpretation unit 152 adds the recognition result as metadata to the user data which is the raw data.
  • the interpretation unit 152 recognizes the speaker using a voice recognizer for the voice data included in the user data, and converts the utterance content into text. Alternatively, the interpretation unit 152 recognizes the user's moving behavior (walking / bicycle / train, etc.) for each time with respect to the acceleration data. Further, the interpretation unit 152 corrects the notational fluctuation and adds a similar expression using a synonym dictionary to the text data. In this way, the interpretation unit 152 analyzes the user data for each type of data and adds metadata.
  • the interpretation unit 152 recognizes one data using a plurality of recognizers. It may be.
  • the interpretation unit 152 first converts the voice data into text data, and then translates the converted text data into multiple languages. Subsequently, the interpretation unit 152 corrects the notational fluctuation of the translated text data and adds a similar expression. In this way, the interpreting unit 152 may recognize the user data by using the recognizer in multiple stages.
  • the interpretation unit 152 may recognize the user data based on various known techniques.
  • the interpretation unit 152 structures the user data based on the analysis result.
  • the interpretation unit 152 structures the metadata added to the user data by using the template.
  • the template is specialized for predictive analysis, and it is assumed that, for example, a plurality of templates are stored in advance by the storage unit 102.
  • the interpretation unit 152 structures the data by applying the data to the most suitable template.
  • the interpretation unit 152 structures the metadata which is unstructured data.
  • the interpretation unit 152 may newly add metadata.
  • the metadata given here is used when extracting the problem setting.
  • the interpretation unit 152 may add higher categories such as "food expenses” and “living miscellaneous expenses” from the "product name" assigned to the receipt image as metadata.
  • the interpretation unit 152 may structure the user data based on various known techniques. Further, the above-mentioned template and higher category are examples, and the interpretation unit 152 may structure user data by using various templates, categories, and metadata specialized for predictive analysis. Further, when the user data stored in the user data storage unit 122 is already structured, the processing of the interpretation unit 152 may be omitted.
  • the interpretation unit 152 analyzes and structures the user data, so that the burden on the user can be reduced.
  • the extraction unit 153 extracts the problem setting in the predictive analysis based on the user data structured by the interpretation unit 152 (hereinafter, also referred to as structured data) and the past case acquired by the acquisition unit 141.
  • the problem setting includes a plurality of "use items” (explanatory variables) "what data items are used” and one "prediction target” (objective variable) "what to predict”.
  • Extraction unit 153 extracts "prediction target” from structured data based on past cases.
  • the extraction unit 153 for example, extracts the same items (variables) as the past objects included in the past cases from the structured data as “prediction targets”.
  • the extraction unit 153 extracts a "prediction target" that is related to the user or is considered to be of high interest to the user, for example, based on the profile information. For example, if a user is in the business of selling merchandise, they may be more interested in "sales” forecasts. Therefore, in this case, the extraction unit 153 extracts "sales” as a prediction target.
  • the extraction unit 153 extracts candidates from past objects of past cases using a recommendation system, for example, based on profile information.
  • the extraction unit 153 sets the items included in the user data from the extracted candidates as the "prediction target" of the problem setting.
  • Recommender systems include, for example, ranking learning, content-based filtering, collaborative filtering, or a combination of these.
  • the extraction unit 153 may extract a plurality of "prediction targets". For example, when a plurality of past objects are extracted in a ranking format as in ranking learning, the extraction unit 153 extracts a predetermined number of "prediction targets” from the top ranking. In this way, the extraction unit 153 extracts a plurality of "prediction targets", so that the extraction unit 153 can extract a wide range of "prediction targets” related to the user.
  • the extraction unit 153 extracts a plurality of "use items” for each extracted “prediction target” (extraction target).
  • the extraction unit 153 sets items (variables) related to the extraction target from the structured data to "use items" (explanatory variables).
  • the extraction unit 153 may set an item related to the extraction target as a "use item”. In this case, the information processing device 12 can improve the learning accuracy in the prediction model learning, which is the processing after extraction.
  • the extraction unit 153 may set a predetermined number of items as "use items” in order from the one having the highest relevance to the extraction target. In this case, the information processing device 12 can reduce the processing load in the prediction model learning.
  • the extraction unit 153 constructs a data set based on the extracted "prediction target" and "use item” (hereinafter, also referred to as extraction item).
  • the extraction unit 153 constructs a data set by extracting data corresponding to the prediction target and the extraction item from the structured data.
  • the extraction unit 153 may, for example, extract a plurality of problem settings.
  • the extraction unit 153 extracts a plurality of combinations of the "prediction target" and the plurality of "use items" corresponding to the "prediction target".
  • the extraction unit 153 constructs a data set according to the extracted problem setting. Therefore, when a plurality of problem settings are extracted, the extraction unit 153 constructs a plurality of data sets corresponding to each problem setting. By constructing the data set by the extraction unit 153 in this way, even if there are a plurality of problem settings, the user does not need to construct each corresponding data set, and the burden on the user can be reduced.
  • time-series processing unit 154 When the construction data set constructed by the extraction unit 153 is a time-series data set (hereinafter referred to as a time-series data set), the time-series processing unit 154 resamples the date and time of the time-series data set. For example, the time-series processing unit 154 corrects the sampling interval (time interval) of the time-series data set and interpolates the missing value to be predicted.
  • the time series processing unit 154 separates the time series data set for each series, and displays the date and time of the time series data set for each separated series. Perform sampling.
  • the time-series processing unit 154 detects a change point in which the tendency of the value to be predicted changes significantly, and divides the construction data set based on the change point.
  • time series processing unit 154 A detailed configuration example of the time series processing unit 154 will be described later with reference to FIG.
  • the leak detection correction unit 155 detects the possibility of leakage of the construction data set based on the nature of the construction data set and the past cases stored in the past case storage unit 121. In addition, the leak detection correction unit 155, if necessary, corrects the construction data set based on the possibility of the detected leak.
  • leak detection correction unit 155 A detailed configuration example of the leak detection correction unit 155 will be described later with reference to FIG.
  • the learning unit 156 learns the prediction model based on the problem setting extracted by the extraction unit 153 and the construction data set extracted by the extraction unit 153 or the construction data set corrected by the leak detection correction unit 155.
  • the learning unit 156 learns a prediction model corresponding to each of the plurality of problem settings.
  • the learning unit 156 divides the construction data set into learning data and test data.
  • the learning unit 156 converts the learning data into a feature vector.
  • the learning unit 156 generates a prediction model by solving a classification or regression problem by machine learning based on a feature vector and a prediction target.
  • the machine learning described above is an example, and the learning unit 156 may learn a prediction model based on various known techniques.
  • the learning unit 156 divides the construction data set, but this is an example.
  • the extraction unit 153 may construct each of the training data set and the test data set.
  • the evaluation unit 157 evaluates the prediction model generated by the learning unit 156. When the learning unit 156 generates a plurality of prediction models, the evaluation unit 157 evaluates each of the plurality of prediction models.
  • the evaluation unit 157 evaluates the prediction model using the evaluation index based on the prediction model and the test data.
  • the evaluation index is, for example, AUC for binary classification, Accuracy for multi-value classification, MAE for regression, and the like.
  • the above-mentioned evaluation index is an example, and the evaluation unit 157 may evaluate the prediction model based on various known techniques. For example, the user may specify an evaluation index.
  • the prediction unit 158 predicts the business effect when the prediction model is introduced into the business.
  • the prediction unit 158 predicts the business effect (hereinafter, also referred to as the prediction effect) when the plurality of prediction models are introduced into the business.
  • the prediction unit 158 selects a past case whose past target is the same item as the extraction target extracted by the extraction unit 153 from the past case storage unit 121.
  • the prediction unit 158 performs predictive analysis using the "business effect" included in the selected past case as a new "prediction target” (hereinafter, also referred to as an effect prediction target).
  • the prediction unit 158 first sets the "business effect” to the "effect prediction target". Next, the prediction unit 158 sets the item related to the "business effect” to the "use item” from the past case.
  • the prediction unit 158 may set the "use item” from the items included in both the past case and the structured user data (or the construction data set), for example.
  • the prediction unit 158 constructs a data set (hereinafter, also referred to as an effect learning data set) by extracting data corresponding to "use items" from past cases.
  • the prediction unit 158 generates a prediction model (hereinafter, also referred to as an effect prediction model) by solving, for example, a regression problem by machine learning based on the effect prediction data set and the “effect prediction target”.
  • the prediction unit 158 extracts the data corresponding to the "use item" from the structured user data and constructs a data set (hereinafter, also referred to as an effect prediction data set).
  • the prediction unit 158 predicts the business effect when the prediction model generated by the learning unit 156 is introduced into the business based on the effect prediction data set and the generated effect prediction model.
  • the prediction unit 158 may predict the business effect based on various known techniques. Further, the construction of the effect prediction data set and the learning of the effect prediction model performed by the prediction unit 158 may be executed by using some functions of the extraction unit 153 and the learning unit 156.
  • the collection decision unit 159 determines a data item (hereinafter, also referred to as a proposal item) for which collection is proposed to the user based on past cases and user data for each extracted problem setting. When there are a plurality of problem settings, the collection decision unit 159 determines a proposal item for each of the plurality of problem settings. The collection determination unit 159 may determine a plurality of proposal items for one problem setting.
  • the collection decision unit 159 compares the data set of the past case (past data set) with the data set constructed by the extraction unit 153 or the data set corrected by the leak detection correction unit 155 (construction data set).
  • the collection decision unit 159 extracts "used items” (hereinafter, also referred to as "uncollected items") included in the past data set and not included in the construction data set.
  • the collection decision unit 159 predicts the business effect when "uncollected items" are not used in the past cases. Specifically, the collection decision unit 159 learns the prediction model using the past data set excluding the “uncollected items” and evaluates the accuracy of the prediction model. The collection decision unit 159 recalculates the business effect with the evaluated prediction accuracy. Since the learning, evaluation, and calculation of the business effect of the prediction model here are the same as the processing of the learning unit 156, the evaluation unit 157, and the prediction unit 158, the description thereof will be omitted.
  • the collection decision unit 159 determines "uncollected items" whose effects have decreased as proposal items based on the calculated business effect.
  • the collection decision unit 159 When the collection decision unit 159 extracts a plurality of "uncollected items", the collection decision unit 159 recalculates the business effect for each "uncollected item”. Then, the collection decision unit 159 determines the “uncollected item” having the largest decrease in the business effect as the proposal item. Alternatively, the collection decision unit 159 may determine "uncollected items” whose amount of decrease in business effect is equal to or greater than the threshold value as the proposed items, or may determine a predetermined number of "uncollected items” as the proposed items. ..
  • the collection decision unit 159 may determine the proposal item based on the newly calculated business effect and collection cost. In this case, the collection decision unit 159 determines the difference between the introduction effect obtained by subtracting the collection cost from the business effect calculated by the prediction unit 158 including the "uncollected items” and the business effect calculated without including the "uncollected items”. calculate. The collection decision unit 159 determines the “uncollected item” having a large calculated difference as the proposal item.
  • the collection decision unit 159 determines the proposed items including the "collection cost" of the data, so that the information processing apparatus 12 gives priority to the uncollected items whose collection cost is low and the data can be easily collected. Can be suggested to the user.
  • the information processing apparatus 12 can propose to the user data collection of uncollected items, which has a high collection cost but has a large business effect when used.
  • the collection decision unit 159 learns the prediction model when the "uncollected items" are not used, evaluates the accuracy, and calculates the business effect, but the present invention is not limited to this.
  • the learning unit 156, the evaluation unit 157, and the prediction unit 158 may perform learning of the prediction model, accuracy evaluation, and calculation of the business effect, respectively.
  • the collection decision unit 159 determines the proposal item based on the result of each unit.
  • the collection decision department 159 decides the proposal items based on the business effect, but it is not limited to this.
  • the collection decision unit 159 may decide the proposal item based on, for example, the evaluation result of the prediction model. In this case, the collection decision unit 159 evaluates the accuracy of the prediction model learned without using the "uncollected items", and determines the "unused items” with a small decrease in evaluation as the proposed items.
  • the contribution calculation unit 160 calculates the contribution indicating which feature amount contributes to the prediction result among the feature amounts of the test data input to the prediction model learned by the learning unit 156. Specifically, the contribution calculation unit 160 removes the feature amount for which the contribution is to be calculated from the input of the prediction model, and calculates the contribution based on the change in the prediction result before and after the removal.
  • the contribution degree calculated by the contribution degree calculation unit 160 includes a positive value and a negative value.
  • a positive value of contribution means that the set of features contributes positively to the prediction, that is, it improves the prediction probability predicted by the prediction model. Further, when the contribution is a negative value, it means that the set of features contributes negatively to the prediction, that is, the prediction probability predicted by the prediction model is lowered.
  • the contribution calculation unit 160 calculates the ratio of the feature amount for which the contribution degree has been calculated to the set (item) of the feature amount. If the calculated ratio is low, it rarely occurs even if the contribution is high, and the utility value for the user is low. Therefore, in the embodiment of the present disclosure, the contribution calculation unit 160 calculates the ratio of the feature amount for which the contribution is calculated, and presents such a ratio to the user. As a result, the user can confirm the contribution of the data in consideration of the degree of occurrence.
  • the prediction unit 158, the contribution calculation unit 160, and the collection decision unit 159 calculate the business effect and the contribution, respectively, and determine the proposal items, but it is not necessary to calculate / determine all of them.
  • the contribution calculation unit 160 may calculate the contribution, and the calculation of the business effect by the prediction unit 158 and the determination of the proposed item by the collection determination unit 159 may be omitted.
  • the contribution calculation unit 160 may calculate the contribution and the prediction unit 158 may calculate the business effect, and the collection decision unit 159 may omit the determination of the proposed item.
  • the user may be able to select the process of calculating / determining.
  • the display control unit 143 controls the display of various information.
  • the display control unit 143 controls the display of various information in the terminal device 11.
  • the display control unit 143 generates an image including control information for controlling the display mode. This control information is described by, for example, a script language such as Javascript (registered trademark) or CSS.
  • the display control unit 143 provides the terminal device 11 with an image including the above control information, so that the terminal device 11 performs the above-mentioned display process according to the control information.
  • the display control unit 143 is not limited to the above, and may control the display of the terminal device 11 by appropriately using various conventional techniques.
  • FIG. 9 shows a configuration example of the time series processing unit 154 of FIG.
  • the time series processing unit 154 includes a separation unit 201, a resampling unit 202, and a change point detection unit 203.
  • the separation unit 201 separates the time series data sets for each series. For example, the separation unit 201 separates the construction data set into a plurality of series of time series data sets based on the degree of duplication of the values of the items related to the date and time (hereinafter referred to as date and time items) in the construction data set.
  • the resampling unit 202 When the construction data set is a time series data set, the resampling unit 202 resamples the date and time of the time series data set. Further, when the construction data set includes a plurality of time series data sets, the resampling unit 202 resamples the date and time of the time series data set for each series.
  • the change point detection unit 203 detects the change point at which the tendency of the value to be predicted changes significantly. Further, the change point detection unit 203 divides the construction data set based on the detected change points.
  • FIG. 10 shows a configuration example of the leak detection correction unit 155 of FIG.
  • the leak detection correction unit 155 includes an occurrence date / time identification unit 221, an acquisition date / time identification unit 222, a prediction execution timing setting unit 223, a leak detection unit 224, and a leak correction unit 225.
  • the occurrence date / time specifying unit 221 specifies the occurrence date / time of each data included in the construction data set.
  • the date and time of occurrence indicates, for example, the date and time when the event related to the data really occurred.
  • the date and time of occurrence is represented by, for example, one or more of a year, a month, a day, and a time.
  • the acquisition date / time specifying unit 222 specifies the acquisition date / time of each data included in the construction data set.
  • the income date and time indicates, for example, the date and time when the user can actually acquire the data, or the date and time when the user actually acquired the data.
  • the acquisition date and time is represented by, for example, one or more of a year, a month, a day, and a time.
  • the date and time when the data on the number of shipments on December 8, 2019 was generated will be December 8, 2019.
  • the number of shipments of a certain product is recorded at each factory, aggregated at the end of the month, and actually made available to the data analyst (user) on the 15th of the following month.
  • the income date and time of the shipment quantity data will be January 15, 2020.
  • the prediction execution timing setting unit 223 sets the timing (hereinafter referred to as the prediction execution timing) for predicting the prediction target based on the nature of the prediction target and the past cases stored in the past case storage unit 121. To do.
  • the leak detection unit 224 detects the possibility of leakage of the construction data set based on the nature of the construction data set and the past cases stored in the past case storage unit 121.
  • the properties of the construction data set include, for example, the properties of the entire construction data set, the properties of each item of the construction data set, and the properties of each data included in the construction data set.
  • the leak correction unit 225 may include, for example, an instruction from the user input via the terminal device 11, past cases stored in the past case storage unit 121, profile information stored in the user profile storage unit 123, and the like. Based on, the construction data set is corrected so as to eliminate the possibility of a leak detected by the leak detection unit 224.
  • step S101 the acquisition unit 141 acquires past cases and user data from the storage unit 102 as described above.
  • step S102 the time prediction unit 151 predicts the processing time (prediction processing time) required for the analysis process using a part of the acquired user data.
  • step S103 the interpretation unit 152 generates structured data by analyzing and structuring the user data as described above.
  • step S104 the extraction unit 153 extracts the problem setting based on the structured data and the past case as described above.
  • step S105 the extraction unit 153 constructs a data set (construction data set) according to the extracted problem setting, as described above.
  • step S106 the time series processing unit 154 executes the time series processing.
  • step S151 the separation unit 201 determines whether or not it is a time series data set. For example, if the separation unit 201 includes a date and time item related to "date and time" among the items of the construction data set, the separation unit 201 determines that the construction data set is a time series data set, and the process proceeds to step S152.
  • the date and time item is, for example, an item in which data is represented by at least one of a year, a month, a day, a time, and a day of the week.
  • FIG. 13 shows an example of a construction dataset.
  • This construction dataset contains items such as "date”, “sales area”, “number of sales”, “event (planned)", and “advertising cost (planned)".
  • "date” is the date and time item.
  • the category is, for example, a category, a classification, a genre, or the like.
  • a set of data including the data of each item, which is the data for one line of the construction data set, is referred to as a record.
  • step S152 the separation unit 201 counts the number of records whose date and time overlap. For example, the separation unit 201 sorts the construction data set by date and time items. Then, the separation unit 201 counts the number of records whose date and time item values overlap with other records.
  • the number of records whose "date" value overlaps with other records is counted.
  • step S153 the separation unit 201 determines whether or not there are records having overlapping dates and times at a certain ratio or more. Specifically, the separation unit 201 calculates the ratio of the number of records obtained in the process of step S152 to the total number of records in the construction data set. When the calculated ratio is equal to or greater than a predetermined threshold value, the separation unit 201 determines that there are records having overlapping dates and times at a certain ratio or more, and the process proceeds to step S154.
  • step S154 the separation unit 201 counts the number of records whose date and time do not overlap in each category. For example, the separation unit 201 divides the construction data set into a plurality of series for each category item value (hereinafter referred to as a category value). Next, the separation unit 201 sorts the data set of each series by the date and time item. Next, the separation unit 201 counts the number of records whose date and time do not overlap with other records for each series of data sets. Then, the separation unit 201 totals the number of records counted for each data set of each series.
  • category value category item value
  • the construction data set of FIG. 8 is divided into a data set of a series in which the value of "sales area" is "region A” and a data set of a series in which the value of "region B” is.
  • the number of records whose "date” value does not overlap with other records in the "region A” series dataset is counted.
  • the "Region B” series dataset the number of records whose "Date” value does not overlap with other records is counted.
  • the number of records counted in the data set of the series of "Region A” and the number of records counted in the data set of the series of "Region B" are totaled.
  • step S155 the separation unit 201 determines whether or not the ratio of records whose dates and times do not overlap in each category is equal to or higher than a certain level. Specifically, the separation unit 201 calculates the ratio of the number of records obtained in the process of step S154 to the total number of records in the construction data set. When the calculated ratio is equal to or greater than a predetermined threshold value, the separation unit 201 determines that the ratio of records whose dates and times do not overlap in each category is equal to or greater than a certain value, and the process proceeds to step S156.
  • step S156 the separation unit 201 determines that the construction data set includes a plurality of time series data sets. That is, the separation unit 201 determines that the construction data set is separated into a plurality of time series data sets for each category value.
  • the ratio of records in which the value of "date" overlaps with other records is high.
  • the value of "date” is set in each series data set.
  • the ratio of records that overlap with other records decreases. Therefore, it is determined that the construction data set of FIG. 13 is separated into two time-series data sets, one in which the "sales area” is the "region A” series and the other in which the "sales area” is the "region B" series.
  • step S155 if it is determined in step S155 that the ratio of records whose date and time do not overlap in each category is less than a certain value, the process proceeds to step S157.
  • step S153 If it is determined in step S153 that there are no records with overlapping dates and times at a certain ratio or more, the process proceeds to step S157.
  • step S157 the separation unit 201 determines that the construction data set is a single-series time-series data set.
  • step S158 the resampling unit 202 resamples the date and time of the data set.
  • the resampling unit 202 divides the construction data set into each series and sorts the data set of each series by the date and time item.
  • the construction data set is a single series time series data set, the entire construction data set is one series.
  • the resampling unit 202 calculates the time interval between adjacent records for each series. Then, the resampling unit 202 obtains the time interval having the highest frequency of appearance (hereinafter, referred to as the most frequent time interval) in all the series.
  • the resampling unit 202 sets the time unit based on the most frequent time interval. For example, if the mode interval ⁇ 60 seconds, the time unit is set to "seconds". If 60 seconds ⁇ mode interval ⁇ 60 x 60 seconds, the time unit is set to "minutes”. When 60 ⁇ 60 seconds ⁇ most frequent time interval ⁇ 24 ⁇ 60 ⁇ 60 seconds, the time unit is set to “hour”. When 24 ⁇ 60 ⁇ 60 seconds ⁇ most frequent time interval ⁇ 365 ⁇ 24 ⁇ 60 ⁇ 60 seconds, the time unit is set to “day”. If 365 ⁇ 24 ⁇ 60 ⁇ 60 seconds ⁇ the most frequent time interval, the time unit is set to “year”.
  • the resampling unit 202 resamples the data set for each series in the set time unit. That is, the value of the date and time item of each series data set is reset based on the set time unit.
  • step S159 the resampling unit 202 interpolates the missing value to be predicted. Specifically, the resampling unit 202 interpolates the value at the date and time when the value to be predicted is missing for each series.
  • the interpolation method for example, a method suitable for the property of the prediction target is used from among pre-value inheritance, moving average, and the like.
  • step S158 and step S159 the data to be predicted in the loss period is interpolated.
  • FIG. 15 shows the sales of each series after resampling the data sets of the series in which the “sales area” is “region A” and the series in which the “sales area” is “region B” in the construction data set of FIG. It is a graph which shows the transition of a number in time series. The horizontal axis shows the date, and the vertical axis shows the number of sales.
  • step S160 the change point detection unit 203 determines whether or not there is a change point to be predicted.
  • the change point detection unit 203 detects a point (date and time) at which the tendency of the value of the prediction target changes significantly when the values of the prediction target are arranged in a time series for each series.
  • a method suitable for the property of the prediction target is used.
  • a method is conceivable in which time-series prediction of the prediction target is repeatedly performed in ascending order of the date and time, and a point where the prediction and the actual value deviate significantly is detected as a change point.
  • the change point detection unit 203 determines that the change point to be predicted exists, and the process proceeds to step S161.
  • step S161 the change point detection unit 203 divides the data set based on the change point. Specifically, the change point detection unit 203 divides the construction data set into a plurality of periods for each change point detected in any of the series.
  • the prediction model is affected by the data before the change of the prediction target occurs. Is prevented. This prevents the prediction accuracy of the prediction model from deteriorating during actual operation.
  • steps S154 to S161 may be performed for each category item.
  • the construction data set is separated and resampled for each category item.
  • step S160 if the change point detection unit 203 does not detect a change point in any of the series, it determines that the change point to be predicted does not exist, the process of step S161 is skipped, and the process is stepped. Proceed to S162.
  • step S162 the display control unit 143 presents the result of the time series processing to the user.
  • the display control unit 143 causes the terminal device 11 to display the image of FIG.
  • a graph 301, a list box 302, a list box 303, a check box 304, a list box 305, a “back” button 306, a “cancel” button 307, and an “execute” button 308 are displayed. ..
  • Graph 301 shows a graph of the number of sales in the series of "Region A” and the series of "Region B" in the construction data set of FIG. That is, the construction data set is separated into two time series data sets of "region A” and "region B", and the result of resampling the date and time of each time series data set is shown.
  • the list box 302 and the list box 303 are used for setting the forecast period.
  • the forecast period is a period for which a forecast target (for example, the number of sales) is forecast.
  • the list box 302 is used to set the start date and time of the prediction period
  • the list box 303 is used to set the end date and time of the prediction period. That is, the prediction period is set from the date and time set by the list box 302 to the date and time set by the list box 303. In this example, a period from 10 days ahead to 40 days ahead is set as the prediction period based on the prediction execution timing.
  • the check box 304 is used when the prediction period is directly input without using the list box 302 and the list box 303. That is, when the check box 304 is checked, the prediction period can be directly input. On the other hand, when the check box 304 is unchecked, the reservation period can be input by the list box 302 and the list box 303.
  • the list box 305 is used to select a series that separates the construction data set into a plurality of time series data sets. For example, if the construction data set can be separated into a plurality of time series data sets by a plurality of category items, the name of each category item is displayed as a series name in the list box 305. Then, the graph of the time series data set separated based on the category items selected by the list box 305 is displayed as the graph 301.
  • the "back” button 306 is used to return to the image before the transition to the image of FIG.
  • the "Cancel” button 307 is used to cancel the training and evaluation execution of the prediction model.
  • the "execute" button 307 is used to execute the learning and evaluation of the prediction model.
  • step S151 when the date and time item is not included in the items of the construction data set, the separation unit 201 determines that the construction data set is a non-time series data set, and steps S151 to S162. Processing is skipped and the time series processing ends.
  • step S107 the leak detection correction unit 155 executes the leak detection process.
  • step S201 the occurrence date / time specifying unit 221 and the acquisition date / time specifying unit 222 specify the data generation date / time and the acquisition date / time.
  • the occurrence date / time specifying unit 221 specifies the occurrence date / time of each data included in the construction data set.
  • the date and time when the data was generated is instructed by the user or is self-evident.
  • the occurrence date / time specifying unit 221 sets the occurrence date / time as it is as the data generation date / time. For example, the date and time when the data of "number of shipments" of "December 8, 2019" is generated is specified on December 8, 2019.
  • the occurrence date and time specifying unit 221 estimates the occurrence date and time based on, for example, the content of the data.
  • the occurrence date / time specifying unit 221 estimates the occurrence date / time of the data based on the database related to the phenomenon related to the data and the occurrence time of various phenomena. For example, when a building is shown in the image data, if the date of construction of the building is known, it is estimated that the date and time of occurrence of the image data is after the date of construction. For example, when the item of the construction data set includes "song title", it is estimated that the generation date and time of the data included in each record is after the release date of the song with the song title included in the same record. For example, failure data of a manufacturing device can be estimated from the production time and life of the manufacturing device.
  • the acquisition date / time specifying unit 222 specifies the acquisition date / time of each data included in the data set.
  • Data acquisition date and time is strongly influenced by workflow in business, for example, so it is difficult to estimate using a database like the date and time of occurrence. On the other hand, since the data used in the business is under the control of the business workflow, the acquisition date and time are often recorded.
  • the acquisition date / time specifying unit 222 specifies the acquisition date / time of each data based on the time stamp of each data file, Exif (Exchangeable image file format) information, database update time, version control system history, and the like. To do.
  • step S202 the prediction execution timing setting unit 223 sets the timing for executing the prediction.
  • the timing to execute the prediction of the prediction target (prediction execution timing) is at the earliest after the timing when the last data of the data set used for the prediction is acquired. However, in reality, a certain period called a gap is required between the acquisition of the last data and the execution of the prediction.
  • the prediction execution timing setting unit 223 sets how long before the prediction period the prediction of the prediction target is executed, based on the past case and the nature of the prediction target.
  • the prediction execution timing setting unit 223 sets the prediction execution timing 3 days before the prediction period.
  • the prediction execution timing is set based on the prediction period. For example, in the example of FIG. 16, since the prediction period is set to a period from 10 days ahead to 40 days ahead, the prediction execution timing is set 40 days before the prediction period.
  • step S203 the leak detection unit 224 determines whether or not there is data whose occurrence date and time or acquisition date and time is later than the predicted execution timing. For example, the leak detection unit 224 compares the generation date and time and acquisition date and time of each data in the construction data set with the predicted execution timing. Then, when at least one of the occurrence date and time and the acquisition date and time has data after the predicted execution timing, the leak detection unit 224 determines that the occurrence date and time or the acquisition date and time has data after the predicted execution timing, and processes the data. Proceeds to step S204.
  • step S204 the leak detection unit 224 determines that there is a possibility of a time-series leak. That is, the leak detection unit 224 determines that there is a possibility of a leak because the data whose occurrence date / time or acquisition date / time is later than the predicted execution timing does not occur or cannot be earned by the predicted execution timing. In this way, the possibility of a time-series leak is detected based on the relationship between the data generation date / time or acquisition date / time and the predicted execution timing.
  • step S203 when at least one of the occurrence date and time and the acquisition date and time does not have data after the predicted execution timing, the leak detection unit 224 does not have data whose occurrence date and time or acquisition date and time is later than the predicted execution timing. Is determined, the process of step S204 is skipped, and the process proceeds to step S205. That is, it is determined that the possibility of time-series leak is low.
  • step S205 the leak detection unit 224 determines the distinctiveness of each item in the data set. That is, the leak detection unit 224 determines whether or not each item of the data set includes identification information (for example, ID or the like) that can identify each record in the data set.
  • identification information for example, ID or the like
  • identification items are examples of the properties of items with distinctiveness (hereinafter referred to as identification items).
  • -The unique rate of the data in the item is 100% or close to 100%. -Include the character string "ID" in the item name. -Placed in the beginning of the dataset or in a column near the beginning. -It is not a date and time item. -Data is represented by a character string or an integer. -The unit cannot be attached to the data.
  • the leak detection unit 224 determines the distinctiveness of each item of the data set based on the rule base or the machine learning base based on the above-mentioned properties and the like.
  • step S206 the leak detection unit 224 determines whether or not the identification item exists based on the result of the process in step S205. If it is determined that the identification item exists, the process proceeds to step S207.
  • step S207 the leak detection unit 224 clusters the identification items. For example, the leak detection unit 224 performs clustering based on the Levenshtein distance when the data (identification information) of the identification item is represented by a character string.
  • the records in the construction data set are classified into multiple clusters based on the identification item (identification information).
  • step S208 the leak detection unit 224 examines the correlation between each cluster and the prediction target. For example, the leak detection unit 224 calculates the correlation coefficient between each cluster and the value to be predicted in the record included in each cluster.
  • step S209 the leak detection unit 224 determines whether or not there is a correlation between the identification item and the prediction target.
  • the correlation coefficient calculated in the process of step S208 is equal to or greater than a predetermined threshold value
  • the leak detection unit 224 determines that there is a correlation between the identification item and the prediction target, and the process proceeds to step S210.
  • step S210 the leak detection unit 224 determines that there is a possibility of an identification information leak.
  • the value of the identification information included in the identification item has no meaning other than uniquely identifying the record.
  • the identification information includes characters indicating the user's gender and the prediction target is the user's clothing purchase amount, it is assumed that there is some correlation between the gender and the clothing purchase amount. Therefore, in this case, it may be determined that there is a possibility of an identification information leak.
  • step S209 when the correlation coefficient calculated in the process of step S208 is less than a predetermined threshold value, the leak detection unit 224 determines that there is no correlation between the identification item and the prediction target, and skips the process of step S210. Then, the process proceeds to step S211. That is, it is determined that the possibility of the identification information leak is low.
  • step S206 If it is determined in step S206 that the identification item does not exist, the processing of steps S207 to S210 is skipped, and the processing proceeds to step S211.
  • step S211 the leak detection unit 224 determines whether or not the data set includes a category item.
  • the process proceeds to step S212.
  • step S212 the leak detection unit 224 performs group K partition cross-validation using groups divided by category.
  • the leak detection unit 224 divides the construction data set into a plurality of groups for each category item value (category value). Then, the leak detection unit 224 trains and verifies the prediction model by using each group as test data and the remaining groups as training data. As a result, the prediction accuracy of the prediction model when each group is used for the test data can be obtained.
  • the leak detection unit 224 determines whether or not there is a large difference in prediction accuracy between the groups. Specifically, the leak detection unit 224 compares the prediction accuracy of the prediction model when each group is used for the test data. For example, when there is a significant difference in the prediction accuracy of each group, the leak detection unit 224 determines that the difference in the prediction accuracy between the groups is large, and the process proceeds to step S214. Alternatively, for example, when the difference between the maximum value and the minimum value of the prediction accuracy of each group is equal to or greater than a predetermined threshold value, the leak detection unit 224 determines that the difference in prediction accuracy between the groups is large, and the process proceeds to step S214. move on.
  • step S214 the leak detection unit 224 determines that there is a possibility of a category leak. That is, while the data of the category item may contain useful information for predictive analysis, it is possible to solve the set problem with high accuracy based on the data of the category item with a simple rule base. There is sex. Since such a problem is practically meaningless, it is determined that the category item may be leaked.
  • step S213 the leak detection unit 224 determines that, for example, if there is no significant difference in the prediction accuracy between the groups, the difference in the prediction accuracy between the groups is small, and the processing in step S214 is skipped. The process proceeds to step S215.
  • the leak detection unit 224 determines that the difference in prediction accuracy between the groups is small, and the process of step S214 is performed. It is skipped and the process proceeds to step S215. That is, it is determined that the possibility of category leak is low.
  • step S211 If it is determined in step S211 that the data set does not include the category item, the processing of steps S212 to S214 is skipped, and the processing proceeds to step S215.
  • step S215 it is determined whether or not the construction data set is a time series data set, as in the process of step S151 of FIG. If it is determined that the construction data set is a non-time series data set, the process proceeds to step S216.
  • step S216 the leak detection unit 224 performs holdout verification and K-fold cross-validation.
  • the leak detection unit 224 performs holdout verification while maintaining the order (of records) of the construction data set. For example, as shown in FIG. 19, the leak detection unit 224 sets a predetermined ratio (for example, 80%) of records from the beginning of the construction data set as training data (train), and sets the remaining records for testing. It is set in the data (holdout), and the prediction model is trained and verified. As a result, the prediction accuracy of the prediction model is required.
  • a predetermined ratio for example, 80%
  • the leak detection unit 224 performs K-validation cross-validation while maintaining the order (of records) of the construction data set. For example, the leak detection unit 224 divides the construction data set into three groups (fold1 to fold3), as shown in FIG. Then, the leak detection unit 224 trains and verifies the prediction model by using each group as test data and the remaining groups as training data. As a result, the prediction accuracy of the prediction model when each group is used for the test data can be obtained.
  • step S217 the leak detection unit 224 determines whether or not there is a large difference between the result of the holdout verification and the result of the K division cross-validation. Specifically, the leak detection unit 224 compares the prediction accuracy in the holdout verification with the plurality of prediction accuracy when each group is used as the test data in the K-fold cross-validation.
  • the leak detection unit 224 determines the result of hold-out verification and the result of K-validation cross-validation. It is determined that the difference between the two is large, and the process proceeds to step S218.
  • the leak detection unit 224 calculates the difference between each prediction accuracy in K-fold cross-validation and the prediction accuracy in hold-out verification. Then, when the maximum value of the calculated difference in prediction accuracy is equal to or greater than a predetermined threshold value, the leak detection unit 224 determines that the difference between the result of holdout verification and the result of K-fold cross-validation is large, and processes the result. Proceeds to step S218.
  • step S2128 the leak detection unit 224 determines that there is a possibility of an order leak.
  • the constructed data set is a non-time series data set
  • predictive analysis is performed on the assumption that the tendency of the data does not change between the time of pre-evaluation and the time of actual operation.
  • the accuracy of the prediction model fluctuates greatly depending on how the training data is selected, that premise does not hold.
  • step S217 when there is no significant difference between each prediction accuracy in K-fold cross verification and the prediction accuracy in hold-out verification, the leak detection unit 224 sets the result of hold-out verification and the result of K-fold cross verification. It is determined that the difference between the two is small, the process of step S218 is skipped, and the process proceeds to step S219. That is, it is determined that the possibility of a sort order leak is low.
  • the leak detection unit 224 determines the result of the holdout verification and the K-validation cross-validation. It is determined that the difference between the result and the result is small, the process of step S218 is skipped, and the process proceeds to step S219. That is, it is determined that the possibility of a sort order leak is low.
  • step S215 If it is determined in step S215 that the construction data set is a time series data set, the processing of steps S216 to S218 is skipped, and the processing proceeds to step S219.
  • step S219 the leak detection unit 224 detects the possibility of an item name leak based on the item name of the data set.
  • the degree of difficulty in predicting or controlling each phenomenon is stored in a database in advance and stored in the storage unit 102.
  • the leak detection unit 224 matches the item name of each item of the construction data set with each phenomenon based on the rule base or the similarity of the distributed expression between words. Next, the leak detection unit 224 determines the degree of difficulty in predicting or controlling the phenomenon corresponding to each item of the construction data set based on the above-mentioned database. Then, the leak detection unit 224 determines that there is a possibility of a leak for an item corresponding to a phenomenon in which the difficulty level is equal to or higher than a predetermined threshold value.
  • the data set contains item names related to natural phenomena such as "temperature”, “weather”, and “seismic intensity”, and the prediction execution timing is one month or more ahead, this item is set. It is determined that there is a possibility of leakage.
  • the leak detection unit 224 detects the possibility of a domain leak based on the domain of the data set. For example, the leak detection unit 224 leaks the construction data set based on the domain of the entire construction data set (for example, sales, production control, personnel, etc.) and referring to past cases that tend to leak in each domain. Detect the possibility of.
  • step S108 the learning unit 156 learns the prediction model based on the problem setting and the construction data set as described above.
  • step S109 the evaluation unit 157 divides the data set into training data and test data as described above, and generates a prediction model using the training data.
  • the evaluation unit 157 evaluates the prediction model using the test data.
  • step S110 the prediction unit 158 predicts the business effect when the prediction model is introduced into the business, as described above.
  • step S111 the collection decision unit 159 determines items that may increase the business effect when added to the data set as proposal items based on past cases.
  • step S112 the contribution calculation unit 160 calculates the contribution of the feature amount of the test data as described above.
  • step S113 the display control unit 143 presents the processing result to the user.
  • the display control unit 143 causes the terminal device 11 to display an image showing the analysis processing result of FIG. 20.
  • the contribution of each item such as "last week's shipments", "day of the week", and "date” is displayed in a bar graph. Further, as described above, the contribution includes a positive value and a negative value. Therefore, the value obtained by combining the total value of the positive values and the total value of the negative values is displayed as a bar graph.
  • icons 331 to 333 indicating that there is a possibility of leakage are displayed for the items of "number of shipments last week", "temperature”, and "humidity” that are determined to have a possibility of leakage. There is.
  • the window 334 is displayed for the item of "Number of shipments last week” that was determined to have a possibility of leakage.
  • the "number of shipments last week” has a high possibility of leaking, the contribution is very high, and the reason why it is determined that the possibility of leaking is high is displayed.
  • the reason is that the "number of shipments last week" cannot be obtained one month ago (predicted execution timing).
  • the window 335 is displayed for the items of "temperature” and “humidity” that are determined to have a possibility of leakage.
  • “temperature” and “humidity” are displayed with a high possibility of leakage and the reason why it is determined that the possibility of leakage is high.
  • the reason is that it is difficult to obtain "temperature” and "humidity” one month before (predicted execution timing).
  • a window 336 is displayed at the bottom of the image.
  • window 336 there is an advantage that the prediction accuracy before and after removing the item that may leak, and the same prediction accuracy can be maintained in actual operation by removing the item that may leak. It is shown.
  • a menu is displayed for the user to select whether or not to apply automatic leak correction.
  • step S114 the information processing unit 142 determines whether or not to correct the data set or the problem setting.
  • the leak correction unit 225 determines in the window 336 of the image of FIG. 20 that the construction data set is corrected when the user selects to apply the automatic leak correction, and the process proceeds to step S115.
  • the leak correction unit 225 includes items in the construction data set in which the possibility of leakage is equal to or higher than a predetermined threshold value in the window 336 of the image of FIG. 20 even if the user does not select to apply the automatic leak correction. If so, it is determined that the construction data set is to be corrected, and the process proceeds to step S115.
  • the learning unit 156 determines that the construction data set or the problem setting is corrected when the command for correcting the construction data set or the problem setting is input via the terminal device 11, the learning unit 156 determines that the construction data set or the problem setting is corrected, and the process proceeds to step S115.
  • step S115 the information processing unit 142 corrects the data set or problem setting.
  • the leak correction unit 225 removes all the items that may leak from the construction data set when the user selects to apply the automatic leak correction.
  • the leak correction unit 225 removes items having a possibility of leakage of a predetermined threshold value or more from the construction data set when the user does not select the application of automatic leak correction.
  • the learning unit 156 corrects the construction data set or the problem setting according to the command.
  • step S106 the process returns to step S106, and the processes of steps S106 to S115 are repeatedly executed until it is determined in step S114 that the data set or the problem setting is not corrected.
  • the prediction model is trained and evaluated based on the corrected construction data set or problem setting.
  • step S114 if it is determined in step S114 that the data set and the problem setting are not corrected, the information processing ends.
  • the time prediction unit 151 may predict the processing time at the timing when the processing of each step is completed.
  • the information processing device 12 when the extraction unit 153 extracts a plurality of problem settings, the information processing device 12 repeatedly executes the processes of steps S105 to S115 for each problem setting to perform analysis processing for all the problem settings. You may want to do it.
  • a predictive analysis system that automates the process from problem setting to predictive analysis, such as information processing system 1
  • data collection and model tuning are performed in the direction of improving accuracy. Leaks are likely to occur.
  • items and data that may leak in the constructed data set can be automatically detected with high accuracy.
  • corrections for detected leaks can be made automatically or manually (manually).
  • each of the above configurations is an example, and the information processing system 1 may have any system configuration as long as it is possible to extract problem settings and construct a data set based on past cases and user data.
  • the information processing device 12 and the terminal device 11 may be integrated.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • feedback from each user regarding the detection result of the possibility of leakage may be accumulated in the user profile storage unit 123, and the correction method at the time of automatic leak correction may be personalized for each user.
  • the items to be removed from the construction data set at the time of automatic leak correction may be personalized for each user.
  • the possibility of the leak may be determined by integrating the possibility of the plurality of types of leaks described above.
  • the data set is a time-series data set in which records are arranged at predetermined time intervals, and the time-series predictive analysis processing is performed. Good.
  • the construction data set may be divided into a plurality of groups based on the values of items other than the category items, and group K division cross-validation may be performed. Further, for example, the construction data set may be divided into a plurality of groups based on the combination of the values of two or more items, and the group K division cross-validation may be performed.
  • step S216 of FIG. 18 only K-fold cross-validation is performed, and if the difference in prediction accuracy between groups in K-fold cross-validation is large, it is determined that there is a possibility of a sort order leak.
  • the possibility of a sort order leak may be detected based on the difference.
  • the prediction model may be trained using different construction data sets, and the actual prediction analysis may be performed using different prediction models for each prediction period. For example, when performing predictive analysis after 1 to 12 months, the prediction model is dynamically switched after 1 month, 2 to 4 months, 5 to 8 months, and 9 to 12 months. Predictive analytics may be performed.
  • an image displaying the detection result of the possibility of leakage for example, in addition to the items determined to have the possibility of leakage, for example, the data determined to have the possibility of leakage and the reason thereof. May be displayed.
  • FIG. 21 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of information processing devices such as the information processing device 12 and the terminal device 11.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 103 and the like by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 102.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing device including a leak detection unit that detects a possibility of leakage of the data set based on the nature of the data set used for learning a prediction model used for predictive analysis.
  • the leak detection unit detects the possibility of a leak in the data set based on the relationship between the generation date and time or acquisition date and time of the data included in the data set and the timing of performing predictive analysis. Information processing device.
  • the leak detection unit detects the possibility of leakage of the data set based on the correlation between the distinguishable identification item of the data set and the prediction target of the prediction analysis (1) to (3).
  • the information processing device according to any one of. (5)
  • the information processing device according to (4) above, wherein the leak detection unit determines that there is a possibility of a leak in the identification item when there is a correlation between the identification item and the prediction target.
  • the leak detection unit divides the data set into a plurality of groups according to the value of at least one item of the data set, and based on the result of performing group K division cross-validation, there is a possibility of data leakage of the item.
  • the information processing apparatus according to any one of (1) to (5) above.
  • the information processing device (7)
  • the leak detection unit detects the possibility of data leakage of the item based on the difference in prediction accuracy between the groups.
  • the leak detection unit divides the data set into training data and test data in a plurality of different patterns while maintaining the order of the data sets, and verifies the prediction model for each pattern.
  • the information processing apparatus according to any one of (1) to (7) above, which detects the possibility of leakage of the data set based on the above.
  • the information processing apparatus detects the possibility of leakage in the order of the data sets based on the difference in prediction accuracy between the patterns.
  • the information processing apparatus according to any one of (1) to (13), further comprising a leak correction unit that corrects the data set based on the detection result of the possibility of leakage of the data set.
  • the leak correction unit removes items that may leak from the data set.
  • the leak correction unit personalizes the correction method of the data set based on feedback from the user regarding the detection result of the possibility of leakage of the data set. .. (17)
  • One of the above (1) to (16) further including a separation unit that separates the data set into a plurality of series of time series data sets based on the degree of duplication of values of items related to the date and time in the data set. The information processing device described.
  • the information processing apparatus according to any one of (1) to (17), further comprising a resampling unit for resampling the data set based on the interval between the values of items related to the date and time in the data set.
  • Information processing device An information processing method that detects the possibility of leakage of the data set based on the properties of the data set used for learning the prediction model used for predictive analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本開示は、予測分析に対するユーザの満足度を向上させることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出するリーク検出部を備える。本技術は、例えば、機械学習モデル、又は、機械学習モデルを使用するためのＡＰＩを生成し、公開するシステムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本開示は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、予測分析に対するユーザの満足度を向上させるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　近年、ビジネスにおいて様々なデータが蓄積されるようになり、蓄積されたデータをビジネスに活用することの重要性が認識されるようになって久しい。データのビジネス活用の手法として、例えば機械学習を用いて過去のデータから将来の結果を予測する予測分析技術を利用した手法が知られている（例えば、特許文献１参照）。
特開２０１７－１６３２１号公報
　しかしながら、予測分析技術では、予測分析に用いる予測モデルの事前評価時の予測精度が高いにも関わらず、実運用時に期待した予測精度が得られず、ユーザの満足度が低下する場合がある。この主要な原因の１つとして、リーク（leakage）が考えられる。
　リークとは、予測時に利用できないデータを予測モデルの学習に用いること、又は、そのデータ自体を意味する。例えば、弁当の販売数を予測する場合、「その日に弁当が完売したか否か」というデータを学習に用いれば、予測モデルの予測精度が向上することが想定される。しかし、販売数を予測する目的は、数日前の時点で弁当の販売数を予測して製造数を決めることであり、完売したか否かという当日にならないとわからないデータは、実際には利用することができない。そのため、「その日に弁当が完売したか否か」というデータを学習に用いると、上述したように、事前評価時と実運用時とで予測モデルの予測精度の乖離が発生し、ユーザの満足度が低下するおそれがある。
　これに対して、特許文献１では、リークについて特に検討されていない。
　本開示は、このような状況に鑑みてなされたものであり、予測分析に対するユーザの満足度を向上させるようにするものである。
　本開示は、予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出するリーク検出部を備える。
　本開示によれば、予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性が検出される。
予測分析のビジネス導入を説明する図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る分析処理を模式的に示す図である。 本開示の実施形態に係る過去事例の一例を説明する図である。 本開示の実施形態に係るユーザデータの一例を説明する図である。 ユーザに提示する画像の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る過去事例記憶部の一例を示す図である。 本開示の実施形態に係る時系列処理部の構成例を示す図である。 本開示の実施形態に係るリーク検出補正部の構成例を示す図である。 本開示の実施形態に係る情報処理の手順を示すフローチャートである。 本開示の実施形態に係る時系列処理の手順を示すフローチャートである。 本開示の実施形態に係る構築データセットの例を示す図である。 図１３の構築データセットを系列毎に分離した例を示す図である。 図１３の構築データセットの予測対象の時系列のグラフの例を示す図である。 ユーザに提示する画像の一例を示す図である。 本開示の実施形態に係るリーク検出処理の手順を示すフローチャートである。 本開示の実施形態に係るリーク検出処理の手順を示すフローチャートである。 予測モデルの検証方法を説明するための図である。 ユーザに提示する画像の一例を示す図である。 情報処理装置や端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．背景
　　　１－２．実施形態に係る情報処理システムの構成例
　　　１－３．実施形態に係る情報処理の概要
　　　１－４．実施形態に係る情報処理装置の構成例
　　　１－５．実施形態に係る時系列処理部の構成例
　　　１－６．実施形態に係るリーク検出補正部の構成例
　　　１－７．実施形態に係る情報処理の手順
　　２．変形例
　　３．ハードウェア構成
＜１．実施形態＞
［１－１．背景］
　まず、本開示の実施の形態について詳細に説明する前に、本開示の実施形態の背景として、予測分析をビジネスに活用するためのワークフローについて説明する。
　予測分析をビジネス活用する場合、ユーザは、蓄積されたデータに基づいてどのような予測分析を行うかを決定する。さらにユーザは、決定した予測分析の実証実験を行うことで、予測分析を導入して得られるビジネス効果を評価する。このように、実証実験を行い予測分析によって得られるビジネス効果を評価することで、ユーザは効果が高い予測分析をビジネスに導入することができ、予測分析をビジネスにより活用することができる。
　実際に予測分析をビジネスに活用するためのワークフローとして、例えば図１に示すフローがあげられる。図１は、予測分析のビジネス導入を説明する図である。
　ステップＳ１において、ユーザは、蓄積されたデータにおいてどのデータを利用して何を予測するか問題設定を行う。例えば、問題設定には、「顧客の年収や総資産などのデータを利用して、ローンの貸し倒れが起こるか否かを予測する」ことや、「過去の売り上げや顧客の年齢層などのデータを利用して、将来の売り上げを予測する」ことなどがある。このように、ビジネス分野やユーザによって適切な問題設定が異なる。そのため、ユーザは例えば自身の知識や経験に基づいて問題設定を行う。
　ステップＳ２において、ユーザは、蓄積されたデータから問題設定に応じたデータセットを構築する。ユーザは、例えば蓄積されたデータから予測分析に用いるデータを抽出したり、予測分析に合わせてデータの解釈や構造化を行ったりして、データセットを構築する。データセットの構築にも例えばユーザの知識や経験が必要となる場合がある。
　ステップＳ３において、ユーザは、問題設定およびデータセットに基づき、予測モデルを生成する。予測モデルは一般的な機械学習を用いて生成する。この場合、ユーザは例えば既存の情報処理装置等を用いて予測モデルを生成することができる。
　ステップＳ４において、ユーザは、生成した予測モデルの精度を評価する。予測モデルの精度は、例えば曲線下面積（ＡＵＣ）やＡｃｃｕｒａｃｙなど、一般的な評価指標を用いて評価する。この場合、ユーザは例えば既存の情報処理装置等を用いて予測モデルの精度を評価することができる。
　ステップＳ５において、ユーザは、生成した予測モデルを用いた実証実験を行う。例えばユーザは、期間や地域など範囲を限定してデータを収集し、生成した予測モデルを用いてデータの予測分析を行う。ユーザは、分析結果に応じて例えば商品の仕入れや営業先を変更するなど、試験的に予測分析をビジネスに導入する。
　ステップＳ６において、ユーザは、実証実験の効果を測定する。ユーザは、例えば予測分析を試験導入した場合の売り上げと導入する前の売り上げとを比較するなど、実験前後のデータを比較することで効果を測定する。その後、ユーザは、実証実験の結果や測定した効果に応じて、実際のビジネスに予測分析を導入する。
　以上のように、実際のビジネスに予測分析を導入する場合、問題設定やデータセットの構築においてユーザの知識や経験が必要となり、導入のボトルネックとなってしまう可能性がある。また、実証実験にはコストがかかるため、予測分析のビジネス導入によってある程度の効果が得られる確証がないと実証実験に移りにくい。このように、実証実験への移行もハードルが高い傾向がある。
　本開示は、かかる点に着目し、情報処理装置が問題設定の抽出やデータセットの構築を含めた予測分析を行うようにしたものである。
［１－２．実施形態に係る情報処理システムの構成例］
　図２は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。情報処理システム１は、端末装置１１、及び、情報処理装置１２を備える。端末装置１１と情報処理装置１２とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。なお、情報処理システム１は、複数台の端末装置１１や、複数台の情報処理装置１２を備えていてもよい。
　端末装置１１は、ユーザによって利用される情報処理装置である。端末装置１１は、予測分析に関するサービスの提供に用いられる。端末装置１１は、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、端末装置１１は、ユーザに予測分析に関するサービスを提供し、情報を表示するディスプレイを有する構成であれば、どのような装置であってもよい。例えば、端末装置１１は、ノート型ＰＣ（Personal Computer）、デスクトップＰＣ、タブレット型端末、スマートフォン、携帯電話機、ＰＤＡ（Personal Digital Assistant）等の装置とされる。
　情報処理装置１２は、予測分析に関するサービスをユーザに提供するために用いられる。情報処理装置１２は、ユーザデータに基づく問題設定および予測分析評価の結果に関する情報を、ユーザに表示するように制御する情報処理装置である。情報処理装置１２は、問題設定および予測分析評価の結果に関する情報を示す画像を生成し、画像を端末装置１１へ提供する。
　また、情報処理装置１２は、端末装置１１の表示を制御する。すなわち、情報処理装置１２は、端末装置１１に表示する情報を提供するサーバ装置でもある。例えば、情報処理装置１２は、端末装置１１に制御情報を含む画像を送信することにより、端末装置１１の表示を制御する。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ等により記述される。
　なお、情報処理装置１２は、提供する画像等を表示するアプリケーションを端末装置１１に提供してもよい。また、情報処理装置１２から端末装置１１に提供されるアプリケーションそのものを制御情報とみなしてもよい。
［１－３．実施形態に係る情報処理の概要］
　以下、図３乃至図５を用いて情報処理装置１２が行う分析処理の概要について説明する。
　図３は、本開示の実施形態に係る分析処理を模式的に示す図である。図４は、本開示の実施形態に係る過去事例の一例を説明する図である。図５は、本開示の実施形態に係るユーザデータの一例を説明する図である。
　図３の例では、過去事例を参照してユーザデータを用いた予測分析を行う場合について説明する。ここで、ユーザデータとは例えばユーザが収集したデータである。ユーザデータには、例えば顧客情報や商品情報等の種々のデータが含まれる。ユーザはユーザデータを用いて例えば来月の売り上げ等、予測分析を行う。
　一般的に、ユーザデータを用いて予測分析を行う場合、「どのデータを用いて何を予測するか」という問題設定をユーザ自身が行う必要がある。予測分析の問題設定を行うにはユーザの知識と経験が求められる場合があり、ユーザにとって負担となる可能性がある。そこで、実施形態に係る分析処理では、過去事例を参照して予測分析の問題設定を自動で行い、ユーザの負担を軽減しようとするものである。
　ステップＳ１１において、情報処理装置１２は、過去事例を取得する。ここで、過去事例には、過去に行った予測分析の問題設定が含まれる。具体的には、過去事例には、過去に何を予測したかという予測対象（以下、過去対象ともいう）と、過去の予測にどのデータを用いたかという過去対象の予測分析に用いた分析データセット（以下、過去データセットともいう）と、が含まれる。
　ここで、図４を用いて過去事例の一例を説明する。図４に示すように、過去事例には例えば過去データセット３１が含まれる。過去データセット３１には、例えば「顧客ＩＤ」、「ローン額」、「ローン種別」、「勤続年数」および「貸し倒れ」が含まれる。また、図４では、「貸し倒れ」が過去対象であることを斜線で示している。このように、過去事例には、過去データセット３１と過去対象（ここでは「貸し倒れ」）とが含まれる。
　図３に戻り、ステップＳ１２において、情報処理装置１２は、ユーザデータを取得する。ここで、図５を用いてユーザデータの一例を説明する。ユーザデータは、ユーザが生成、収集したデータであり、予測分析のモデル生成等に用いるデータである。図５に示すユーザデータ４１には、例えば「顧客ＩＤ」、「ローン額」、「ローン種別」、「勤続年数」、「年収入」、「全口座残高」および「貸し倒れ」が含まれる。
　図３に戻り、ステップＳ１３において、情報処理装置１２は、取得した過去事例およびユーザデータ４１に基づいて予測対象を抽出する。情報処理装置１２は、例えば、過去事例からユーザに関連する過去対象を選択する。情報処理装置１２は、例えば所属部署や過去にユーザが行った予測分析など、ユーザに関する情報を用いて推薦システムを利用することで、過去対象を選択する。ここでは、情報処理装置１２が過去事例から図４に示す過去データセット３１の「貸し倒れ」を過去対象として選択したものとする。
　情報処理装置１２は、選択した過去対象と同じ項目を、今回予測分析を行う予測対象（以下、抽出対象ともいう）としてユーザデータ４１から抽出する。図４の例では、情報処理装置１２が選択した過去対象は「貸し倒れ」である。したがって、情報処理装置１２は、図５に示すユーザデータ４１から「貸し倒れ」を予測対象として抽出する。図５では、抽出対象である「貸し倒れ」を斜線で示している。なお、抽出対象の抽出方法の詳細は、図７を用いて後述する。
　図３に戻り、ステップＳ１４において、情報処理装置１２は、ユーザデータ４１に基づいて抽出対象の予測分析に用いるデータセット（以下、構築データセットともいう）を構築する。情報処理装置１２は、例えば抽出対象に関連する項目を構築データセットとして抽出する。例えば、情報処理装置１２は、図５に示すユーザデータ４１から「顧客ＩＤ」、「ローン額」、「ローン種別」、「勤続年数」および「貸し倒れ」を抽出し構築データセットを生成する。
　なお、ここでは、情報処理装置１２が、図５に示すユーザデータ４１の一部を含むデータセットを構築するとしたが、これに限定されない。ユーザデータ４１全てを含むデータセットを構築してもよい。なお、データセットの構築方法の詳細は、図７を用いて後述する。
　図３に戻り、ステップＳ１５において、情報処理装置１２は、抽出対象および構築データセットに基づいて予測モデルを学習する。情報処理装置１２は、構築データセットのデータのうち予測対象（抽出対象）を除くデータを特徴ベクトルに変換する。情報処理装置１２は、特徴ベクトルと抽出対象とに基づき、機械学習によって、分類または回帰問題を解くことで予測モデルを生成する。
　ステップＳ１６において、情報処理装置１２は、生成した予測モデルを評価することで、予測分析の精度を評価する。情報処理装置１２は、予測モデルと構築データセットとを用いて、予測モデルを評価する。なお、評価指標は、例えば分類分析の場合はＡＵＣやＡｃｃｕｒａｃｙ、回帰分析の場合はＭＡＥ（Mean Absolute Error）など、分析手法に応じて選択される。
　ステップＳ１７において、情報処理装置１２は、抽出対象と評価結果とを含む抽出情報をユーザに提示する。ここで、図６を用いて抽出情報のユーザへの提示例について説明する。図６は、情報処理装置１２の制御により、端末装置１１においてユーザに提示される画像の一例を示す図である。
　図６に示すように、情報処理装置１２は、問題設定および評価結果の組み合わせをユーザに提示する。図６では、情報処理装置１２が複数の問題設定を抽出する場合の抽出結果を表示している。この場合、情報処理装置１２は画像ＩＭ１のように問題設定および評価結果の組み合わせを一覧にして表示する。
　これにより、ユーザは、例えば評価結果を参考にして情報処理装置１２が提示した問題設定で予測分析を行うか否かを決定することができる。
　なお、情報処理装置１２がユーザに提示する内容は、問題設定および評価結果に限定されない。情報処理装置１２が、構築データセット、抽出対象および評価結果の少なくとも１つをユーザに提示するようにしてもよい。あるいは、予測分析を行った場合に得られる効果等、ユーザが問題設定を選択する場合の参考情報を、情報処理装置１２が提示するようにしてもよい。
　以上のように、情報処理装置１２が問題設定を抽出することで、ユーザは、問題設定を行わなくてよく、より容易に予測分析を行うことができるようになる。また、情報処理装置１２が予測分析の精度評価を行うことで、ユーザは、精度評価に基づき、実行する予測分析を選択することができ、より容易に精度の高い予測分析を行うことができる。
［１－４．実施形態に係る情報処理装置の構成例］
　次に、図７を用いて、図２の情報処理装置１２の構成例について説明する。
　情報処理装置１２は、通信部１０１、記憶部１０２、及び、制御部１０３を備える。なお、情報処理装置１２は、情報処理装置１２の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を備えていてもよい。
（通信部）
　通信部１０１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１０１は、ネットワークＮと有線または無線で接続され、端末装置１１や外部サーバ等の他の情報処理装置との間で情報の送受信を行う。
（記憶部）
　記憶部１０２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１０２は、図７に示すように、過去事例記憶部１２１、ユーザデータ記憶部１２２、及び、ユーザプロファイル記憶部１２３を備える。なお、図示を省略するが、記憶部１０２は、端末装置１１に提供する画像の基となる画像等の種々の情報を記憶してもよい。
（過去事例記憶部）
　過去事例記憶部１２１は、過去事例を記憶する。過去事例には、過去に行った予測分析に関する情報が含まれる。過去事例記憶部１２１は、例えば過去に予測分析をビジネス導入した際の事例を記憶する。なお、過去事例は、情報処理装置１２が保持せずに、外部サーバ等から適宜取得してもよい。
　図８は、過去事例記憶部１２１の一例を示す図である。過去事例記憶部１２１は、例えば、「問題設定」、「データセット」、「収集コスト」、「予測モデル」、「モデル評価結果」、「実証実験」、「ビジネス効果」等に関する情報を事例ごとに記憶する。過去事例記憶部１２１は、過去事例Ａ、Ｂ、・・・というように、複数の過去事例を記憶する。
　「問題設定」は、予測分析で何のデータを使用して何を予測したかを示す情報である。「問題設定」には、例えば、「何のデータを使用したか」という複数の「使用項目」（説明変数）と、「何を予測したか」という１つの「予測対象」（目的変数）が含まれる。例えば、上述した図４に示す例では、斜線で示す項目が予測対象であり、残りの項目が使用項目である。
　「データセット」は、予測モデルの学習に用いた過去データセットである。例えば、「データセット」は、「入力データ」と「正解データ」とを含むデータセットである。例えば、図４に示す過去データセット３１が、かかる「データセット」に相当する。
　「収集コスト」は、予測分析で使用したデータの収集にかかったコストである。「収集コスト」には、例えば項目ごとにデータの収集にかかった期間や費用などが含まれる。
　「予測モデル」は、記憶する「問題設定」および「データセット」を用いて生成した過去の予測モデル（以下、過去モデルともいう）である。「予測モデル」は、例えば機械学習によって、分類または回帰問題を解くことで生成されたモデルである。
　「モデル評価結果」は、記憶する「予測モデル」の精度評価の結果である。「モデル評価結果」には、ＡＵＣやＡｃｃｕｒａｃｙなどの評価指標による評価結果が含まれる。
　「実証実験」は、予測分析のビジネス導入のために行った実証実験の内容や結果に関する情報である。「実証実験」には、例えば、実験を行った期間や範囲、実験に使用したデータ、実験によって得られた効果や、実験にかかった費用などの情報が含まれる。
　「ビジネス効果」は、予測分析をビジネス導入した後に得られたビジネス効果に関する情報である。「ビジネス効果」には、例えば、向上した売上額などの利益額や、削減した人件費などの経費削減額といった情報が含まれる。
　このように、図８に示した例では、過去事例記憶部１２１は、過去に予測分析をビジネス導入した場合の種々の情報を、複数の過去事例ごとに記憶する。なお、上述した過去事例は一例であり、過去事例記憶部１２１は、「問題設定」および「データセット」を記憶していれば、例えば「収集コスト」や「モデル評価結果」、「実証実験」等、一部の情報を記憶していなくてもよく、あるいは上述した情報以外の情報を記憶してもよい。
（ユーザデータ記憶部）
　図７に戻り、ユーザデータ記憶部１２２について説明する。ユーザデータは、ユーザが作成または収集した種々のデータである。ユーザデータのデータ形式には、例えば下記に挙げるように多岐に渡る形式が想定される。
・テキスト－単語、文章、ＨＴＭＬ（HyperText Markup Language）など
・メディア－ＲＧＢ画像、深度画像、ベクタ画像、動画、音声など
・複合文書－オフィス文書、ＰＤＦ、Ｗｅｂページ、電子メールなど
・センサデータ－現在位置、加速度、心拍数など
・アプリケーションデータ－起動ログ、処理中のファイル情報など
・データベース－リレーショナルデータベース、キーバリューストアなど
　なお、ユーザデータは、情報処理装置１２に保持されずに、端末装置１１や外部サーバ等から適宜取得されてもよい。また、ユーザデータは、カメラやセンサ等から直接取得した生データであってもよく、あるいは、生データに特徴量抽出等の処理を行った処理データであってもよい。あるいは、ユーザデータは、生データや処理データの認識処理を行った認識結果であるメタデータを含んでいてもよい。
（ユーザプロファイル記憶部）
　次に、ユーザプロファイル記憶部１２３について説明する。ユーザプロファイル記憶部１２３は、ユーザに関するプロファイル情報を記憶する。プロファイル情報は、例えばユーザ情報やユーザ事例情報を含む。
　ユーザ情報は、ユーザに関する情報であり、例えばユーザＩＤやユーザが所属する会社名、部署、業界等に関する情報を含む。ユーザ情報に、例えばウェブサイトやデータベースの検索履歴やウェブサイトの閲覧履歴、メールやオフィス文書に含まれるキーワードなど、ユーザの興味や関心に関連する情報を含めてもよい。
　また、ユーザ事例情報は、ユーザが行った過去の予測分析に関する情報を含む。ユーザ事例情報には、例えばユーザが過去に行った予測分析に関する情報やユーザが携わった過去事例に関する情報などが含まれる。なお、かかる予測分析はユーザ自身が行ったものであってもよく、ユーザが所属する部署や会社が行ったものであってもよい。
（制御部）
　制御部１０３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１２内部に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１０３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable GateArray）等の集積回路により実現される。
　制御部１０３は、取得部１４１、情報処理部１４２、及び、表示制御部１４３を備える。情報処理部１４２は、時間予測部１５１、解釈部１５２、抽出部１５３、時系列処理部１５４、リーク検出補正部１５５、学習部１５６、評価部１５７、予測部１５８、収集決定部１５９、及び、寄与度算出部１６０を備える。
　なお、制御部１０３の内部構造は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１０３が有する各処理部の接続関係は、図７に示した接続関係に限られず、他の接続関係であってもよい。
（取得部）
　取得部１４１は、記憶部１０２から各種情報を取得する。例えば、取得部１４１は、過去事例記憶部１２１から複数の過去事例を取得する。例えば、取得部１４１は、ユーザデータ記憶部１２２からユーザデータを取得する。例えば、取得部１４１は、ユーザプロファイル記憶部１２３からプロファイル情報を取得する。なお、取得部１４１は、過去事例記憶部１２１、ユーザデータ記憶部１２２およびユーザプロファイル記憶部１２３に代えて、外部サーバや端末装置１１等から各種情報を取得してもよい。
（時間予測部）
　時間予測部１５１は、取得部１４１がデータの取得を開始してから問題設定抽出等の処理結果をユーザに提示するまでに制御部１０３が行う分析処理にかかる時間を予測する。
　例えば、時間予測部１５１は、取得部１４１が所定時間（例えば１秒）に取得したユーザデータ（以下、一部データともいう）を用いて、問題設定の抽出や学習、評価等の分析処理を行う。分析処理は、取得部１４１がデータの取得を開始してから処理結果をユーザに提示するまでに制御部１０３の各部が行う処理であり、詳細は後述する。
　そして、時間予測部１５１は、一部データを用いて行った分析処理の処理時間を計測する。時間予測部１５１は、計測した処理時間に基づき、分析処理にかかる時間（予測処理時間）を予測する。詳しくは、時間予測部１５１は、予測処理時間＝（計測した処理時間）＊（ユーザデータのサイズ／一部データのサイズ）として、予測処理時間を算出する。
　分析処理は、ユーザデータの種類やサイズによって数時間以上、場合によっては数日かかることもある。そのため、分析処理にかかる時間を知りたいというユーザの要望がある。そこで、時間予測部１５１は、一部データを用いて予測処理時間を算出する。これにより、分析処理にかかる時間の見積もりをユーザに提示することができる。このとき、予測処理時間の算出に使用するデータのサイズを、例えば１秒で取得できるサイズに限定することで、予測処理時間の算出にかかる時間を短時間に抑えることができる。
　また、時間予測部１５１は、単にユーザデータのサイズから予測処理時間を算出するのではなく、実際に一部データを用いた分析処理を実行して予測処理時間を算出する。ユーザデータのサイズは容易に取得できるが、予測分析にかかる時間はユーザデータのサイズだけでなく、データの性質に依存する。そのため、時間予測部１５１が、実際に処理を実行して予測処理時間を算出することで、予測処理時間の予測精度を向上させることができる。
　なお、ここでは、時間予測部１５１が、所定時間に取得した一部データを用いて予測処理時間を算出するとしたが、これに限定されない。例えば、時間予測部１５１が所定サイズ（例えば１００行～２０００行）の一部データを用いて予測処理時間を算出してもよい。
　あるいは、時間予測部１５１が、予め用意してある学習済みの処理時間予測モデルを用いて予測処理時間を予測するようにしてもよい。この場合、時間予測部１５１は、例えば、一部データから項目数（列数）、各項目の欠損率、各項目のデータ型（文字列／数値／日付等）、機械学習の種類（二値分類／多値分類／回帰等）などの情報を抽出する。時間予測部１５１は、抽出した情報を用いて、学習済みの処理時間予測モデルによって、予測処理時間を予測する。
　また、時間予測部１５１は、一定時間の経過や各部の処理が終了したタイミングなど、所定のタイミングで予測処理時間を更新してもよい。時間予測部１５１は、一部データを用い、所定のタイミングでまだ終了していない処理を実行する。時間予測部１５１は、実行した処理にかかった時間に基づき、予測処理時間を再度算出することで、予測処理時間を更新する。
　なお、予測処理時間の更新に用いる一部データは、更新前の予測処理時間の算出に用いた一部データと同じであってもよく、今回の更新時に改めて取得したユーザデータであってもよい。例えば、後述する解釈部１５２で、全てのユーザデータに対して構造化処理を行った場合、構造化処理を行った全てのユーザデータの中から所定サイズのユーザデータを取得して一部データとしてもよい。
（解釈部）
　解釈部１５２は、取得部１４１がユーザデータ記憶部１２２から取得したユーザデータを解析し、構造化する。まず、解釈部１５２が行うデータ解析について説明する。
　上述したように、ユーザデータには種々のデータ形式が含まれる。解釈部１５２は、例えばデータの種類ごとに認識器（図示省略）を用いてユーザデータを解析する。認識器は、例えば記憶部１０２に記憶されているものとする。
　具体的に、解釈部１５２は、例えばユーザデータに含まれる画像データに対して画像用の認識器を用いて画像の中から顔／文字列／一般物体などを検出する認識処理を行う。例えば、画像データが商品購入を示すレシートの画像であった場合、解釈部１５２は、画像に付与されたデータから、ユーザＩＤ（端末ＩＤ）、撮影場所、撮影時刻などを検出する。また、解釈部１５２は、画像から文字列を検出し、電話番号、会社名、購入商品、商品の値段、合計額、支払方法（現金／クレジット／電子マネー／ＱＲコード（登録商標）決済など）などを認識する。解釈部１５２は、認識結果をメタデータとして生データであるユーザデータに付与する。
　画像データ以外でも、解釈部１５２は、例えばユーザデータに含まれる音声データに対して音声用の認識器を用いて話者を認識し、発話内容をテキスト化する。あるいは、加速度データに対して、解釈部１５２は、時刻ごとにユーザの移動行動（徒歩／自転車／電車など）を認識する。また、テキストデータに対して、解釈部１５２は、表記ゆれの補正や類義語辞書を用いた類似表現の追加を行う。このように、解釈部１５２は、ユーザデータをデータの種類ごとに解析し、メタデータを付与する。
　上述した例では、解釈部１５２が１つの認識器を用いて１つのデータを認識する場合について説明したが、例えば解釈部１５２が１つのデータに対して複数の認識器を用いて認識を行うようにしてもよい。例えば音声データを認識する場合、解釈部１５２は、まず音声データをテキストデータに変換し、変換後のテキストデータを多言語に翻訳する。続いて、解釈部１５２は、翻訳したテキストデータの表記ゆれを補正したり、類似表現の追加を行ったりする。このように、解釈部１５２は認識器を多段に使用してユーザデータを認識してもよい。
　なお、上述したデータ認識は一例であり、解釈部１５２は、種々の既知の技術に基づき、ユーザデータを認識してもよい。
　続いて、解釈部１５２は、解析結果に基づいてユーザデータを構造化する。解釈部１５２は、テンプレートを用いてユーザデータに付与されたメタデータの構造化を行う。テンプレートは、予測分析に特化したものであり、例えば複数のテンプレートを記憶部１０２が予め記憶しているものとする。
　解釈部１５２は、メタデータが付与されたユーザデータが入力されると、データを最も適合するテンプレートに当てはめることでデータの構造化を行う。
　例えば、「ユーザ」という概念が「年齢」、「性別」という概念を持ち、「商品」という概念が「価格」という概念を持つとする。「ユーザ」と「商品」は「購入」という関係を持ち、「購入」という概念は「購入日時」という概念を持つとする。例えばこのようなデータ構造のテンプレートを用いて、解釈部１５２は非構造化データであるメタデータを構造化する。
　さらに、解釈部１５２が、メタデータを新たに付与してもよい。ここで付与したメタデータは、問題設定を抽出する際に利用される。例えば、解釈部１５２が、レシート画像に付与された「商品名」から「食費」や「生活雑費」のような上位カテゴリをメタデータとして付与してもよい。
　なお、上述した構造化は一例であり、解釈部１５２は、種々の既知の技術に基づき、ユーザデータの構造化を行ってもよい。また、上述したテンプレートや上位カテゴリは一例であり、解釈部１５２は、予測分析に特化した種々のテンプレートやカテゴリ、メタデータを用いてユーザデータの構造化を行ってもよい。また、ユーザデータ記憶部１２２が記憶するユーザデータがすでに構造化されている場合は、解釈部１５２の処理を省略してもよい。
　このように、解釈部１５２がユーザデータの解析、構造化を行うことで、ユーザの負担を軽減することができる。
（抽出部）
　続いて、抽出部１５３は、解釈部１５２が構造化したユーザデータ（以下、構造化データともいう）および取得部１４１が取得した過去事例に基づき、予測分析における問題設定を抽出する。問題設定は「何のデータ項目を使用するか」という複数の「使用項目」（説明変数）と、「何を予測するか」という１つの「予測対象」（目的変数）とを含む。
　抽出部１５３は、過去事例に基づき、構造化データから「予測対象」を抽出する。抽出部１５３は、例えば、過去事例に含まれる過去対象と同じ項目（変数）を構造化データから「予測対象」として抽出する。
　このとき、抽出部１５３は、例えばプロファイル情報に基づき、ユーザと関連がある、あるいはユーザの関心が高いと考えられる「予測対象」を抽出する。例えば、ユーザが商品販売に関するビジネスを行っている場合、「売り上げ」予測に対する関心が高いと考えられる。そこで、この場合、抽出部１５３は、「売り上げ」を予測対象として抽出する。
　具体的に、抽出部１５３は、例えばプロファイル情報に基づき、推薦システムを用いて過去事例の過去対象から候補を抽出する。抽出部１５３は、抽出した候補の中からユーザデータにも含まれる項目を問題設定の「予測対象」とする。推薦システムには、例えばランキング学習や内容ベースフィルタリング、協調フィルタリング、あるいはこれらを組み合わせたシステムが含まれる。
　なお、抽出部１５３が複数の「予測対象」を抽出してもよい。例えば、ランキング学習のように過去対象がランキング形式で複数抽出される場合、抽出部１５３は、ランキング上位から所定数の「予測対象」を抽出する。このように、抽出部１５３が複数の「予測対象」を抽出することで、抽出部１５３は、ユーザに関係する「予測対象」を幅広く抽出することができる。
　抽出部１５３は、抽出した「予測対象」（抽出対象）ごとに複数の「使用項目」を抽出する。抽出部１５３は、構造化データの中から抽出対象に関連する項目（変数）を「使用項目」（説明変数）に設定する。抽出部１５３は、抽出対象に少しでも関連する項目を「使用項目」に設定してもよい。この場合、情報処理装置１２は、抽出後の処理である予測モデル学習において学習の精度を向上させることができる。あるいは、抽出部１５３は、抽出対象に関連が高いものから順に所定数の項目を「使用項目」に設定してもよい。この場合、情報処理装置１２は、予測モデル学習における処理負荷を低減させることができる。
　抽出部１５３は、抽出した「予測対象」及び「使用項目」（以下、抽出項目ともいう）に基づいてデータセットを構築する。抽出部１５３は、構造化データから予測対象及び抽出項目に該当するデータを抽出することで、データセットを構築する。このように、抽出部１５３がデータセットを構築することで、ユーザが問題設定に応じたデータセットを構築する必要がなく、ユーザの負担を軽減することができる。
　上述したように、抽出部１５３が、例えば複数の問題設定を抽出するようにしてもよい。この場合、抽出部１５３は、「予測対象」と、「予測対象」に対応する複数の「使用項目」との組み合わせを複数抽出する。また、抽出部１５３は、抽出した問題設定に応じたデータセットを構築する。したがって、抽出部１５３は、複数の問題設定を抽出した場合、各問題設定に対応するデータセットを複数構築する。このように、抽出部１５３がデータセットを構築することで、問題設定が複数ある場合でもユーザは対応するデータセットをそれぞれ構築する必要がなく、ユーザの負担を低減することができる。
（時系列処理部）
　時系列処理部１５４は、抽出部１５３により構築された構築データセットが時系列のデータセット（以下、時系列データセットと称する）である場合、時系列データセットの日時のリサンプリングを行う。例えば、時系列処理部１５４は、時系列データセットのサンプリング間隔（時間間隔）を補正したり、予測対象の欠損値を補間したりする。
　また、時系列処理部１５４は、構築データセットが複数の異なる系列の時系列データセットを含む場合、系列毎に時系列データセットを分離し、分離した系列毎に時系列データセットの日時のリサンプリングを行う。
　さらに、時系列処理部１５４は、構築データセットが時系列データセットである場合、予測対象の値の傾向が大きく変化する変化点の検出を行い、変化点に基づいて構築データセットを分割する。
　なお、時系列処理部１５４の詳細な構成例については、図９を用いて後述する。
（リーク検出補正部）
　リーク検出補正部１５５は、構築データセットの性質、及び、過去事例記憶部１２１に記憶されている過去事例等に基づいて、構築データセットのリークの可能性の検出を行う。また、リーク検出補正部１５５、必要に応じて、検出したリークの可能性に基づいて、構築データセットを補正する。
　なお、リーク検出補正部１５５の詳細な構成例については、図１０を用いて後述する。
（学習部）
　学習部１５６は、抽出部１５３が抽出した問題設定と、抽出部１５３が抽出した構築データセット又はリーク検出補正部１５５により補正された構築データセットとに基づき、予測モデルを学習する。抽出部１５３が複数の問題設定を抽出する場合、学習部１５６は複数の問題設定それぞれに対応する予測モデルを学習する。
　学習部１５６は、構築データセットを学習用データとテスト用データに分割する。学習部１５６は、学習用データを特徴ベクトルに変換する。学習部１５６は、特徴ベクトルと予測対象に基づき、機械学習によって、例えば分類または回帰問題を解くことで、予測モデルを生成する。なお、上述した機械学習は一例であり、学習部１５６は、種々の既知の技術に基づき、予測モデルを学習してもよい。
　ここでは、学習部１５６が構築データセットを分割するとしたが、これは一例であり、例えば抽出部１５３が学習用データセットとテスト用データセットのそれぞれを構築するようにしてもよい。
（評価部）
　評価部１５７は、学習部１５６が生成した予測モデルを評価する。学習部１５６が複数の予測モデルを生成する場合、評価部１５７は複数の予測モデルそれぞれについて評価を行う。
　評価部１５７は、予測モデルおよびテスト用データに基づき、評価指標を用いて予測モデルを評価する。評価指標は、例えば二値分類であればＡＵＣ、多値分類であればＡｃｃｕｒａｃｙ、回帰であればＭＡＥなどである。なお、上述した評価指標は一例であり、評価部１５７は、種々の既知の技術に基づき、予測モデルの評価を行ってもよい。例えばユーザが評価指標を指定してもよい。
（予測部）
　予測部１５８は、予測モデルをビジネスに導入した場合のビジネス効果を予測する。学習部１５６が複数の予測モデルを生成する場合、予測部１５８は複数の予測モデルをビジネスに導入した場合のビジネス効果（以下、予測効果ともいう）をそれぞれ予測する。
　予測部１５８は、過去事例記憶部１２１から、抽出部１５３が抽出した抽出対象と同じ項目を過去対象とする過去事例を選択する。予測部１５８は、選択した過去事例に含まれる「ビジネス効果」を新たな「予測対象」（以下、効果予測対象ともいう）として予測分析を行う。
　具体的に、まず予測部１５８は、「ビジネス効果」を「効果予測対象」に設定する。次に、予測部１５８は、過去事例から「ビジネス効果」に関連する項目を「使用項目」に設定する。なお、予測部１５８は、例えば過去事例および構造化したユーザデータ（あるいは構築データセット）の両方に含まれる項目の中から「使用項目」を設定するようにしてもよい。
　予測部１５８は、過去事例から「使用項目」に該当するデータを抽出することで、データセット（以下、効果学習データセットともいう）を構築する。予測部１５８は、効果予測データセットおよび「効果予測対象」に基づき、機械学習によって、例えば回帰問題を解くことで、予測モデル（以下、効果予測モデルともいう）を生成する。
　続いて、予測部１５８は、構造化したユーザデータから「使用項目」に該当するデータを抽出してデータセット（以下、効果予測データセットともいう）を構築する。予測部１５８は、効果予測データセットおよび生成した効果予測モデルに基づき、学習部１５６が生成した予測モデルをビジネス導入した場合のビジネス効果を予測する。
　なお、上述した手法は一例であり、予測部１５８は、種々の既知の技術に基づき、ビジネス効果を予測してもよい。また、予測部１５８が行う効果予測データセットの構築や効果予測モデルの学習等を抽出部１５３や学習部１５６の一部の機能を用いて実行するようにしてもよい。
（収集決定部）
　収集決定部１５９は、抽出した問題設定ごとに、過去事例およびユーザデータに基づき、ユーザに収集を提案するデータ項目（以下、提案項目ともいう）を決定する。問題設定が複数ある場合、収集決定部１５９は複数の問題設定ごとに提案項目を決定する。なお、収集決定部１５９が１つの問題設定に対して複数の提案項目を決定してもよい。
　収集決定部１５９は、過去事例のデータセット（過去データセット）と、抽出部１５３が構築したデータセット又はリーク検出補正部１５５が補正したデータセット（構築データセット）とを比較する。収集決定部１５９は、過去データセットに含まれ、構築データセットに含まれない「使用項目」（以下、「未収集項目」ともいう）を抽出する。
　まず、収集決定部１５９は、過去事例において、「未収集項目」を使用しなかった場合のビジネス効果を予測する。具体的には、収集決定部１５９は、「未収集項目」を除く過去データセットを利用して予測モデルを学習し、予測モデルの精度を評価する。収集決定部１５９は、評価した予測精度でのビジネス効果を改めて算出する。なお、ここでの予測モデルの学習、評価およびビジネス効果の算出は、学習部１５６、評価部１５７および予測部１５８の処理と同様であるため、説明を省略する。
　収集決定部１５９は、算出したビジネス効果に基づき、効果が減少した「未収集項目」を提案項目に決定する。
　なお、収集決定部１５９が複数の「未収集項目」を抽出する場合、収集決定部１５９は、「未収集項目」ごとにビジネス効果を再算出する。そして、収集決定部１５９は、ビジネス効果の減少量が最も大きい「未収集項目」を提案項目に決定する。あるいは、収集決定部１５９は、ビジネス効果の減少量が閾値以上の「未収集項目」を提案項目に決定してもよく、あるいは所定数の「未収集項目」を提案項目に決定してもよい。
　また、データ収集にかかった「収集コスト」が過去事例に含まれる場合、収集決定部１５９は、改めて算出したビジネス効果と収集コストに基づき、提案項目を決定してもよい。この場合、収集決定部１５９は、予測部１５８が「未収集項目」を含めて算出したビジネス効果から収集コストを引いた導入効果と「未収集項目」を含めず算出したビジネス効果との差を算出する。収集決定部１５９は、算出した差が大きい「未収集項目」を提案項目に決定する。
　このように、収集決定部１５９がデータの「収集コスト」も含めて提案項目を決定することで、情報処理装置１２は、収集コストが低くデータの収集が容易である未収集項目を優先してユーザに提案することができる。あるいは、情報処理装置１２は、収集コストは高いが使用するとビジネス効果が大きい未収集項目のデータ収集をユーザに提案することができる。
　なお、ここでは、収集決定部１５９が「未収集項目」を使用しなかった場合の予測モデルの学習、精度評価およびビジネス効果の算出を行うとしたが、これに限定されない。例えば、学習部１５６、評価部１５７および予測部１５８がそれぞれ予測モデルの学習、精度評価およびビジネス効果の算出を行うようにしてもよい。この場合、収集決定部１５９は、各部の結果に基づき、提案項目を決定する。
　また、ここでは、収集決定部１５９がビジネス効果に基づいて提案項目を決定するとしたが、これに限定されない。収集決定部１５９が、例えば予測モデルの評価結果に基づいて提案項目を決定するようにしてもよい。この場合、収集決定部１５９は、「未収集項目」を使用せずに学習した予測モデルの精度を評価し、評価の減少量が少ない「未使用項目」を提案項目に決定する。
（寄与度算出部）
　寄与度算出部１６０は、学習部１５６で学習した予測モデルに入力されるテスト用データの特徴量のうち、どの特徴量がどれだけ予測結果に寄与するかを示す寄与度を算出する。具体的に、寄与度算出部１６０は、寄与度の算出対象とする特徴量を予測モデルの入力から除去して、除去する前後での予測結果の変化に基づいて寄与度を算出する。
　ここで、寄与度算出部１６０が算出する寄与度には、正の値と負の値とが含まれる。寄与度が正の値であることは、特徴量の集合が予測に対して正に寄与する、すなわち予測モデルによって予測される予測確率を向上させることを意味する。また、寄与度が負の値であることは、特徴量の集合が予測に対して負に寄与する、すなわち予測モデルによって予測される予測確率を低下させることを意味する。
　また、寄与度算出部１６０は、寄与度を算出した特徴量が、特徴量の集合（項目）に占める割合を算出する。算出した割合が低いと、寄与度が高くても滅多に発生しないケースであり、ユーザにとっての利用価値が低くなる。そこで、本開示の実施形態では、寄与度算出部１６０が寄与度を算出した特徴量の割合を算出し、かかる割合もユーザに提示する。これにより、ユーザは、発生度合いも考慮して、データの寄与度を確認することができる。
　なお、ここでは、予測部１５８、寄与度算出部１６０および収集決定部１５９がそれぞれビジネス効果、寄与度を算出し、提案項目を決定するとしたが、これら全てを算出／決定する必要はない。例えば、寄与度算出部１６０が寄与度を算出するようにし、予測部１５８によるビジネス効果の算出および収集決定部１５９による提案項目の決定を省略してもよい。あるいは、寄与度算出部１６０による寄与度の算出および予測部１５８によるビジネス効果の算出を行うようにし、収集決定部１５９による提案項目の決定を省略してもよい。また、算出／決定する処理をユーザが選択できるようにしてもよい。
（表示制御部）
　表示制御部１４３は、各種情報の表示を制御する。表示制御部１４３は、端末装置１１における各種情報の表示を制御する。表示制御部１４３は、表示態様を制御する制御情報を含む画像を生成する。この制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）やＣＳＳ等のスクリプト言語により記述される。表示制御部１４３は、上記のような制御情報を含む画像を端末装置１１に提供することにより、制御情報にしたがって端末装置１１に上述した表示処理を行わせる。なお、表示制御部１４３は、上記に限らず、種々の従来技術を適宜用いて、端末装置１１の表示を制御してもよい。
［１－５．実施形態に係る時系列処理部の構成例］
　図９は、図７の時系列処理部１５４の構成例を示している。
　時系列処理部１５４は、分離部２０１、リサンプリング部２０２、及び、変化点検出部２０３を備える。
（分離部）
　分離部２０１は、構築データセットが複数の異なる系列の時系列データセットを含む場合、系列毎に時系列データセットを分離する。例えば、分離部２０１は、構築データセット内の日時に関する項目（以下、日時項目と称する）の値が重複する度合いに基づいて、構築データセットを複数の系列の時系列データセットに分離する。
（リサンプリング部）
　リサンプリング部２０２は、構築データセットが時系列データセットである場合、時系列データセットの日時のリサンプリングを行う。また、リサンプリング部２０２は、構築データセットが複数の時系列データセットを含む場合、系列毎に時系列データセットの日時のリサンプリングを行う。
（変化点検出部）
　変化点検出部２０３は、構築データセットが時系列データセットである場合、予測対象の値の傾向が大きく変化する変化点の検出を行う。また、変化点検出部２０３は、検出した変化点に基づいて構築データセットを分割する。
［１－６．実施形態に係るリーク検出補正部の構成例］
　図１０は、図７のリーク検出補正部１５５の構成例を示している。
　リーク検出補正部１５５は、発生日時特定部２２１、取得日時特定部２２２、予測実行タイミング設定部２２３、リーク検出部２２４、及び、リーク補正部２２５を備える。
（発生日時特定部）
　発生日時特定部２２１は、構築データセットに含まれる各データの発生日時を特定する。発生日時は、例えば、データに関連する事象が真に発生した日時を示す。発生日時は、例えば、年、月、日、及び、時刻のうちの１つ以上により表される。
（取得日時特定部）
　取得日時特定部２２２は、構築データセットに含まれる各データの取得日時を特定する。所得日時は、例えば、ユーザが実際にデータを取得できるようになった日時、又は、ユーザが実際にデータを取得した日時を示す。取得日時は、例えば、年、月、日、及び、時刻のうちの１つ以上により表される。
　例えば、２０１９年１２月８日の出荷数のデータの発生日時は、２０１９年１２月８日となる。一方、２０１９年１２月８日の出荷数のデータを必ずしもその日のうちにユーザが取得できるとは限らない。例えば、ある製品の出荷数が、各工場で記録され、月末に集計され、実際にデータ分析担当者（ユーザ）が利用できるようになるのが、翌月の１５日となるケースが想定される。この場合、出荷数のデータの所得日時は、２０２０年１月１５日となる。
（予測実行タイミング設定部）
　予測実行タイミング設定部２２３は、予測対象の性質、及び、過去事例記憶部１２１に記憶されている過去事例等に基づいて、予測対象の予測を行うタイミング（以下、予測実行タイミングと称する）を設定する。
（リーク検出部）
　リーク検出部２２４は、構築データセットの性質、及び、過去事例記憶部１２１に記憶されている過去事例等に基づいて、構築データセットのリークの可能性の検出を行う。
　なお、構築データセットの性質は、例えば、構築データセット全体の性質、構築データセットの各項目の性質、及び、構築データセットに含まれる各データの性質を含む。
（リーク補正部）
　リーク補正部２２５は、例えば、端末装置１１を介して入力されるユーザからの指示、過去事例記憶部１２１に記憶されている過去事例、及び、ユーザプロファイル記憶部１２３に記憶されているプロファイル情報等に基づいて、リーク検出部２２４により検出されたリークの可能性を解消するように、構築データセットを補正する。
［１－７．実施形態に係る情報処理の手順］
　次に、図１１のフローチャートを用いて、実施形態に係る情報処理の手順について説明する。
　ステップＳ１０１において、取得部１４１は、上述したように、記憶部１０２から過去事例およびユーザデータを取得する。
　ステップＳ１０２において、時間予測部１５１は、上述したように、取得した一部のユーザデータを用いて分析処理にかかる処理時間（予測処理時間）を予測する。
　ステップＳ１０３において、解釈部１５２は、上述したように、ユーザデータを解析し、構造化することで構造化データを生成する。
　ステップＳ１０４において、抽出部１５３は、上述したように、構造化データおよび過去事例に基づき、問題設定を抽出する。
　ステップＳ１０５において、抽出部１５３は、上述したように、抽出した問題設定に応じたデータセット（構築データセット）を構築する。
　ステップＳ１０６において、時系列処理部１５４は、時系列処理を実行する。
　ここで、図１２のフローチャートを用いて、時系列処理の詳細について説明する。
　ステップＳ１５１において、分離部２０１は、時系列データセットであるか否かを判定する。例えば、分離部２０１は、構築データセットの項目の中に「日時」に関する日時項目がある場合、構築データセットが時系列データセットであると判定し、処理はステップＳ１５２に進む。
　日時項目とは、例えば、年、月、日、時刻、及び、曜日のうち少なくとも１つによりデータが表される項目である。
　図１３は、構築データセットの例を示している。この構築データセットは、「日付」、「販売地域」、「販売数」、「イベント（予定）」、及び、「広告費（予定）」の項目を含んでいる。この例では、「日付」が日時項目となる。
　なお、以下、「販売数」が予測対象であり、「販売地域」がカテゴリに関する項目（以下、カテゴリ項目と称する）であるものとする。カテゴリとは、例えば、部類、分類、ジャンル等である。
　なお、以下、構築データセットの１行分のデータであって、各項目のデータを含む１組のデータをレコードと称する。
　ステップＳ１５２において、分離部２０１は、日時が重複するレコードの数をカウントする。例えば、分離部２０１は、日時項目により構築データセットをソートする。そして、分離部２０１は、日時項目の値が他のレコードと重複するレコードの数をカウントする。
　例えば、図１３の構築データセットにおいて、「日付」の値が他のレコードと重複するレコードの数がカウントされる。
　ステップＳ１５３において、分離部２０１は、日時が重複するレコードが一定比率以上存在するか否かを判定する。具体的には、分離部２０１は、ステップＳ１５２の処理で求めたレコード数が、構築データセットの全レコード数に占める比率を計算する。分離部２０１は、計算した比率が所定の閾値以上である場合、日時が重複するレコードが一定比率以上存在すると判定し、処理はステップＳ１５４に進む。
　ステップＳ１５４において、分離部２０１は、各カテゴリ内で日時が重複しないレコードの数をカウントする。例えば、分離部２０１は、カテゴリ項目の値（以下、カテゴリ値と称する）毎に構築データセットを複数の系列に分割する。次に、分離部２０１は、各系列のデータセットを日時項目によりソートする。次に、分離部２０１は、各系列のデータセット毎に他のレコードと日時が重複しないレコードの数をカウントする。そして、分離部２０１は、各系列のデータセット毎にカウントしたレコード数を合計する。
　例えば、図８の構築データセットが、「販売地域」の値が「地域Ａ」の系列のデータセットと「地域Ｂ」の系列のデータセットに分割される。次に、「地域Ａ」の系列のデータセットにおいて「日付」の値が他のレコードと重複しないレコードの数がカウントされる。同様に、「地域Ｂ」の系列のデータセットにおいて、「日付」の値が他のレコードと重複しないレコードの数がカウントされる。そして、「地域Ａ」の系列のデータセットにおいてカウントされたレコード数と、「地域Ｂ」の系列のデータセットにおいてカウントされたレコード数が合計される。
　ステップＳ１５５において、分離部２０１は、各カテゴリ内で日時が重複しないレコードの比率が一定以上であるか否かを判定する。具体的には、分離部２０１は、ステップＳ１５４の処理で求めたレコード数が、構築データセットの全レコード数に占める比率を計算する。分離部２０１は、計算した比率が所定の閾値以上である場合、各カテゴリ内で日時が重複しないレコードの比率が一定以上であると判定し、処理はステップＳ１５６に進む。
　これは、例えば、構築データセットにおいて日時項目の値が重複するレコードの比率が高い一方、構築データセットをカテゴリ値により複数の系列に分割することにより、日時が重複するレコードの比率が大幅に低下する場合が想定される。
　ステップＳ１５６において、分離部２０１は、構築データセットが、複数系列の時系列データセットを含んでいると判定する。すなわち、分離部２０１は、カテゴリ値毎に複数の系列の時系列データセットに構築データセットが分離されると判定する。
　例えば、図１３の構築データセットでは、「日付」の値が他のレコードと重複するレコードの比率が高い。一方、図１４に示されるように、構築データセットを「地域Ａ」の系列のデータセット及び「地域Ｂ」の系列のデータセットに分割すると、各系列のデータセットにおいて、「日付」の値が他のレコードと重複するレコードの比率が低下する。従って、図１３の構築データセットは、「販売地域」が「地域Ａ」の系列と「販売地域」が「地域Ｂ」の系列の２系列の時系列データセットに分離されると判定される。
　その後、処理はステップＳ１５８に進む。
　一方、ステップＳ１５５において、各カテゴリ内で日時が重複しないレコードの比率が一定未満であると判定された場合、処理はステップＳ１５７に進む。
　また、ステップＳ１５３において、日時が重複するレコードが一定比率以上存在しないと判定された場合、処理はステップＳ１５７に進む。
　ステップＳ１５７において、分離部２０１は、構築データセットが、単一系列の時系列のデータセットであると判定する。
　その後、処理はステップＳ１５８に進む。
　ステップＳ１５８において、リサンプリング部２０２は、データセットの日時のリサンプリングを行う。
　具体的には、リサンプリング部２０２は、構築データセットを系列毎に分割し、各系列のデータセットを日時項目によりソートする。なお、構築データセットが単一系列の時系列データセットの場合、構築データセット全体が１つの系列となる。
　次に、リサンプリング部２０２は、系列毎に隣接するレコード間の時間間隔を算出する。そして、リサンプリング部２０２は、全ての系列において、最も出現頻度が高い時間間隔（以下、最頻時間間隔と称する）を求める。
　次に、リサンプリング部２０２は、最頻時間間隔に基づいて、時間単位を設定する。例えば、最頻時間間隔＜６０秒である場合、時間単位は「秒」に設定される。６０秒≦最頻時間間隔＜６０×６０秒である場合、時間単位は「分」に設定される。６０×６０秒≦最頻時間間隔＜２４×６０×６０秒である場合、時間単位は「時」に設定される。２４×６０×６０秒≦最頻時間間隔＜３６５×２４×６０×６０秒である場合、時間単位は「日」に設定される。３６５×２４×６０×６０秒≦最頻時間間隔である場合、時間単位は「年」に設定される。
　そして、リサンプリング部２０２は、設定した時間単位で系列毎にデータセットのリサンプリングを行う。すなわち、各系列のデータセットの日時項目の値が、設定された時間単位に基づいて再設定される。
　ステップＳ１５９において、リサンプリング部２０２は、予測対象の欠損値を補間する。具体的には、リサンプリング部２０２は、系列毎に、予測対象の値が欠損している日時における値を補間する。補間方法には、例えば、前値継承、移動平均等の中から、予測対象の性質に適した方法が用いられる。
　例えば、９時から１７時までの営業時間内に１時間間隔で取得されるデータセットでは、１８時から翌日の８時までの期間（以下、欠損期間と称する）内のデータが欠損する。これに対して、ステップＳ１５８及びステップＳ１５９の処理により、欠損期間における予測対象のデータが補間される。
　図１５は、図１３の構築データセットにおいて、「販売地域」が「地域Ａ」の系列と「販売地域」が「地域Ｂ」の系列のデータセットのリサンプリングを行った後の各系列の販売数の時系列の推移を示すグラフである。横軸は日付を示し、縦軸は販売数を示している。
　ステップＳ１６０において、変化点検出部２０３は、予測対象の変化点が存在するか否かを判定する。
　具体的には、変化点検出部２０３は、系列毎に予測対象の値を時系列に並べた場合に、予測対象の値の傾向が大きく変化する点（日時）の検出を行う。変化点の検出方法は、例えば、予測対象の性質に適した方法が用いられる。例えば、日時の昇順で繰り返し予測対象の時系列予測を行い、予測と実際の値が大きく外れた点を変化点として検出する方法が考えられる。
　変化点検出部２０３は、少なくとも１つの系列において変化点が検出された場合、予測対象の変化点が存在すると判定し、処理はステップＳ１６１に進む。
　ステップＳ１６１において、変化点検出部２０３は、変化点に基づいて、データセットを分割する。具体的には、変化点検出部２０３は、いずれかの系列で検出された変化点毎に、構築データセットを複数の期間に分割する。
　そして、例えば、最後の期間より前のデータセットを無視し、最後の期間のデータセットのみを用いて学習処理を行うことにより、予測モデルが予測対象の変化が起きる前のデータの影響を受けることが防止される。これにより、実運用時に予測モデルの予測精度が低下することが防止される。
　その後、処理はステップＳ１６２に進む。
　なお、例えば、構築データセットに複数のカテゴリ項目が含まれる場合、各カテゴリ項目について、ステップＳ１５４乃至ステップＳ１６１の処理をそれぞれ行うようにしてもよい。これにより、各カテゴリ項目について、構築データセットの分離、及び、リサンプリングが行われる。
　一方、ステップＳ１６０において、変化点検出部２０３は、いずれの系列においても変化点が検出されなかった場合、予測対象の変化点が存在しないと判定し、ステップＳ１６１の処理はスキップされ、処理はステップＳ１６２に進む。
　ステップＳ１６２において、表示制御部１４３は、時系列処理の結果をユーザに提示する。例えば、表示制御部１４３は、端末装置１１において、図１６の画像を表示させる。
　図１６の画像には、グラフ３０１、リストボックス３０２、リストボックス３０３、チェックボックス３０４、リストボックス３０５、「戻る」ボタン３０６、「キャンセル」ボタン３０７、及び、「実行」ボタン３０８が表示されている。
　グラフ３０１は、図１３の構築データセットの「地域Ａ」の系列の販売数及び「地域Ｂ」の系列に販売数のグラフを示している。すなわち、構築データセットが「地域Ａ」と「地域Ｂ」の２系統の時系列データセットに分離され、各時系列データセットの日時のリサンプリングを行った結果が示されている。
　リストボックス３０２及びリストボックス３０３は、予測期間の設定に用いられる。予測期間とは、予測対象（例えば、販売数）の予測を行う対象となる期間である。リストボックス３０２は、予測期間の開始日時の設定に用いられ、リストボックス３０３は、予測期間の終了日時の設定に用いられる。すなわち、リストボックス３０２により設定された日時からリストボックス３０３により設定された日時までが予測期間に設定される。この例では、予測実行タイミングを基準にして、１０日先から４０日先までの期間が予測期間に設定されている。
　チェックボックス３０４は、リストボックス３０２及びリストボックス３０３を用いずに、予測期間を直接入力する場合に用いられる。すなわち、チェックボックス３０４がチェックされると、予測期間の直接入力が可能になる。一方、チェックボックス３０４のチェックが外されると、リストボックス３０２及びリストボックス３０３による予約期間の入力が可能になる。
　リストボックス３０５は、構築データセットを複数の時系列データセットに分離する系列の選択に用いられる。例えば、構築データセットが、複数のカテゴリ項目により、それぞれ複数の時系列データセットに分離可能である場合、リストボックス３０５には、各カテゴリ項目の名前が系列名として表示される。そして、リストボックス３０５により選択されたカテゴリ項目に基づいて分離された時系列データセットのグラフが、グラフ３０１として表示される。
　「戻る」ボタン３０６は、図１６の画像に遷移する前の画像に戻る場合に用いられる。
　「キャンセル」ボタン３０７は、予測モデルの学習及び評価の実行をキャンセルする場合に用いられる。
　「実行」ボタン３０７は、予測モデルの学習及び評価を実行する場合に用いられる。
　その後、時系列処理は終了する。
　図１２に戻り、一方、ステップＳ１５１において、分離部２０１は、構築データセットの項目の中に日時項目がない場合、構築データセットが非時系列データセットであると判定し、ステップＳ１５１乃至ステップＳ１６２の処理はスキップされ、時系列処理は終了する。
　図１１に戻り、ステップＳ１０７において、リーク検出補正部１５５は、リーク検出処理を実行する。
　ここで、図１７及び図１８のフローチャートを用いて、リーク検出処理の詳細について説明する。
　ステップＳ２０１において、発生日時特定部２２１及び取得日時特定部２２２は、データの発生日時及び取得日時を特定する。
　具体的には、発生日時特定部２２１は、構築データセットに含まれる各データの発生日時を特定する。
　なお、データの発生日時は、ユーザにより指示されたり、自明であったりする場合が多い。この場合、発生日時特定部２２１は、その発生日時をそのままデータの発生日時に設定する。例えば、「２０１９年１２月８日」の「出荷数」のデータの発生日時は、２０１９年１２月８日に特定される。
　一方、データの発生日時が不明である場合、発生日時特定部２２１は、例えば、データの内容等に基づいて、発生日時を推定する。
　例えば、発生日時特定部２２１は、データに関連する現象、及び、各種の現象の発生時期に関するデータベースに基づいて、データの発生日時を推定する。例えば、画像データに建造物が写っている場合、その建造物の築年月日が分かれば、その画像データの発生日時は、その築年月日以降であると推定される。例えば、構築データセットの項目に「曲名」が含まれる場合、各レコードに含まれるデータの発生日時は、同じレコードに含まれる曲名の曲の発売日以降であると推定される。例えば、ある製造装置の故障データは、その製造装置の生産時期及び寿命から推定することが可能である。
　また、取得日時特定部２２２は、データセットに含まれる各データの取得日時を特定する。
　データの取得日時は、例えば、ビジネスにおけるワークフローの影響を強く受けるため、発生日時のように、データベースを用いて推定を行うことは難しい。一方、ビジネスで利用するデータは、ビジネスのワークフローの管理下にあるため、取得日時が記録されていることが多い。
　従って、例えば、取得日時特定部２２２は、各データのファイルのタイムスタンプ、Ｅｘｉｆ（Exchangeable image file format）情報、データベースの更新時刻、バージョン管理システムの履歴等に基づいて、各データの取得日時を特定する。
　ステップＳ２０２において、予測実行タイミング設定部２２３は、予測を実行するタイミングを設定する。
　予測対象の予測を実行するタイミング（予測実行タイミング）は、最も早くても、予測に用いるデータセットの最後のデータを取得したタイミング以降となる。ただし、実際には、最後のデータを取得してから予測を実行するまでの間には、ギャップと呼ばれる一定の期間が必要となる。
　そこで、例えば、予測実行タイミング設定部２２３は、過去事例、及び、予測対象の性質等に基づいて、予測期間よりどのくらい前に、予測対象の予測を実行するかを設定する。
　例えば、予測対象が「弁当の出荷数」である場合、前日の売上金額等を使用した方が、予測精度が向上する。しかし、例えば、弁当の食材の発注期限が遅くとも３日前であれば、予測実行タイミング設定部２２３は、予測期間の３日前に予測実行タイミングを設定する。
　また、例えば、上述した図１６の画像において、予測期間が設定されている場合、その予測期間に基づいて、予測実行タイミングが設定される。例えば、図１６の例では、予測期間が１０日先から４０日先までの期間に設定されているので、予測実行タイミングは、予測期間の４０日前に設定される。
　ステップＳ２０３において、リーク検出部２２４は、発生日時又は取得日時が予測実行タイミングより後のデータが存在するか否かを判定する。例えば、リーク検出部２２４は、構築データセット内の各データの発生日時及び取得日時と予測実行タイミングと比較する。そして、リーク検出部２２４は、発生日時及び取得日時のうち少なくとも一方が予測実行タイミングより後のデータが存在する場合、発生日時又は取得日時が予測実行タイミングより後のデータが存在すると判定し、処理はステップＳ２０４に進む。
　ステップＳ２０４において、リーク検出部２２４は、時系列リークの可能性があると判定する。すなわち、リーク検出部２２４は、発生日時又は取得日時が予測実行タイミングより後のデータは、予測実行タイミングまでに発生しない、又は、所得できないため、リークの可能性があると判定する。このように、データの発生日時又は取得日時と、予測実行タイミングとの関係に基づいて、時系列リークの可能性が検出される。
　その後、処理はステップＳ２０５に進む。
　一方、ステップＳ２０３において、リーク検出部２２４は、発生日時及び取得日時のうち少なくとも一方が予測実行タイミングより後のデータが存在しない場合、発生日時又は取得日時が予測実行タイミングより後のデータが存在しないと判定し、ステップＳ２０４の処理はスキップされ、処理はステップＳ２０５に進む。すなわち、時系列リークの可能性が低いと判定される。
　ステップＳ２０５において、リーク検出部２２４は、データセットの各項目の識別性を判定する。すなわち、リーク検出部２２４は、データセットの各項目が、データセット内の各レコードを識別可能な識別情報（例えば、ＩＤ等）を含むか否かを判定する。
　なお、識別性がある項目（以下、識別項目と称する）の性質の例として、以下が挙げられる。
・項目内のデータのユニーク率が１００％又は１００％に近い。
・項目名に「ＩＤ」の文字列を含む。
・データセットの先頭又は先頭に近い列に配置される。
・日時項目でない。
・データが文字列又は整数により表される。
・データに単位がつかない。
　例えば、リーク検出部２２４は、上記の性質等に基づいて、ルールベース、又は、機械学習ベースにより、データセットの各項目の識別性を判定する。
　ステップＳ２０６において、リーク検出部２２４は、ステップＳ２０５の処理の結果に基づいて、識別項目が存在するか否かを判定する。識別項目が存在すると判定された場合、処理はステップＳ２０７に進む。
　ステップＳ２０７において、リーク検出部２２４は、識別項目のクラスタリングを行う。例えば、リーク検出部２２４は、識別項目のデータ（識別情報）が文字列により表される場合、レーベンシュタイン距離ベースでクラスタリングを行う。
　これにより、構築データセット内のレコードが識別項目（識別情報）に基づいて、複数のクラスタに分類される。
　ステップＳ２０８において、リーク検出部２２４は、各クラスタと予測対象の相関を調べる。例えば、リーク検出部２２４は、各クラスタと、各クラスタに含まれるレコード内の予測対象の値との間の相関係数を算出する。
　ステップＳ２０９において、リーク検出部２２４は、識別項目と予測対象との間に相関があるか否かを判定する。リーク検出部２２４は、ステップＳ２０８の処理で算出した相関係数が所定の閾値以上である場合、識別項目と予測対象との間に相関があると判定し、処理はステップＳ２１０に進む。
　ステップＳ２１０において、リーク検出部２２４は、識別情報リークの可能性があると判定する。
　通常、識別項目に含まれる識別情報の値は、レコードを一意に識別する以外の意味を持たない。しかし、識別情報と予測対象との間に相関があるということは、予測対象に関連する重要な情報が識別情報に漏れだしている可能性が高いと想定される。例えば、識別情報にユーザの性別を示す文字が含まれ、予測対象がユーザの洋服の購入額である場合、性別と洋服の購入額の間には、ある程度の相関があると想定される。従って、この場合、識別情報リークの可能性があると判定される可能性がある。
　その後、処理はステップＳ２１１に進む。
　一方、ステップＳ２０９において、リーク検出部２２４は、ステップＳ２０８の処理で算出した相関係数が所定の閾値未満である場合、識別項目と予測対象の相関がないと判定し、ステップＳ２１０の処理はスキップされ、処理はステップＳ２１１に進む。すなわち、識別情報リークの可能性が低いと判定される。
　また、ステップＳ２０６において、識別項目が存在しないと判定された場合、ステップＳ２０７乃至ステップＳ２１０の処理はスキップされ、処理はステップＳ２１１に進む。
　ステップＳ２１１において、リーク検出部２２４は、データセットにカテゴリ項目が含まれるか否かを判定する。リーク検出部２２４が、構築データセットにカテゴリ項目が含まれると判定した場合、処理はステップＳ２１２に進む。
　ステップＳ２１２において、リーク検出部２２４は、カテゴリにより分割したグループを用いて、グループＫ分割交差検証を行う。
　具体的には、まず、リーク検出部２２４は、カテゴリ項目の値（カテゴリ値）毎に、構築データセットを複数のグループに分割する。そして、リーク検出部２２４は、各グループをそれぞれ１つずつテスト用データとし、残りのグループを学習用データとして、予測モデルの学習及び検証を行う。これにより、各グループをテスト用データに用いた場合の予測モデルの予測精度が求められる。
　ステップＳ２１３において、リーク検出部２２４は、グループ間の予測精度の差が大きいか否かを判定する。具体的には、リーク検出部２２４は、各グループをテスト用データに用いた場合の予測モデルの予測精度を比較する。リーク検出部２２４は、例えば、各グループの予測精度の間に有意な差がある場合、グループ間の予測精度の差が大きいと判定し、処理はステップＳ２１４に進む。或いは、例えば、リーク検出部２２４は、各グループの予測精度の最大値と最小値の差が所定の閾値以上である場合、グループ間の予測精度の差が大きいと判定し、処理はステップＳ２１４に進む。
　ステップＳ２１４において、リーク検出部２２４は、カテゴリリークの可能性があると判定する。すなわち、そのカテゴリ項目のデータは、予測分析に有用な情報を含んでいる可能性がある一方、そのカテゴリ項目のデータに基づいて、単純なルールベースで、設定された問題を高精度に解ける可能性がある。そのような問題は、実用上意味がないため、そのカテゴリ項目にリークの可能性があると判定される。
　その後、処理はステップＳ２１５に進む。
　一方、ステップＳ２１３において、リーク検出部２２４は、例えば、各グループの予測精度の間に有意な差がない場合、グループ間の予測精度の差が小さいと判定し、ステップＳ２１４の処理はスキップされ、処理はステップＳ２１５に進む。或いは、例えば、リーク検出部２２４は、各グループの予測精度の最大値と最小値の差が所定の閾値未満である場合、グループ間の予測精度の差が小さいと判定し、ステップＳ２１４の処理はスキップされ、処理はステップＳ２１５に進む。すなわち、カテゴリリークの可能性が低いと判定される。
　なお、構築データセットにカテゴリ項目が複数含まれる場合、例えば、ステップＳ２１２乃至ステップＳ２１４の処理が、各カテゴリ項目に対して実行される。
　また、ステップＳ２１１において、データセットにカテゴリ項目が含まれないと判定された場合、ステップＳ２１２乃至ステップＳ２１４の処理はスキップされ、処理はステップＳ２１５に進む。
　ステップＳ２１５において、図１２のステップＳ１５１の処理と同様に、構築データセットが、時系列データセットであるか否かが判定される。構築データセットが、非時系列データセットであると判定された場合、処理はステップＳ２１６に進む。
　ステップＳ２１６において、リーク検出部２２４は、ホールドアウト検証とＫ分割交差検証を行う。
　具体的には、リーク検出部２２４は、構築データセットの（レコードの）並び順を保持したまま、ホールドアウト検証を行う。例えば、リーク検出部２２４は、図１９に示されるように、構築データセットの先頭から所定の割合（例えば、８０％）のレコードを学習用データ（ｔｒａｉｎ）に設定し、残りのレコードをテスト用データ（ｈｏｌｄｏｕｔ）に設定して、予測モデルの学習及び検証を行う。これにより、予測モデルの予測精度が求められる。
　また、リーク検出部２２４は、構築データセットの（レコードの）並び順を保持したまま、Ｋ分割交差検証を行う。例えば、リーク検出部２２４は、図１９に示されるように、構築データセットを３個のグループ（ｆｏｌｄ１乃至ｆｏｌｄ３）に分割する。そして、リーク検出部２２４は、各グループをそれぞれ１つずつテスト用データとし、残りのグループを学習用データとして、予測モデルの学習及び検証を行う。これにより、各グループをテスト用データに用いた場合の予測モデルの予測精度が求められる。
　ステップＳ２１７において、リーク検出部２２４は、ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が大きいか否かを判定する。具体的には、リーク検出部２２４は、ホールドアウト検証における予測精度と、Ｋ分割交差検証において各グループをそれぞれテスト用データに用いた場合の複数の予測精度とを比較する。
　リーク検出部２２４は、Ｋ分割交差検証における複数の予測精度のうちの少なくとも１つが、ホールドアウト検証における予測精度に対して有意な差がある場合、ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が大きいと判定し、処理はステップＳ２１８に進む。
　或いは、例えば、リーク検出部２２４は、Ｋ分割交差検証における各予測精度とホールドアウト検証における予測精度との差を算出する。そして、リーク検出部２２４は、算出した予測精度の差の最大値が所定の閾値以上である場合、ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が大きいと判定し、処理はステップＳ２１８に進む。
　ステップＳ２１８において、リーク検出部２２４は、並び順リークの可能性があると判定する。
　ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が大きい場合、例えば、構築データセットのレコードの並び順に何らかの意味があり、学習用データの選び方により予測モデルの精度が大きく変動することが想定される。
　一方、構築データセットが非時系列データセットである場合、事前評価時と実運用時とでデータの傾向が変化しないことを前提として、予測分析が行われる。しかしながら、学習用データの選び方により予測モデルの精度が大きく変動してしまうと、その前提が成り立たなくなる。
　従って、構築データセットの並び順にリークの可能性があると判定される。
　その後、処理はステップＳ２１９に進む。
　一方、ステップＳ２１７において、リーク検出部２２４は、Ｋ分割交差検証における各予測精度とホールドアウト検証における予測精度との間に有意な差がない場合、ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が小さいと判定し、ステップＳ２１８の処理はスキップされ、処理はステップＳ２１９に進む。すなわち、並び順リークの可能性が低いと判定される。
　或いは、例えば、リーク検出部２２４は、Ｋ分割交差検証における予測精度とホールドアウト検証における予測精度との差の最大値が所定の閾値未満である場合、ホールドアウト検証の結果とＫ分割交差検証の結果との間の差が小さいと判定し、ステップＳ２１８の処理はスキップされ、処理はステップＳ２１９に進む。すなわち、並び順リークの可能性が低いと判定される。
　また、ステップＳ２１５において、構築データセットが、時系列データセットであると判定された場合、ステップＳ２１６乃至ステップＳ２１８の処理はスキップされ、処理はステップＳ２１９に進む。
　ステップＳ２１９において、リーク検出部２２４は、データセットの項目名に基づいて、項目名リークの可能性を検出する。
　例えば、各現象の予測又は制御の困難度が、予めデータベース化され、記憶部１０２に記憶されている。
　一方、例えば、リーク検出部２２４は、ルールベース又は単語間の分散表現の類似度等に基づいて、構築データセットの各項目の項目名と各現象とのマッチング行う。次に、リーク検出部２２４は、上述したデータベースに基づいて、構築データセットの各項目に対応する現象の予測又は制御の困難度を求める。そして、リーク検出部２２４は、困難度が所定の閾値以上の現象に対応する項目をリークの可能性があると判定する。
　例えば、一般に自然現象は制御することが難しく、早期の予測が困難である。従って、例えば、「気温」、「天気」、「震度」のような自然現象に関する項目名がデータセットに含まれており、かつ、予測実行タイミングが１か月以上先である場合、この項目はリークの可能性があると判定される。
　ステップＳ２２０において、リーク検出部２２４は、データセットのドメインに基づいて、ドメインリークの可能性を検出する。例えば、リーク検出部２２４は、構築データセット全体のドメイン（例えば、営業、生産管理、人事等）に基づいて、個々のドメインでリークしがちな過去事例等を参考にして、構築データセットのリークの可能性を検出する。
　その後、リーク検出処理は終了する。
　図１１に戻り、ステップＳ１０８において、学習部１５６は、上述したように、問題設定および構築データセットに基づき、予測モデルを学習する。
　ステップＳ１０９において、評価部１５７は、上述したように、データセットを学習用データとテスト用データに分割し、学習用データを用いて予測モデルを生成する。評価部１５７は、テスト用データを用いて予測モデルを評価する。
　ステップＳ１１０において、予測部１５８は、上述したように、予測モデルをビジネス導入した場合のビジネス効果を予測する。
　ステップＳ１１１において、収集決定部１５９は、上述したように、過去事例に基づき、データセットに追加するとビジネス効果が増加する可能性がある項目を提案項目に決定する。
　ステップＳ１１２において、寄与度算出部１６０は、上述したように、テスト用データの特徴量の寄与度を算出する。
　ステップＳ１１３において、表示制御部１４３は、処理結果をユーザに提示する。例えば、表示制御部１４３は、図２０の分析処理結果を示す画像を端末装置１１に表示させる。
　この画像では、学習部１５６で学習された予測モデルに入力されるテスト用データの各特徴量（項目）がどれだけ予測結果に寄与するかを示す寄与度が表示されている。
　例えば、「先週の出荷数」、「曜日」、「日付」等の項目毎の寄与度が棒グラフで表示されている。また、上述したように、寄与度は正の値および負の値が含まれる。そこで、正の値の合計値と負の値の合計値とをそれぞれ合わせた値が棒グラフとして表示されている。
　また、リークの可能性があると判定された「先週の出荷数」、「気温」、「湿度」の項目に対して、リークの可能性があることを示すアイコン３３１乃至アイコン３３３が表示されている。
　さらに、リークの可能性があると判定された「先週の出荷数」の項目に対して、ウインドウ３３４が表示されている。ウインドウ３３４内には、「先週の出荷数」はリークの可能性が高いこと、寄与度が非常に高いこと、及び、リークの可能性が高いと判定された理由が表示されている。ここでは、「先週の出荷数」が１ヶ月前（予測実行タイミング）に取得できないことが理由として示されている。
　また、リークの可能性があると判定された「気温」及び「湿度」の項目に対して、ウインドウ３３５が表示されている。ウインドウ３３５内には、「気温」及び「湿度」はリークの可能性が高いこと、及び、リークの可能性が高いと判定された理由が表示されている。ここでは、「気温」及び「湿度」が１ヶ月前（予測実行タイミング）に取得することが困難であることが理由として示されている。
　さらに、画像の下方に、ウインドウ３３６が表示されている。ウインドウ３３６内には、リークの可能性がある項目を除去する前と後の予測精度、及び、リークの可能性がある項目を除去することにより実運用時に同じ予測精度を維持できる利点があることが示されている。また、ユーザが自動リーク補正を適用するか否かを選択するためのメニューが表示されている。
　図１１に戻り、ステップＳ１１４において、情報処理部１４２は、データセット又は問題設定を補正するか否かを判定する。
　例えば、リーク補正部２２５は、図２０の画像のウインドウ３３６において、ユーザが自動リーク補正の適用を選択した場合、構築データセットを補正すると判定し、処理はステップＳ１１５に進む。
　また、例えば、リーク補正部２２５は、図２０の画像のウインドウ３３６において、ユーザが自動リーク補正の適用を選択しなくても、リークの可能性が所定の閾値以上の項目が構築データセットに含まれる場合、構築データセットを補正すると判定し、処理はステップＳ１１５に進む。
　さらに、例えば、学習部１５６は、端末装置１１を介して構築データセット又は問題設定の補正の指令が入力された場合、構築データセット又は問題設定を補正すると判定し、処理はステップＳ１１５に進む。
　ステップＳ１１５において、情報処理部１４２は、データセット又は問題設定を補正する。
　例えば、リーク補正部２２５は、図２０の画像において、ユーザが自動リーク補正の適用を選択した場合、リークの可能性がある項目を全て構築データセットから除去する。
　例えば、リーク補正部２２５は、図２０の画像において、ユーザが自動リーク補正の適用を選択しなかった場合、リークの可能性が所定の閾値以上の項目を構築データセットから除去する。
　例えば、学習部１５６は、構築データセット又は問題設定の補正の指令がユーザにより入力された場合、指令に従って、構築データセット又は問題設定を補正する。
　その後、処理はステップＳ１０６に戻り、ステップＳ１１４において、データセット又は問題設定を補正しないと判定されるまで、ステップＳ１０６乃至ステップＳ１１５の処理が繰り返し実行される。これにより、補正した構築データセット又は問題設定に基づいて、予測モデルの学習及び評価等が行われる。
　一方、ステップＳ１１４において、データセット及び問題設定の補正を行わないと判定された場合、情報処理は終了する。
　なお、例えば、時間予測部１５１が、各ステップの処理が終了したタイミングで処理時間を予測するようにしてもよい。
　また、例えば、抽出部１５３が問題設定を複数抽出する場合、情報処理装置１２が、１つの問題設定ごとにステップＳ１０５乃至ステップＳ１１５の処理を繰り返し実行することで、全ての問題設定に対する分析処理を実行するようにしてもよい。
　以上のようにして、予測分析に対するユーザの満足度を向上させることができる。
　例えば、情報処理システム１のように、問題設定から予測分析までを自動化した予測分析システムでは、人間がデータをチェックしないことに加えて、精度を高める方向にデータ収集やモデルチューニングを行うため、特にリークが発生しやすい。その結果、事前評価では高いビジネス効果が見込めると判断され、予測分析をビジネスに導入したものの、実際に運用してみると期待した効果が得られないという状況が起きやすくなる。その結果、ユーザの満足度が低下する。
　一方、本開示によれば、上述したように、構築データセットにおいてリークの可能性がある項目及びデータを、自動的に高精度に検出することができる。さらに、検出したリークに対する補正を自動又はマニュアルで（手動的に）行うことができる。
　これにより、事前評価時と実運用時とで、予測モデルの予測精度が大きく変動することが防止され、ユーザの期待通りの予測精度及びビジネス効果が得られる確率が向上する。その結果、ユーザの満足度が向上する。
＜２．変形例＞
　上記の各構成は一例であり、情報処理システム１は、過去事例およびユーザデータに基づき、問題設定の抽出およびデータセットの構築が可能であればどのようなシステム構成であってもよい。例えば、情報処理装置１２と端末装置１１とが一体であってもよい。
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、例えば、リークの可能性の検出結果に対する各ユーザからのフィードバックをユーザプロファイル記憶部１２３に蓄積し、自動リーク補正時の補正方法をユーザ毎に個人化するようにしてもよい。例えば、自動リーク補正時に構築データセットから除去する項目をユーザ毎に個人化するようにしてもよい。
　また、例えば、上述した複数の種類のリークの可能性を総合して、リークの可能性を判定するようにしてもよい。
　また、例えば、構築データセットが日時項目を含まなくても、例えば、所定の時間間隔でレコードが並べられた時系列データセットであるとみなして、時系列の予測分析処理を行うようにしてもよい。
　また、例えば、図１８のステップＳ２１２の処理において、カテゴリ項目以外の項目の値に基づいて、構築データセットを複数のグループに分割して、グループＫ分割交差検証を行うようにしてもよい。また、例えば、２以上の項目の値の組み合わせに基づいて、構築データセットを複数のグループに分割して、グループＫ分割交差検証を行うようにしてもよい。
　また、例えば、図１８のステップＳ２１６の処理において、Ｋ分割交差検証のみを行い、Ｋ分割交差検証におけるグループ間の予測精度の差が大きい場合、並び順リークの可能性かあると判定するようにしてもよい。すなわち、構築データセットの並び順を保持したまま、複数の異なるパターンで構築データセットを学習用データとテスト用データに分割し、パターン毎に予測モデルの検証を行った結果得られた予測精度の差に基づいて、並び順リークの可能性を検出するようにしてもよい。
　また、例えば、予測実行タイミングと予測期間との関係により、リークの可能性がある項目及びデータが変化する場合がある。従って、予測期間により、異なる構築データセットを用いて予測モデルの学習を行い、予測期間毎に異なる予測モデルを用いて実際の予測分析を行うようにしてもよい。例えば、１～１２か月後の予測分析を行う場合、１か月後、２～４か月後、５～８か月後、９～１２か月後で、動的に予測モデルを切り替えて予測分析を行うようにしてもよい。
　また、例えば、リークの可能性の検出結果を表示する画像において、例えば、リークの可能性があると判定された項目以外に、例えばリークの可能性があると判定されたデータ、及び、その理由を表示するようにしてもよい。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
＜３．ハードウェア構成＞
　上述してきた各実施形態や変形例に係る情報処理装置１２や端末装置１１等の情報機器は、例えば図２１に示すような構成のコンピュータ１０００によって実現される。図２１は、情報処理装置１２や端末装置１１等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置１２を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１２として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１０３等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１０２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出するリーク検出部を
　備える情報処理装置。
（２）
　前記リーク検出部は、前記データセットに含まれるデータの発生日時又は取得日時と、予測分析を行うタイミングとの関係に基づいて、前記データセットのリークの可能性を検出する
　前記（１）に記載の情報処理装置。
（３）
　前記リーク検出部は、前記発生日時又は前記取得日時が前記予測分析を行うタイミングより後であるデータを、リークの可能性があると判定する
　前記（２）に記載の情報処理装置。
（４）
　前記リーク検出部は、前記データセットの識別性がある識別項目と前記予測分析の予測対象との相関関係に基づいて、前記データセットのリークの可能性を検出する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記リーク検出部は、前記識別項目と前記予測対象との間に相関がある場合、前記識別項目にリークの可能性があると判定する
　前記（４）に記載の情報処理装置。
（６）
　前記リーク検出部は、前記データセットの少なくとも１つの項目の値により前記データセットを複数のグループに分割し、グループＫ分割交差検証を行った結果に基づいて、前記項目のデータのリークの可能性を検出する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記リーク検出部は、前記グループ間の予測精度の差に基づいて、前記項目のデータのリークの可能性を検出する
　前記（６）に記載の情報処理装置。
（８）
　前記リーク検出部は、前記データセットの並び順を保持したまま、複数の異なるパターンで前記データセットを学習用データとテスト用データに分割し、前記パターン毎に前記予測モデルの検証を行った結果に基づいて、前記データセットのリークの可能性を検出する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記リーク検出部は、前記パターン間の予測精度の差に基づいて、前記データセットの並び順のリークの可能性を検出する
　前記（８）に記載の情報処理装置。
（１０）
　前記リーク検出部は、前記データセットの項目名に基づいて、前記データセットのリークの可能性を検出する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記リーク検出部は、前記データセットのドメインに基づいて、前記データセットのリークの可能性を検出する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記データセットのリークの可能性の検出結果の表示を制御する表示制御部を
　さらに備える前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記データセットにおいてリークの可能性がある項目又はデータ、及び、リークの可能性がある理由の表示を制御する
　さらに備える前記（１２）に記載の情報処理装置。
（１４）
　前記データセットのリークの可能性の検出結果に基づいて、前記データセットの補正を行うリーク補正部を
　さらに備える前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記リーク補正部は、リークの可能性がある項目を前記データセットから除去する
　前記（１４）に記載の情報処理装置。
（１６）
　前記リーク補正部は、前記データセットのリークの可能性の検出結果に対するユーザからのフィードバックに基づいて、前記データセットの補正方法を個人化する
　前記（１４）又は（１５）に記載の情報処理装置。
（１７）
　前記データセット内の日時に関する項目の値が重複する度合いに基づいて、前記データセットを複数の系列の時系列データセットに分離する分離部を
　さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記データセット内の日時に関する項目の値の間隔に基づいて、前記データセットのリサンプリングを行うリサンプリング部を
　さらに備える前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出する
　情報処理方法。
（２０）
　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出する
　処理をコンピュータに実行させるためのプログラム。
　１　情報処理システム，　１１　端末装置，　１２　情報処理装置，　１０３　制御部，　１４２　情報処理部，　１４３　表示制御部，　１５２　解釈部，　１５３　抽出部，　１５４　時系列処理部，　１５５　リーク検出補正部，　１５６　学習部，　１５７　評価部，　２０１　分離部，　２０２　リサンプリング部，　２０３　変化点検出部，　２２３　予測タイミング設定部，　２２４　リーク検出部，　２２５　リーク補正部

Claims (20)

  1. 　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出するリーク検出部を
    　備える情報処理装置。
  2. 　前記リーク検出部は、前記データセットに含まれるデータの発生日時又は取得日時と、予測分析を行うタイミングとの関係に基づいて、前記データセットのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  3. 　前記リーク検出部は、前記発生日時又は前記取得日時が前記予測分析を行うタイミングより後であるデータを、リークの可能性があると判定する
    　請求項２に記載の情報処理装置。
  4. 　前記リーク検出部は、前記データセットの識別性がある識別項目と前記予測分析の予測対象との相関関係に基づいて、前記データセットのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  5. 　前記リーク検出部は、前記識別項目と前記予測対象との間に相関がある場合、前記識別項目にリークの可能性があると判定する
    　請求項４に記載の情報処理装置。
  6. 　前記リーク検出部は、前記データセットの少なくとも１つの項目の値により前記データセットを複数のグループに分割し、グループＫ分割交差検証を行った結果に基づいて、前記項目のデータのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  7. 　前記リーク検出部は、前記グループ間の予測精度の差に基づいて、前記項目のデータのリークの可能性を検出する
    　請求項６に記載の情報処理装置。
  8. 　前記リーク検出部は、前記データセットの並び順を保持したまま、複数の異なるパターンで前記データセットを学習用データとテスト用データに分割し、前記パターン毎に前記予測モデルの検証を行った結果に基づいて、前記データセットのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  9. 　前記リーク検出部は、前記パターン間の予測精度の差に基づいて、前記データセットの並び順のリークの可能性を検出する
    　請求項８に記載の情報処理装置。
  10. 　前記リーク検出部は、前記データセットの項目名に基づいて、前記データセットのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  11. 　前記リーク検出部は、前記データセットのドメインに基づいて、前記データセットのリークの可能性を検出する
    　請求項１に記載の情報処理装置。
  12. 　前記データセットのリークの可能性の検出結果の表示を制御する表示制御部を
    　さらに備える請求項１に記載の情報処理装置。
  13. 　前記表示制御部は、前記データセットにおいてリークの可能性がある項目又はデータ、及び、リークの可能性がある理由の表示を制御する
    　さらに備える請求項１２に記載の情報処理装置。
  14. 　前記データセットのリークの可能性の検出結果に基づいて、前記データセットの補正を行うリーク補正部を
    　さらに備える請求項１に記載の情報処理装置。
  15. 　前記リーク補正部は、リークの可能性がある項目を前記データセットから除去する
    　請求項１４に記載の情報処理装置。
  16. 　前記リーク補正部は、前記データセットのリークの可能性の検出結果に対するユーザからのフィードバックに基づいて、前記データセットの補正方法を個人化する
    　請求項１４に記載の情報処理装置。
  17. 　前記データセット内の日時に関する項目の値が重複する度合いに基づいて、前記データセットを複数の系列の時系列データセットに分離する分離部を
    　さらに備える請求項１に記載の情報処理装置。
  18. 　前記データセット内の日時に関する項目の値の間隔に基づいて、前記データセットのリサンプリングを行うリサンプリング部を
    　さらに備える請求項１に記載の情報処理装置。
  19. 　情報処理装置が、
    　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出する
    　情報処理方法。
  20. 　予測分析に用いる予測モデルの学習に用いるデータセットの性質に基づいて、前記データセットのリークの可能性を検出する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2020/048727 2020-01-08 2020-12-25 情報処理装置、情報処理方法、及び、プログラム Ceased WO2021140957A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021570019A JP7639710B2 (ja) 2020-01-08 2020-12-25 情報処理装置、情報処理方法、及び、プログラム
EP20912940.2A EP4089598A4 (en) 2020-01-08 2020-12-25 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020001592 2020-01-08
JP2020-001592 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021140957A1 true WO2021140957A1 (ja) 2021-07-15

Family

ID=76788468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048727 Ceased WO2021140957A1 (ja) 2020-01-08 2020-12-25 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
EP (1) EP4089598A4 (ja)
JP (1) JP7639710B2 (ja)
WO (1) WO2021140957A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023033927A (ja) * 2021-08-30 2023-03-13 株式会社日立製作所 水処理状況監視システム及び水処理状況監視方法
JP2024022591A (ja) * 2022-08-04 2024-02-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2025506592A (ja) * 2023-09-12 2025-03-13 南京大学 機械学習に基づく廃水生物処理プロセスの再構築方法及びシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212642A (ja) * 2015-05-08 2016-12-15 富士電機株式会社 アラーム予測装置、アラーム予測方法及びプログラム
JP2017016321A (ja) 2015-06-30 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018155522A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 データ解析装置
JP2019149030A (ja) * 2018-02-27 2019-09-05 日本電信電話株式会社 学習品質推定装置、方法、及びプログラム
JP2020135054A (ja) * 2019-02-13 2020-08-31 株式会社キーエンス データ分析装置及びデータ分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212642A (ja) * 2015-05-08 2016-12-15 富士電機株式会社 アラーム予測装置、アラーム予測方法及びプログラム
JP2017016321A (ja) 2015-06-30 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018155522A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 データ解析装置
JP2019149030A (ja) * 2018-02-27 2019-09-05 日本電信電話株式会社 学習品質推定装置、方法、及びプログラム
JP2020135054A (ja) * 2019-02-13 2020-08-31 株式会社キーエンス データ分析装置及びデータ分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4089598A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023033927A (ja) * 2021-08-30 2023-03-13 株式会社日立製作所 水処理状況監視システム及び水処理状況監視方法
JP7600057B2 (ja) 2021-08-30 2024-12-16 株式会社日立製作所 水処理状況監視システム及び水処理状況監視方法
JP2024022591A (ja) * 2022-08-04 2024-02-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7783238B2 (ja) 2022-08-04 2025-12-09 Ｎｔｔドコモビジネス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2025506592A (ja) * 2023-09-12 2025-03-13 南京大学 機械学習に基づく廃水生物処理プロセスの再構築方法及びシステム

Also Published As

Publication number Publication date
EP4089598A4 (en) 2023-02-08
JP7639710B2 (ja) 2025-03-05
JPWO2021140957A1 (ja) 2021-07-15
EP4089598A1 (en) 2022-11-16

Similar Documents

Publication Publication Date Title
US10387900B2 (en) Methods and apparatus for self-adaptive time series forecasting engine
US10255550B1 (en) Machine learning using multiple input data types
CN113704599A (zh) 营销转化用户的预测方法、装置及计算机设备
Bier et al. Variable-length multivariate time series classification using rocket: A case study of incident detection
US9251527B2 (en) System and method for providing personalized recommendations
EP3779835A1 (en) Device, method and program for analyzing customer attribute information
US20240346531A1 (en) Systems and methods for business analytics model scoring and selection
JP7639710B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN119130603A (zh) 一种结合用户行为数据的兴趣推荐算法
CN116034379A (zh) 使用深度学习和机器学习的活动性水平测量
KR102653187B1 (ko) 웹크롤링 기반 학습용 데이터 전처리 전자 장치 및 그 방법
US20220230193A1 (en) Information processing apparatus, information processing method, and program
KR20240131244A (ko) 인공지능 기반 브랜드 가치 평가 전자 장치 및 그 방법
KR20210126473A (ko) 소비 데이터와 소셜 데이터를 이용한 소비동향 예측 지수 생성 방법과 이를 적용한 소비동향 예측 지수 생성 시스템 및 이를 위한 컴퓨터 프로그램
CN114329187B (zh) 内容对象的推荐方法、装置、电子设备以及可读介质
US11531722B2 (en) Electronic device and control method therefor
US12222909B1 (en) Systems and methods for identifying relevant data to use for enriching data structures in large datasets using detected metadata correlations
KR20240131245A (ko) 웹크롤링 기반 리뷰 분석 전자 장치 및 그 방법
Bao et al. Dynamic financial distress prediction based on Kalman filtering
TW201506827A (zh) 用以從經整理及分析之一段時間內資料信號導出實質變化屬性以預測傳統預測因子之未來變化的系統及方法
KR102811070B1 (ko) 이상 징후가 감지된 sns 데이터의 키워드 제공 방법 및 이상 징후가 감지된 sns 데이터의 키워드 제공 장치
CN119741032B (zh) 净推荐值的分析方法、装置、设备及存储介质
Armykav et al. Sentiment Analysis CNN Indonesia App Reviews on Play Store Using Naive Bayes Algorithm
CN119831685B (zh) 商品推荐方法、装置、非易失性存储介质及电子设备
KR20210112974A (ko) 시장 집중도를 이용한 브랜드 지수 생성 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912940

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570019

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020912940

Country of ref document: EP

Effective date: 20220808

WWW Wipo information: withdrawn in national office

Ref document number: 2020912940

Country of ref document: EP