WO2021208685A1 - 执行自动机器学习过程的方法、装置及设备 - Google Patents

执行自动机器学习过程的方法、装置及设备 Download PDF

Info

Publication number
WO2021208685A1
WO2021208685A1 PCT/CN2021/082518 CN2021082518W WO2021208685A1 WO 2021208685 A1 WO2021208685 A1 WO 2021208685A1 CN 2021082518 W CN2021082518 W CN 2021082518W WO 2021208685 A1 WO2021208685 A1 WO 2021208685A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
training
machine learning
data
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/082518
Other languages
English (en)
French (fr)
Inventor
吕自荟
王昱森
岳凌
郭夏玮
郭朕
张宇
谷宇晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Paradigm Beijing Technology Co Ltd
Original Assignee
4Paradigm Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Paradigm Beijing Technology Co Ltd filed Critical 4Paradigm Beijing Technology Co Ltd
Priority to US17/919,386 priority Critical patent/US20230162051A1/en
Priority to EP21787710.9A priority patent/EP4137961A4/en
Publication of WO2021208685A1 publication Critical patent/WO2021208685A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present disclosure relates to the field of artificial intelligence, and more specifically, to a method for performing an automatic machine learning process, a device for performing an automatic machine learning process, a device including at least one computing device and at least one storage device, and a Computer readable storage medium.
  • One purpose of the embodiments of the present disclosure is to provide a new technical solution for performing an automatic machine learning process.
  • a method for performing an automatic machine learning process which includes: providing mutually independent model training operators and model prediction operators; and using the model training operators to train based on training data A machine learning model; and, using the model prediction operator and the trained machine learning model to provide prediction services for prediction data.
  • an apparatus for performing an automatic machine learning process which includes: an interaction module configured to provide mutually independent model training operators and model prediction operators; a machine learning model training module, Is configured to use the model training operator to train a machine learning model based on the saved training data; and, the data prediction module is configured to use the model prediction operator and the trained machine learning model to target the collected The forecast data provides forecast services.
  • a device including at least one computing device and at least one storage device, wherein the at least one storage device is configured to store instructions, and the instructions are configured to be used by the at least one storage device.
  • the at least one computing device is prompted to execute the method according to the first aspect above.
  • a computer-readable storage medium wherein a computer program is stored thereon, and the computer program, when executed by a processor, implements the method as described in the above first aspect.
  • the method of the embodiment of the present disclosure can provide mutually independent model training operators and model prediction operators, complete the training of the machine learning model through the model training operators, and provide prediction services through the model prediction operators, so that the model Multiple processes such as production and model application realize full-process cyclic operations, which greatly reduces the threshold and cost of machine learning.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an electronic device that can be used to implement an embodiment of the present disclosure
  • Fig. 2 shows a flowchart of a method for performing an automatic machine learning process according to an embodiment of the present disclosure
  • 3 to 7 show schematic diagrams of interface display for performing an automatic machine learning process according to an embodiment of the present disclosure
  • Fig. 8 shows a functional block diagram of an apparatus for performing an automatic machine learning process according to an embodiment of the present disclosure.
  • Fig. 9 shows a functional block diagram of a device according to an embodiment of the present disclosure.
  • the method of the embodiment of the present disclosure may be implemented by at least one electronic device, that is, the apparatus 8000 for implementing the method may be arranged on the at least one electronic device.
  • Figure 1 shows the hardware structure of any electronic device.
  • the electronic equipment shown in FIG. 1 may be a portable computer, a desktop computer, a workstation, a server, etc., or any other equipment having a computing device such as a processor and a storage device such as a memory, which is not limited herein.
  • the electronic device 1000 may include a processor 1100, a memory 1200, an interface device 1300, a communication device 1400, a display device 1500, an input device 1600, a speaker 1700, a microphone 1800, and so on.
  • the processor 1100 is used to execute a computer program.
  • the computer program can be written with an instruction set of architectures such as x86, Arm, RISC, MIPS, and SSE.
  • the memory 1200 includes, for example, ROM (Read Only Memory), RAM (Random Access Memory), nonvolatile memory such as a hard disk, and the like.
  • the interface device 1300 includes, for example, a USB interface, a headphone interface, and the like.
  • the communication device 1400 can, for example, perform wired or wireless communication, and specifically may include Wifi communication, Bluetooth communication, 2G/3G/4G/5G communication, and the like.
  • the display device 1500 is, for example, a liquid crystal display, a touch display, or the like.
  • the input device 1600 may include, for example, a touch screen, a keyboard, a somatosensory input, and the like.
  • the electronic device 1000 may output voice information through the speaker 1700, and may collect voice information through the microphone 1800.
  • the electronic device shown in FIG. 1 is merely illustrative and in no way implies any limitation on the present disclosure, its application or use.
  • the memory 1200 of the electronic device 1000 is used to store instructions, and the instructions are used to control the processor 1100 to operate to execute the method for performing an automatic machine learning process of the embodiment of the present disclosure.
  • Technicians can design instructions according to the solutions disclosed in this disclosure. How the instruction controls the processor to operate is well known in the art, so it will not be described in detail here.
  • a device including at least one computing device and at least one storage device, the at least one storage device being configured to store instructions, the instructions being configured to control the at least one computing device to execute any Example method.
  • the device may include at least one electronic device 1000 shown in FIG. 1 to provide at least one computing device such as a processor and at least one storage device such as a memory, which is not limited herein.
  • a method for executing an automatic machine learning process may be implemented by an electronic device, and the electronic device may be the electronic device 1000 as shown in FIG. 1.
  • the method for executing an automatic machine learning process of this embodiment may include the following steps S2100 to S2300:
  • Step S2100 Provide mutually independent model training operators and model prediction operators.
  • the model training operator is a tool used to perform data preprocessing on the input training data, perform feature engineering on the training data after data preprocessing, and perform model training based on the results of the feature engineering to obtain a machine learning model.
  • the modeler can edit the content of the model training operator in advance, and then provide the edited identification information of the model training operator.
  • it can be the name of the model training operator, as shown in Figure 3, which can be directly It is a "model training operator". When using it, the user can directly drag the "model training operator".
  • the model prediction operator is a tool used to perform data preprocessing on the input prediction data, perform feature engineering on the prediction data after the data preprocessing, and use machine learning models to predict the results of the feature engineering to obtain the prediction results.
  • the modeler edits the content of the model prediction operator in advance, and then provides the identification information of the edited model prediction operator. For example, it can be the name of the model prediction operator, as shown in FIG. 3, which can be directly "Model Prediction Operator", when in use, the user can directly drag the "Model Prediction Operator”.
  • a graphical user interface may be provided, and a "model training operator” node and a “model prediction operator” node are respectively provided in the operator nodes of the graphical user interface.
  • the "model training operator” can be dragged to the graphical user interface for performing the automatic machine learning process to obtain the "model training operator” node.
  • it can be dragged the "model prediction operator” to the graphical user interface for performing the automatic machine learning process to obtain the "model prediction operator” node.
  • step S2200 based on the training data, a model training operator is used to train a machine learning model.
  • training data sets corresponding to multiple application scenarios may be pre-stored in the designated location of the electronic device implementing the embodiments of the present disclosure.
  • Each training data set includes multiple training data.
  • the training data may be, for example, labeled image data. , One or more text data tables with annotations or voice data with annotations, etc.
  • a graphical user interface can be provided, and the training data corresponding to the application scenario can be selected in the data node of the graphical user interface.
  • the training data needs to be model-trained, drag the training data to the graphical user interface that executes the automatic machine learning process to obtain the "training data” node, and combine the "training data” node with the "training data” node.
  • machine learning model in the embodiments of the present disclosure can be used to predict image categories, text categories, voice emotions, fraudulent transactions, advertisement click-through rates, and the like.
  • Machine learning models are designed to predict problems related to objects or events in related scenes. For example, it can be used to predict image categories, predict text in images, predict text categories, predict voice emotion categories, predict fraudulent transactions, predict advertising click-through rates, predict commodity prices, etc., so that the prediction results can be directly used as a basis for decision-making or further combined with other rules And become the basis for decision-making.
  • the scenarios in which the machine learning model in the embodiment of the present disclosure can be used include but are not limited to the following scenarios:
  • Image processing scenarios include: optical character recognition (OCR), face recognition, object recognition, and image classification; more specifically, for example, OCR can be applied to bill (such as invoice) recognition, handwriting recognition, etc., face recognition can be Application security and other fields, object recognition can be applied to the recognition of traffic signs in autonomous driving scenes, and image classification can be applied to "photo shopping" and "find the same money” on e-commerce platforms.
  • OCR optical character recognition
  • face recognition can be applied to bill (such as invoice) recognition, handwriting recognition, etc.
  • face recognition can be Application security and other fields
  • object recognition can be applied to the recognition of traffic signs in autonomous driving scenes
  • image classification can be applied to "photo shopping" and "find the same money” on e-commerce platforms.
  • Voice recognition scenarios include products that can perform human-computer interaction through voice, such as voice assistants for mobile phones (such as Siri on Apple phones), smart speakers, etc.
  • Natural language processing scenarios including: review text (such as contracts, legal documents, customer service records, etc.), spam identification (such as spam SMS identification), and text classification (emotions, intentions, and topics, etc.).
  • Automatic control scenarios including: mine group adjustment operation prediction, wind turbine adjustment operation prediction, and air conditioning system adjustment operation prediction; specifically, a group of adjustment operations that can predict a high mining rate for mine groups, and predict high power generation efficiency for wind turbines
  • a set of adjustment operations can be predicted to meet demand while saving energy consumption.
  • Intelligent Q&A scenarios including: chat bots and intelligent customer service.
  • Business decision-making scenarios include: scenarios in the financial technology, medical, and municipal fields.
  • the financial technology field includes: marketing (such as coupon use prediction, advertising click behavior prediction, user portrait mining, etc.) and customer acquisition, anti-fraud, Anti-money laundering, underwriting and credit scoring, commodity price forecasting.
  • the medical field includes: disease screening and prevention, personalized health management and auxiliary diagnosis.
  • Municipal areas include: social governance and supervision and law enforcement, resource environment and facility management, industrial development and economic analysis, public services and people's death protection, smart cities (the deployment and management of various urban resources such as public transportation, online car-hailing, shared bicycles, etc.).
  • Search scenarios including: web search, image search, text search, video search, etc.
  • Abnormal behavior detection scenarios including: abnormal behavior detection of electricity consumption by State Grid customers, network malicious traffic detection, abnormal behavior detection in operation logs, etc.
  • using the model training operator to train the machine learning model may further include the following steps S2210 to S2230:
  • step S2210 in response to the trigger operation for the model training operator, a configuration interface for performing configuration regarding model training is provided.
  • a click operation may be performed on the model training operator, and the electronic device provides a configuration interface for performing configuration related to model training in response to the click operation.
  • the configuration interface includes at least one of the following configuration items: the input source configuration item of the machine learning model, the applicable problem type configuration item of the machine learning model, the algorithm mode configuration item of the training machine learning model, the optimization target configuration item of the machine learning model, and the machine The field name configuration item of the prediction target field of the learning model.
  • the above input source is generally 1 input source by default, that is, the representative training data is 1 data table.
  • the model training operator has only 1 input node, as shown in Figure 4, click "Add input source"
  • the model training operator is also used to splice multiple data tables according to the splicing primary key.
  • the above applicable problem types can include any one of binary classification problems, regression problems, and multi-classification problems.
  • a drop-down menu box for selecting the applicable question type may be provided as shown in FIG. 4, so as to obtain the question type selected by the user through the drop-down menu box as the applicable question type of the machine learning model.
  • the above algorithm mode can include any one of fast mode, standard model and fine model, and the algorithm mode is the standard mode by default.
  • the algorithm mode is the standard mode by default.
  • a drop-down menu box for selecting an algorithm mode may be provided, so as to obtain the algorithm mode selected by the user through the drop-down menu box as the algorithm mode applicable to the machine learning model.
  • the fast mode does not generate features, but uses very small data to quickly generate machine learning models.
  • the standard mode uses most of the training data for data preprocessing, but only uses some that work well on most of the training data. Feature rules generate features, and the fine mode uses the full amount of training data that does not overflow memory and uses all feature rules to explore to generate machine learning models.
  • MSE Mean Squared Error
  • MAE Mean Absolute Error
  • MAE Mean Absolute Percentage Error
  • R2 AUC, KS, Recall, Accuracy At least one of Precision, Accuracy, f1, Logloss.
  • MSE Mean Squared Error
  • MAE Mean Absolute Error
  • MAPE Mean Absolute Percentage Error
  • R2 AUC, KS, Recall, Accuracy At least one of Precision, Accuracy, f1, Logloss.
  • the field name of the above prediction target field is used to indicate the field name of the field where the model prediction target is located.
  • an input box for inputting the field name of the prediction target field may be provided as shown in FIG. 4, so that the user can manually input the field name of the field where the model prediction target is located.
  • Step S2220 Perform data preprocessing and feature engineering processing on the training data according to the configuration information input through the configuration interface to obtain training samples.
  • the input source defaults to 1 input source
  • the question type selects the two-category problem
  • the optimization target selects AUC
  • the algorithm mode selects the standard mode
  • the target value field is manually input by the user (in Figure 4)
  • the entered target value field is not shown).
  • Performing data preprocessing on the training data in this step S2220 may include at least one of the following items:
  • the first item is to perform data type conversion on the training data.
  • the second item is to sample the training data.
  • this item can be the overall down-sampling of the entire input data, leaving only the number of samples preset by the algorithm, and the number of samples left is automatically configured by the algorithm according to the environment of the development environment. For example, for classification tasks, samples can be sampled hierarchically, while for other tasks, random sampling can be used.
  • the third item is to label the training data as labeled data and unlabeled data.
  • the fourth item is to automatically identify the data field type of the training data.
  • the data field type of each attribute information contained in the training data can be converted into the business type that needs to be used in the subsequent feature engineering.
  • the business type is divided according to the physical meaning of the data feature, and the data is in advance
  • the service type can be, for example, a time type, a discrete value type, a continuous value type, an array type, and a dictionary type.
  • the algorithm converts the floating-point number type to a continuous value type, and converts the non-floating-point number type to a discrete value type, etc.
  • the fifth item is to fill the training data with missing values.
  • a new attribute information A' will be mapped correspondingly, and the value rule in this new attribute information A'is: for a specific value in attribute information A, if the value is empty , The specific value of the new attribute information A'mapped from the value is 1. If the value is not a null value, then the specific value of the new attribute information A'mapped from the value is 0.
  • the sixth item is to parse the initial time field in the training data, obtain and add a new time field, and delete the initial time field.
  • time type columns in different formats into a unified data format Date, analyze the Date column to get the year, month, day, week and hour information, and use them as a new discrete column and a new continuous column.
  • the value column is added to the original training data, and the timestamp of the Date column is used as a new continuous value feature, and the original time type feature in the original data is deleted.
  • the seventh item is to automatically identify non-numerical data in the training data and hash the non-numerical data.
  • this item it can be judged whether there is a column of data storage type that does not belong to integers or floating-point numbers. If there is, use a hash algorithm to map it into an integer string. The model can use the newly generated integer string to learn from the original data column Information.
  • performing data preprocessing and feature engineering processing on the training data in step S2220, and obtaining training samples may further include the following steps S2221 to S2224:
  • Step S2221 sampling the preprocessed training data.
  • the pre-processed training data may be down-sampled, for example, random sampling may be performed to reduce the amount of training data, so as to improve the calculation speed of subsequent feature importance values.
  • Step S2222 Perform pre-feature selection on the sampled training data to obtain basic features.
  • the pre-feature selection is performed on the training data after sampling in this step S2222, and obtaining the basic features may further include the following steps S2222-1 to S2222-3:
  • Step S2222-1 Extract all attribute information included in the training data after sampling.
  • the training data may include the information that the user expects to recommend to the consumer, the basic attribute information of the consumer (for example, information topic, information display location, consumer identifier, gender, age, height, weight, hobbies, etc.) At least one.
  • Step S2222-2 Obtain the feature importance value of each attribute information.
  • the feature importance value can be, for example, any one of hellinger distance, random forest feature segmentation gain, and gradient boosting decision tree feature segmentation gain.
  • the hellinger distance can be calculated as the feature importance value of each attribute information.
  • the random forest feature segmentation gain can be calculated as the feature importance value of each attribute information.
  • the feature importance value of the above information topic, information display location, consumer identifier, gender, age, height, weight, hobbies, etc. can be calculated.
  • step S2222-3 the basic feature is obtained according to the feature importance value.
  • obtaining basic features according to the feature importance value in step S2222-3 may further include the following steps S2222-31 to S2222-32:
  • step S2222-31 all the feature importance values are sorted to obtain the sorting result.
  • the feature importance values of the above information topics, information display positions, consumer identifiers, gender, age, height, weight, hobbies, etc. can be sorted in descending order. And then get the sorting result.
  • step S2222-32 according to the sorting result, the attribute information corresponding to the first predetermined number of feature importance values is obtained as the basic feature.
  • the first predetermined number may be a value set according to a specific application scenario or a simulation test. For example, for different application scenarios, values corresponding to the application scenarios may be set, and the values corresponding to different application scenarios may be the same or different. For another example, the same value may be set for all application scenarios, and this embodiment does not limit the specific setting manner of the first predetermined number.
  • the first set number can also be dynamically adjusted according to computing resources.
  • the attribute information corresponding to the first predetermined number of feature importance values may be obtained as the basic feature according to the above sorting result from largest to smallest.
  • Step S2223 Perform feature derivation on the basic feature to obtain a derived feature.
  • performing feature derivation on the basic feature in step S2223 to obtain the derived feature may further include: using a set feature generation rule to perform at least one of statistical calculations and feature combinations on the basic feature to obtain the derived feature.
  • the feature generation rules set above may include, for example, any one or more of Count, Nunique, NumAdd, NumSubtract, NumMultip, NumDivision, CatNumMean, CatNumStd, CatNumMax, CatNumMin, TumeSubtract, NumOutlier, and CatTimeDiff.
  • step S2223 the parameters required for calculating and generating features can be saved, which is convenient for accelerating the feature generation process of the model prediction operator.
  • step S2224a training samples are generated according to the basic features and derived features.
  • step S2224b-1 post-feature selection is performed on the basic feature and the derived feature.
  • the post-feature selection of the basic feature and the derived feature in step S2224b-1 may further include the following steps S2224b-11 to S2224b-13:
  • Step S2224b-11 Obtain the feature importance value of each basic feature and each derived feature.
  • the feature importance value can be, for example, any one of hellinger distance, random forest feature segmentation gain, and gradient boosting decision tree feature segmentation gain.
  • the random forest feature segmentation gain can be calculated as the feature importance value of each feature.
  • step S2224b-12 all the feature importance values are sorted, and the sorting result is obtained.
  • the acquired feature importance values of each basic feature and each derived feature may be sorted in descending order to obtain the sorting result.
  • step S2224b-13 according to the sorting result, a second predetermined number of features are acquired as features required for generating training samples.
  • the second predetermined number may be a value set according to a specific application scenario or a simulation test. For example, for different application scenarios, values corresponding to the application scenarios may be set, and the values corresponding to different application scenarios may be the same or different. For another example, the same value may be set for all application scenarios, and this embodiment does not limit the specific setting manner of the second predetermined number.
  • step S2224b-13 for example, according to the above sorting results from largest to smallest, the features corresponding to the second predetermined number of feature importance values are obtained as the features required for generating the training sample.
  • a threshold parameter r can also be set, a feature importance value set is formed according to the obtained feature importance values, and the median m of the set is obtained. In the set, if a feature importance value is greater than r*m, the feature corresponding to the feature importance value is retained.
  • step S2224b-2 training samples are generated according to the features obtained after feature selection.
  • step S2230 at least one model training algorithm is used to train a machine learning model based on the training samples.
  • the model training algorithm can be, for example, at least one of a gradient boosting decision tree, a random forest, a factorization machine, a domain-sensitive factorization machine, and linear regression.
  • this embodiment also supports an early stop strategy. Specifically, when multiple algorithms are being trained at the same time, a certain strategy can be used to determine in advance which algorithm is more suitable for the training data, so as to prevent the suspension. The exploration of suitable algorithms spends time and resources on more suitable algorithms.
  • Step S2300 using the model prediction operator and the trained machine learning model to provide prediction services for the prediction data.
  • the prediction data may be data that a user (for example, an information service provider for recommending information) expects to obtain relevant prediction results. For example, when a user wants to know whether the information expected to be recommended to its customers (for example, end consumers) will be accepted (that is, whether it will be clicked or read by consumers), the predicted data is about the expected recommendation The attribute information data of the information.
  • using the model prediction operator and the trained machine learning model in step S2300 to provide prediction services for the prediction data may further include the following steps S2310 to S2330:
  • Step S2310 in response to the trigger operation for the model prediction operator, a configuration interface for configuring the batch prediction service is provided.
  • a click operation may be performed on the model prediction operator, and the electronic device provides a configuration interface for configuring the batch prediction service in response to the click operation.
  • the configuration interface includes at least one of a configuration item selected by a field in the prediction result and a configuration item that simulates the switch state of the real-time prediction service.
  • the field selection in the above prediction results can include only retaining sample target values and prediction scores, and at least one of customization. For example, if you select "Retain only sample target values and predicted scores", the target values of the samples and model prediction results will be displayed in the prediction results. For another example, if you select "Custom”, a text box is provided for the user to enter the field name, and at the same time, the names of all available fields are provided for the user to check. The checked field will automatically appear in the text box, as shown in Figure 6. Show.
  • the switch status of the above simulated real-time prediction service When the switch status of the above simulated real-time prediction service is turned off, it is a batch prediction mode.
  • the prediction data participates in the prediction as a whole, but the prediction results of each sample may affect each other.
  • the switch state of the simulated real-time prediction service When the switch state of the simulated real-time prediction service is turned on, the prediction samples will not affect each other, and the prediction result is exactly the same as the real-time prediction.
  • Step S2320 Perform data preprocessing and feature update processing on the prediction data according to the configuration information input through the configuration interface to obtain prediction samples.
  • the field selection configuration in the prediction result is "Only retain sample target values and prediction scores", and the switch state of the simulated real-time prediction service is off.
  • Performing data preprocessing on the prediction data in this step S2320 may include at least one of the following items:
  • the first item is to perform data type conversion on the forecast data.
  • the second item is to block the prediction data.
  • the third item is to align the attribute information in the prediction data with the attribute information in the training data after the data is preprocessed.
  • the type of each column of the prediction data will be aligned with the type of the corresponding column of the training data.
  • the fourth item is to automatically identify the data field type of the forecast data.
  • the fifth item is to fill in the missing values of the forecast data.
  • the sixth item is to parse the initial time field in the forecast data, obtain and add a new time field, and delete the initial time field.
  • data preprocessing and feature update processing are performed on the prediction data in step S2320, and obtaining prediction samples may further include the following steps S2321 to S2324:
  • step S2321 the feature set is selected from the result of the feature engineering.
  • the feature set includes basic features and derived features.
  • Step S2322 Identify the feature generation rule corresponding to the derived feature.
  • Step S2323 Delete the attribute information that does not belong to the basic feature from the attribute information in the aligned prediction data to obtain the basic feature of the prediction data.
  • step S2324 the attribute information in the deleted prediction data is generated according to the feature generation rule to generate derivative features of the prediction data.
  • Step S2325 Generate prediction samples based on the basic features of the prediction data and the derived features of the prediction data.
  • step S2330 the trained machine learning model is used to provide a prediction result for the prediction sample.
  • multiple trained machine learning models may be used to provide prediction results for the prediction samples respectively, and the average value of the prediction results of the multiple machine learning models may be used as the final prediction result corresponding to the prediction data.
  • the method of this embodiment can provide mutually independent model training operators and model prediction operators, complete the training of machine learning models through the model training operators, and provide prediction services through the model prediction operators, thereby enabling model production
  • Multiple processes such as model application and other processes realize full-process cyclic operation, which greatly reduces the threshold and cost of machine learning.
  • a configuration interface of the real-time prediction service may be provided, so as to provide the real-time prediction service for the prediction data.
  • the method for executing an automatic machine learning process may further include the following steps S7100 to S7300:
  • step S7100 according to the operation of configuring the real-time prediction service, a configuration interface for configuring the real-time prediction service is provided.
  • the configuration interface includes at least one of a configuration item of a model selection rule of an online machine learning model and a configuration item of an application resource for selecting from the trained machine learning models.
  • Step S7200 Receive a prediction service request including prediction data through the API address set in the configuration interface.
  • step S7300 in response to the received prediction service request, the selected machine learning model is used to obtain the prediction result for the prediction data, and the prediction result is sent through the API address.
  • a human-computer interaction interface may be provided to support modelers to perform operations, and thereby obtain model training operators.
  • the method for performing an automatic machine learning process further includes the following steps S8100 to S8300:
  • step S8100 an editing interface is provided according to the operation of the editing model training operator.
  • the electronic device may provide an editing interface in response to the operation of editing the model training operator.
  • the editing interface may include an editing entry, and the editing entry can be an input box, a drop-down list, voice input, and the like.
  • Step S8200 Obtain the operator content input through the editing interface.
  • the operator content includes operation commands for data preprocessing of the input training data, operation commands for feature engineering on the training data after data preprocessing, and operation commands for model training based on the results of the feature engineering.
  • the modeler can input the content of the operator through the editing entry provided by the editing interface, so that the electronic device can obtain the content of the operator.
  • Step S8300 encapsulate the content of the operator to obtain a model training operator.
  • a visual interface is also provided to visually display the model training scheme obtained during the model training process.
  • the method for executing an automatic machine learning process further includes the following steps S9100 to S9200:
  • step S9100 a model training plan is obtained based on the trained machine learning model.
  • the model training scheme includes any one or more of the algorithm used to train the machine learning model, the hyperparameters of the machine learning model, the effect of the machine learning model, and feature information.
  • the algorithm includes, but is not limited to, any of the above gradient boosting decision trees, random forests, factorization machines, domain-sensitive factorization machines, and linear regression.
  • the hyperparameters may include model hyperparameters and training hyperparameters.
  • the above model hyperparameters are used to define the hyperparameters of the model, such as but not limited to activation functions (such as identity function, sigmoid function, truncated ramp function, etc.), the number of hidden layer nodes, the number of convolutional layer channels, and all The number of connection layer nodes, etc.
  • activation functions such as identity function, sigmoid function, truncated ramp function, etc.
  • the above training hyperparameters are hyperparameters used to define the model training process, such as but not limited to learning rate, batch size, and number of iterations.
  • the feature information includes any one or more of feature quantity, feature generation mode, and feature importance analysis result.
  • step S9200 the model training scheme is visually displayed.
  • the visual display result may be a graphical user interface as shown in FIG. 7.
  • the method for performing an automatic machine learning process may further include the step of retraining the machine learning model according to the preview result of the visual display.
  • an apparatus 8000 for performing an automatic machine learning process is provided, as shown in FIG. 8, including an interaction module 8100, a machine learning model training module 8200, and a data prediction module 8300.
  • the interaction module 8100 is configured to provide mutually independent model training operators and model prediction operators.
  • the machine learning model training module 8200 is configured to use the model training operator to train the machine learning model based on the saved training data.
  • the data prediction module 8300 is configured to use the model prediction operator and the trained machine learning model to provide prediction services for the collected prediction data.
  • the device 8000 further includes a model training operator acquisition module (not shown in the figure), and the model training operator acquisition module is configured to:
  • an editing interface is provided.
  • the operator content includes an operation command for data preprocessing on the input training data, an operation command for feature engineering on the training data after data preprocessing, and an operation command based on
  • the result of feature engineering is the operation command for model training.
  • the machine learning model training module 8200 is specifically configured to:
  • a configuration interface for performing configuration regarding model training is provided.
  • data preprocessing and feature engineering processing are performed on the training data to obtain training samples.
  • At least one model training algorithm is used to train a machine learning model based on the training samples.
  • the configuration interface includes at least one of the following configuration items: the input source configuration item of the machine learning model, the applicable problem type configuration item of the machine learning model, the algorithm mode configuration item of the training machine learning model, and the configuration item of the machine learning model. Optimize the target configuration item and the field name configuration item of the predicted target field of the machine learning model.
  • the machine learning model training module 8200 is specifically configured to perform at least one of the following items on the training data:
  • the first item is to perform data type conversion on the training data.
  • the second item is to sample the training data.
  • the third item is to label the training data as labeled data and unlabeled data.
  • the fourth item is to automatically identify the data field type of the training data.
  • the fifth item is to fill the training data with missing values.
  • the sixth item is to parse the initial time field in the training data, obtain and add a new time field, and delete the initial time field.
  • the seventh item is to automatically identify non-numerical data in the training data, and perform hash processing on the non-numerical data.
  • the machine learning model training module 8200 is specifically configured to:
  • a training sample is generated.
  • the machine learning model training module 8200 is specifically configured to:
  • the machine learning model training module 8200 is specifically configured to:
  • a first predetermined amount of attribute information is obtained as a basic feature.
  • the machine learning model training module 8200 is specifically used for:
  • the machine learning model training module 8200 is specifically configured to:
  • a post feature selection is performed on the basic feature and the derived feature.
  • a training sample is generated.
  • the machine learning model training module 8200 is specifically configured to:
  • a second predetermined number of features are acquired as features required for generating training samples.
  • the device 8000 further includes a model training solution display module (not shown in the figure), and the model training solution display module is configured to:
  • the model training scheme includes any one or more of the algorithm used to train the machine learning model, the hyperparameters of the machine learning model, the effect of the machine learning model, and the feature information.
  • the feature information includes any one or more of feature quantity, feature generation mode, and feature importance analysis result.
  • the machine learning model training module 8200 is specifically configured to:
  • the data prediction module 8300 includes a batch prediction unit (not shown in the figure), and the batch prediction unit is configured to:
  • a prediction result is provided for the prediction sample.
  • the configuration interface includes at least one of a configuration item selected by a field in the prediction result and a configuration item that simulates the switch state of the real-time prediction service.
  • the data prediction module 8300 includes a real-time prediction unit (not shown in the figure), and the real-time prediction unit is configured to:
  • a configuration interface for configuring the real-time prediction service is provided.
  • the prediction service request including the prediction data is received through the API address set in the configuration interface.
  • the selected machine learning model is used to obtain the prediction result for the prediction data, and the prediction result is sent through the API address.
  • the configuration interface includes at least one of a configuration item for selecting a model selection rule of an online machine learning model from the trained machine learning model, and a configuration item for an application resource.
  • This embodiment provides a device 9000 with at least one computing device 9100 and at least one storage device 9200.
  • the at least one storage device 9200 is configured to store instructions that, when executed by at least one computing device, cause the at least one computing device 9100 to execute the method for performing an automatic machine learning process according to any embodiment of the present disclosure.
  • This embodiment provides a computer-readable storage medium, wherein a computer program is stored thereon, and the computer program, when executed by a processor, implements the method according to any one of the above method embodiments.
  • the present disclosure may be a device, a method, and/or a computer program product.
  • the computer program product may include a computer-readable storage medium loaded with computer-readable program instructions for enabling a processor to implement various aspects of the present disclosure.
  • the computer-readable storage medium may be a tangible device that can hold and store instructions used by the instruction execution device.
  • the computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Non-exhaustive list of computer-readable storage media include: portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM) Or flash memory), static random access memory (SRAM), portable compact disk read-only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, mechanical encoding device, such as a printer with instructions stored thereon
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • flash memory flash memory
  • SRAM static random access memory
  • CD-ROM compact disk read-only memory
  • DVD digital versatile disk
  • memory stick floppy disk
  • mechanical encoding device such as a printer with instructions stored thereon
  • the computer-readable storage medium used here is not interpreted as the instantaneous signal itself, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (for example, light pulses through fiber optic cables), or through wires Transmission of electrical signals.
  • the computer-readable program instructions described herein can be downloaded from a computer-readable storage medium to various computing/processing devices, or downloaded to an external computer or external storage device via a network, such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network may include copper transmission cables, optical fiber transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers.
  • the network adapter card or network interface in each computing/processing device receives computer-readable program instructions from the network, and forwards the computer-readable program instructions for storage in the computer-readable storage medium in each computing/processing device .
  • the computer program instructions used to perform the operations of the present disclosure may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or in one or more programming languages.
  • Source code or object code written in any combination, the programming language includes object-oriented programming languages such as Smalltalk, C++, etc., and conventional procedural programming languages such as "C" language or similar programming languages.
  • Computer-readable program instructions can be executed entirely on the user's computer, partly on the user's computer, executed as a stand-alone software package, partly on the user's computer and partly executed on a remote computer, or entirely on the remote computer or server implement.
  • the remote computer can be connected to the user's computer through any kind of network-including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (for example, using an Internet service provider to connect to the user's computer) connect).
  • LAN local area network
  • WAN wide area network
  • an electronic circuit such as a programmable logic circuit, a field programmable gate array (FPGA), or a programmable logic array (PLA), can be customized by using the status information of the computer-readable program instructions.
  • the computer-readable program instructions are executed to realize various aspects of the present disclosure.
  • These computer-readable program instructions can be provided to the processor of a general-purpose computer, a special-purpose computer, or other programmable data processing device, thereby producing a machine that makes these instructions when executed by the processor of the computer or other programmable data processing device , A device that implements the functions/actions specified in one or more blocks in the flowcharts and/or block diagrams is produced. It is also possible to store these computer-readable program instructions in a computer-readable storage medium. These instructions make computers, programmable data processing apparatuses, and/or other devices work in a specific manner. Thus, the computer-readable medium storing the instructions includes An article of manufacture, which includes instructions for implementing various aspects of the functions/actions specified in one or more blocks in the flowcharts and/or block diagrams.
  • each block in the flowchart or block diagram may represent a module, program segment, or part of an instruction, and the module, program segment, or part of an instruction contains one or more components for realizing the specified logical function.
  • Executable instructions may also occur in a different order from the order marked in the drawings. For example, two consecutive blocks can actually be executed substantially in parallel, or they can sometimes be executed in the reverse order, depending on the functions involved.
  • each block in the block diagram and/or flowchart, and the combination of the blocks in the block diagram and/or flowchart can be implemented by a dedicated hardware-based system that performs the specified functions or actions Or it can be realized by a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that implementation through hardware, implementation through software, and implementation through a combination of software and hardware are all equivalent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种执行自动机器学习过程的方法、装置及设备，该方法包括：提供相互独立的模型训练算子和模型预测算子(S2100)；基于训练数据，利用所述模型训练算子来训练机器学习模型(S2200)；以及，利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务(S2300)。

Description

执行自动机器学习过程的方法、装置及设备
本公开要求于2020年04月17日提交中国专利局，申请号为202010307807.5，申请名称为“执行自动机器学习过程的方法、装置及设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及人工智能领域，更具体地，涉及一种执行自动机器学习过程的方法、一种执行自动机器学习过程的装置、一种包括至少一个计算装置和至少一个存储装置的设备、及一种计算机可读存储介质。
背景技术
随着机器学习技术的快速发展和应用，自动机器学习技术大大降低了机器学习的门槛，并且节省了机器学习的人力成本。然而，现有的自动机器学习工具功能过于简单片面，不能覆盖机器学习模型构建及应用的整个流程，即，现有的自动机器学习工具仅能完成如何基于积累的历史数据训练出一个机器学习模型，而无法有效地实现机器学习模型的后续生产和应用(例如，难以利用机器学习模型提供在线服务)，换句话说，现有技术存在建模方案或成果与模型应用过程之间割裂严重的问题，而且，其不具备友好的交互方式，使得用户有一定的编程基础才可使用，没有做到真正的低门槛。
发明内容
本公开实施例的一个目的是提供一种执行自动机器学习过程的新的技术方案。
根据本公开的第一方面，提供了一种执行自动机器学习过程的方法，其包括：提供相互独立的模型训练算子和模型预测算子；基于训练数据，利用所述模型训练算子来训练机器学习模型；以及，利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务。
根据本公开的第二方面，还提供一种执行自动机器学习过程的装置，其包括：交互模块，被配置为提供相互独立的模型训练算子和模型预测算子；机器学习模型训练模块，被配置为基于保存的训练数据，利用所述模型训练算子来训练机器学习模型；以及，数据预测模块，被配置为利用所述模型预测算子和训练出的所述机器学习模型，针对收集到的预测数据提供预测服务。
根据本公开的第三方面，还提供一种包括至少一个计算装置和至少一个存储装置的设备，其中，所述至少一个存储装置被配置为存储指令，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行根据以上第一方面所述的方法。
根据本公开的第四方面，还提供一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如以上第一方面所述的方法。
根据本公开实施例的方法，其能够提供相互独立的模型训练算子和模型预测算子，并通过模型训练算子完成机器学习模型的训练，及通过模型预测算子提供预测服务，从而使得模型生产和模型应用等多个过程实现全流程循环作业，进而大大降低了机器学习的门槛和成本。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
图1是显示可用于实现本公开实施例的电子设备的硬件配置的例子的框图；
图2示出了本公开实施例的执行自动机器学习过程的方法的流程图；
图3至图7示出了根据本公开实施例的执行自动机器学习过程的界面显示示意图；
[根据细则91更正 27.05.2021]　
图8示出了本公开实施例的执行自动机器学习过程的装置的原理框图。
图9示出了本公开实施例的设备的原理框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面，参照附图描述根据本公开实施例的各个实施例和例子。
<硬件配置>
本公开实施例的方法可以由至少一台电子设备实施，即，用于实施该方法的装置8000可以布置在该至少一台电子设备上。图1示出了任意电子设备的硬件结构。图1所示的电子设备可以是便携式电脑、台式计算机、工作站、服务器等，也可以是任意的具有处理器等计算装置和存储器等存储装置的其他设备，在此不做限定。
如图1所示，该电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。电子设备1000可以通过扬声器1700输出语音信息，及可以通过麦克风1800采集语音信息等。
图1所示的电子设备仅仅是说明性的并且决不意味着对本公开、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开实施例的执行自动机器学习过程的方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在一个实施例中，提供了一种包括至少一个计算装置和至少一个存储装置的设备，该至少一个存储装置被配置为存储指令，该指令被配置为控制该至少一个计算装置执行根据本公开任意实施例的方法。
该设备可以包括至少一台图1所示的电子设备1000，以提供至少一个例如是处理器的 计算装置和至少一个例如是存储器的存储装置，在此不做限定。
<方法实施例>
在本实施例中，提供一种执行自动机器学习过程的方法，该执行自动机器学习过程的方法可以是由电子设备实施，该电子设备可以是如图1所示的电子设备1000。
根据图2所示，本实施例的执行自动机器学习过程的方法可以包括如下步骤S2100～S2300：
步骤S2100，提供相互独立的模型训练算子和模型预测算子。
模型训练算子是用于对输入的训练数据进行数据预处理，并针对进行数据预处理后的训练数据进行特征工程，及根据特征工程的结果进行模型训练得到机器学习模型的工具。本实施例中，建模人员可以将模型训练算子内容进行提前编辑，然后提供编辑好的模型训练算子的标识信息，例如可以是模型训练算子的名称，如图3所示，可以直接为“模型训练算子”，在使用时，用户可以直接将“模型训练算子”进行拖曳。
模型预测算子是用于对输入的预测数据进行数据预处理，并针对进行数据预处理后的预测数据进行特征工程，及利用机器学习模型对特征工程的结果进行预测得到预测结果的工具。本实施例中，建模人员将模型预测算子内容进行提前编辑，然后提供编辑好的模型预测算子的标识信息，例如可以是模型预测算子的名称，如图3所示，可以直接为“模型预测算子”，在使用时，用户可以直接将“模型预测算子”进行拖曳。
在本实施例中，可以提供图形用户界面，并在图形用户界面的算子节点中分别提供“模型训练算子”节点和“模型预测算子”节点。如图3所示，在需要对训练数据进行模型训练时，可以是将“模型训练算子”拖曳至执行自动机器学习过程的图形用户界面中，得到“模型训练算子”节点。以及，在需要对预测数据进行模型预测时，可以是将“模型预测算子”拖曳至执行自动机器学习过程的图形用户界面中，得到“模型预测算子”节点。
在提供相互独立的模型训练算子和模型预测算子之后，进入：
步骤S2200，基于训练数据，利用模型训练算子来训练机器学习模型。
在本实施例中，针对不同的机器学习问题提供不同的训练数据。例如可以是在执行本公开实施例的电子设备的指定位置中预先存储对应多种应用场景的训练数据集，每一训练数据集包括多个训练数据，该训练数据例如可以是带标注的图像数据、带标注的一张或多张文本数据表或者带标注的语音数据等。
本实施例中，可以提供图形用户界面，并在图形用户界面的数据节点中选择对应应用场景的训练数据。如图3所示，在需要对训练数据进行模型训练时，将该训练数据拖曳至执行自动机器学习过程的图形用户界面中，得到“训练数据”节点，并将该“训练数据”节点与“模型训练算子”节点连接，右键点击“模型训练算子”，选择运行，进而利用模型训练算子基于训练数据来训练机器学习模型。
需要说明的是，本公开实施例中的机器学习模型可被用于预测图像类别、文本类别、语音情感、欺诈交易、广告点击率等。机器学习模型旨在针对相关场景中的对象或事件有关的问题进行预测。例如，可用于预测图像类别、预测图像中文字、预测文本类别、预测语音情感类别、预测欺诈交易、预测广告点击率、预测商品价格等等，使得预测结果可直接作为决策依据或进一步结合其他规则而成为决策依据。
在一个实施例中，本公开实施例中的机器学习模型可被用于的场景包括但不限于以下场景：
图像处理场景，包括：光学字符识别(OCR)、人脸识别、物体识别和图片分类；更具体地举例来说，OCR可应用于票据(如发票)识别、手写字识别等，人脸识别可应用安防等领域，物体识别可应用于自动驾驶场景中的交通标志识别，图片分类可应用于电商平台的“拍照购”、“找同款”等。
语音识别场景，包括可通过语音进行人机交互的产品，如手机的语音助手(如苹果手机的Siri)、智能音箱等。
自然语言处理场景，包括：审查文本(如合同、法律文书和客服记录等)、垃圾内容识别(如垃圾短信识别)和文本分类(情感、意图和主题等)。
自动控制场景，包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；具体的对于矿井组可预测开采率高的一组调节操作，对于风力发电机组可预测发电效率高的一组调节操作，对于空调系统，可以预测满足需求的同时节省能耗的一组调节操作。
智能问答场景，包括：聊天机器人和智能客服。
业务决策场景，包括：金融科技领域、医疗领域和市政领域的场景，其中：金融科技领域包括：营销(如优惠券使用预测、广告点击行为预测、用户画像挖掘等)与获客、反欺诈、反洗钱、承保和信用评分、商品价格预测。
医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断。
市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障、智慧城市(公交、网约车、共享单车等各类城市资源的调配和管理)。
推荐业务场景，包括：新闻、广告、音乐、咨询、视频和金融产品(如理财、保险等)的推荐。
搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索等。
异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测、操作日志中的异常行为检测等。
在本实施例中，该步骤S2200中基于训练数据，利用模型训练算子来训练机器学习模型可以进一步包括如下步骤S2210～S2230：
步骤S2210，响应于针对模型训练算子的触发操作，提供进行关于模型训练的配置的配置界面。
本步骤S2210中，例如可以是针对模型训练算子实施点击操作，电子设备响应于该点击操作，提供进行关于模型训练的配置的配置界面。
该配置界面包括以下至少一个配置项：机器学习模型的输入源配置项、机器学习模型的适用问题类型配置项、训练机器学习模型的算法模式配置项、机器学习模型的优化目标配置项、及机器学习模型的预测目标字段的字段名配置项。
以上输入源在一般情况下默认为1个输入源，即，代表训练数据为1张数据表，此时模型训练算子只有1个输入节点，如图4所示，通过点击“添加输入源”，模型训练算子的输入节点增加，便可接入多张数据表作为训练数据，在此，该模型训练算子还用于将多张数据表按照拼接主键进行拼接。
以上适用问题类型可以包括二分类问题、回归问题以及多分类问题之中的任意一项。例如可以是如图4所示提供用于选择适用问题类型的下拉菜单框，以便获取用户通过该下拉菜单框选择的问题类型作为机器学习模型所适用问题类型。
以上算法模式可以包括快速模式、标准模型和精细模型之中的任意一项，该算法模式默认为标准模式。例如可以如图4所示提供用于选择算法模式的下拉菜单框，以便获取用户通过该下拉菜单框选择的算法模式作为机器学习模型所适用算法模式。需要注意的是，快速模式不会生成特征，只是使用极小数据快速的生成机器学习模型，标准模式会利用大部分训练数据进行数据预处理，但是只使用一些在大多数训练数据上效果好的特征规则生成特征，精细模式会使用不溢出内存的全量训练数据并利用所有特征规则进行探索以生成机器学习模型。
以上优化目标包括均方误差(Mean Squared Error，MSE)、平均绝对误差(Mean Absolute Error，MAE)、平均绝对百分比误差(Mean Absolute Percentage Error，MAPE)、R2、AUC、 KS、召回率Recall、准确率Precision、精确率Accuracy、f1、Logloss之中的至少一项。其中，针对于不同问题类型，提供不同选项，例如对于回归问题，可选MSE、MAE、MAPE、R2等，对于二分类问题，可选AUC、KS、Recall、Precision、Accuracy、f1、Logloss等。
以上预测目标字段的字段名用于表示模型预测目标所在字段的字段名。例如可以是如图4所示提供用于输入预测目标字段的字段名的输入框，以便用户手动输入模型预测目标所在字段的字段名。
步骤S2220，根据通过配置界面输入的配置信息，对训练数据进行数据预处理和特征工程处理，获得训练样本。
继续以图4所示的配置界面为例，输入源默认为1个输入源，问题类型选择二分类问题，优化目标选择AUC，算法模式选择标准模式，目标值字段由用户手动输入(图4中未示出所输入的目标值字段)。
本步骤S2220中对训练数据进行数据预处理可以包括以下各项之中的至少一项：
第一项，对训练数据进行数据类型转换。
本项中，由于实际输入的业务数据包括的输入数据类型多种多样，格式不一，在此，例如可以是将不同的数据类型统一转换为被广泛使用的PandasDataFrame格式。
第二项，对训练数据进行采样。
本项中，可以是对输入的全量数据进行总体的下采样，仅留下算法预先设置的样本个数，留下的样本个数由算法根据开发环境的环境自动配置。例如是分类任务，可以对样本进行分层采样，而对于其他任务，则采用随机采样。
第三项，将训练数据标注为有标签数据和无标签数据。
本项中，可以是利用有标签数据进行模型训练，并利用有标签数据和无标签数据进行特征生成。
第四项，自动识别训练数据的数据字段类型。
本项中，可以是将训练数据包含的每一属性信息的数据字段类型转换为后续特征工程中需要用到的业务类型，该业务类型是根据数据特征的物理意义划分的，并在数据上事先标注好，该业务类型例如可以是时间类型，离散值类型，连续值类型，数组类型和字典类型。通常，如果用户没有自己定义业务类型，算法会将浮点数类型转换为连续值类型，将非浮点数类型转换为离散值类型等。
第五项，对训练数据进行缺失值填充。
本项中，对于某一列A，会对应生成一个A’，在第i个样本上，如果A_i为空，则其值为A'_i＝1，否则A'_i＝0。例如，对于任意一个属性信息A，会对应映射出一个新的属性信息A’，该新的属性信息A’中的取值规则为：对于一个属性信息A中的具体值，若该值为空，则将该值映射出的新的属性信息A’的具体值为1。若该值不为空值，则将该值映射出的新的属性信息A’的具体值为0。
第六项，对训练数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除初始时间字段。
本项中，可以是将不同格式的时间类型列转换成统一的数据格式Date，解析Date列得到年，月，日，周和小时的信息，并将其分别作为新的离散列和新的连续值列补充到原训练数据当中，同时将Date列的时间戳当做一列新的连续值特征，并删除原数据中的初始时间类型特征。
第七项，自动识别训练数据中的非数值数据，并对非数值数据进行哈希处理。
本项中，可以是判断是否有数据存储类型不属于整数，浮点数的列，如果有，将其用哈希算法映射成整数字符串，模型可以利用新生成的整数字符串学习原始数据列中的信息。
在本实施例中，该步骤S2220中对训练数据进行数据预处理和特征工程处理，获得训练样本可以进一步包括如下步骤S2221～S2224：
步骤S2221，对进行预处理后的训练数据进行采样。
本步骤S2221中，可以是对进行预处理后的训练数据进行下采样，例如进行随机采样，可降低训练数据的数据量，以便提升后续特征重要性值的计算速度。
步骤S2222，对进行采样后的训练数据进行前特征选择，获得基础特征。
通过本步骤S2222中对进行采样后的训练数据进行前特征选择，可以筛选出特征重要性值较高的特征作为基础特征。
在本实施例中，该步骤S2222中对进行采样后的训练数据进行前特征选择，获得基础特征可以进一步包括如下步骤S2222-1～S2222-3：
步骤S2222-1，提取进行采样后的训练数据中包括的所有属性信息。
该属性信息用于形成特征。例如，训练数据可包括用户期望向消费者推荐的资讯、消费者的基本属性信息(例如，资讯主题、资讯展示位置、消费者标识符、性别、年龄、身高、体重、兴趣爱好等)中的至少一种。
步骤S2222-2，获取每一属性信息的特征重要性值。
本步骤S2222-2中，特征重要性值例如可以是hellinger距离，随机森林特征切分增益以及梯度提升决策树特征切分增益等之中的任意一项。例如对于分类任务可以计算hellinger距离作为每一属性信息的特征重要性值。又例如对于回归任务可以计算随机森林特征切分增益作为每一属性信息的特征重要性值。
本步骤S2222-2中，例如可以是计算以上资讯主题、资讯展示位置、消费者标识符、性别、年龄、身高、体重、兴趣爱好等的特征重要性值。
步骤S2222-3，根据特征重要性值，获得基础特征。
本实施例中，该步骤S2222-3中根据特征重要性值，获得基础特征可以进一步包括如下步骤S2222-31～S2222-32：
步骤S2222-31，对所有特征重要性值进行排序，获得排序结果。
本步骤S2222-31中，例如可以是对以上资讯主题、资讯展示位置、消费者标识符、性别、年龄、身高、体重、兴趣爱好等的特征重要性值按照从大到小的顺序进行排序，进而获得排序结果。
步骤S2222-32，根据排序结果，获取第一预定数量的特征重要性值所对应的属性信息作为基础特征。
第一预定数量可以是根据具体应用场景或者是仿真试验设置的数值。例如对于不同应用场景可以是设置对应该应用场景的数值，对应不同应用场景的数值可以相同，也可以不同。又例如也可以是对于所有应用场景均设置相同的数值，本实施例并不限定第一预定数量的具体设置方式。该第一设定数量还可以根据计算资源来进行动态调整。
本步骤S2222-32中，例如可以是根据以上从大到小的排序结果，获取前第一预定数量的特征重要性值所对应的属性信息作为基础特征。
步骤S2223，对基础特征进行特征衍生，获得衍生特征。
本实施例中，该步骤S2223中对基础特征进行特征衍生，获得衍生特征可以进一步包括：利用设定的特征生成规则，对基础特征进行统计计算、特征组合中的至少一个，获得衍生特征。
以上设定的特征生成规则例如可以包括Count,Nunique，NumAdd，NumSubtract，NumMultip，NumDivision，CatNumMean，CatNumStd，CatNumMax，CatNumMin，TumeSubtract，NumOutlier，CatTimeDiff之中的任意一项或者多项。
本步骤S2223中，可以保存计算生成特征所需要参数，便于加速模型预测算子的特征生成过程。
步骤S2224a，根据基础特征和衍生特征，生成训练样本。
本实施例中，还可以是在根据以上步骤S2223获得衍生特征之后，进一步包括如下步 骤S2224b-1～S2224b-2：
步骤S2224b-1，对基础特征和衍生特征进行后特征选择。
本实施例中，该步骤S2224b-1中对基础特征和衍生特征进行后特征选择可以进一步包括如下步骤S2224b-11～S2224b-13：
步骤S2224b-11，获取每一基础特征和每一衍生特征的特征重要性值。
本步骤S2224b-11中，特征重要性值例如可以是hellinger距离，随机森林特征切分增益以及梯度提升决策树特征切分增益等之中的任意一项。例如对于回归任务可以计算随机森林特征切分增益作为每一特征的特征重要性值。
步骤S2224b-12，对所有特征重要性值进行排序，获得排序结果。
本步骤S2224b-12中，例如可以是对获取到的每一基础特征和每一衍生特征的特征重要性值按照从大到小的顺序进行排序，进而获得排序结果。
步骤S2224b-13，根据排序结果，获取第二预定数量的特征作为生成训练样本所需要的特征。
第二预定数量可以是根据具体应用场景或者是仿真试验设置的数值。例如对于不同应用场景可以是设置对应该应用场景的数值，对应不同应用场景的数值可以相同，也可以不同。又例如也可以是对于所有应用场景均设置相同的数值，本实施例并不限定第二预定数量的具体设置方式。
本步骤S2224b-13中，例如可以是根据以上从大到小的排序结果，获取前第二预定数量的特征重要性值所对应的特征作为生成训练样本所需要的特征。
本实施例中，还可以是设置一个阈值参数r，根据得到的特征重要性值组成特征重要性值集合，并获取该集合的中位数m，在该集合中，如果一个特征重要性值大于r*m，则将该特征重要性值对应的特征保留。
步骤S2224b-2，根据进行后特征选择得到的特征，生成训练样本。
步骤S2230，利用至少一种模型训练算法，基于训练样本来训练出机器学习模型。
模型训练算法例如可以是梯度提升决策树，随机森林，因子分解机，域敏感的因子分解机，线性回归之中的至少一项。
在实际运行时，本实施例还支持提前停止(early stop)策略，具体来说，当多种算法同时进行训练时，可以根据某种策略来提前判定训练数据更适合哪种算法，从而暂停不适合的算法的探索，把时间和资源都花费在更适合的算法上。
在基于训练数据，利用模型训练算子来训练机器学习模型之后，进入：
步骤S2300，利用模型预测算子和训练出的机器学习模型，针对预测数据提供预测服务。
预测数据可以是用户(例如，用于推荐资讯的资讯服务商)期望获得相关预测结果的数据。例如，当用户想要获知期望向其客户(例如，终端消费者)推荐的资讯是否会被接受(即，是否会被消费者点击或阅读)的预测结果时，该预测数据即为关于期望推荐的资讯的属性信息数据。
如图3所示，在需要针对预测数据提供预测服务时，可以是将“模型预测算子”拖曳至执行自动机器学习过程的图形用户界面中，得到“模型预测算子”节点，以及，将预测数据拖曳至执行自动机器学习过程的图形用户界面中，得到“预测数据”节点，并将该“预测数据”节点与“模型预测算子”节点连接，并右键点击“模型预测”，选择运行，进而利用模型预测算子基于预测数据提供批量预测服务。
在本实施例中，该步骤S2300中利用模型预测算子和训练出的机器学习模型，针对预测数据提供预测服务可以进一步包括如下步骤S2310～S2330：
步骤S2310，响应于针对模型预测算子的触发操作，提供进行关于批量预测服务的配置的配置界面。
本步骤S2310中，例如可以是针对模型预测算子实施点击操作，电子设备响应于该点击操作，提供进行关于批量预测服务的配置的配置界面。
如图5所示的配置界面，该配置界面包括预测结果中字段选择的配置项、模拟实时预测服务的开关状态的配置项中的至少一项。
以上预测结果中字段选择可以包括只保留样本目标值和预测分值，及自定义之中的至少一项。例如，如果选择“只保留样本目标值和预测分值”，则在预测结果中展示样本的目标值和模型预测结果。又例如，如果选择“自定义”，则提供一个文本框供用户输入字段名称，同时提供所有可供选择字段的名称供用户勾选，勾选字段将自动出现在文本框中，如图6所示。
以上模拟实时预测服务的开关状态为关闭状态时为批量预估模式，预测数据整体参与预估，但是各样本的预测结果可能会相互影响。模拟实时预测服务的开关状态为开启状态时预测样本之间不会互相影响，预测结果与实时预估完全一致。
步骤S2320，根据通过配置界面输入的配置信息，对预测数据进行数据预处理和特征更新处理，获得预测样本。
继续以图5所示的配置界面为例，预测结果中字段选择配置为“只保留样本目标值和预测分值”，并且，模拟实时预测服务的开关状态为关闭状态。
本步骤S2320中对预测数据进行数据预处理可以包括以下各项之中的至少一项：
第一项，对预测数据进行数据类型转换。
第二项，对预测数据进行分块。
本项中，可以先判断预测数据的数据量，当数据量不足以在内存中进行一次处理时，可以将预测数据分成多份存储至硬盘中，以便分批次进行之后的数据预处理，特征工程和结果预估。
第三项，将预测数据中的属性信息与对数据预处理后的训练数据中的属性信息对齐。
本项中，当预测数据读入时，会将预测数据每一列的类型和训练数据对应列的类型进行对齐。
第四项，自动识别预测数据的数据字段类型。
第五项，对预测数据进行缺失值填充。
第六项，对预测数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除初始时间字段。
在本实施例中，该步骤S2320中对预测数据进行数据预处理和特征更新处理，获得预测样本可以进一步包括如下步骤S2321～S2324：
步骤S2321，从特征工程的结果中筛选出特征集合。
特征集合中包括基础特征和衍生特征。
步骤S2322，识别衍生特征对应的特征生成规则。
步骤S2323，将对齐后的预测数据中的属性信息中不属于基础特征的属性信息删除，以得到预测数据的基础特征。
步骤S2324，将删除后的预测数据中的属性信息，按照特征生成规则，生成预测数据的衍生特征。
步骤S2325，根据预测数据的基础特征和预测数据的衍生特征，生成预测样本。
步骤S2330，利用训练出的机器学习模型，针对预测样本提供预测结果。
在本实施例中，可以是利用训练出的多个机器学习模型，分别针对预测样本提供预测结果，并将多个机器学习模型的预测结果的平均值，作为预测数据对应的最终预测结果。
根据本实施例的方法，其能够提供相互独立的模型训练算子和模型预测算子，并通过模型训练算子完成机器学习模型的训练，及通过模型预测算子提供预测服务，从而使得模型生产和模型应用等多个过程实现全流程循环作业，进而大大降低了机器学习的门槛和成 本。
而且，其能够适应于不同的结构化数据场景，例如可以是支持二分类场景、多分类场景、回归类场景以及聚类问题场景。
在一个实施例中，可以提供实时预测服务的配置界面，以便针对预测数据提供实时预测服务。该实施例中，该执行自动机器学习过程的方法还可以包括如下步骤S7100～S7300：
步骤S7100，根据配置实时预测服务的操作，提供进行关于实时预测服务的配置的配置界面。
配置界面包括用于从训练出的机器学习模型之中选择线上机器学习模型的模型选取规则的配置项、应用资源的配置项中的至少一项。
步骤S7200，通过配置界面中设定的API地址接收包括预测数据的预测服务请求。
步骤S7300，响应于接收到的预测服务请求，利用选择出的机器学习模型得到针对预测数据的预测结果，并将预测结果通过API地址发出。
在一个实施例中，可以提供人机交互接口，以支持建模人员进行操作，进而获得模型训练算子。该实施例中，该用于执行自动机器学习过程的方法还包括如下步骤S8100～S8300：
步骤S8100，根据编辑模型训练算子的操作，提供编辑界面。
本实施例中，电子设备可以响应于编辑模型训练算子的操作，提供编辑界面。
该编辑界面中可以包括编辑入口，该编辑入口可以是输入框、下拉列表、语音输入等。
步骤S8200，获取通过编辑界面输入的算子内容。
算子内容包括对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令。
本实施例中，建模人员可以通过编辑界面提供的编辑入口输入算子内容，供电子设备获取该算子内容。
步骤S8300，封装算子内容，得到模型训练算子。
本实施例中，可以是封装对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令后，获得模型训练算子。
在一个实施例中，还提供可视化界面将模型训练过程中得到的模型训练方案进行可视化展示。该实施例中，该用于执行自动机器学习过程的方法还包括以下步骤S9100～S9200：
步骤S9100，基于训练出的机器学习模型，获得模型训练方案。
该模型训练方案包括用于训练机器学习模型的算法、机器学习模型的超参数、机器学习模型的效果以及特征信息之中的任意一项或者多项。
该算法包括但不限于是以上梯度提升决策树，随机森林，因子分解机，域敏感的因子分解机，线性回归之中的任意一项。
该超参数可以包括模型超参数和训练超参数。
以上模型超参数是用于定义模型的超参数，例如但不限于是激活函数(例如恒等函数、S型函数以及截断斜波函数等)、隐含层节点数量、卷积层通道数量以及全连接层节点数量等。
以上训练超参数是用于定义模型训练过程的超参数，例如但不限于是学习率、批尺寸以及迭代次数等。
该特征信息包括特征数量、特征生成方式以及特征重要性分析结果之中的任意一项或者多项。
步骤S9200，将模型训练方案进行可视化展示。
本步骤S9200中，该可视化展示结果可以是如图7所示的图形用户界面。
在本实施例中，该用于执行自动机器学习过程的方法还可以包括根据可视化展示的预览结果重新训练机器学习模型的步骤。
本实施例中，如果预览结果未达要求，可返回至模型训练步骤，通过修改关于模型训练的配置的配置界面中的配置信息，重新进行模型训练。
<装置实施例>
在本实施例中，提供一种执行自动机器学习过程的装置8000，如图8所示，包括交互模块8100、机器学习模型训练模块8200及数据预测模块8300。
该交互模块8100，被配置为提供相互独立的模型训练算子和模型预测算子。
该机器学习模型训练模块8200，被配置为基于保存的训练数据，利用所述模型训练算子来训练机器学习模型。
该数据预测模块8300，被配置为利用所述模型预测算子和训练出的所述机器学习模型，针对收集到的预测数据提供预测服务。
在一个实施例中，该装置8000还包括模型训练算子获取模块(图中未示出)，该模型训练算子获取模块被配置为：
根据编辑所述模型训练算子的操作，提供编辑界面。
获取通过所述编辑界面输入的算子内容，其中，所述算子内容包括对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令。
封装所述算子内容，得到所述模型训练算子。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
响应于针对所述模型训练算子的触发操作，提供进行关于模型训练的配置的配置界面。
根据通过所述配置界面输入的配置信息，对所述训练数据进行数据预处理和特征工程处理，获得训练样本。
利用至少一种模型训练算法，基于所述训练样本来训练出机器学习模型。
在一个实施例中，所述配置界面包括以下至少一个配置项：机器学习模型的输入源配置项、机器学习模型的适用问题类型配置项、训练机器学习模型的算法模式配置项、机器学习模型的优化目标配置项、及机器学习模型的预测目标字段的字段名配置项。
在一个实施例中，该机器学习模型训练模块8200具体被配置为对所述训练数据进行以下各项之中的至少一项：
第一项，对所述训练数据进行数据类型转换.
第二项，对所述训练数据进行采样。
第三项，将所述训练数据标注为有标签数据和无标签数据。
第四项，自动识别所述训练数据的数据字段类型。
第五项，对所述训练数据进行缺失值填充。
第六项，对所述训练数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除所述初始时间字段。
第七项，自动识别所述训练数据中的非数值数据，并对所述非数值数据进行哈希处理。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
对进行所述预处理后的训练数据进行采样.
对进行所述采样后的训练数据进行前特征选择，获得基础特征。
对所述基础特征进行特征衍生，获得衍生特征。
根据所述基础特征和所述衍生特征，生成训练样本。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
提取进行所述采样后的训练数据中包括的所有属性信息，其中，所述属性信息用于形成特征。
获取每一所述属性信息的特征重要性值。
根据所述特征重要性值，获得基础特征。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
对所有所述特征重要性值进行排序，获得排序结果。
根据所述排序结果，获取第一预定数量的属性信息作为基础特征。
在一个实施例中，该机器学习模型训练模块8200具体用于：
利用设定的特征生成规则，对所述基础特征进行统计计算、特征组合中的至少一个，获得衍生特征。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
对所述基础特征和所述衍生特征进行后特征选择。
根据进行所述后特征选择得到的特征，生成训练样本。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
获取每一所述基础特征和每一所述衍生特征的特征重要性值。
对所有所述特征重要性值进行排序，获得排序结果。
根据所述排序结果，获取第二预定数量的特征作为生成训练样本所需要的特征。
在一个实施例中，该装置8000还包括模型训练方案展示模块(图中未示出)，该模型训练方案展示模块被配置为：
基于训练出的所述机器学习模型，获得模型训练方案。
将所述模型训练方案进行可视化展示。
其中，所述模型训练方案包括用于训练机器学习模型的算法、机器学习模型的超参数、机器学习模型的效果以及特征信息之中的任意一项或者多项。
其中，所述特征信息包括特征数量、特征生成方式以及特征重要性分析结果之中的任意一项或者多项。
在一个实施例中，该机器学习模型训练模块8200具体被配置为：
根据可视化展示的预览结果重新训练机器学习模型。
在一个实施例中，该数据预测模块8300包括批量预测单元(图中未示出)，该批量预测单元被配置为：
响应于针对所述模型预测算子的触发操作，提供进行关于批量预测服务的配置的配置界面；
根据通过所述配置界面输入的配置信息，对所述预测数据进行数据预处理和特征更新处理，获得预测样本；
利用训练出的所述机器学习模型，针对所述预测样本提供预测结果。
在一个实施例中，所述配置界面包括预测结果中字段选择的配置项、模拟实时预测服务的开关状态的配置项中的至少一项。
在一个实施例中，该数据预测模块8300包括实时预测单元(图中未示出)，该实时预测单元被配置为：
根据配置实时预测服务的操作，提供进行关于实时预测服务的配置的配置界面。
通过所述配置界面中设定的API地址接收包括所述预测数据的预测服务请求。
响应于接收到的所述预测服务请求，利用选择出的机器学习模型得到针对所述预测数据的预测结果，并将预测结果通过所述API地址发出。
在一个实施例中，所述配置界面包括用于从训练出的机器学习模型之中选择线上机器学习模型的模型选取规则的配置项、应用资源的配置项中的至少一项。
<设备实施例>
本实施例提供了一种至少一个计算装置9100和至少一个存储装置9200的设备9000，。该至少一个存储装置9200被配置为存储指令，该指令被配置为在被至少一个计算装置运行时，促使至少一个计算装置9100执行根据本公开任意实施例的执行自动机器学习过程的方法。
<存储介质实施例>
本实施例提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。
本公开可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作 的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。
工业实用性
通过本公开实施例，其能够使得模型生产和模型应用等多个过程实现全流程循环作业，大大降低了机器学习的门槛和成本。

Claims (52)

  1. 一种执行自动机器学习过程的方法，包括：
    提供相互独立的模型训练算子和模型预测算子；
    基于训练数据，利用所述模型训练算子来训练机器学习模型；以及，
    利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务。
  2. 根据权利要求1所述的方法，其中，所述方法还包括获得所述模型训练算子的步骤，包括：
    根据编辑所述模型训练算子的操作，提供编辑界面；
    获取通过所述编辑界面输入的算子内容，其中，所述算子内容包括对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令；
    封装所述算子内容，得到所述模型训练算子。
  3. 根据权利要求1或2所述的方法，其中，所述基于训练数据，利用所述模型训练算子来训练机器学习模型，包括：
    响应于针对所述模型训练算子的触发操作，提供进行关于模型训练的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述训练数据进行数据预处理和特征工程处理，获得训练样本；
    利用至少一种模型训练算法，基于所述训练样本来训练出机器学习模型。
  4. 根据权利要求3所述的方法，其中，所述配置界面包括以下至少一个配置项：机器学习模型的输入源配置项、机器学习模型的适用问题类型配置项、训练机器学习模型的算法模式配置项、机器学习模型的优化目标配置项、及机器学习模型的预测目标字段的字段名配置项。
  5. 根据权利要求3所述的方法，其中，所述对所述训练数据进行数据预处理包括以下各项之中的至少一项：
    第一项，对所述训练数据进行数据类型转换；
    第二项，对所述训练数据进行采样；
    第三项，将所述训练数据标注为有标签数据和无标签数据；
    第四项，自动识别所述训练数据的数据字段类型；
    第五项，对所述训练数据进行缺失值填充；
    第六项，对所述训练数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除所述初始时间字段；
    第七项，自动识别所述训练数据中的非数值数据，并对所述非数值数据进行哈希处理。
  6. 根据权利要求3所述的方法，其中，所述对所述训练数据进行数据预处理和特征工程处理，获得训练样本，包括：
    对进行所述预处理后的训练数据进行采样；
    对进行所述采样后的训练数据进行前特征选择，获得基础特征；
    对所述基础特征进行特征衍生，获得衍生特征；
    根据所述基础特征和所述衍生特征，生成训练样本。
  7. 根据权利要求6所述的方法，其中，所述对进行所述采样后的训练数据进行前特征选择，获得基础特征，包括：
    提取进行所述采样后的训练数据中包括的所有属性信息，其中，所述属性信息用于形成特征；
    获取每一所述属性信息的特征重要性值；
    根据所述特征重要性值，获得基础特征。
  8. 根据权利要求7所述的方法，其中，所述根据所述特征重要性值，获得基础特征，包括：
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第一预定数量的属性信息作为基础特征。
  9. 根据权利要求6所述的方法，其中，所述对所述基础特征进行特征衍生，获得衍生特征，包括：
    利用设定的特征生成规则，对所述基础特征进行统计计算、特征组合中的至少一个，获得衍生特征。
  10. 根据权利要求6所述的方法，其中，所述方法在获得衍生特征后，还包括：
    对所述基础特征和所述衍生特征进行后特征选择；
    根据进行所述后特征选择得到的特征，生成训练样本。
  11. 根据权利要求10所述的方法，其中，所述对所述基础特征和所述衍生特征进行后特征选择，包括：
    获取每一所述基础特征和每一所述衍生特征的特征重要性值；
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第二预定数量的特征作为生成训练样本所需要的特征。
  12. 根据权利要求1至11中任一项所述的方法，其中，所述方法还包括：
    基于训练出的所述机器学习模型，获得模型训练方案；
    将所述模型训练方案进行可视化展示；
    其中，所述模型训练方案包括用于训练机器学习模型的算法、机器学习模型的超参数、机器学习模型的效果以及特征信息之中的任意一项或者多项；
    其中，所述特征信息包括特征数量、特征生成方式以及特征重要性分析结果之中的任意一项或者多项。
  13. 根据权利要求12所述的方法，其中，所述方法还包括：
    根据可视化展示的预览结果重新训练机器学习模型的步骤。
  14. 根据权利要求1至13中任一项所述的方法，其中，所述利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务，包括：
    响应于针对所述模型预测算子的触发操作，提供进行关于批量预测服务的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述预测数据进行数据预处理和特征更新处理，获得预测样本；
    利用训练出的所述机器学习模型，针对所述预测样本提供预测结果。
  15. 根据权利要求14所述的方法，其中，所述配置界面包括预测结果中字段选择的配置项、模拟实时预测服务的开关状态的配置项中的至少一项。
  16. 根据权利要求14所述的方法，其中，所述方法还包括：
    根据配置实时预测服务的操作，提供进行关于实时预测服务的配置的配置界面；
    通过所述配置界面中设定的API地址接收包括所述预测数据的预测服务请求；
    响应于接收到的所述预测服务请求，利用选择出的机器学习模型得到针对所述预测数据的预测结果，并将预测结果通过所述API地址发出。
  17. 根据权利要求16所述的方法，其中，所述配置界面包括用于从训练出的机器学习模型之中选择线上机器学习模型的模型选取规则的配置项、应用资源的配置项中的至少一项。
  18. 一种执行自动机器学习过程的装置，包括：
    交互模块，被配置为提供相互独立的模型训练算子和模型预测算子；
    机器学习模型训练模块，被配置为基于保存的训练数据，利用所述模型训练算子来训 练机器学习模型；以及
    数据预测模块，被配置为利用所述模型预测算子和训练出的所述机器学习模型，针对收集到的预测数据提供预测服务。
  19. 根据权利要求18所述的装置，其中，所述装置还包括模型训练算子获取模块，所述模型训练算子获取模块被配置为：
    根据编辑所述模型训练算子的操作，提供编辑界面；
    获取通过所述编辑界面输入的算子内容，其中，所述算子内容包括对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令；
    封装所述算子内容，得到所述模型训练算子。
  20. 根据权利要求18或19所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    响应于针对所述模型训练算子的触发操作，提供进行关于模型训练的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述训练数据进行数据预处理和特征工程处理，获得训练样本；
    利用至少一种模型训练算法，基于所述训练样本来训练出机器学习模型。
  21. 根据权利要求20所述的装置，其中，所述配置界面包括以下至少一个配置项：机器学习模型的输入源配置项、机器学习模型的适用问题类型配置项、训练机器学习模型的算法模式配置项、机器学习模型的优化目标配置项、及机器学习模型的预测目标字段的字段名配置项。
  22. 根据权利要求20所述的装置，其中，所述机器学习模型训练模块具体被配置为对所述训练数据进行以下各项之中的至少一项：
    第一项，对所述训练数据进行数据类型转换；
    第二项，对所述训练数据进行采样；
    第三项，将所述训练数据标注为有标签数据和无标签数据；
    第四项，自动识别所述训练数据的数据字段类型；
    第五项，对所述训练数据进行缺失值填充；
    第六项，对所述训练数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除所述初始时间字段；
    第七项，自动识别所述训练数据中的非数值数据，并对所述非数值数据进行哈希处理。
  23. 根据权利要求20所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    对进行所述预处理后的训练数据进行采样；
    对进行所述采样后的训练数据进行前特征选择，获得基础特征；
    对所述基础特征进行特征衍生，获得衍生特征；
    根据所述基础特征和所述衍生特征，生成训练样本。
  24. 根据权利要求23所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    提取进行所述采样后的训练数据中包括的所有属性信息，其中，所述属性信息用于形成特征；
    获取每一所述属性信息的特征重要性值；
    根据所述特征重要性值，获得基础特征。
  25. 根据权利要求24所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第一预定数量的属性信息作为基础特征。
  26. 根据权利要求23所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    利用设定的特征生成规则，对所述基础特征进行统计计算、特征组合中的至少一个， 获得衍生特征。
  27. 根据权利要求23所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    对所述基础特征和所述衍生特征进行后特征选择；
    根据进行所述后特征选择得到的特征，生成训练样本。
  28. 根据权利要求27所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    获取每一所述基础特征和每一所述衍生特征的特征重要性值；
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第二预定数量的特征作为生成训练样本所需要的特征。
  29. 根据权利要求18至28中任一项所述的装置，其中，所述装置还包括模型训练方案展示模块，所述模型训练方案展示模块被配置为：
    基于训练出的所述机器学习模型，获得模型训练方案；
    将所述模型训练方案进行可视化展示；
    其中，所述模型训练方案包括用于训练机器学习模型的算法、机器学习模型的超参数、机器学习模型的效果以及特征信息之中的任意一项或者多项；
    其中，所述特征信息包括特征数量、特征生成方式以及特征重要性分析结果之中的任意一项或者多项。
  30. 根据权利要求29所述的装置，其中，所述机器学习模型训练模块具体被配置为：
    根据可视化展示的预览结果重新训练机器学习模型。
  31. 根据权利要求18至30中任一项所述的装置，其中，所述数据预测模块包括批量预测单元，所述批量预测单元被配置为：
    响应于针对所述模型预测算子的触发操作，提供进行关于批量预测服务的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述预测数据进行数据预处理和特征更新处理，获得预测样本；
    利用训练出的所述机器学习模型，针对所述预测样本提供预测结果。
  32. 根据权利要求31所述的装置，其中，所述配置界面包括预测结果中字段选择的配置项、模拟实时预测服务的开关状态的配置项中的至少一项。
  33. 根据权利要求31所述的装置，其中，所述数据预测模块包括实时预测单元，所述实时预测单元被配置为：
    根据配置实时预测服务的操作，提供进行关于实时预测服务的配置的配置界面；
    通过所述配置界面中设定的API地址接收包括所述预测数据的预测服务请求；
    响应于接收到的所述预测服务请求，利用选择出的机器学习模型得到针对所述预测数据的预测结果，并将预测结果通过所述API地址发出。
  34. 根据权利要求33所述的装置，其中，所述配置界面包括用于从训练出的机器学习模型之中选择线上机器学习模型的模型选取规则的配置项、应用资源的配置项中的至少一项。
  35. 一种包括至少一个计算装置和至少一个存储装置的设备，其中，所述至少一个存储装置被配置为存储指令，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    提供相互独立的模型训练算子和模型预测算子；
    基于训练数据，利用所述模型训练算子来训练机器学习模型；以及，
    利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务。
  36. 根据权利要求35所述的设备，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    根据编辑所述模型训练算子的操作，提供编辑界面；
    获取通过所述编辑界面输入的算子内容，其中，所述算子内容包括对输入的训练数据进行数据预处理的操作命令、针对数据预处理后的训练数据进行特征工程的操作命令、及根据特征工程的结果进行模型训练的操作命令；
    封装所述算子内容，得到所述模型训练算子。
  37. 根据权利要求35或36所述的设备，其中，所述基于训练数据，利用所述模型训练算子来训练机器学习模型，包括：
    响应于针对所述模型训练算子的触发操作，提供进行关于模型训练的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述训练数据进行数据预处理和特征工程处理，获得训练样本；
    利用至少一种模型训练算法，基于所述训练样本来训练出机器学习模型。
  38. 根据权利要求37所述的设备，其中，所述配置界面包括以下至少一个配置项：机器学习模型的输入源配置项、机器学习模型的适用问题类型配置项、训练机器学习模型的算法模式配置项、机器学习模型的优化目标配置项、及机器学习模型的预测目标字段的字段名配置项。
  39. 根据权利要求37所述的设备，其中，所述对所述训练数据进行数据预处理包括以下各项之中的至少一项：
    第一项，对所述训练数据进行数据类型转换；
    第二项，对所述训练数据进行采样；
    第三项，将所述训练数据标注为有标签数据和无标签数据；
    第四项，自动识别所述训练数据的数据字段类型；
    第五项，对所述训练数据进行缺失值填充；
    第六项，对所述训练数据中的初始时间字段进行解析，获得并添加新的时间字段，且删除所述初始时间字段；
    第七项，自动识别所述训练数据中的非数值数据，并对所述非数值数据进行哈希处理。
  40. 根据权利要求37所述的设备，其中，所述对所述训练数据进行数据预处理和特征工程处理，获得训练样本，包括：
    对进行所述预处理后的训练数据进行采样；
    对进行所述采样后的训练数据进行前特征选择，获得基础特征；
    对所述基础特征进行特征衍生，获得衍生特征；
    根据所述基础特征和所述衍生特征，生成训练样本。
  41. 根据权利要求40所述的设备，其中，所述对进行所述采样后的训练数据进行前特征选择，获得基础特征，包括：
    提取进行所述采样后的训练数据中包括的所有属性信息，其中，所述属性信息用于形成特征；
    获取每一所述属性信息的特征重要性值；
    根据所述特征重要性值，获得基础特征。
  42. 根据权利要求41所述的设备，其中，所述根据所述特征重要性值，获得基础特征，包括：
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第一预定数量的属性信息作为基础特征。
  43. 根据权利要求40所述的设备，其中，所述对所述基础特征进行特征衍生，获得衍生特征，包括：
    利用设定的特征生成规则，对所述基础特征进行统计计算、特征组合中的至少一个，获得衍生特征。
  44. 根据权利要求40所述的设备，其中，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    对所述基础特征和所述衍生特征进行后特征选择；
    根据进行所述后特征选择得到的特征，生成训练样本。
  45. 根据权利要求44所述的设备，其中，所述对所述基础特征和所述衍生特征进行后特征选择，包括：
    获取每一所述基础特征和每一所述衍生特征的特征重要性值；
    对所有所述特征重要性值进行排序，获得排序结果；
    根据所述排序结果，获取第二预定数量的特征作为生成训练样本所需要的特征。
  46. 根据权利要求35至45中任一项所述的设备，其中，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    基于训练出的所述机器学习模型，获得模型训练方案；
    将所述模型训练方案进行可视化展示；
    其中，所述模型训练方案包括用于训练机器学习模型的算法、机器学习模型的超参数、机器学习模型的效果以及特征信息之中的任意一项或者多项；
    其中，所述特征信息包括特征数量、特征生成方式以及特征重要性分析结果之中的任意一项或者多项。
  47. 根据权利要求46所述的设备，其中，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    根据可视化展示的预览结果重新训练机器学习模型。
  48. 根据权利要求35至47中任一项所述的设备，其中，所述利用所述模型预测算子和训练出的所述机器学习模型，针对预测数据提供预测服务，包括：
    响应于针对所述模型预测算子的触发操作，提供进行关于批量预测服务的配置的配置界面；
    根据通过所述配置界面输入的配置信息，对所述预测数据进行数据预处理和特征更新处理，获得预测样本；
    利用训练出的所述机器学习模型，针对所述预测样本提供预测结果。
  49. 根据权利要求48所述的设备，其中，所述配置界面包括预测结果中字段选择的配置项、模拟实时预测服务的开关状态的配置项中的至少一项。
  50. 根据权利要求48所述的设备，其中，所述指令被配置为在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行关于执行自动机器学习过程的如下步骤：
    根据配置实时预测服务的操作，提供进行关于实时预测服务的配置的配置界面；
    通过所述配置界面中设定的API地址接收包括所述预测数据的预测服务请求；
    响应于接收到的所述预测服务请求，利用选择出的机器学习模型得到针对所述预测数据的预测结果，并将预测结果通过所述API地址发出。
  51. 根据权利要求50所述的设备，其中，所述配置界面包括用于从训练出的机器学习模型之中选择线上机器学习模型的模型选取规则的配置项、应用资源的配置项中的至少一项。
  52. 一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至17中任一项所述的方法。
PCT/CN2021/082518 2020-04-17 2021-03-24 执行自动机器学习过程的方法、装置及设备 Ceased WO2021208685A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/919,386 US20230162051A1 (en) 2020-04-17 2021-03-24 Method, device and apparatus for execution of automated machine learning process
EP21787710.9A EP4137961A4 (en) 2020-04-17 2021-03-24 METHOD AND APPARATUS FOR EXECUTING AN AUTOMATIC MACHINE LEARNING PROCESS, AND DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010307807.5 2020-04-17
CN202010307807.5A CN111611240B (zh) 2020-04-17 2020-04-17 执行自动机器学习过程的方法、装置及设备

Publications (1)

Publication Number Publication Date
WO2021208685A1 true WO2021208685A1 (zh) 2021-10-21

Family

ID=72199649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/082518 Ceased WO2021208685A1 (zh) 2020-04-17 2021-03-24 执行自动机器学习过程的方法、装置及设备

Country Status (4)

Country Link
US (1) US20230162051A1 (zh)
EP (1) EP4137961A4 (zh)
CN (1) CN111611240B (zh)
WO (1) WO2021208685A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990068A (zh) * 2021-10-27 2022-01-28 阿波罗智联(北京)科技有限公司 交通数据的处理方法、装置、设备以及存储介质
CN115936358A (zh) * 2022-11-30 2023-04-07 北京百度网讯科技有限公司 基于特征工程平台的特征处理方法、生成方法和装置
CN116304686A (zh) * 2023-02-16 2023-06-23 杭州网易云音乐科技有限公司 模型训练方法、点击率确定方法及相关设备
CN116503951A (zh) * 2023-05-15 2023-07-28 城云科技（中国）有限公司 基于机器学习的潜在特定人员行为预测方法及其应用
CN117349334A (zh) * 2022-06-29 2024-01-05 北京小米移动软件有限公司 数据处理方法、装置、电子设备以及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611240B (zh) * 2020-04-17 2024-09-06 第四范式（北京）技术有限公司 执行自动机器学习过程的方法、装置及设备
CN114282586A (zh) * 2020-09-27 2022-04-05 中兴通讯股份有限公司 一种数据标注方法、系统和电子设备
CN112182314B (zh) * 2020-09-30 2021-07-06 北京九章云极科技有限公司 一种数据处理方法和系统
CN114529006B (zh) * 2020-11-06 2025-09-12 第四范式（北京）技术有限公司 实现机器学习模型的自定义上线的方法、装置及设备
CN112783478A (zh) * 2021-02-19 2021-05-11 合肥海赛信息科技有限公司 一种基于自动机器学习的软件设计方法
CN113033816B (zh) * 2021-03-08 2024-07-19 北京沃东天骏信息技术有限公司 机器学习模型的处理方法、装置、存储介质及电子设备
WO2022240857A1 (en) * 2021-05-11 2022-11-17 DataRobot, Inc. Systems and related methods for developing artificial intelligence applications based on machine learned models
JP7395767B2 (ja) * 2021-09-30 2023-12-11 楽天グループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN114091688B (zh) * 2021-11-25 2022-05-20 北京九章云极科技有限公司 一种计算资源获取方法、装置、电子设备和存储介质
US11805200B2 (en) * 2022-01-25 2023-10-31 International Business Machines Corporation Detecting and resolving fraudulent calls
CN114780231B (zh) * 2022-03-24 2023-03-14 广西产研院人工智能与大数据应用研究所有限公司 基于物联网的目标需求的服务提供方法、系统及介质
CN115034038A (zh) * 2022-05-13 2022-09-09 浙江时空道宇科技有限公司 联邦学习完好性预测方法及系统
US20240311703A1 (en) * 2023-03-13 2024-09-19 Kbc Global Services Nv Hellinger decision trees for fraud detection
US12259926B2 (en) * 2023-04-20 2025-03-25 Discover Financial Services Computer systems and methods for building and analyzing data graphs
CN117150389B (zh) * 2023-07-14 2024-04-12 广州易尊网络科技股份有限公司 模型训练方法、运营商号卡激活预测方法及其设备
CN119917573A (zh) * 2024-12-30 2025-05-02 苏州元脑智能科技有限公司 数据管理方法及装置
CN120806048B (zh) * 2025-09-15 2026-01-23 海盐县南北湖医学人工智能研究院 医学去偏见大语言模型训练方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590254A (zh) * 2017-09-19 2018-01-16 华南理工大学 具有合并处理方法的大数据支撑平台
CN107844837A (zh) * 2017-10-31 2018-03-27 第四范式（北京）技术有限公司 针对机器学习算法进行算法参数调优的方法及系统
CN108875045A (zh) * 2018-06-28 2018-11-23 第四范式（北京）技术有限公司 针对文本分类来执行机器学习过程的方法及其系统
CN109242040A (zh) * 2018-09-28 2019-01-18 第四范式（北京）技术有限公司 自动生成组合特征的方法及系统
CN111008707A (zh) * 2019-12-09 2020-04-14 第四范式（北京）技术有限公司 自动化建模方法、装置及电子设备
CN111611240A (zh) * 2020-04-17 2020-09-01 第四范式（北京）技术有限公司 执行自动机器学习过程的方法、装置及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118152127A (zh) * 2014-06-30 2024-06-07 亚马逊科技公司 用于管理特征处理的系统和方法
EP3268870A4 (en) * 2015-03-11 2018-12-05 Ayasdi, Inc. Systems and methods for predicting outcomes using a prediction learning model
US20180181877A1 (en) * 2016-12-23 2018-06-28 Futurewei Technologies, Inc. Generating a knowledge base to assist with the modeling of large datasets
EP3836037A4 (en) * 2018-07-10 2022-09-21 The Fourth Paradigm (Beijing) Tech Co Ltd METHOD AND SYSTEM FOR EXECUTING A MACHINE LEARNING PROCESS
CN109636443A (zh) * 2018-11-17 2019-04-16 南京中数媒介研究有限公司 客户流失预测的深度学习方法及装置
US11392855B1 (en) * 2019-05-03 2022-07-19 State Farm Mutual Automobile Insurance Company GUI for configuring machine-learning services
CN110276618A (zh) * 2019-06-28 2019-09-24 第四范式（北京）技术有限公司 生成洗钱案宗预测模型、预测洗钱案宗的方法及系统
US11727314B2 (en) * 2019-09-30 2023-08-15 Amazon Technologies, Inc. Automated machine learning pipeline exploration and deployment
US12154013B2 (en) * 2019-10-15 2024-11-26 Kinaxis Inc. Interactive machine learning
US11443239B2 (en) * 2020-03-17 2022-09-13 Microsoft Technology Licensing, Llc Interface for machine teaching modeling
US12106197B2 (en) * 2020-03-25 2024-10-01 International Business Machines Corporation Learning parameter sampling configuration for automated machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590254A (zh) * 2017-09-19 2018-01-16 华南理工大学 具有合并处理方法的大数据支撑平台
CN107844837A (zh) * 2017-10-31 2018-03-27 第四范式（北京）技术有限公司 针对机器学习算法进行算法参数调优的方法及系统
CN108875045A (zh) * 2018-06-28 2018-11-23 第四范式（北京）技术有限公司 针对文本分类来执行机器学习过程的方法及其系统
CN109242040A (zh) * 2018-09-28 2019-01-18 第四范式（北京）技术有限公司 自动生成组合特征的方法及系统
CN111008707A (zh) * 2019-12-09 2020-04-14 第四范式（北京）技术有限公司 自动化建模方法、装置及电子设备
CN111611240A (zh) * 2020-04-17 2020-09-01 第四范式（北京）技术有限公司 执行自动机器学习过程的方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4137961A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990068A (zh) * 2021-10-27 2022-01-28 阿波罗智联(北京)科技有限公司 交通数据的处理方法、装置、设备以及存储介质
CN117349334A (zh) * 2022-06-29 2024-01-05 北京小米移动软件有限公司 数据处理方法、装置、电子设备以及存储介质
CN115936358A (zh) * 2022-11-30 2023-04-07 北京百度网讯科技有限公司 基于特征工程平台的特征处理方法、生成方法和装置
CN116304686A (zh) * 2023-02-16 2023-06-23 杭州网易云音乐科技有限公司 模型训练方法、点击率确定方法及相关设备
CN116503951A (zh) * 2023-05-15 2023-07-28 城云科技（中国）有限公司 基于机器学习的潜在特定人员行为预测方法及其应用

Also Published As

Publication number Publication date
US20230162051A1 (en) 2023-05-25
CN111611240B (zh) 2024-09-06
EP4137961A4 (en) 2024-04-24
EP4137961A1 (en) 2023-02-22
CN111611240A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
EP4137961A1 (en) Method and apparatus for executing automatic machine learning process, and device
CN111611239B (zh) 业务预测的方法、装置、设备及存储介质
CN110751261A (zh) 神经网络模型的训练方法和系统以及预测方法和系统
CN112989167B (zh) 搬运账号的识别方法、装置、设备及计算机可读存储介质
CN114970540A (zh) 训练文本审核模型的方法和装置
US20250045517A1 (en) Copywriting generation method, electronic device, and storage medium
US11907508B1 (en) Content analytics as part of content creation
CN115545558A (zh) 获取风险识别模型的方法、装置、机器可读介质及设备
WO2023093259A1 (en) Iteratively updating a document structure to resolve disconnected text in element blocks
CN112380321A (zh) 基于票据知识图谱的主次数据库分配方法及相关设备
CN116680399A (zh) 通话交互多级意图识别方法、装置、电子设备及介质
CN119397038B (zh) 一种自动化构建工业知识图谱的方法、系统、设备及存储介质
CN120763296A (zh) 问答知识库更新方法及其装置、设备、介质
CN120822653A (zh) 客户投诉概率的预测方法、装置、设备及存储介质
CN120218196A (zh) 一种聚合商电力市场交易本地知识图谱构建方法
CN114022177B (zh) 一种客户数据的智能分群方法、装置和电子设备
CN116431778A (zh) 基于知识图谱的报销单据审核方法、装置、存储介质及服务器
CN116975393A (zh) 一种企业画像的构建方法、装置及电子设备
CN116128287A (zh) 品级风险防控方法及其装置、设备、介质、产品
CN113407727A (zh) 基于法律知识图谱的定性量纪推荐方法及相关设备
CN113176873A (zh) 用于信息管理的方法和装置、电子设备、及介质
CN119721056B (zh) 一种舆情处理方法、装置、计算机设备及存储介质
Li et al. Data mining of garment pattern based on decision tree algorithm
CN120653774A (zh) 绿色项目分类及模型训练方法、装置、设备、介质及产品
CN119066421A (zh) 训练转化率预测模型、预测转化率的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787710

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021787710

Country of ref document: EP

Effective date: 20221117

NENP Non-entry into the national phase

Ref country code: DE