WO2021177056A1 - 情報処理装置および機械学習方法 - Google Patents

情報処理装置および機械学習方法 Download PDF

Info

Publication number
WO2021177056A1
WO2021177056A1 PCT/JP2021/006302 JP2021006302W WO2021177056A1 WO 2021177056 A1 WO2021177056 A1 WO 2021177056A1 JP 2021006302 W JP2021006302 W JP 2021006302W WO 2021177056 A1 WO2021177056 A1 WO 2021177056A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
graph structure
unit
input data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/006302
Other languages
English (en)
French (fr)
Inventor
敦史 橋本
祥孝 牛久
信介 森
太一 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Kyoto University NUC
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co, Kyoto University NUC filed Critical Omron Corp
Priority to CN202180015456.3A priority Critical patent/CN115136150A/zh
Priority to US17/802,620 priority patent/US20230013870A1/en
Priority to EP21764535.7A priority patent/EP4116881A4/en
Publication of WO2021177056A1 publication Critical patent/WO2021177056A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Definitions

  • This disclosure relates to an information processing device and a machine learning method.
  • Non-Patent Document 1 a syntax tree is generated by the REINFORCE (REward Increment Nonnegative Factor Offset Reinforcement Characteristic Eligibility) algorithm, and the data structured by the syntax tree is reconstructed by VAE (Variational Autoencoder) as an intermediate representation.
  • REINFORCE REward Increment Nonnegative Factor Offset Reinforcement Characteristic Eligibility
  • VAE Variational Autoencoder
  • Non-Patent Document 1 In reinforcement learning including the REINFORCE algorithm used in Non-Patent Document 1, it may be difficult to identify the correct answer for the output of the model because the model (agent) to be optimized advances the optimization of parameters while repeating trial and error. be. Therefore, for reinforcement learning, backpropagation is used to differentiate the loss function that defines the error between the output from the model and the correct answer, and propagate the error from the output layer of the model to the input layer based on the chain rule. It is known that it may be more difficult to improve the accuracy of the model than the machine learning used. There is room for improvement in the accuracy of the trained model formed by machine learning in the configuration disclosed in Non-Patent Document 1.
  • This disclosure was made to solve the above problems, and the purpose is to improve the accuracy of the model that extracts the graph structure as an intermediate representation from the input data.
  • the information processing device extracts a graph structure representing the correlation between elements included in the input data from the input data, and generates output data from the graph structure.
  • the information processing device includes an encoding unit, a sampling unit, a decoding unit, and a learning unit.
  • the encoding unit extracts the features of each of the plurality of vertices included in the graph structure from the input data, and calculates the likelihood that the edges representing the correlation are connected to the vertices.
  • the sampling unit determines the graph structure based on the conversion result of the Gumbel-Softmax function for the likelihood.
  • the decoding unit generates output data by receiving the graph structure and the features of each of the plurality of vertices.
  • the learning unit optimizes the decoding unit and the encoding unit by backpropagation that minimizes the loss function including the error between the output data and the correct answer data.
  • the loss function can be differentiated even by the process of determining the graph structure by the sampling unit, so the error between the output data and the correct answer data is backpropagated from the output layer of the decoding unit to the input layer of the encoding unit. It becomes possible to propagate back.
  • the decoding unit and the encoding unit can be optimized end-to-end from the output layer of the decoding unit to the input of the encoding unit, so that the accuracy of the graph structure as an intermediate representation and the accuracy of the output data are improved. be able to.
  • the information processing apparatus may further include a reconstruction unit that reconstructs the graph structure from the output data.
  • the loss function may include an error between the output from the reconstruction section and the correct graph structure.
  • lossless compression by the encoding unit is performed by performing machine learning so that the sameness is maintained between the graph structure reconstructed by the reconstructing unit and the correct graph structure. Be promoted. As a result, the accuracy of the graph structure as an intermediate representation and the accuracy of the output data can be further improved as compared with the configuration 1.
  • an inference unit that receives a graph structure from the sampling unit and outputs an inference result for the input data may be further provided.
  • the learning unit may perform unsupervised learning for the decoding unit and the encoding unit, and supervised learning for the inference unit.
  • lossless compression by the encoding unit is promoted, and the inference accuracy of the inference unit can be improved by supervised learning for the inference unit.
  • the input data may include the first data and the second data.
  • the modality of the first data may be different from the modality of the second data.
  • the encoding unit may include a first encoder and a second encoder.
  • the first encoder may extract the feature amount of the first data.
  • the second encoder may extract the feature amount of the second data.
  • the graph structure can be extracted from various input data.
  • the modality of the output data may be different from the modality of the input data.
  • various data can be generated from the graph structure.
  • a graph structure representing the correlation between the elements included in the input data is extracted from the input data, and the output data is generated from the graph structure in the storage unit. It is done by a processor that runs a stored machine learning program.
  • the machine learning method is a step of extracting the features of each of a plurality of vertices included in the graph structure from the input data and calculating the likelihood that the side representing the correlation is connected to the vertices, and the function for the likelihood.
  • the step of determining the graph structure based on the conversion result of the Softmax function, the step of generating the output data by receiving the features of each of the graph structure and multiple vertices, and the error between the output data and the correct answer data. Includes steps to optimize the model by backpropagation that minimizes the included loss function.
  • the loss function is also differentiable by the step of determining the graph structure, so the error between the output data and the correct answer data is backpropagated from the output layer of the model to the input layer of the model by backpropagation.
  • the model can be optimized end-to-end from the output layer of the model to the input layer of the model, so that the accuracy of the graph structure as an intermediate representation and the accuracy of the output data can be improved.
  • the information processing device and the machine learning method according to the present disclosure it is possible to improve the accuracy of the model that extracts the graph structure as an intermediate representation from the input data.
  • FIG. It is a block diagram which shows the structure of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram for demonstrating the specific structure of the input data and the encoding part of FIG.
  • FIG. shows the adjacency matrix which expresses the tree structure of FIG.
  • It is a block diagram which shows the specific structure of the decoding part of FIG. 1 and output data.
  • It is a flowchart which shows the flow of the machine learning method performed in an information processing apparatus.
  • FIG. 1 It is a block diagram which shows the functional structure of the collection analysis server apparatus of FIG. It is a block diagram which shows the hardware configuration of the collection analysis server apparatus of FIG. It is a figure which shows an example of the graph structure which was visualized with the error of quality data and standard quality data. It is a figure for demonstrating the route planning by a robot corresponding to the information processing apparatus which concerns on embodiment. It is a figure which shows the directed graph structure extracted by the robot of FIG. It is a figure which shows the matrix representation corresponding to the directed graph structure of FIG.
  • FIG. 1 is a block diagram showing a configuration of the information processing apparatus 1 according to the first embodiment.
  • the information processing apparatus 1 includes an encoding unit 100, a sampling unit 130, a decoding unit 140, and a learning unit 150.
  • the information processing device 1 extracts a graph structure representing the correlation between the elements included in the input data 10 from the input data 10, and generates output data 20 from the graph structure.
  • output data including the cooking procedure column data is generated from the input data including the image string data and the foodstuff string data of the cooking procedure will be described.
  • FIG. 2 is a block diagram for explaining a specific configuration of the input data 10 and the encoding unit 100 of FIG.
  • the input data 10 includes the image string data 11 (first data) and the food string data 12 (second data).
  • the modality of the image sequence data 11 is an image.
  • the modality of the food material string data 12 is a character string.
  • the modality of the image sequence data 11 is different from the modality of the foodstuff sequence data 12.
  • the modality includes a data format, type, or type.
  • the image sequence data 11 includes images Im 1 to Im M.
  • Each image Im 1 ⁇ Im M represents an image of each step of the cooking, the cooking in the order of the image Im 1 ⁇ Im M is performed. That is, the images Im 1 to Im M are ordered in this order.
  • the food material string data 12 includes the character strings Tx 1 to Tx N.
  • Each of the character strings Tx 1 to Tx N represents a food material name. In the cooking process, the character strings Tx 1 to Tx N are used in this order. That is, the character strings Tx 1 to Tx N are ordered in this order. In FIG. 2, the case where the number of procedures M is 4 and the number of foodstuffs N is 4 is shown.
  • the character strings Tx 1 to Tx 4 represent "tomato", “pumpkin”, “mayonnaise”, and “ketchup”, respectively.
  • the number of steps M is not limited to 4, and may be 3 or less, or 5 or more.
  • the encoding unit 100 includes an encoder 110 (first encoder) and an encoder 120 (second encoder).
  • the encoder 110 includes a trained image encoder 111, a biLSTM (bidirectional Long Short-Term Memory) 112, 113, and a matrix estimator 114.
  • the encoder 120 includes a distributed expression device 121, an LSTM 122, a biLSTM 123, and a matrix estimator 124.
  • the distributed expression device 121 includes, for example, word2vec.
  • the feature vectors ⁇ 1 to ⁇ M correspond to the feature vectors v 1 to v M, respectively.
  • the feature vectors ⁇ 1 to ⁇ M correspond to the feature vectors v 1 to v M, respectively.
  • the index k is a natural number.
  • the matrix estimator 114 receives the vector representations ⁇ and ⁇ , estimates the adjacency relationship of the images Im 1 to Im M , and outputs the adjacency matrix Y.
  • the estimation of the adjacencies of the image Im 1 ⁇ Im M, each image Im 1 ⁇ Im M as the vertex of the graph structure, means to calculate the likelihood that the sides exists between two vertices.
  • the components Y i and j of the adjacency matrix Y are represented by the following equation (1).
  • the vector expression ⁇ ( ⁇ 1 , ⁇ 2 , ..., ⁇ k , ..., ⁇ M ) (feature amount) is calculated from the vector expressions ⁇ , ⁇ , and the vector expression ⁇ is input to the matrix estimator 124. Will be done.
  • the component of each dimension of the feature vector ⁇ k is the larger component of the components of the dimension of the feature vectors ⁇ k and ⁇ k.
  • the distributed expression device 121 outputs a distributed expression of the character string Tx k included in the food string data 12.
  • the feature vectors ⁇ 1 to ⁇ N correspond to the feature vectors g 1 to g N, respectively.
  • the matrix estimator 124 receives the vector representations ⁇ and ⁇ , estimates the adjacency relationship between the images Im 1 to Im M and the character strings Tx 1 to Tx N , and outputs the adjacency relationship as the adjacency matrix X.
  • the estimation of the adjacency of the image Im 1 ⁇ Im M and string Tx 1 ⁇ Tx N, each string Tx 1 ⁇ Tx N as the vertex of the graph structure, corresponding to each of the strings Tx 1 ⁇ Tx N This means calculating the likelihood that an edge exists between the vertices and the vertices corresponding to each of the images Im1 to Im4.
  • the components X i and j of the adjacency matrix X are represented by the following equation (2).
  • FIG. 3 is a schematic diagram of the adjacency matrix Y of FIG. The darker the hatching attached to each component in FIG. 3, the greater the likelihood of the component.
  • the likelihood of the existence of an edge from the apex included in the row to the apex included in the column is a component of the adjacency matrix specified by the row and the column. That is, the adjacency matrix Y represents a directed graph structure.
  • the likelihood of the existence of an edge from the vertex contained in the column to the vertex contained in the row may be a component of the adjacency matrix specified by the row and column.
  • the adjacency matrix Y representing the directed graph structure may be converted into the adjacency matrix T representing the undirected graph structure, if necessary.
  • the average value of each component of the adjacency matrix Y and the row and column inverted components of the adjacency matrix Y is set so that the transposed matrix of the adjacency matrix T becomes equal to the adjacency matrix T. It can be a component of the adjacency matrix T corresponding to the two components.
  • FIG. 4 is a schematic diagram of the adjacency matrix X of FIG.
  • the relationship between the hatching density and the likelihood is the same as in FIG.
  • the likelihood of an edge existing between the vertices included in the row and the vertices included in the column is a component of the adjacency matrix specified by the row and the column.
  • the adjacency matrix X represents an undirected graph structure.
  • the sampling unit 130 receives the Y, the vertices corresponding to each of the strings Tx 1 ⁇ Tx N is a leaf node, corresponding to the last image in the image sequence data 11
  • a tree structure Tr (graph structure) is output, in which the vertices to be used are the root nodes and the vertices corresponding to other images are the nodes.
  • the sampling unit 130 uses the Gumbel-Softmax function (see Non-Patent Document 2) to convert the likelihood of each component of the adjacency matrix X and Y into the probability that an edge exists between two vertices corresponding to the component. (Reparameterization trick).
  • the sampling unit 130 converts the adjacency matrices X and Y into the adjacency matrices A and B, respectively, by a reparameterization trick.
  • the components A i, j , Bi, and j are represented by the following equations (3) and (4), respectively.
  • ⁇ i, k , ⁇ i, k are noises sampled from the Gumbel (0,1) distribution.
  • ⁇ is a temperature parameter of the Gumbel-Softmax function.
  • the sampling unit 130 determines the presence or absence of branches (edges) between nodes using the adjacency matrices A and B, and determines the tree structure Tr.
  • FIG. 5 is a diagram showing the tree structure Tr of FIG.
  • the nodes Nd 1 to Nd 4 correspond to the images Im 1 to Im 4 , respectively.
  • Node Nd 4 is the root node.
  • the leaf nodes Lf 1 to Lf 4 correspond to the character strings Tx 1 to Tx 4, respectively.
  • branches Br 1 and leaf node Lf 1 and node Nd are connected by branches Br 1.
  • the leaf nodes Lf 2 and node Nd 2 are connected by branches Br 2.
  • the leaf node Lf 3 and the root node Nd 4 are connected by a branch Br 3.
  • a leaf node Lf 4 and the root node Nd 4 are connected by a branch Br 4.
  • Nodes Nd 1 and Nd 3 are connected by a branch Br 5 from node Nd 1 to Nd 3.
  • Nodes Nd 2 and Nd 3 are connected by a branch Br 6 from node Nd 2 to Nd 3.
  • the node Nd 3 and the root node Nd 4 are connected by a branch Br 7 from the node Nd 3 to the root node Nd 4.
  • Tree Tr is the procedure shown in the procedure shown in the image Im 1 results and image Im 2 results are used in the procedures shown in the image Im 3, the procedure shown in the image Im 3 results image Im 4 Indicates that it will be used in the procedure shown in. Furthermore, the tree structure Tr is used in the procedures ingredients string Tx 1 is shown in the image Im 1, foodstuff string Tx 2 is used in the procedure shown in image Im 2, strings Tx 3, Tx 4 It indicates that each of the ingredients is used in the procedure shown in the image Im 4.
  • FIG. 6 is a diagram showing adjacency matrices X1 and Y1 representing the tree structure Tr of FIG.
  • the adjacency matrices X1 and Y1 are determined by the sampling unit 130 via the adjacency matrices A and B, respectively.
  • the sampling unit 130 determines the adjacency matrices X1 and Y1 with the component corresponding to the maximum value in each row of the adjacency matrices A and B being 1, the other components being 0, and each row as a one-hot representation. If the maximum number of edges from vertices or the maximum number of edges to the vertices included in the graph structure extracted from the input data is determined, use Ensemble Gumbel-Softmax (see Non-Patent Document 3).
  • Each row or column may be represented as a superposition of two or more one-hot representations.
  • the characteristics of the extracted graph structure can be considered in addition to the conversion result of the reparameterization trick using the Gumbel-Softmax function for the likelihood of each component of the adjacency matrix X and Y. ..
  • the characteristics of the extracted graph structure can be considered in addition to the conversion result of the reparameterization trick using the Gumbel-Softmax function for the likelihood of each component of the adjacency matrix X and Y. ..
  • the characteristics of the extracted graph structure can be considered in addition to the conversion result of the reparameterization trick using the Gumbel-Softmax function for the likelihood of each component of the adjacency matrix X and Y. ..
  • the characteristics of the extracted graph structure can be considered in addition to the conversion result of the reparameterization trick using the Gumbel-Softmax function for the likelihood of each component of the adjacency matrix X and Y. ..
  • an edge self-loop
  • the adjacency matrix Y1 representing the directed graph structure may be converted into the adjacency matrix T1 representing the undirected graph structure, if necessary.
  • the minimum value, or a value randomly selected from any of them can be a component of the adjacency matrix T1 corresponding to the two components.
  • FIG. 7 is a block diagram showing a specific configuration of the decoding unit 140 and the output data 20 of FIG.
  • the decoding unit 140 includes an LSTM 141, an encoder / decoder model 142, and a sampling unit 143.
  • the LSTM 141 includes a Tree-LSTM (see Non-Patent Document 4), for example, a Child-sum LSTM.
  • the encoder / decoder model 142 receives the vector representation H from the RSTM 141 and the vector representation V from the image encoder 111 of FIG.
  • the encoder / decoder model 142 converts a pair (h k , v k ) into a character string St k , and outputs output data 20 including character strings St 1 to St M , which are procedure string data.
  • the modality of the output data 20 is a character string, which is different from the modality of the image string data 11 included in the input data 10.
  • the character string St 1 represents "cut tomatoes into bite-sized pieces.”
  • the character string St 2 represents “Fry the pumpkin in a frying pan.”
  • the character string St 3 represents “put the pumpkin on the tomato.”
  • the character string St 4 represents “apply ketchup and mayonnaise.”
  • the output data 20 indicates that cooking is performed in the order of the character strings St 1 to St M. That is, the character strings St 1 to St M are ordered in this order.
  • words are output using the Gumbel-Softmax function.
  • the learning unit 150 optimizes the decoding unit 140 and the encoding unit 100 by backpropagation that minimizes the loss function L1 represented by the following equation (5).
  • Loss function L 1 is the overall error caused in the process of the processes to the decoder 140 from the encoding unit 100 described above, is defined as the sum of the loss function L T and L P.
  • Loss function L T defines the cross entropy error between adjacent matrices X, Y and a prepared correct matrix (correct graph structure) outputted from the encoding unit 100.
  • Loss function L P defines the cross entropy difference from the correct data prepared in advance and the output data outputted from the decoding unit 140.
  • the loss function L1 can be differentiated even by the process of determining the graph structure by the sampling unit 130, so that the error between the output data 20 and the correct answer data can be detected from the output layer of the decoding unit 140 to the input layer of the encoding unit 100.
  • Backpropagation allows backpropagation.
  • the decoding unit 140 and the encoding unit 100 can be optimized end-to-end from the output layer of the decoding unit 140 to the input layer of the encoding unit 100, so that the accuracy of the graph structure as an intermediate representation and the output data can be performed.
  • FIG. 8 is a flowchart showing the flow of the machine learning method performed in the information processing device 1.
  • the encoding unit 100 extracts the feature amount of the element (vertex) included in the input data 10 and proceeds to the process in S12.
  • the encoding unit 100 calculates the likelihood that an edge exists between the two vertices by using the cosine similarity of the two vertices. In calculating the likelihood, a similarity or distance other than the cosine similarity may be used.
  • the sampling unit 130 performs a reparameterization trick using the Gumbel-Softmax function to determine the graph structure.
  • the decoding unit 140 generates output data from the graph structure from the sampling unit 130 and the feature amount of each vertex from the encoding unit 100.
  • Learning unit 150 step S15 is the back propagation of the loss function L 1 minimization subject to optimize the parameters contained in each of the decoding unit 140 and the encoding unit 100, and ends the machine learning method.
  • the parameters include the weights and biases of the neural networks included in the decoding unit 140 and the encoding unit 100.
  • the information processing device and the machine learning method according to the first embodiment it is possible to improve the accuracy of the model that extracts the graph structure as an intermediate representation from the input data.
  • FIG. 9 is a block diagram showing the configuration of the information processing device 1A according to the modified example of the first embodiment.
  • the configuration of the information processing device 1A is such that the reconstruction unit 160 is added to the configuration of the information processing device 1 of FIG. 1, and the learning unit 150 is replaced with 150A. Other than these, the explanation is not repeated because it is the same.
  • the reconstruction unit 160 receives the output data 20 and the vector representations ⁇ and ⁇ from the encoding unit 100.
  • FIG. 10 is a block diagram showing a specific configuration of the reconstruction unit 160 of FIG.
  • the biLSTM161, 162 and the matrix estimator 163 are included.
  • biLSTM161 receives the output data 20, for each of the strings St 1 ⁇ St M, outputs a feature vector obtained by combining the first hidden layer and the last hidden layer.
  • the feature vectors ⁇ 1 to ⁇ M correspond to the character strings St 1 to St M, respectively.
  • the matrix estimator 163 receives the vector representations ⁇ , ⁇ , ⁇ and estimates the adjacency relationship of the character strings Tx 1 to Tx M and the character strings St 1 to St M as the adjacency matrix C, and the images Im 1 to Im M. And the adjacency relationship of the character strings St 1 to St M is estimated as the adjacency matrix D.
  • the adjacency matrices C and D are expressed as the following equations (6) and (7), respectively.
  • the loss function L that defines the error between the correct matrix used for calculating the error of the adjacency matrices X and Y output from the encoding unit 100 and the adjacency matrices C and D is defined. Add R to the loss function L1.
  • the loss function L2 that defines the overall error in the modified example of the first embodiment is expressed by the following equation (8).
  • the coefficient ⁇ of the loss function L2 is a hyperparameter.
  • the loss function L R is the adjacency matrix C, D and the adjacent matrix X, may be a loss function that defines the error between Y (correct data).
  • the learning unit 150A optimizes the parameters included in each of the reconstruction unit 160, the decoding unit 140, and the encoding unit 100 by backpropagation that minimizes the loss function L2.
  • Table 1 below shows a comparison of the comparative example, the first embodiment, and the modified example of the first embodiment with respect to the accuracy of the output data 20.
  • GLACNet GLocal Attention Cascading Networks
  • BLEU Bit-Lingual Evaluation Understudy
  • BLEU4 ROUGE-L (Recall-Oriented Understudy for Visiting Evaluation Longest common subsequence)
  • CIDEr Consensus-based Image Description Evaluation
  • MEOR which are automatic evaluation scales. Each score of (Metric for Evaluation of Translation with Explicit ORdering) is shown.
  • the performance of the first embodiment exceeds the performance of the comparative example in each automatic evaluation scale. Further, the performance of the modified example of the first embodiment exceeds the performance of the first embodiment.
  • the accuracy of the model for extracting the graph structure as an intermediate representation from the input data can be further improved as compared with the first embodiment.
  • the graph structure extracted from the input data is not limited to the tree structure, and may be, for example, an N-part graph structure (N is a natural number of 2 or more).
  • N is a natural number of 2 or more.
  • the second embodiment as an example of the N-part graph structure, a configuration in which the bipartite graph structure is extracted from the input data will be described.
  • FIG. 11 is a block diagram showing the configuration of the information processing device 2 according to the second embodiment.
  • the information processing apparatus 2 includes an encoding unit 200, a sampling unit 230, a decoding unit 240, a learning unit 250, and an inference unit 270.
  • the encoding unit 200, the sampling unit 230, the decoding unit 240, and the learning unit 250 form a VAE (Variational Autoencoder).
  • the encoding unit 200 extracts the features of each of the plurality of vertices of the graph structure included in the input data 10B.
  • the encoding unit 200 divides the plurality of vertices into two subsets Sb 1 and Sb 2 having no common vertices.
  • the encoding unit 200 calculates the likelihood that an edge exists between the vertices included in the subset Sb 1 and the vertices included in the subset Sb 2 , and uses an adjacency matrix having the likelihood as a component in the sampling unit 230. Output. That is, the encoding unit 200 performs bipartite graph matching between the subsets Sb 1 and Sb 2.
  • the sampling unit 230 performs a reparameterization trick using the Gumbel-Softmax function on the adjacency matrix from the encoding unit 200, determines the bipartite graph structure Bp, and determines the bipartite graph structure Bp and the bipartite graph structure Bp.
  • the feature amount of each of the plurality of vertices included in is output to the decoding unit 240 and the inference unit 270.
  • the decoding unit 240 reproduces the output data 20B from the bipartite graph structure Bp and the feature amount.
  • the inference unit 270 performs inference based on the bipartite graph structure Bp and the feature amount, and outputs the inference result.
  • the inference unit 270 includes, for example, a GNN (Graph Neural Network).
  • the learning unit 250 optimizes the inference unit 270, the decoding unit 240, and the encoding unit 200 by backpropagation.
  • the loss function to be minimized in backpropagation includes an error between the output data 20B and the input data 10B (correct answer data), and an error between the inference result of the inference unit 270 and the correct answer data included in the training data set. That is, the learning unit 250 performs semi-supervised learning on the inference unit 270, the decoding unit 240, and the encoding unit 200. Specifically, the learning unit 250 performs unsupervised learning on the decoding unit 240 and the encoding unit 200, and supervised learning on the inference unit 270.
  • the main purpose of the information processing device 2 is to output the inference result by the inference unit 270.
  • the optimization of the VAE formed by the encoding unit 200, the sampling unit 230, the decoding unit 240, and the learning unit 250 is positioned as a subtask for realizing lossless compression from the input data 10B to the bipartite graph structure.
  • FIG. 12 is a diagram showing an example of a bipartite graph structure Bp between a plurality of users and a plurality of companies extracted from the input data 10B.
  • the correlation between the user Us 1 , Us 2 , Us 3 , Us 4 and the enterprise Cm 1 , Cm 2 , Cm 3 , Cm 4 , Cm 5 is shown.
  • the user Us 1 and the company Cm 2 are connected by the side Rs 1.
  • the user Us 2 and the company Cm 4 are connected by the side Rs 2. It is connected by the user Us 3 and enterprises Cm 3 Togahen Rs 3.
  • FIG. 13 is a diagram showing a matrix representing the bipartite graph structure Bp shown in FIG.
  • the inference unit 270 of FIG. 11 receives the bipartite graph structure Bp, infers a company that matches the needs of each user, and recommends the company to the user.
  • the information processing device and the machine learning method according to the second embodiment it is possible to improve the accuracy of the model that extracts the graph structure as an intermediate representation from the input data.
  • a plurality of sensors are structured as a graph structure based on the time series data of the detection values of the plurality of sensors in the plurality of processes included in the manufacturing equipment, and a defect occurring in the product occurs in which process.
  • the configuration for specifying the above will be described.
  • FIG. 14 is a schematic view showing a configuration example of the management system 3000 according to the third embodiment.
  • the management system 3000 is associated with a manufacturing facility 30 that includes a plurality of steps and provides a function for controlling the quality of products manufactured by the manufacturing facility 30.
  • five consecutive steps Pr 1 , Pr 2 , Pr 3 , Pr 4 , and Pr 5 are shown along the conveyor 307 for transporting the workpiece.
  • the work passes in the order of steps Pr 1 to Pr 5.
  • Sensors for detecting the state of the process are installed in each of the steps Pr 1 to Pr 5.
  • PLCs Programmable Logic Controllers
  • the PLCs 301 to 305 are connected so that data communication is possible via the local network 306.
  • the PLCs 301 to 305 transmit state information regarding the process to be controlled to the relay server device 308 on the local network 306 for each predetermined period or each event.
  • the state information includes time-series data (sensor time-series data) of a plurality of detected values detected at a plurality of sampling times by a sensor provided in the process.
  • the relay server device 308 transfers the state information from each of the PLCs 301 to 305 to the collection / analysis server device 3 (information processing device) via the Internet.
  • the relay server device 308 may perform necessary preprocessing on the state information.
  • the collection analysis server device 3 collects the status information received from the relay server device 308 and analyzes the collected information.
  • the collection and analysis server device 3 outputs the analysis result to the terminal device 309 via the Internet when a predetermined condition is satisfied or when a request is received from the terminal device 309.
  • a PLC is provided in each of a plurality of processes installed in the single manufacturing facility 30, and each PLC is connected to the relay server device 308 via the same local network 306.
  • the configuration is illustrated, but it is not limited to this.
  • a configuration in which a plurality of PLCs are directly connected to the collection / analysis server device 3 may be adopted without arranging the relay server device 308.
  • each PLC transmits necessary information to the collection / analysis server device 3.
  • a plurality of relay server devices 308 may be provided.
  • a relay server device 308 transfers the status information from a part of the PLCs to the collection / analysis server device 3, and another relay server device 308 transfers the status information from the remaining PLCs to the collection / analysis server device 3. You may want to transfer it.
  • FIG. 15 is a schematic view showing an example of the hardware configuration of PLCs 301 to 305 constituting the management system 3000 of FIG.
  • each of the PLCs 301 to 305 includes an arithmetic unit 310 and one or more functional units 320.
  • the arithmetic unit 310 is an arithmetic unit that executes a user program or the like stored in advance, acquires a field signal (information indicating the state of equipment to be controlled, etc.) from the functional unit 320, and performs necessary control through the functional unit 320. Output a signal.
  • the arithmetic unit 310 controls the exchange of data via the processor 312 that executes the user program and the like, the memory 316 that stores the user program, the operating system (OS: Operating System), various data, and the like, and the internal bus 326. It includes a bus controller 314 and a communication interface 318.
  • the memory 316 may be configured by combining a volatile storage device such as a DRAM (Dynamic Random Access Memory) and a non-volatile storage device such as a flash memory.
  • the processor 312 acquires the detected value from the sensor 315 installed in the process corresponding to each of the PLCs 301 to 305.
  • the detected value includes, for example, a current value, a voltage value, a power value, a temperature, a humidity, or a vibration value.
  • a plurality of sensors 315 may be provided in one step.
  • the communication interface 318 may be provided with one or more communication ports depending on the device to which data is exchanged. For example, it supports a communication port that follows Ethernet (registered trademark) for connecting to a local network 306 (see FIG. 14), a communication port that follows USB (Universal Serial Bus) for connecting to a personal computer, or a serial line / parallel line. A communication port or the like may be implemented.
  • Ethernet registered trademark
  • USB Universal Serial Bus
  • the functional unit 320 may provide an IO (Input Output) function for exchanging various information with the equipment to be controlled.
  • functions such as DI (Digital Input) that receives digital signals, DO (Digital Output) that outputs digital signals, AI (Analog Input) that receives analog signals, and AO (Analog Output) that outputs analog signals. May be implemented. Further, special functions such as PID (Proportional Integral Derivative) control or motion control may be implemented.
  • each of the functional units 320 that provides the IO function includes an IO module 322 and a bus controller 324 for controlling the exchange of data between the arithmetic unit 310 via the internal bus 326.
  • Each of the IO modules 322 acquires the state information from the process to be controlled and sends the state information to the relay server device 308 and the collection / analysis server device 3 through the arithmetic unit 310.
  • any PLC may be adopted as long as it has an interface for outputting internal information to an external device by using some kind of communication means.
  • the hardware configuration of the PLC is not limited to the configuration shown in FIG. 15, and any configuration can be adopted. In reality, it is assumed that the manufacturers and models are not unified among the plurality of PLCs arranged in the manufacturing equipment 30 shown in FIG. In the management system 3000, the relay server device 308 absorbs such a difference in PLC manufacturer and model.
  • FIG. 16 is a block diagram showing a functional configuration of the collection / analysis server device 3 of FIG.
  • the collection analysis server device 3 includes an encoding unit 300, a sampling unit 330, a decoding unit 340, and a quality inspection unit 370 (inference unit).
  • the input data 10C includes sensor time series data from PLCs 301 to 305.
  • the encoding unit 300, the sampling unit 330, the decoding unit 340, and the learning unit 350 form a VAE (Variational Autoencoder).
  • the encoder unit 300 includes an encoder model Mc.
  • the encoder model Mc extracts a graph structure representing the correlation between the sensors included in the input data 10C from the input data 10C.
  • the encoding unit 300 extracts the feature amounts of each of the plurality of sensors, which are the vertices of the graph structure, from the sensor time series data.
  • the encoding unit 300 calculates the likelihood that an edge exists between two vertices included in the plurality of vertices, and outputs an adjacency matrix having the likelihood as a component to the sampling unit 330.
  • the sampling unit 330 performs a reparameterization trick using the Gumbel-Softmax function on the adjacency matrix from the encoding unit 300, determines the graph structure Gs, and determines each of the graph structure Gs and the plurality of vertices of the graph structure Gs. Is output to the decoding unit 340 and the quality inspection unit 370.
  • the decoding unit 340 includes a decoder model Md.
  • the decoder model Md reproduces the output data 20C from the graph structure Gs and the feature amount.
  • the quality inspection unit 370 includes the quality inspection model Mm.
  • the quality inspection model Mm calculates quality data representing the quality of the product based on the graph structure Gs and the feature quantity.
  • the quality inspection unit 370 includes, for example, GNN.
  • the quality inspection unit 370 visualizes the error between the quality data and the standard quality data in the graph structure Gs.
  • Standard quality data is standard quality data corresponding to a normal product. The larger the error between the quality data and the standard quality data, the greater the degree of defects included in the quality data.
  • heat mapping of the error using GradCAM Gradient-weighted Class Activation Mapping
  • the learning unit 350 optimizes the neural network parameters included in each of the quality check model Mm, the decoder model Md, and the encoder model Mc by backpropagation.
  • the parameters include the weights and biases of the neural network.
  • the loss function to be minimized in backpropagation includes an error between the output data 20C and the input data 10C (correct answer data), and an error between the inspection result of the quality inspection unit 370 and the correct answer quality data included in the training data set. .. That is, the learning unit 350 performs semi-supervised learning on the quality inspection unit 370, the decoding unit 340, and the encoding unit 300. Specifically, the learning unit 350 performs unsupervised learning for the decoding unit 340 and the encoding unit 300, and supervised learning for the quality inspection unit 370.
  • the main purpose of the collection analysis server device 3 is to output the inspection results by the quality inspection unit 370.
  • the optimization of the VAE formed by the encoding unit 300, the sampling unit 330, the decoding unit 340, and the learning unit 350 is positioned as a subtask for realizing lossless compression from the input data 10C to the graph structure.
  • FIG. 17 is a block diagram showing a hardware configuration of the collection / analysis server device 3 of FIG.
  • the collection / analysis server device 3 includes a processor 31 which is an arithmetic processing unit, a main memory 32 and a hard disk 33 as a storage unit, an input interface 34, a display controller 35, and a communication interface 36. , Data reader / writer 38 and so on. Each of these parts is connected to each other via a bus 39 so as to be capable of data communication.
  • the processor 31 includes a CPU (Central Processing Unit).
  • the processor 31 may further include a GPU (Graphics Processing Unit).
  • the processor 31 expands the programs (codes) stored in the hard disk 33 into the main memory 32 and executes them in a predetermined order to perform various operations.
  • the main memory 32 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the main memory 32 holds the program read from the hard disk 33.
  • the input interface 34 mediates data transmission between the processor 31 and the input unit 361.
  • the input unit 361 includes, for example, a mouse, a keyboard, or a touch panel. That is, the input interface 34 receives an operation command given by the user operating the input unit 361.
  • the display controller 35 is connected to a display 362, which is a typical example of a display device, and notifies the user of the result of image processing in the processor 31 and the like. That is, the display controller 35 is connected to the display 362 and controls the display on the display 362.
  • the display 362 is, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or other display device.
  • the communication interface 36 mediates data transmission via the Internet between the processor 31 and another external device.
  • the communication interface 36 typically includes Ethernet (registered trademark) or USB (Universal Serial Bus).
  • the data reader / writer 38 mediates data transmission between the processor 31 and the memory card 363, which is a recording medium.
  • the memory card 363 stores, for example, a program executed by the collection analysis server device 3.
  • the data reader / writer 38 reads the program from the memory card 363.
  • the memory card 363 is a general-purpose semiconductor storage device such as CF (Compact Flash) or SD (Secure Digital), a magnetic storage medium such as a flexible disk (Flexible Disk), or a CD-ROM (Compact Disk Read Only Memory). ) And other optical storage media. If necessary, another output device such as a printer may be connected to the collection / analysis server device 3.
  • the hard disk 33 is a non-volatile magnetic storage device.
  • the learning data set Ds, the quality inspection model Mm, the encoder model Mc, the decoder model Md, the machine learning program Pg1, and the quality inspection program Pg2 are stored in the hard disk 33.
  • Various setting values and the like may be stored in the hard disk 33.
  • a semiconductor storage device such as a flash memory may be adopted.
  • the learning data set Ds includes a plurality of learning data.
  • Each of the plurality of training data is a combination of time series data of the values detected by the sensors of the plurality of processes through which the product has passed, and correct answer quality data corresponding to the quality of the product.
  • the learning data set Ds, the encoder model Mc, the decoder model Md, and the quality inspection model Mm are referred to.
  • the processor 31 that executes the machine learning program Pg1 realizes the encoding unit 300, the sampling unit 330, the decoding unit 340, the learning unit 350, and the quality inspection unit 370 of FIG.
  • the processor 31 fits each of the encoder model Mc, the decoder model Md, and the quality inspection model Mm into trained by executing the machine learning program Pg1.
  • the encoder model Mc and the quality inspection model Mm are referred to.
  • the processor 31 calculates the quality data of the product from the sensor time series data corresponding to the product, and visualizes the error between the quality data and the reference quality data in the graph structure Gs.
  • the error visualized in the graph structure Gs of the error is output to the display 362 and the terminal device 309.
  • FIG. 18 is a diagram showing an example of the graph structure Gs visualized together with the error of the quality data and the standard quality data.
  • the vertices Sn 1 to Sn 5 correspond to the sensors provided in each of the steps Pr 1 to Pr 5 of FIG. The darker the hatching, the more the detection value of the sensor corresponding to the vertex deviates from the normal value.
  • the vertices Sn 3 are connected to Sn 1 , Sn 2 , and Sn 4.
  • Vertex Sn 5 is connected to vertex Sn 2.
  • the vertices Sn 2 are the darkest, and the vertices Sn 1 and Sn 4 are the lightest.
  • the side connecting the vertices Sn 2 and Sn 3 and the side connecting the vertices Sn 2 and Sn 5 are emphasized thicker than the other sides.
  • the graph structure Gs in which the error is visualized shows the correlation of the detected values of a plurality of sensors, and the detected values of the sensors that contribute to the defects (error between the quality data and the standard quality data) contained in the product. Is shown. In FIG.
  • the detection value of the sensor that contributes most to the defect contained in the product is the detection value of the sensor provided in the step Pr 2 corresponding to the apex Sn 2. Therefore, there is a high possibility that a problem has occurred in the process Pr 2. Further, in the steps Pr 3 and Pr 5 corresponding to the vertices Sn 3 and Sn 5 connected to the vertices Sn 2 in the graph structure Gs, there is a possibility that a defect occurs next to the step Pr 2. In the steps Pr 1 and Pr 4 corresponding to the vertices Sn 1 and Sn 4 , respectively, the possibility that a defect has occurred is the lowest. According to the graph structure Gs in which the error is visualized, it is possible to easily identify the process that causes the defect included in the product completed through a plurality of processes.
  • the information processing device and the machine learning method according to the third embodiment it is possible to improve the accuracy of the model that extracts the graph structure as an intermediate representation from the input data.
  • FIG. 19 is a diagram for explaining route planning by the robot Rb corresponding to the information processing device according to the embodiment.
  • the field of view of the robot Rb includes passersby Ps1, Ps2, and Ps3.
  • Passerby Ps1 is looking at passerby Ps2.
  • Passerby Ps2 is looking at passerby Ps3.
  • Passerby Ps3 is looking at passerby Ps2.
  • the robot Rb peaks each of the passersby Ps1 to Ps3 based on the posture, line-of-sight direction, and the relative positional relationship of the passersby Ps1 to Ps3 included in the visual field moving image which is time series data. Extract the directed graph structure.
  • FIG. 20 is a diagram showing a directed graph structure Pf extracted by the robot Rb of FIG.
  • the vertices Vx 1 , Vx 2 , and Vx 3 correspond to the passersby Ps 1 , Ps 2 , and Ps 3 in FIG. 19, respectively.
  • the apex Vx 1 and the apex Vx 2 are connected by an edge Eg 1 from the apex Vx 1 to Vx 2.
  • the vertex Vx 2 and vertex Vx 3 are connected by edges Eg 3 extending from the edges Eg 2 and vertex Vx 3 directed from the vertex Vx 2 to Vx 3 to Vx 2.
  • FIG. 21 is a diagram showing a matrix representation corresponding to the directed graph structure Pf of FIG. Robot Rb inputs a directed graph structure Pf shown in FIG. 21 in the inference unit performs pedestrian flow prediction for passers-Ps 1 ⁇ Ps 3, the route Rt passers Ps 1 ⁇ Ps 3 avoidable 19 To plan.
  • the inference unit includes, for example, a Social GAN (Generative Adversarial Network).
  • the information processing device and machine learning method according to the embodiment can also be applied to the prediction of traffic congestion.
  • the traffic volume at multiple points connected by roads is used as time-series input data, and each of the multiple points at each time is set as the peak from the input data over different times.
  • a graph structure with the relationship of traffic volume between two points as an edge is extracted. That is, the graph structure is extracted from the input data as a result of N-part graph matching in which a plurality of points at each time are a subset of the vertex set.
  • the information processing device predicts traffic congestion at each point at a specific time based on the graph structure.
  • the information processing device and machine learning method according to the embodiment can also be applied to Materials Informatics (MI).
  • MI Materials Informatics
  • the physical properties of the molecular structure are estimated by associating the vertices and sides of the graph structure extracted from the input data with the atoms and bonds of the molecular structure.
  • a graph structure (Tr, Bp, Gs, Pf) representing the correlation between the elements included in the input data (10, 10B, 10C) is extracted from the input data (10, 10B, 10C), and the graph structure (Tr) is extracted.
  • Bp, Gs, Pf which is an information processing device (1,1A, 2,3) that generates output data (20, 20B, 20C).
  • the features ( ⁇ , ⁇ , ⁇ , ⁇ ) of each of ⁇ Cm 5 , Sn 1 to Sn 5 , Vx 1 to Vx 3 ) are extracted, and the sides (Br 1 to Br 7 ,
  • Decoding unit (140, 240, 340) that receives the graph structure (Tr, Bp, Gs, Pf) and the feature amount ( ⁇ , ⁇ , ⁇ , ⁇ ) and generates the output data (20, 20B, 20C).
  • a reconstruction unit (160) for reconstructing the graph structure (Tr) from the output data (10) is further provided.
  • the loss function comprising said error (L R) and the output from the reconstruction unit (160) and the correct graph structure, the information processing apparatus according to Structure 1 (1A).
  • the inference unit (270,370) that receives the graph structure (Bp, Gs) from the sampling unit (230, 330) and outputs the inference result for the input data (10B, 10C) is further provided.
  • the learning unit (250, 350) performs unsupervised learning on the decoding unit (240, 340) and the encoding unit (100, 200), and supervised the inference unit (270, 370).
  • the information processing apparatus (2, 3) according to the configuration 1 or 2, which performs unsupervised learning.
  • the input data (10) includes the first data (11) and the second data (12).
  • the modality of the first data (11) is different from the modality of the second data (12).
  • the encoding unit (100) The first encoder (110) for extracting the features ( ⁇ , ⁇ ) of the first data (11) and
  • the information processing apparatus (1, 1A) according to any one of configurations 1 to 3, which includes a second encoder (120) for extracting a feature amount ( ⁇ ) of the second data (12).
  • a graph structure (Tr, Bp, Gs, Pf) representing the correlation between the elements included in the input data (10, 10B, 10C) is extracted from the input data (10, 10B, 10C), and the graph structure (Tr) is extracted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させる。エンコード部（１００）は、入力データ（１０）からグラフ構造（Ｔｒ）に含まれる複数の頂点の各々の特徴量を抽出し、当該頂点に辺が接続されている尤度を算出する。サンプリング部（１３０）は、当該尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいてグラフ構造（Ｔｒ）を決定する。学習部（１５０）は、グラフ構造（Ｔｒ）から生成された出力データ（２０）と正解データとの誤差（ＬＰ）を含む損失関数を用いるバックプロパゲーションによってデコード部（１４０）およびエンコード部（１００）を最適化する。

Description

情報処理装置および機械学習方法
　本開示は、情報処理装置、および機械学習方法に関する。
　従来、入力データに含まれる要素間の関係をグラフ構造として抽出し、当該グラフ構造を中間表現として後処理を行う構成が知られている。たとえば、非特許文献１には、ＲＥＩＮＦＯＲＣＥ（REward　Increment　Nonnegative　Factor　Offset　Reinforcement　Characteristic　Eligibility）アルゴリズムによって構文木を生成し、当該構文木により構造化されたデータを中間表現としてＶＡＥ（Variational　Autoencoder）による再構成を行う構成が開示されている。
Pengcheng　Yin,　Chunting　Zhou,　Junxian　He,　Graham　Neubig,　"StructVAE:　Tree-structured　Latent　Variable　Models　for　Semi-supervised　Semantic　Parsing"　(https://www.aclweb.org/anthology/P18-1070/),　in　Proceedings　of　the　56th　Annual　Meeting　of　the　Association　for　Computational　Linguistics　(Volume　1:　Long　Papers),　pp.　754-765. Eric　Jang,　Shixiang　Gu,　Ben　Poole,　"Categorical　Reparameterization　with　Gumbel-Softmax",　https://openreview.net/forum?id=rkE3y85ee,　ICLR　(International　Conference　on　Learning　Representations)　2017. Jianlong　Chang,　Xinbang　Zhang,　Yiwen　Guo,　Gaofeng　Meng,　Shiming　Xiang,　Chunhong　Pan,　"Differentiable　Architecture　Search　with　Ensemble　Gumbel-Softmax",　https://arxiv.org/abs/1905.01786. Kai　Sheng　Tai,　Richard　Socher,　Christopher　D.　Manning,　"Improved　Semantic　Representations　From　Tree-Structured　Long　Short-Term　Memory　Networks",　https://www.aclweb.org/anthology/P15-1150/,　in　Proceedings　of　the　53rd　Annual　Meeting　of　the　Association　for　Computational　Linguistics　and　the　7th　International　Joint　Conference　on　Natural　Language　Processing　(Volume　1:　Long　Papers),　pp.　1556-1566.
　非特許文献１において用いられるＲＥＩＮＦＯＲＣＥアルゴリズムを含む強化学習においては、最適化対象のモデル（エージェント）が試行錯誤を繰り返しながらパラメータの最適化を進めるため、モデルの出力に対する正解の特定が困難な場合がある。そのため、強化学習には、モデルからの出力と正解との誤差を規定する損失関数を微分して、連鎖律に基づいてモデルの出力層から入力層に向かって当該誤差を伝播させるバックプロパゲーションを用いる機械学習よりもモデルの精度を向上させることが難しい場合があることが知られている。非特許文献１に開示されている構成には機械学習によって形成される学習済みモデルの精度に改善の余地がある。
　本開示は上記のような課題を解決するためになされたものであり、その目的は、入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させることである。
　本開示の一例に係る情報処理装置は、入力データに含まれる要素間の相関関係を表すグラフ構造を入力データから抽出し、グラフ構造から出力データを生成する。情報処理装置は、エンコード部と、サンプリング部と、デコード部と、学習部とを備える。エンコード部は、入力データからグラフ構造に含まれる複数の頂点の各々の特徴量を抽出し、当該頂点に相関関係を表す辺が接続されている尤度を算出する。サンプリング部は、尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、グラフ構造を決定する。デコード部は、グラフ構造、および複数の頂点の各々の特徴量を受けて出力データを生成する。学習部は、出力データと正解データとの誤差を含む損失関数を最小化対象とするバックプロパゲーションによって、デコード部およびエンコード部を最適化する。
　この開示によれば、サンプリング部によるグラフ構造の決定処理によっても損失関数は微分可能となるため、出力データと正解データとの誤差をデコード部の出力層からエンコード部の入力層までバックプロパゲーションによって逆伝播させることが可能になる。その結果、デコード部およびエンコード部の最適化を、デコード部の出力層からエンコード部の入力までエンドツーエンドに行うことができるため、中間表現としてのグラフ構造の精度および出力データの精度を向上させることができる。
　上述の開示において、情報処理装置は、出力データからグラフ構造を再構成する再構成部をさらに備えてもよい。損失関数は、再構成部からの出力と正解グラフ構造との誤差を含んでもよい。
　この開示によれば、再構成部によって再構成されたグラフ構造と正解グラフ構造との間に同一性が維持されるように機械学習が行われることにより、エンコード部によるロスレス圧縮（可逆圧縮）が促進される。その結果、中間表現としてのグラフ構造の精度および出力データの精度を構成１よりもさらに向上させることができる。
　上述の開示において、サンプリング部からグラフ構造を受けて、入力データに対する推論結果を出力する推論部をさらに備えてもよい。学習部は、デコード部およびエンコード部に対しては教師なし学習を行い、推論部に対しては教師あり学習を行ってもよい。
　この開示によれば、エンコード部によるロスレス圧縮が促進されるとともに、推論部に対する教師あり学習によって推論部の推論精度を向上させることができる。
　上述の開示において、入力データは、第１データおよび第２データを含んでもよい。第１データのモダリティは、第２データのモダリティとは異なってもよい。エンコード部は、第１エンコーダと、第２エンコーダとを含んでもよい。第１エンコーダは、第１データの特徴量を抽出してもよい。第２エンコーダは、第２データの特徴量を抽出してもよい。
　この開示によれば、多様な入力データからグラフ構造を抽出することができる。
　上述の開示において、出力データのモダリティは、入力データのモダリティとは異なってもよい。
　この開示によれば、グラフ構造から多様なデータを生成することができる。
　本開示の他の例に係る機械学習方法は、入力データに含まれる要素間の相関関係を表すグラフ構造を入力データから抽出し、グラフ構造から出力データを生成するモデルに対して、記憶部に保存された機械学習プログラムを実行するプロセッサによって行われる。機械学習方法は、入力データからグラフ構造に含まれる複数の頂点の各々の特徴量を抽出し、当該頂点に相関関係を表す辺が接続されている尤度を算出するステップと、尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、グラフ構造を決定するステップと、グラフ構造、および複数の頂点の各々の特徴量を受けて出力データを生成するステップと、出力データと正解データとの誤差を含む損失関数を最小化対象とするバックプロパゲーションによって、モデルを最適化するステップとを含む。
　この開示によれば、グラフ構造を決定するステップによっても損失関数は微分可能となるため、出力データと正解データとの誤差をモデルの出力層からモデルの入力層までバックプロパゲーションによって逆伝播させることが可能になる。その結果、モデルの最適化を、モデルの出力層からモデルの入力層までエンドツーエンドに行うことができるため、中間表現としてのグラフ構造の精度および出力データの精度を向上させることができる。
　本開示に係る情報処理装置および機械学習方法によれば、入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させることができる。
実施の形態１に係る情報処理装置の構成を示すブロック図である。 図１の入力データおよびエンコード部の具体的な構成を説明するためのブロック図である。 図２の第１エンコーダから出力される隣接行列の模式図である。 図２の第２エンコーダから出力される隣接行列の模式図である。 図１のツリー構造を示す図である。 図５のツリー構造を表現する隣接行列を示す図である。 図１のデコード部および出力データの具体的な構成を示すブロック図である。 情報処理装置において行われる機械学習方法の流れを示すフローチャートである。 実施の形態１の変形例に係る情報処理装置の構成を示すブロック図である。 図９の再構成部の具体的な構成を示すブロック図である。 実施の形態２に係る情報処理装置の構成を示すブロック図である。 入力データから抽出される、複数のユーザと複数の企業との間の２部グラフ構造の一例を示す図である。 図１２に示される２部グラフ構造を表現する行列を示す図である。 実施の形態３に係る管理システムの構成例を示す模式図である。 図１４の管理システムを構成するＰＬＣのハードウェア構成の一例を示す模式図である。 図１４の収集解析サーバ装置の機能構成を示すブロック図である。 図１４の収集解析サーバ装置のハードウェア構成を示すブロック図である。 品質データおよび基準品質データの誤差とともに可視化されたグラフ構造の一例を示す図である。 実施の形態に係る情報処理装置に対応するロボットによるルートプランニングを説明するための図である。 図１９のロボットによって抽出される有向グラフ構造を示す図である。 図２０の有向グラフ構造に対応する行列表現を示す図である。
　以下、実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。
　＜適用例＞
　［実施の形態１］
　図１は、実施の形態１に係る情報処理装置１の構成を示すブロック図である。図１に示されるように、情報処理装置１は、エンコード部１００と、サンプリング部１３０と、デコード部１４０と、学習部１５０とを備える。情報処理装置１は、入力データ１０に含まれる要素間の相関関係を表すグラフ構造を入力データ１０から抽出し、当該グラフ構造から出力データ２０を生成する。実施の形態１では、調理の手順の画像列データおよび食材列データを含む入力データから、料理の手順列データを含む出力データを生成する場合について説明する。
　図２は、図１の入力データ１０およびエンコード部１００の具体的な構成を説明するためのブロック図である。図２に示されるように、入力データ１０は、画像列データ１１（第１データ）と、食材列データ１２（第２データ）とを含む。画像列データ１１のモダリティは、画像である。食材列データ１２のモダリティは、文字列である。画像列データ１１のモダリティは、食材列データ１２のモダリティとは異なる。なお、モダリティとは、データの形式、種類、あるいは型を含む。
　画像列データ１１は、画像Ｉｍ１～ＩｍＭを含む。画像Ｉｍ１～ＩｍＭの各々は、調理の各手順の画像を表し、画像Ｉｍ１～ＩｍＭの順に調理が行われる。すなわち、画像Ｉｍ１～ＩｍＭは、この順に順序付けられている。食材列データ１２は、文字列Ｔｘ１～ＴｘＮを含む。文字列Ｔｘ１～ＴｘＮの各々は、食材名を表す。調理の過程において、文字列Ｔｘ１～ＴｘＮの順に使用される。すなわち、文字列Ｔｘ１～ＴｘＮは、この順に順序付けられている。図２においては、手順数Ｍが４であり、食材数Ｎが４である場合が示されている。文字列Ｔｘ１～Ｔｘ４は、「トマト」，「かぼちゃ」，「マヨネーズ」，「ケチャップ」をそれぞれ表す。なお、手順数Ｍは４に限定されず、３以下であってもよいし、５以上であってもよい。食材数Ｎも同様である。また、手順数Ｍと食材数Ｎとは異なっていてもよい。
　エンコード部１００は、エンコーダ１１０（第１エンコーダ）と、エンコーダ１２０（第２エンコーダ）とを含む。エンコーダ１１０は、学習済みの画像エンコーダ１１１と、ｂｉＬＳＴＭ（bidirectional　Long　Short-Term　Memory）１１２，１１３と、行列推定器１１４とを含む。エンコーダ１２０は、分散表現器１２１と、ＬＳＴＭ１２２と、ｂｉＬＳＴＭ１２３と、行列推定器１２４とを含む。分散表現器１２１は、たとえばｗｏｒｄ２ｖｅｃを含む。
　画像エンコーダ１１１は、画像列データ１１に含まれる画像Ｉｍｋの特徴ベクトルｖｋを抽出し、ベクトル表現Ｖ＝（ｖ１，ｖ２，…，ｖｋ，…，ｖＭ）（特徴量）を出力する。ｂｉＬＳＴＭ１１２は、ベクトル表現Ｖを受けて、ベクトル表現Θ＝（θ１，θ２，…，θｋ，…θＭ）（特徴量）を出力する。特徴ベクトルθ１～θＭは、特徴ベクトルｖ１～ｖＭにそれぞれ対応する。ｂｉＬＳＴＭ１１３は、ベクトル表現Ｖを受けて、ベクトル表現Φ＝（φ１，φ２，…，φｋ，…，φＭ）（特徴量）を出力する。特徴ベクトルφ１～φＭは、特徴ベクトルｖ１～ｖＭにそれぞれ対応する。なお、インデックスｋは自然数である。
　行列推定器１１４は、ベクトル表現Θ，Φを受けて、画像Ｉｍ１～ＩｍＭの隣接関係を推定し、隣接行列Ｙとして出力する。画像Ｉｍ１～ＩｍＭの隣接関係の推定とは、画像Ｉｍ１～ＩｍＭの各々をグラフ構造の頂点として、２つの頂点間に辺が存在する尤度を算出することを意味する。隣接行列Ｙの成分Ｙｉ，ｊは以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　エンコーダ１２０においては、ベクトル表現Θ，Φからベクトル表現Ω＝（ω１，ω２，…，ωｋ，…，ωＭ）（特徴量）が算出され、ベクトル表現Ωが行列推定器１２４に入力される。特徴ベクトルωｋの各次元の成分は、特徴ベクトルθｋ，φｋの当該次元の成分のうち、大きい方の成分である。
　分散表現器１２１は、食材列データ１２に含まれる文字列Ｔｘｋの分散表現を出力する。ＬＳＴＭ１２２は、文字列Ｔｘｋの分散表現を特徴ベクトルｇｋに変換し、ベクトル表現Ｇ＝（ｇ１，ｇ２，…，ｇｋ，…，ｇＮ）を出力する。ｂｉＬＳＴＭ１２３は、ベクトル表現Ｇを受けて、ベクトル表現Γ＝（γ１，γ２，…，γｋ，…，γＮ）（特徴量）を出力する。特徴ベクトルγ１～γＮは、特徴ベクトルｇ１～ｇＮにそれぞれ対応する。
　行列推定器１２４は、ベクトル表現Ω，Γを受けて、画像Ｉｍ１～ＩｍＭおよび文字列Ｔｘ１～ＴｘＮの隣接関係を推定し、当該隣接関係を隣接行列Ｘとして出力する。画像Ｉｍ１～ＩｍＭおよび文字列Ｔｘ１～ＴｘＮの隣接関係の推定とは、文字列Ｔｘ１～ＴｘＮの各々をグラフ構造の頂点として、文字列Ｔｘ１～ＴｘＮの各々に対応する頂点と画像Ｉｍ１～Ｉｍ４の各々に対応する頂点との間に辺が存在する尤度を算出することを意味する。隣接行列Ｘの成分Ｘｉ，ｊは以下の式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　図３は、図２の隣接行列Ｙの模式図である。図３において各成分に付されているハッチングが濃いほど、当該成分の尤度が大きい。図３においては、行に含まれる頂点から列に含まれる頂点に向かう辺が存在するかの尤度が当該行および列によって特定される隣接行列の成分である。すなわち、隣接行列Ｙは、有向グラフ構造を表現している。列に含まれる頂点から行に含まれる頂点に向かう辺が存在するかの尤度が当該行および列によって特定される隣接行列の成分であってもよい。
　有向グラフ構造を表す隣接行列Ｙは、必要に応じて無向グラフ構造を表す隣接行列Ｔに変換されてもよい。隣接行列Ｙの変換にあたっては、隣接行列Ｔの転置行列が隣接行列Ｔに等しくなるように、たとえば隣接行列Ｙの各成分と当該成分の行と列とを逆にした成分との平均値を当該２つの成分に対応する隣接行列Ｔの成分にすることができる。
　図４は、図２の隣接行列Ｘの模式図である。ハッチングの濃さと尤度との関係は図３と同様である。図４においては、行に含まれる頂点と列に含まれる頂点との間に辺が存在するかの尤度が当該行および列によって特定される隣接行列の成分である。隣接行列Ｘは、無向グラフ構造を表現している。
　再び図２を参照して、サンプリング部１３０は、隣接行列Ｘ，Ｙを受けて、文字列Ｔｘ１～ＴｘＮの各々に対応する頂点をリーフノードとし、画像列データ１１における最後の画像に対応する頂点をルートノードとし、他の画像に対応する頂点をノードとするツリー構造Ｔｒ（グラフ構造）を出力する。サンプリング部１３０は、Ｇｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数（非特許文献２参照）を用いて、隣接行列Ｘ，Ｙの各成分の尤度を当該成分に対応する２つの頂点間に辺が存在する確率に変換する（再パラメータ化トリック）。サンプリング部１３０は、再パラメータ化トリックにより、隣接行列Ｘ，Ｙを隣接行列Ａ，Ｂにそれぞれ変換する。成分Ａｉ，ｊ，Ｂｉ，ｊは、以下の式（３），（４）のようにそれぞれ表される。
Figure JPOXMLDOC01-appb-M000003
　式（３），（４）において、δｉ，ｋ，εｉ，ｋは、Ｇｕｍｂｅｌ（０，１）分布からサンプリングされたノイズである。τはＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の温度パラメータである。サンプリング部１３０は、隣接行列Ａ，Ｂを用いてノード間の枝（辺）の有無を決定し、ツリー構造Ｔｒを決定する。
　図５は、図１のツリー構造Ｔｒを示す図である。図５において、ノードＮｄ１～Ｎｄ４は、画像Ｉｍ１～Ｉｍ４にそれぞれ対応する。ノードＮｄ４は、ルートノードである。リーフノードＬｆ１～Ｌｆ４は、文字列Ｔｘ１～Ｔｘ４にそれぞれ対応する。
　図５に示されるように、リーフノードＬｆ１とノードＮｄ１とは枝Ｂｒ１によって接続されている。リーフノードＬｆ２とノードＮｄ２とは、枝Ｂｒ２によって接続されている。リーフノードＬｆ３とルートノードＮｄ４とは、枝Ｂｒ３によって接続されている。リーフノードＬｆ４とルートノードＮｄ４とは、枝Ｂｒ４によって接続されている。ノードＮｄ１とＮｄ３とは、ノードＮｄ１からＮｄ３に向かう枝Ｂｒ５によって接続されている。ノードＮｄ２とＮｄ３とは、ノードＮｄ２からＮｄ３に向かう枝Ｂｒ６によって接続されている。ノードＮｄ３とルートノードＮｄ４とは、ノードＮｄ３からルートノードＮｄ４に向かう枝Ｂｒ７によって接続されている。
　ツリー構造Ｔｒは、画像Ｉｍ１に示される手順の結果および画像Ｉｍ２に示される手順の結果が、画像Ｉｍ３に示される手順において使用され、画像Ｉｍ３に示される手順の結果が画像Ｉｍ４に示される手順において使用されることを示す。また、ツリー構造Ｔｒは、文字列Ｔｘ１の食材が画像Ｉｍ１に示される手順において使用され、文字列Ｔｘ２の食材が画像Ｉｍ２に示される手順において使用され、文字列Ｔｘ３，Ｔｘ４の各々の食材が画像Ｉｍ４に示される手順において使用されることを示す。
　図６は、図５のツリー構造Ｔｒを表現する隣接行列Ｘ１，Ｙ１を示す図である。隣接行列Ｘ１，Ｙ１は、それぞれ隣接行列Ａ，Ｂを介して、サンプリング部１３０によって決定される。たとえば、サンプリング部１３０は、隣接行列Ａ，Ｂの各行における最大値に対応する成分を１とし、それ以外の成分を０とし、各行をワンホット表現として隣接行列Ｘ１，Ｙ１を決定する。入力データから抽出されるグラフ構造に含まれる頂点からの出辺の最大数または当該頂点への入辺の最大数が決定している場合には、Ｅｎｓｅｍｂｌｅ　Ｇｕｍｂｅｌ－Ｓｏｆｔｍａｘ（非特許文献３参照）により、各行または各列が２個以上のワンホット表現の重ね合わせとして表現されてもよい。なお、グラフ構造の決定にあたっては、隣接行列Ｘ，Ｙの各成分の尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数を用いた再パラメータ化トリックの変換結果以外にも、抽出されるグラフ構造の特性も考慮され得る。たとえば、料理の手順を示すツリー構造Ｔｒにおいて或るノードから当該ノードへの辺（セルフループ）は許容されないため、隣接行列Ｙ１の対角成分は０となる。また、ルートノードより階層が上のノードはツリー構造Ｔｒには存在しないため、隣接行列Ｙ１においてルートノードに対応する第４行の各成分は０となる。
　有向グラフ構造を表す隣接行列Ｙ１は、必要に応じて無向グラフ構造を表す隣接行列Ｔ１に変換されてもよい。隣接行列Ｙ１の変換にあたっては、隣接行列Ｔ１の転置行列が隣接行列Ｔ１に等しくなるように、たとえば隣接行列Ｙ１の各成分と当該成分の行と列とを逆にした成分とのうちの最大値、最小値、またはいずれかがランダムに選択された値を当該２つの成分に対応する隣接行列Ｔ１の成分にすることができる。
　図７は、図１のデコード部１４０および出力データ２０の具体的な構成を示すブロック図である。図７に示されるように、デコード部１４０は、ＬＳＴＭ１４１と、エンコーダデコーダモデル１４２と、サンプリング部１４３とを含む。ＬＳＴＭ１４１は、Ｔｒｅｅ－ＬＳＴＭ（非特許文献４参照）を含み、たとえばＣｈｉｌｄ－ｓｕｍ　ＬＳＴＭを含む。ＬＳＴＭ１４１は、ツリー構造Ｔｒにおける画像列データ１１のｋ番目の手順に対応する特徴量をＣｈｉｌｄ－ｓｕｍ　ＬＳＴＭのｋ番目の隠れ層から特徴ベクトルｈｋとして得て、ベクトル表現Ｈ＝（ｈ１，ｈ２，…，ｈｋ，…，ｈＭ）を出力する。エンコーダデコーダモデル１４２は、ＬＳＴＭ１４１からベクトル表現Ｈを受けるとともに、図２の画像エンコーダ１１１からベクトル表現Ｖを受ける。エンコーダデコーダモデル１４２は、ペア（ｈｋ，ｖｋ）を文字列Ｓｔｋに変換し、手順列データである文字列Ｓｔ１～ＳｔＭを含む出力データ２０を出力する。出力データ２０のモダリティは、文字列であり、入力データ１０に含まれる画像列データ１１のモダリティとは異なる。文字列Ｓｔ１は、「トマトを一口大の大きさに切る。」を表す。文字列Ｓｔ２は、「かぼちゃをフライパンで炒める。」を表す。文字列Ｓｔ３は、「かぼちゃをトマトの上に乗せる。」を表す。文字列Ｓｔ４は、「ケチャップとマヨネーズをかける。」を表す。出力データ２０は、文字列Ｓｔ１～ＳｔＭの順に調理が行われることを表す。すなわち、文字列Ｓｔ１～ＳｔＭは、この順に順序付けられている。なお、エンコーダデコーダモデル１４２においては、Ｇｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数を用いて単語が出力される。
　次に、図１の情報処理装置１において行われる機械学習処理について説明する。学習部１５０は、以下の式（５）のように表される損失関数Ｌ１を最小化対象とするバックプロパゲーションによって、デコード部１４０およびエンコード部１００の最適化を行う。
Figure JPOXMLDOC01-appb-M000004
　損失関数Ｌ１は、上記において説明されたエンコード部１００からデコード部１４０までの処理を行う過程で生じる全体の誤差を、損失関数ＬＴとＬＰとの和として規定する。損失関数ＬＴは、エンコード部１００から出力される隣接行列Ｘ，Ｙと予め用意された正解行列（正解グラフ構造）との交差エントロピー誤差を規定する。損失関数ＬＰは、デコード部１４０から出力される出力データと予め用意された正解データとの交差エントロピー誤差を規定する。再パラメータ化トリックにより、サンプリング部１３０によるグラフ構造の決定処理によっても損失関数Ｌ１は微分可能となるため、出力データ２０と正解データとの誤差をデコード部１４０の出力層からエンコード部１００の入力層までバックプロパゲーションによって逆伝播させることが可能になる。その結果、デコード部１４０およびエンコード部１００の最適化を、デコード部１４０の出力層からエンコード部１００の入力層までエンドツーエンドに行うことができるため、中間表現としてのグラフ構造の精度および出力データの精度を向上させることができる。
　図８は、情報処理装置１において行われる機械学習方法の流れを示すフローチャートである。図８に示されるように、Ｓ１１においてエンコード部１００は、入力データ１０に含まれる要素（頂点）の特徴量を抽出し、処理をＳ１２に進める。Ｓ１２においてエンコード部１００は、２つの頂点のコサイン類似度を用いて、当該２つの頂点間に辺が存在する尤度を算出する。当該尤度の算出にあたっては、コサイン類似度以外の類似度または距離が用いられてもよい。Ｓ１３においてサンプリング部１３０は、Ｇｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数を用いる再パラメータ化トリックを行って、グラフ構造を決定する。Ｓ１４においてデコード部１４０は、サンプリング部１３０からのグラフ構造およびエンコード部１００からの各頂点の特徴量から出力データを生成する。Ｓ１５において学習部１５０は、損失関数Ｌ１を最小化対象とするバックプロパゲーションにより、デコード部１４０およびエンコード部１００の各々に含まれるパラメータを最適化し、機械学習方法を終了する。当該パラメータには、デコード部１４０およびエンコード部１００に含まれるニューラルネットワークの重みおよびバイアスが含まれる。
　以上、実施の形態１に係る情報処理装置および機械学習方法によれば、入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させることができる。
　［実施の形態１の変形例］
　実施の形態１の変形例においては、出力データから隣接行列を再構成する場合について説明する。再構成された隣接行列とエンコード部から出力される隣接行列との間に同一性が維持されるように機械学習が行われることにより、エンコード部によるロスレス圧縮が促進される。その結果、中間表現としてのグラフ構造の精度および出力データの精度を実施の形態１よりもさらに向上させることができる。
　図９は、実施の形態１の変形例に係る情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａの構成は、図１の情報処理装置１の構成に再構成部１６０が追加されているとともに、学習部１５０が１５０Ａに置き換えられた構成である。これら以外は同様であるため説明を繰り返さない。図９に示されるように、再構成部１６０は、出力データ２０を受けるとともに、エンコード部１００からベクトル表現Γ，Ωを受ける。
　図１０は、図９の再構成部１６０の具体的な構成を示すブロック図である。図１０に示されるように、ｂｉＬＳＴＭ１６１，１６２と、行列推定器１６３とを含む。ｂｉＬＳＴＭ１６１は、出力データ２０を受けて、文字列Ｓｔ１～ＳｔＭの各々に対して、最初の隠れ層と最後の隠れ層とを結合することによって得られる特徴ベクトを出力する。ｂｉＬＳＴＭ１６２は、ｂｉＬＳＴＭ１６１から文字列Ｓｔ１～ＳｔＭの各々の特徴ベクトルを受けて、文字列Ｓｔ１～ＳｔＭの順序が反映されたベクトル表現Λ＝（λ１，λ２，…，λｋ，…，λＭ）（特徴量）を出力する。特徴ベクトルλ１～λＭは、文字列Ｓｔ１～ＳｔＭにそれぞれ対応する。
　行列推定器１６３は、ベクトル表現Γ，Ω，Λを受けて、文字列Ｔｘ１～ＴｘＭおよび文字列Ｓｔ１～ＳｔＭの隣接関係を隣接行列Ｃとして推定するとともに、画像Ｉｍ１～ＩｍＭおよび文字列Ｓｔ１～ＳｔＭの隣接関係を隣接行列Ｄとして推定する。隣接行列Ｃ，Ｄは、それぞれ以下の式（６），（７）のように表される。
Figure JPOXMLDOC01-appb-M000005
　入力データに含まれるツリー構造が出力データ２０に正確に反映されている場合、画像列データ１１における画像Ｉｍ１～ＩｍＭは、出力データ２０における文字列Ｓｔ１～ＳｔＭに対応する。そのため、隣接行列Ｃ，Ｄは、エンコード部１００によって算出される隣接行列Ｘ，Ｙとそれぞれ同一性が認められる必要がある。そこで、実施の形態１の変形例においては、エンコード部１００から出力される隣接行列Ｘ，Ｙの誤差の算出に用いられた正解行列と、隣接行列Ｃ，Ｄとの誤差を規定する損失関数ＬＲを損失関数Ｌ１に加える。実施の形態１の変形例における全体の誤差を規定する損失関数Ｌ２は、以下の式（８）のように表される。損失関数Ｌ２の係数αはハイパーパラメータである。なお、損失関数ＬＲは、隣接行列Ｃ，Ｄと隣接行列Ｘ，Ｙ（正解データ）との誤差を規定する損失関数であってもよい。
Figure JPOXMLDOC01-appb-M000006
　学習部１５０Ａは、損失関数Ｌ２を最小化対象とするバックプロパゲーションにより、再構成部１６０、デコード部１４０、およびエンコード部１００の各々に含まれるパラメータを最適化する。
　出力データ２０の精度に関して、比較例、実施の形態１、および実施の形態１の変形例の比較を以下の表１に示す。表１においては、ＧＬＡＣＮｅｔ（GLocal　Attention　Cascading　Networks）を比較例としている。また、表１において、自動評価尺度であるＢＬＥＵ(BiLingual　Evaluation　Understudy)１，ＢＬＥＵ４，ＲＯＵＧＥ－Ｌ（Recall-Oriented　Understudy　for　Gisiting　Evaluation　Longest　common　subsequence），ＣＩＤＥｒ（Consensus-based　Image　Description　Evaluation）－Ｄ，ＭＥＴＥＯＲ（Metric　for　Evaluation　of　Translation　with　Explicit　ORdering）の各々のスコアが示されている。
Figure JPOXMLDOC01-appb-T000007
　表１に示されているように、各自動評価尺度において、実施の形態１の性能は、比較例の性能を上回っている。また、実施の形態１の変形例の性能は、実施の形態１の性能を上回っている。
　以上、実施の形態１の変形例に係る情報処理装置および機械学習方法によれば、入力データからグラフ構造を中間表現として抽出するモデルの精度を実施の形態１よりもさらに向上させることができる。
　［実施の形態２］
　実施の形態１においては、入力データからグラフ構造としてツリー構造が抽出される構成について説明した。入力データから抽出されるグラフ構造はツリー構造に限定されず、たとえばＮ部グラフ構造（Ｎは２以上の自然数）であってもよい。実施の形態２においては、Ｎ部グラフ構造の一例として、入力データから２部グラフ構造が抽出される構成について説明する。
　図１１は、実施の形態２に係る情報処理装置２の構成を示すブロック図である。図１１に示されように、情報処理装置２は、エンコード部２００と、サンプリング部２３０と、デコード部２４０と、学習部２５０と、推論部２７０とを備える。エンコード部２００、サンプリング部２３０、デコード部２４０、および学習部２５０は、ＶＡＥ（Variational　Autoencoder）を形成している。
　エンコード部２００は、入力データ１０Ｂに含まれるグラフ構造の複数の頂点の各々の特徴量を抽出する。エンコード部２００は、当該複数の頂点を、共通の頂点を有さない２つの部分集合Ｓｂ１，Ｓｂ２に分割する。エンコード部２００は、部分集合Ｓｂ１に含まれる頂点と部分集合Ｓｂ２に含まれる頂点との間に辺が存在する尤度を算出し、当該尤度を成分とする隣接行列をサンプリング部２３０に出力する。すなわち、エンコード部２００は、部分集合Ｓｂ１とＳｂ２との間において２部グラフマッチングを行う。
　サンプリング部２３０は、エンコード部２００からの隣接行列に対してＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数を用いた再パラメータ化トリックを行い、２部グラフ構造Ｂｐを決定して、２部グラフ構造Ｂｐおよび２部グラフ構造Ｂｐに含まれる複数の頂点の各々の特徴量をデコード部２４０および推論部２７０に出力する。デコード部２４０は、２部グラフ構造Ｂｐおよび当該特徴量から出力データ２０Ｂを再生する。推論部２７０は、２部グラフ構造Ｂｐおよび当該特徴量に基づいて推論を行い、推論結果を出力する。推論部２７０は、たとえばＧＮＮ（Graph　Neural　Network）を含む。
　学習部２５０は、バックプロパゲーションによって、推論部２７０、デコード部２４０、エンコード部２００を最適化する。バックプロパゲーションにおける最小化対象の損失関数は、出力データ２０Ｂと入力データ１０Ｂ（正解データ）との誤差、および推論部２７０の推論結果と学習データセットに含まれる正解データとの誤差を含む。すなわち、学習部２５０は、推論部２７０、デコード部２４０、エンコード部２００に対して半教師あり学習を行う。具体的には、学習部２５０は、デコード部２４０およびエンコード部２００に対しては教師なし学習を行い、推論部２７０に対しては教師あり学習を行う。
　情報処理装置２の主目的は、推論部２７０による推論結果の出力である。エンコード部２００、サンプリング部２３０、デコード部２４０、および学習部２５０によって形成されるＶＡＥの最適化は、入力データ１０Ｂから２部グラフ構造へのロスレス圧縮を実現するためのサブタスクとして位置付けられる。
　以下では、検索システムに対するユーザの検索操作の履歴を入力データ１０Ｂとする場合について説明する。図１２は、入力データ１０Ｂから抽出される、複数のユーザと複数の企業との間の２部グラフ構造Ｂｐの一例を示す図である。図１２においては、ユーザＵｓ１，Ｕｓ２，Ｕｓ３，Ｕｓ４と企業Ｃｍ１，Ｃｍ２，Ｃｍ３，Ｃｍ４，Ｃｍ５との間の相関関係が示されている。図１２に示されるように、ユーザＵｓ１と企業Ｃｍ２とが辺Ｒｓ１によって接続されている。ユーザＵｓ２と企業Ｃｍ４とが辺Ｒｓ２によって接続されている。ユーザＵｓ３と企業Ｃｍ３とが辺Ｒｓ３によって接続されている。ユーザＵｓ４と企業Ｃｍ５とが辺Ｒｓ４によって接続されている。図１３は、図１２に示される２部グラフ構造Ｂｐを表現する行列を示す図である。図１１の推論部２７０は、２部グラフ構造Ｂｐを受けて、各ユーザのニーズにマッチする企業を推論し、当該企業を当該ユーザに推奨する。
　以上、実施の形態２に係る情報処理装置および機械学習方法によれば、入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させることができる。
　［実施の形態３］
　実施の形態３においては、製造設備に含まれる複数の工程における複数のセンサの検出値の時系列データに基づいて複数のセンサをグラフ構造として構造化し、製品に発生した不具合がどの工程において発生したかを特定する構成について説明する。
　図１４は、実施の形態３に係る管理システム３０００の構成例を示す模式図である。図１４を参照して、管理システム３０００は、複数の工程を含む製造設備３０に関連付けられており、製造設備３０によって製造される製品の品質を管理するための機能を提供する。図１４においては、ワークを運搬するためのコンベア３０７に沿って、５つの連続する工程Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４，Ｐｒ５が示されている。ワークは、工程Ｐｒ１～Ｐｒ５の順に通過する。工程Ｐｒ１～Ｐｒ５の各々には、当該工程の状態を検出するためのセンサが設置されている。工程Ｐｒ１～Ｐｒ５においては、制御装置の一例であるＰＬＣ（Programmable　Logic　Controller）３０１，３０２，３０３，３０４，３０５によって、工程Ｐｒ１～Ｐｒ５がそれぞれ制御されるとともに監視される。
　ＰＬＣ３０１～３０５は、ローカルネットワーク３０６を介してデータ通信可能に接続されている。ＰＬＣ３０１～３０５は、ローカルネットワーク３０６上の中継サーバ装置３０８に対して、制御対象の工程に関する状態情報を所定期間毎またはイベント毎に送信する。当該状態情報には、当該工程に設けられたセンサによって複数のサンプリングタイムにおいてそれぞれ検出された複数の検出値の時系列データ（センサ時系列データ）が含まれる。
　中継サーバ装置３０８は、ＰＬＣ３０１～３０５の各々から状態情報をインターネットを介して収集解析サーバ装置３（情報処理装置）へ転送する。中継サーバ装置３０８は、状態情報に対して必要な前処理を実施してもよい。
　収集解析サーバ装置３は、中継サーバ装置３０８から受信した状態情報を収集し、収集した情報を解析する。収集解析サーバ装置３は、予め定められた条件が満たされたとき、または、端末装置３０９から要求を受信したときに、分析結果をインターネットを介して端末装置３０９へ出力する。
　図１４には、典型例として、単一の製造設備３０に設置された複数の工程の各々にＰＬＣが設けられ、それぞれのＰＬＣが同一のローカルネットワーク３０６を介して中継サーバ装置３０８に接続されている構成について例示したがこれに限らない。たとえば、中継サーバ装置３０８を配置することなく、複数のＰＬＣが収集解析サーバ装置３と直接的に接続されている構成を採用してもよい。この場合には、それぞれのＰＬＣが収集解析サーバ装置３に必要な情報をそれぞれ送信することになる。
　あるいは、複数の中継サーバ装置３０８を設けてもよい。この場合には、一部のＰＬＣからの状態情報をある中継サーバ装置３０８が収集解析サーバ装置３へ転送し、残りのＰＬＣからの状態情報を別の中継サーバ装置３０８が収集解析サーバ装置３へ転送するようにしてもよい。
　次に、ＰＬＣのハードウェア構成例について説明する。図１５は、図１４の管理システム３０００を構成するＰＬＣ３０１～３０５のハードウェア構成の一例を示す模式図である。図１５を参照して、ＰＬＣ３０１～３０５の各々は、演算ユニット３１０と、１または複数の機能ユニット３２０とを含む。演算ユニット３１０は、予め格納されたユーザプログラムなどを実行する演算装置であり、機能ユニット３２０からフィールド信号（制御対象の設備の状態を示す情報など）を取得し、機能ユニット３２０を通じて、必要な制御信号を出力する。
　演算ユニット３１０は、ユーザプログラムなどを実行するプロセッサ３１２と、ユーザプログラム、オペレーティングシステム（ＯＳ：Operating　System）、および各種データなどを格納するメモリ３１６と、内部バス３２６を介したデータの遣り取りを制御するバスコントローラ３１４と、通信インターフェイス３１８とを含む。メモリ３１６は、ＤＲＡＭ（Dynamic　Random　Access　Memory）などの揮発性記憶装置と、フラッシュメモリなどの不揮発性記憶装置とを組み合わせて構成してもよい。プロセッサ３１２は、ＰＬＣ３０１～３０５の各々に対応する工程に設置されたセンサ３１５から検出値を取得する。当該検出値は、たとえば、電流値、電圧値、電力値、温度、湿度、または振動値を含む。複数のセンサ３１５が、１つの工程に設けられてもよい。
　通信インターフェイス３１８は、データを遣り取りする対象の装置に応じて、１つまたは複数の通信ポートが設けられてもよい。たとえば、ローカルネットワーク３０６（図１４参照）に接続するためのイーサネット（登録商標）に従う通信ポート、パーソナルコンピュータなどと接続するためのＵＳＢ（Universal　Serial　Bus）に従う通信ポート、またはシリアル回線・パラレル回線をサポートする通信ポートなどが実装されてもよい。
　機能ユニット３２０は、制御対象の設備との間で各種情報を遣り取りするためのＩＯ（Input　Output）機能を提供してもよい。具体的には、デジタル信号を受け取るＤＩ（Digital　Input）、デジタル信号を出力するＤＯ（Digital　Output）、アナログ信号を受け取るＡＩ（Analog　Input）、およびアナログ信号を出力するＡＯ（Analog　Output）などの機能が実装されてもよい。さらに、ＰＩＤ（Proportional　Integral　Derivative）制御、またはモーション制御などの特殊機能が実装されてもよい。
　たとえば、ＩＯ機能を提供する機能ユニット３２０の各々は、ＩＯモジュール３２２と、内部バス３２６とを介して演算ユニット３１０との間のデータの遣り取りを制御するためのバスコントローラ３２４とを含む。ＩＯモジュール３２２の各々は、制御対象の工程からの状態情報を取得し、当該状態情報を演算ユニット３１０を通じて中継サーバ装置３０８および収集解析サーバ装置３へ送出する。
　管理システム３０００においては、何らかの通信手段を用いて、内部情報を外部装置へ出力するためのインターフェイスを有するＰＬＣであれば、どのようなものを採用してもよい。ＰＬＣのハードウェア構成は、図１５に示される構成に限定されず、任意の構成を採用することができる。現実的には、図１４に示される製造設備３０に配置される複数のＰＬＣの間では、メーカおよび機種が統一されていないことが想定される。管理システム３０００において、中継サーバ装置３０８は、このようなＰＬＣのメーカおよび機種の相違を吸収する。
　図１６は、図１４の収集解析サーバ装置３の機能構成を示すブロック図である。図１６に示されるように、収集解析サーバ装置３は、エンコード部３００と、サンプリング部３３０と、デコード部３４０と、品質検査部３７０（推論部）とを備える。入力データ１０Ｃは、ＰＬＣ３０１～３０５からのセンサ時系列データを含む。エンコード部３００、サンプリング部３３０、デコード部３４０、および学習部３５０は、ＶＡＥ（Variational　Autoencoder）を形成している。
　エンコード部３００は、エンコーダモデルＭｃを含む。エンコーダモデルＭｃは、入力データ１０Ｃに含まれるセンサ間の相関関係を表すグラフ構造を入力データ１０Ｃから抽出する。エンコード部３００は、センサ時系列データから当該グラフ構造の頂点である複数のセンサの各々の特徴量を抽出する。エンコード部３００は、複数の頂点に含まれる２つの頂点の間に辺が存在する尤度を算出し、当該尤度を成分とする隣接行列をサンプリング部３３０に出力する。
　サンプリング部３３０は、エンコード部３００からの隣接行列に対してＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数を用いた再パラメータ化トリックを行い、グラフ構造Ｇｓを決定して、グラフ構造Ｇｓおよびグラフ構造Ｇｓの複数の頂点の各々の特徴量をデコード部３４０および品質検査部３７０に出力する。
　デコード部３４０は、デコーダモデルＭｄを含む。デコーダモデルＭｄは、グラフ構造Ｇｓおよび当該特徴量から出力データ２０Ｃを再生する。
　品質検査部３７０は、品質検査モデルＭｍを含む。品質検査モデルＭｍは、グラフ構造Ｇｓおよび当該特徴量に基づいて製品の品質を表す品質データを算出する。品質検査部３７０は、たとえばＧＮＮを含む。品質検査部３７０は、当該品質データと基準品質データとの誤差をグラフ構造Ｇｓにおいて可視化する。基準品質データとは、正常な製品に対応する標準的な品質データである。品質データと基準品質データとの誤差が大きいほど、当該品質データに含まれる不具合の程度が大きい。当該誤差のグラフ構造Ｇｓにおける可視化の方法としては、たとえばＧｒａｄＣＡＭ（Gradient-weighted　Class　Activation　Mapping）を用いた当該誤差のヒートマップ化を挙げることができる。
　学習部３５０は、バックプロパゲーションによって、品質検査モデルＭｍ、デコーダモデルＭｄ、およびエンコーダモデルＭｃの各々に含まれるニューラルネットワークのパラメータを最適化する。当該パラメータには、当該ニューラルネットワークの重みおよびバイアスが含まれる。バックプロパゲーションにおける最小化対象の損失関数は、出力データ２０Ｃと入力データ１０Ｃ（正解データ）との誤差、および品質検査部３７０の検査結果と学習データセットに含まれる正解品質データとの誤差を含む。すなわち、学習部３５０は、品質検査部３７０、デコード部３４０、エンコード部３００に対して半教師あり学習を行う。具体的には、学習部３５０は、デコード部３４０およびエンコード部３００に対しては教師なし学習を行い、品質検査部３７０に対しては教師あり学習を行う。
　収集解析サーバ装置３の主目的は、品質検査部３７０による検査結果の出力である。エンコード部３００、サンプリング部３３０、デコード部３４０、および学習部３５０によって形成されるＶＡＥの最適化は、入力データ１０Ｃからグラフ構造へのロスレス圧縮を実現するためのサブタスクとして位置付けられる。
　図１７は、図１４の収集解析サーバ装置３のハードウェア構成を示すブロック図である。図１７に示されるように、収集解析サーバ装置３は、演算処理部であるプロセッサ３１と、記憶部としてのメインメモリ３２およびハードディスク３３と、入力インターフェイス３４と、表示コントローラ３５と、通信インターフェイス３６と、データリーダ／ライタ３８とを含む。これらの各部は、バス３９を介して、互いにデータ通信可能に接続される。
　プロセッサ３１は、ＣＰＵ（Central　Processing　Unit）を含む。プロセッサ３１は、ＧＰＵ（Graphics　Processing　Unit）をさらに含んでもよい。プロセッサ３１は、ハードディスク３３に格納されたプログラム（コード）をメインメモリ３２に展開して、これらを所定順序で実行することで、各種の演算を実施する。
　メインメモリ３２は、典型的には、ＤＲＡＭ（Dynamic　Random　Access　Memory）などの揮発性の記憶装置である。メインメモリ３２は、ハードディスク３３から読み出されたプログラムを保持する。
　入力インターフェイス３４は、プロセッサ３１と入力部３６１との間のデータ伝送を仲介する。入力部３６１は、たとえば、マウス、キーボード、またはタッチパネルを含む。すなわち、入力インターフェイス３４は、ユーザが入力部３６１を操作することで与えられる操作指令を受付ける。
　表示コントローラ３５は、表示装置の典型例であるディスプレイ３６２と接続され、プロセッサ３１における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ３５は、ディスプレイ３６２に接続され、ディスプレイ３６２での表示を制御する。ディスプレイ３６２は、たとえば液晶ディスプレイ、有機ＥＬ（Electro　Luminescence）ディスプレイ、またはその他の表示装置である。
　通信インターフェイス３６は、プロセッサ３１と他の外部装置との間のインターネットを介するデータ伝送を仲介する。通信インターフェイス３６は、典型的には、イーサネット（登録商標）、またはＵＳＢ（Universal　Serial　Bus）を含む。
　データリーダ／ライタ３８は、プロセッサ３１と記録媒体であるメモリカード３６３との間のデータ伝送を仲介する。メモリカード３６３には、たとえば、収集解析サーバ装置３において実行されるプログラムが格納されている。データリーダ／ライタ３８は、メモリカード３６３からプログラムを読み出す。なお、メモリカード３６３は、ＣＦ（Compact　Flash）、ＳＤ（Secure　Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible　Disk）などの磁気記憶媒体や、ＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）などの光学記憶媒体等からなる。なお、収集解析サーバ装置３には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
　ハードディスク３３は、不揮発性の磁気記憶装置である。ハードディスク３３には、学習データセットＤｓ、品質検査モデルＭｍ、エンコーダモデルＭｃ、デコーダモデルＭｄ、機械学習プログラムＰｇ１、および品質検査プログラムＰｇ２が保存されている。ハードディスク３３には、各種設定値などが格納されてもよい。なお、ハードディスク３３に加えて、あるいは、ハードディスク３３に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
　学習データセットＤｓは、複数の学習データを含む。複数の学習データの各々は、製品が通過した複数の工程の各々のセンサによる検出値の時系列データ、および当該製品の品質に対応する正解品質データの組み合わせである。
　機械学習プログラムＰｇ１において、学習データセットＤｓ、エンコーダモデルＭｃ、デコーダモデルＭｄ、および品質検査モデルＭｍが参照される。機械学習プログラムＰｇ１を実行するプロセッサ３１によって、図１６のエンコード部３００、サンプリング部３３０、デコード部３４０、学習部３５０、および品質検査部３７０が実現される。プロセッサ３１は、機械学習プログラムＰｇ１を実行することによって、エンコーダモデルＭｃ、デコーダモデルＭｄ、および品質検査モデルＭｍの各々を学習済みに適合する。
　品質検査プログラムＰｇ２において、エンコーダモデルＭｃおよび品質検査モデルＭｍが参照される。プロセッサ３１は、品質検査プログラムＰｇ２を実行することによって、製品に対応するセンサ時系列データから当該製品の品質データを算出し、当該品質データと基準品質データとの誤差をグラフ構造Ｇｓにおいて可視化する。当該誤差のグラフ構造Ｇｓにおいて可視化された当該誤差は、ディスプレイ３６２および端末装置３０９に出力される。
　図１８は、品質データおよび基準品質データの誤差とともに可視化されたグラフ構造Ｇｓの一例を示す図である。図１８において、頂点Ｓｎ１～Ｓｎ５は、図１４の工程Ｐｒ１～Ｐｒ５のそれぞれに設けられたセンサに対応する。ハッチングが濃い頂点ほど、当該頂点に対応するセンサの検出値が正常値から乖離していることを示す。
　図１８に示されるように、頂点Ｓｎ３は、Ｓｎ１，Ｓｎ２，Ｓｎ４に接続されている。頂点Ｓｎ５は、頂点Ｓｎ２に接続されている。頂点Ｓｎ２が最も濃く、頂点Ｓｎ１，Ｓｎ４が最も薄い。頂点Ｓｎ２とＳｎ３とを接続する辺および頂点Ｓｎ２とＳｎ５とを接続する辺は、他の辺よりも太く強調されている。誤差が可視化されたグラフ構造Ｇｓは、複数のセンサの検出値の相関関係を表しているとともに、製品に含まれる不具合（品質データと基準品質データとの誤差）に寄与しているセンサの検出値を示している。図１８において、製品に含まれる不具合に最も寄与しているセンサの検出値は、頂点Ｓｎ２に対応する工程Ｐｒ２に設けられたセンサの検出値である。そのため、工程Ｐｒ２に不具合が発生している可能性が高い。また、グラフ構造Ｇｓにおいて頂点Ｓｎ２に接続されている頂点Ｓｎ３，Ｓｎ５にそれぞれ対応する工程Ｐｒ３，Ｐｒ５においても、工程Ｐｒ２に次いで不具合が発生している可能性がある。頂点Ｓｎ１，Ｓｎ４にそれぞれ対応する工程Ｐｒ１，Ｐｒ４においては、不具合が発生している可能性が最も低い。誤差が可視化されたグラフ構造Ｇｓによれば、複数の工程を経て完成された製品に含まれる不具合の発生原因となる工程を容易に特定することができる。
　以上、実施の形態３に係る情報処理装置および機械学習方法によれば、入力データからグラフ構造を中間表現として抽出するモデルの精度を向上させることができる。
　［実施の形態に係る情報処理装置および機械学習方法の他の適用例］
　実施の形態に係る情報処理装置および機械学習方法は、人流予測に基づくルートプランニングに適用可能である。図１９は、実施の形態に係る情報処理装置に対応するロボットＲｂによるルートプランニングを説明するための図である。図１９に示されるように、ロボットＲｂの視野には、通行人Ｐｓ１，Ｐｓ２，Ｐｓ３が含まれている。通行人Ｐｓ１は、通行人Ｐｓ２を見ている。通行人Ｐｓ２は、通行人Ｐｓ３を見ている。通行人Ｐｓ３は、通行人Ｐｓ２を見ている。ロボットＲｂは、時系列データである視野動画に含まれる通行人Ｐｓ１～Ｐｓ３の各々の姿勢、視線方向、および通行人Ｐｓ１～Ｐｓ３の相対位置関係等に基づいて通行人Ｐｓ１～Ｐｓ３の各々を頂点とする有向グラフ構造を抽出する。
　図２０は、図１９のロボットＲｂによって抽出される有向グラフ構造Ｐｆを示す図である。図１９において頂点Ｖｘ１，Ｖｘ２，Ｖｘ３は、図１９の通行人Ｐｓ１，Ｐｓ２，Ｐｓ３にそれぞれ対応する。図２０に示されるように、頂点Ｖｘ１と頂点Ｖｘ２とは、頂点Ｖｘ１からＶｘ２に向かう辺Ｅｇ１によって接続されている。頂点Ｖｘ２と頂点Ｖｘ３とは、頂点Ｖｘ２からＶｘ３に向かう辺Ｅｇ２および頂点Ｖｘ３からＶｘ２に向かう辺Ｅｇ３によって接続されている。
　図２１は、図２０の有向グラフ構造Ｐｆに対応する行列表現を示す図である。ロボットＲｂは、図２１に示される有向グラフ構造Ｐｆを推論部に入力して、通行人Ｐｓ１～Ｐｓ３に対する人流予測を行い、通行人Ｐｓ１～Ｐｓ３を回避可能な図１９のルートＲｔを計画する。当該推論部は、たとえばＳｏｃｉａｌ　ＧＡＮ（Generative　Adversarial　Network）を含む。
　実施の形態に係る情報処理装置および機械学習方法は、交通渋滞の予測にも適用可能である。交通渋滞の予測に当たっては、道路によって接続されている複数の地点における時刻毎の交通量を時系列の入力データとして、当該入力データから各時刻における複数の地点の各々を頂点とし、異なる時刻に亘る２地点間の交通量の関係性を辺とするグラフ構造が抽出される。すなわち、時刻毎の複数の地点を頂点集合の部分集合とするＮ部グラフマッチングの結果として入力データからグラフ構造が抽出される。情報処理装置は、当該グラフ構造に基づいて、特定時刻における各地点の交通渋滞を予測する。
　実施の形態に係る情報処理装置および機械学習方法は、マテリアルズ・インフォマティクス（ＭＩ：Materials　Informatics）にも適用可能である。マテリアルズ・インフォマティクスへの適用例においては、入力データから抽出されたグラフ構造の頂点および辺を分子構造の原子および結合に対応させて、当該分子構造の物性が推定される。
　＜付記＞
　上述したような実施の形態は、以下のような技術思想を含む。
　（構成１）
　入力データ（１０，１０Ｂ，１０Ｃ）に含まれる要素間の相関関係を表すグラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）を前記入力データ（１０，１０Ｂ，１０Ｃ）から抽出し、前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）から出力データ（２０，２０Ｂ，２０Ｃ）を生成する情報処理装置（１，１Ａ，２，３）であって、
　前記入力データ（１０，１０Ｂ，１０Ｃ）から前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）に含まれる複数の頂点（Ｌｆ１～Ｌｆ４，Ｎｄ１～Ｎｄ４，Ｕｓ１～Ｕｓ４，Ｃｍ１～Ｃｍ５，Ｓｎ１～Ｓｎ５，Ｖｘ１～Ｖｘ３）の各々の特徴量（Θ，Φ，Ω，Γ）を抽出し、当該頂点に前記相関関係を表す辺（Ｂｒ１～Ｂｒ７，Ｒｓ１～Ｒｓ４，Ｅｇ１～Ｅｇ３）が接続されている尤度を算出するエンコード部（１００，２００，３００）と、
　前記尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）を決定するサンプリング部（１３０，２３０，３３０）と、
　前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）、および前記特徴量（Θ，Φ，Ω，Γ）を受けて前記出力データ（２０，２０Ｂ，２０Ｃ）を生成するデコード部（１４０，２４０，３４０）と、
　前記出力データ（２０，２０Ｂ，２０Ｃ）と正解データとの誤差（ＬＰ）を含む損失関数を最小化対象とするバックプロパゲーションによって、前記デコード部（１４０，２４０，３４０）および前記エンコード部（１００，２００，３００）を最適化する学習部（１５０，２５０，３５０）とを備える、情報処理装置（１，１Ａ，２，３）。
　（構成２）
　前記出力データ（１０）から前記グラフ構造（Ｔｒ）を再構成する再構成部（１６０）をさらに備え、
　前記損失関数は、前記再構成部（１６０）からの出力と正解グラフ構造との誤差（ＬＲ）を含む、構成１に記載の情報処理装置（１Ａ）。
　（構成３）
　前記サンプリング部（２３０，３３０）から前記グラフ構造（Ｂｐ，Ｇｓ）を受けて、前記入力データ（１０Ｂ，１０Ｃ）に対する推論結果を出力する推論部（２７０，３７０）をさらに備え、
　前記学習部（２５０，３５０）は、前記デコード部（２４０，３４０）および前記エンコード部（１００，２００）に対しては教師なし学習を行い、前記推論部（２７０，３７０）に対しては教師あり学習を行う、構成１または２に記載の情報処理装置（２，３）。
　（構成４）
　前記入力データ（１０）は、第１データ（１１）および第２データ（１２）を含み、
　前記第１データ（１１）のモダリティは、前記第２データ（１２）のモダリティとは異なり、
　前記エンコード部（１００）は、
　前記第１データ（１１）の特徴量（Θ，Φ）を抽出する第１エンコーダ（１１０）と、
　前記第２データ（１２）の特徴量（Γ）を抽出する第２エンコーダ（１２０）とを含む、構成１～３のいずれかに記載の情報処理装置（１，１Ａ）。
　（構成５）
　前記出力データ（２０）のモダリティは、前記入力データ（１０）のモダリティとは異なる、構成１～４のいずれかに記載の情報処理装置（１，１Ａ）。
　（構成６）
　入力データ（１０，１０Ｂ，１０Ｃ）に含まれる要素間の相関関係を表すグラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）を前記入力データ（１０，１０Ｂ，１０Ｃ）から抽出し、前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）から出力データ（２０，２０Ｂ，２０Ｃ）を生成するモデル（Ｍｃ，Ｍｄ）に対して、記憶部（３３）に保存された機械学習プログラム（Ｐｇ１）を実行するプロセッサ（３１）によって行われる機械学習方法であって、
　前記入力データ（１０，１０Ｂ，１０Ｃ）から前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）に含まれる複数の頂点（Ｌｆ１～Ｌｆ４，Ｎｄ１～Ｎｄ４，Ｕｓ１～Ｕｓ４，Ｃｍ１～Ｃｍ５，Ｓｎ１～Ｓｎ５，Ｖｘ１～Ｖｘ３）の各々の特徴量（Θ，Φ，Ω，Γ）を抽出し、当該頂点に前記相関関係を表す辺（Ｂｒ１～Ｂｒ７，Ｒｓ１～Ｒｓ４，Ｅｇ１～Ｅｇ３）が接続されている尤度を算出するステップ（Ｓ１１，Ｓ１２）と、
　前記尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）を決定するステップ（Ｓ１３）と、
　前記グラフ構造（Ｔｒ，Ｂｐ，Ｇｓ，Ｐｆ）、および前記特徴量（Θ，Φ，Ω，Γ）を受けて前記出力データ（２０，２０Ｂ，２０Ｃ）を生成するステップ（Ｓ１４）と、
　前記出力データ（２０，２０Ｂ，２０Ｃ）と正解データとの誤差（ＬＰ）を含む損失関数を最小化対象とするバックプロパゲーションによって、前記モデル（Ｍｃ，Ｍｄ）を最適化するステップ（Ｓ１５）とを含む、機械学習方法。
　今回開示された各実施の形態は、矛盾しない範囲で適宜組み合わされて実施されることも予定されている。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１，１Ａ，２　情報処理装置、３　収集解析サーバ装置、１０，１０Ｂ，１０Ｃ　入力データ、１１　画像列データ、１２　食材列データ、２０，２０Ｂ，２０Ｃ　出力データ、３０　製造設備、３１，３１２　プロセッサ、３２　メインメモリ、３３　ハードディスク、３４　入力インターフェイス、３５　表示コントローラ、３６，３１８　通信インターフェイス、３８　データリーダ／ライタ、３９　バス、１００，２００，３００　エンコード部、１１０，１２０　エンコーダ、１１１　画像エンコーダ、１１４，１２４，１６３　行列推定器、１２１　分散表現器、１３０，１４３，２３０，３３０　サンプリング部、１４０，２４０，３４０　デコード部、１４２　エンコーダデコーダモデル、１５０，１５０Ａ，２５０，３５０　学習部、１６０　再構成部、２７０　推論部、３０６　ローカルネットワーク、３０７　コンベア、３０８　中継サーバ装置、３０９　端末装置、３１０　演算ユニット、３１４，３２４　バスコントローラ、３１５　センサ、３１６　メモリ、３２０　機能ユニット、３２２　モジュール、３２６　内部バス、３６１　入力部、３６２　ディスプレイ、３６３　メモリカード、３７０　品質検査部、３０００　管理システム、Ｂｐ　２部グラフ構造、Ｂｒ１～Ｂｒ７　枝、Ｃｍ１～Ｃｍ５　企業、Ｄｓ　学習データセット、Ｅｇ１～Ｅｇ３，Ｒｓ１～Ｒｓ４　辺、Ｇｓ　グラフ構造、Ｉｍ１～Ｉｍ４　画像、ＬＰ，ＬＲ，ＬＴ　損失関数、Ｌｆ１～Ｌｆ４　リーフノード、Ｍｃ　エンコーダモデル、Ｍｄ　デコーダモデル、Ｍｍ　品質検査モデル、Ｎｄ１～Ｎｄ４　ノード、Ｐｆ　有向グラフ構造、Ｐｇ１　機械学習プログラム、Ｐｇ２　品質検査プログラム、Ｐｒ１～Ｐｒ５　工程、Ｐｓ１～Ｐｓ３　通行人、Ｒｂ　ロボット、Ｒｔ　ルート、Ｓｂ１，Ｓｂ２　部分集合、Ｓｎ１～Ｓｎ５，Ｖｘ１～Ｖｘ３　頂点、Ｓｔ１～Ｓｔ４，Ｔｘ１～Ｔｘ４　文字列、Ｔｒ　ツリー構造、Ｕｓ１～Ｕｓ４　ユーザ。

Claims (6)

  1. 　入力データに含まれる要素間の相関関係を表すグラフ構造を前記入力データから抽出し、前記グラフ構造から出力データを生成する情報処理装置であって、
    　前記入力データから前記グラフ構造に含まれる複数の頂点の各々の特徴量を抽出し、当該頂点に前記相関関係を表す辺が接続されている尤度を算出するエンコード部と、
    　前記尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、前記グラフ構造を決定するサンプリング部と、
    　前記グラフ構造、および前記特徴量を受けて前記出力データを生成するデコード部と、
    　前記出力データと正解データとの誤差を含む損失関数を最小化対象とするバックプロパゲーションによって、前記デコード部および前記エンコード部を最適化する学習部とを備える、情報処理装置。
  2. 　前記出力データから前記グラフ構造を再構成する再構成部をさらに備え、
    　前記損失関数は、前記再構成部からの出力と正解グラフ構造との誤差を含む、請求項１に記載の情報処理装置。
  3. 　前記サンプリング部から前記グラフ構造を受けて、前記入力データに対する推論結果を出力する推論部をさらに備え、
    　前記学習部は、前記デコード部および前記エンコード部に対しては教師なし学習を行い、前記推論部に対しては教師あり学習を行う、請求項１または２に記載の情報処理装置。
  4. 　前記入力データは、第１データおよび第２データを含み、
    　前記第１データのモダリティは、前記第２データのモダリティとは異なり、
    　前記エンコード部は、
    　前記第１データの特徴量を抽出する第１エンコーダと、
    　前記第２データの特徴量を抽出する第２エンコーダとを含む、請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記出力データのモダリティは、前記入力データのモダリティとは異なる、請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　入力データに含まれる要素間の相関関係を表すグラフ構造を前記入力データから抽出し、前記グラフ構造から出力データを生成するモデルに対して、記憶部に保存された機械学習プログラムを実行するプロセッサによって行われる機械学習方法であって、
    　前記入力データから前記グラフ構造に含まれる複数の頂点の各々の特徴量を抽出し、当該頂点に前記相関関係を表す辺が接続されている尤度を算出するステップと、
    　前記尤度に対するＧｕｍｂｅｌ－Ｓｏｆｔｍａｘ関数の変換結果に基づいて、前記グラフ構造を決定するステップと、
    　前記グラフ構造、および前記特徴量を受けて前記出力データを生成するステップと、
    　前記出力データと正解データとの誤差を含む損失関数を最小化対象とするバックプロパゲーションによって、前記モデルを最適化するステップとを含む、機械学習方法。
PCT/JP2021/006302 2020-03-06 2021-02-19 情報処理装置および機械学習方法 Ceased WO2021177056A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180015456.3A CN115136150A (zh) 2020-03-06 2021-02-19 信息处理装置和机器学习方法
US17/802,620 US20230013870A1 (en) 2020-03-06 2021-02-19 Information processing device and machine learning method
EP21764535.7A EP4116881A4 (en) 2020-03-06 2021-02-19 Information processing device and machine learning method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020038785A JP7359394B2 (ja) 2020-03-06 2020-03-06 情報処理装置および機械学習方法
JP2020-038785 2020-03-06

Publications (1)

Publication Number Publication Date
WO2021177056A1 true WO2021177056A1 (ja) 2021-09-10

Family

ID=77613527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006302 Ceased WO2021177056A1 (ja) 2020-03-06 2021-02-19 情報処理装置および機械学習方法

Country Status (5)

Country Link
US (1) US20230013870A1 (ja)
EP (1) EP4116881A4 (ja)
JP (1) JP7359394B2 (ja)
CN (1) CN115136150A (ja)
WO (1) WO2021177056A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119339008A (zh) * 2024-12-20 2025-01-21 杭州宇泛智能科技股份有限公司 基于多模态数据的场景空间三维模型动态建模方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11768754B2 (en) * 2020-08-27 2023-09-26 Tsinghua University Parallel program scalability bottleneck detection method and computing device
CN115249057A (zh) * 2021-04-26 2022-10-28 阿里巴巴新加坡控股有限公司 用于图形节点采样的系统和由计算机实现的方法
CN116151337B (zh) * 2021-11-15 2026-03-20 阿里巴巴达摩院(杭州)科技有限公司 用于加速图神经网络属性访问的方法、系统和存储介质
DE102022103812A1 (de) * 2022-02-17 2023-08-17 WAGO Verwaltungsgesellschaft mit beschränkter Haftung Computerimplementiertes verfahren zur zumindest teilweise automatisierten konfiguration eines feldbusses, feldbussystem, computerprogramm, computerlesbares speichermedium, trainingsdatensatz und verfahren zum trainieren eines konfigurations-ki-modells
CN114925811A (zh) * 2022-05-16 2022-08-19 北京火山引擎科技有限公司 一种多变量时间序列处理方法、装置、设备及介质
US20250252341A1 (en) * 2024-02-05 2025-08-07 Disney Enterprises, Inc. Multi-Sourced Machine Learning Model-Based Artificial Intelligence Character Training and Development

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704541B2 (en) * 2017-10-27 2023-07-18 Deepmind Technologies Limited Graph neural network systems for generating structured representations of objects
CN108132968B (zh) * 2017-12-01 2020-08-04 西安交通大学 网络文本与图像中关联语义基元的弱监督学习方法
CN109117795B (zh) * 2018-08-17 2022-03-25 西南大学 基于图结构的神经网络表情识别方法
CN109359733A (zh) * 2018-10-19 2019-02-19 中国石油大学(华东) 一种基于变分自编码器的动态系统运行状态建模方法
CN110490035A (zh) * 2019-05-17 2019-11-22 上海交通大学 人体骨架动作识别方法、系统及介质
CN110188168B (zh) * 2019-05-24 2021-09-03 北京邮电大学 语义关系识别方法和装置
CN110309268B (zh) * 2019-07-12 2021-06-29 中电科大数据研究院有限公司 一种基于概念图的跨语言信息检索方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHEN, MENGYUAN ET AL.: "Inference for Network Structure and Dynamics rom Time Series Data via Graph Neural Network", ARXIV:2001.06576V1, 18 January 2020 (2020-01-18), pages 1 - 10, XP081581820, Retrieved from the Internet <URL:https://arxiv.org/abs/2001.06576vl> [retrieved on 20210408] *
ERIC JANGSHIXIANG GUBEN POOLE: "Categorical Reparameterization with Gumbel-Softmax", ICLR (INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS, 2017, Retrieved from the Internet <URL:https://openreview.net/forum?id=rkE3y85ee>
JIANLONG CHANGXINBANG ZHANGYIWEN GUOGAOFENG MENGSHIMING XIANGCHUNHONG PAN, DIFFERENTIABLE ARCHITECTURE SEARCH WITH ENSEMBLE GUMBEL-SOFTMAX, Retrieved from the Internet <URL:https://arxiv.org/abs/1905.01786>
KAI SHENG TAIRICHARD SOCHERCHRISTOPHER D. MANNING: "Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing", vol. 1, LONG PAPERS, article "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks", pages: 1556 - 1566
PENGCHENG YINCHUNTING ZHOUJUNXIAN HEGRAHAM NEUBIG: "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics", vol. 1, LONG PAPERS, article "StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing", pages: 754 - 765
See also references of EP4116881A4
WANG, CHEN ET AL.: "SAG-VAE: End-to-end Joint Inference of Data Representations and Feature Relations", ARXIV:1911.11984V2, 20 February 2020 (2020-02-20), pages 1 - 15, XP033831488, Retrieved from the Internet <URL:https://arxiv.org/abs/1911.11984v2>.> [retrieved on 20210408] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119339008A (zh) * 2024-12-20 2025-01-21 杭州宇泛智能科技股份有限公司 基于多模态数据的场景空间三维模型动态建模方法

Also Published As

Publication number Publication date
CN115136150A (zh) 2022-09-30
EP4116881A4 (en) 2024-03-20
EP4116881A1 (en) 2023-01-11
JP2021140551A (ja) 2021-09-16
JP7359394B2 (ja) 2023-10-11
US20230013870A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
JP7359394B2 (ja) 情報処理装置および機械学習方法
US11687786B2 (en) Pre-processing for data-driven model creation
JP7267985B2 (ja) 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム
CN119377498B (zh) 基于群体行为分析的私域流量调度与内容分发方法及系统
US11699095B2 (en) Cross-domain recommender systems using domain separation networks and autoencoders
CA3007853C (en) End-to-end deep collaborative filtering
US8983888B2 (en) Efficient modeling system for user recommendation using matrix factorization
KR102551997B1 (ko) 콘텐츠 시청 성향 분석 기반 광고 콘텐츠 기획 자동화 및 커머스 플랫폼 서비스 제공 방법, 장치 및 시스템
CN115221396B (zh) 基于人工智能的信息推荐方法、装置及电子设备
KR20200131549A (ko) 인공지능 모델을 이용한 상품 판매량 예측 방법, 장치 및 시스템
JP2018195308A (ja) プロセス及び製造業における業績評価指標のデータに基づく最適化のための方法及びシステム
US20240346389A1 (en) Ensemble learning model for time-series forecasting
KR102669470B1 (ko) 식자재 유통 처리를 위한 재고 관리 및 수요 예측 방법, 장치 및 시스템
Benadi et al. Quantitative prediction of interactions in bipartite networks based on traits, abundances, and phylogeny
KR102546871B1 (ko) 인공지능 모델 기반 b2b 식자재 및 부자재의 유통의 주문 히스토리의 패턴 분석을 통한 주문 정보 추천 방법, 장치 및 시스템
KR102612805B1 (ko) 기업 정보에 따른 인공지능 모델 기반 매체 큐레이션 서비스 제공 방법, 장치 및 시스템
CN117173885A (zh) 一种基于动态图特征学习的交通状态预测方法及系统
Wu et al. A user behavior-aware multi-task learning model for enhanced short video recommendation
CN113259163B (zh) 一种基于网络拓扑感知的Web服务质量预测方法及系统
KR20220151453A (ko) 상품의 가격 예측 방법
Moradi et al. Constructing explainable health indicators for aircraft engines by developing an interpretable neural network with discretized weights: M. Moradi et al.
JP7839030B2 (ja) 機械学習方法、情報処理システム、情報処理装置、サーバーおよびプログラム
KR102814499B1 (ko) 정상 데이터 기반 계층적 오토인코더를 이용한 헤어핀 모터 예지보전 시스템 및 방법
Eisenhauer The approximate solution of finite‐horizon discrete‐choice dynamic programming models
CN116304686A (zh) 模型训练方法、点击率确定方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764535

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021764535

Country of ref document: EP

Effective date: 20221006

NENP Non-entry into the national phase

Ref country code: DE