WO2020116490A1 - 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム - Google Patents

情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム Download PDF

Info

Publication number
WO2020116490A1
WO2020116490A1 PCT/JP2019/047343 JP2019047343W WO2020116490A1 WO 2020116490 A1 WO2020116490 A1 WO 2020116490A1 JP 2019047343 W JP2019047343 W JP 2019047343W WO 2020116490 A1 WO2020116490 A1 WO 2020116490A1
Authority
WO
WIPO (PCT)
Prior art keywords
odor
data
odor data
learned
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/047343
Other languages
English (en)
French (fr)
Inventor
広明 松岡
哲彰 小出
祐介 小須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Revorn Co Ltd
Original Assignee
Revorn Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Revorn Co Ltd filed Critical Revorn Co Ltd
Priority to JP2020559951A priority Critical patent/JP7544379B2/ja
Priority to US17/297,842 priority patent/US12253494B2/en
Priority to CN201980080060.XA priority patent/CN113167704A/zh
Priority to EP19891914.4A priority patent/EP3892980A4/en
Publication of WO2020116490A1 publication Critical patent/WO2020116490A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0031—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
    • G01N33/0034—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array comprising neural networks or related mathematical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4454—Signal recognition, e.g. specific values or portions, signal events, signatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4472—Mathematical theories or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/021—Gases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/02—Analysing fluids
    • G01N29/022—Fluid sensors based on microsensors, e.g. quartz crystal-microbalance [QCM], surface acoustic wave [SAW] devices, tuning forks, cantilevers, flexural plate wave [FPW] devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the present invention relates to an information processing device, an information processing method, a learned model generation method, and a program.
  • Patent Document 1 discloses a vehicle odor determination system that uses a neural network to identify an occupant seated on a vehicle seat based on a signal detected by an odor detection device installed on the seat.
  • Patent Document 1 has not yet been identified in consideration of the conditions under which the odor was measured.
  • an object is to provide an information processing device or the like capable of suitably identifying an object from the smell of the object.
  • An information processing apparatus is a first acquisition unit that acquires odor data obtained by measuring an odor of an object, a second acquisition unit that acquires acquisition conditions of the odor data, the odor data of the object, and the acquisition condition. And an identification unit that identifies the object from the odor data and the acquisition conditions acquired by the first and second acquisition units, based on a learned model that has already learned the object corresponding to the odor data. Is characterized by.
  • the object can be suitably identified from the odor of the object.
  • FIG. 1 is a schematic diagram showing a configuration example of an odor identification system.
  • an odor identification system for identifying an object from odor data using an identification model 141 (learned model, see FIG. 5) that has been trained by machine learning on odor data obtained by measuring the odor of an object will be described.
  • the odor identification system includes an information processing device (analysis management device) 1, a terminal 2, and an odor sensor 3.
  • the information processing device 1 and the terminal 2 are communicatively connected to a network N such as the Internet.
  • the information processing device 1 is an information processing device capable of various information processing and information transmission/reception, and is, for example, a server computer, a personal computer, or the like. In the present embodiment, the information processing device 1 is assumed to be a server computer, and will be read as server 1 for simplicity below.
  • the server 1 is a server computer that analyzes and manages odor data of an object that is arbitrarily uploaded by a user, performs machine learning to learn the odor data, and generates an identification model 141 that identifies an object from the odor data. .. Then, the server 1 identifies the object using the generated identification model 141. For example, when the object is a person, the person is identified based on the data obtained by measuring the smell of the breath of the person. It should be noted that person identification is only one example of the use of the present system, and the present system may be used to identify other objects.
  • the terminal 2 is a terminal device used by a user who uses the system, and is, for example, a personal computer, a tablet terminal, a smartphone, or the like.
  • the server 1 acquires the odor data of the object from the odor sensor 3 via the terminal 2, performs the identification by the identification model 141, and outputs the identification result to the terminal 2.
  • the odor sensor 3 is a sensing device that measures the odor of an object, and is a device that converts gas molecules corresponding to odor components into numerical values that can be processed by a computer.
  • the odor sensor 3 is an odor sensor that uses the QCM (Quartz Crystal Microbalance) method, and uses the oscillation of the crystal oscillator when gas molecules are adsorbed on the surface of the crystal oscillator, Convert the components to frequency data.
  • QCM Quadrat Crystal Microbalance
  • the odor sensor 3 itself may be equipped with a communication module so that the server 1 can directly acquire odor data from the odor sensor 3.
  • the odor sensor 3 is not limited to the odor sensor having a crystal oscillator, and may be a semiconductor odor sensor, a FET biosensor, or the like.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has an arithmetic processing unit such as one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), and GPUs (Graphics Processing Units), and stores the programs P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, and the like are performed.
  • the main storage unit 12 is a temporary storage area such as an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), and a flash memory, and temporarily stores data required for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing relating to communication, and transmits/receives information to/from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 14 also stores an identification model 141, a user DB 142, an odor DB 143, a domain DB 144, and a learning DB 145.
  • the identification model 141 is a model for performing object identification based on odor data, and is, for example, a model related to a neural network as described later.
  • the identification model 141 is assumed to be used as a program module that is a part of artificial intelligence software.
  • the user DB 142 is a database that stores information on each user who uses this system.
  • the odor DB 143 is a database that stores odor data acquired from the odor sensor 3.
  • the domain DB 144 is a database that stores information on domains (odor categories) described later.
  • the learning DB 145 is a database that stores learned parameters obtained by learning odor data, and parameters such as weights set in the identification model 141 (neural network).
  • auxiliary storage unit 14 may be an external storage device connected to the server 1.
  • the server 1 may be a multi-computer including a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that receives an operation input, a display unit that displays an image, and the like.
  • the server 1 includes a reading unit that reads the portable storage medium 1a such as a CD (Compact Disk)-ROM and a DVD (Digital Versatile Disc)-ROM, and reads and executes the program P from the portable storage medium 1a. You can Alternatively, the server 1 may read the program P from the semiconductor memory 1b.
  • FIG. 3 is an explanatory diagram showing an example of the record layout of the user DB 142, the odor DB 143, the domain DB 144, and the learning DB 145.
  • the user DB 142 includes a user ID column, a user name column, and a device column.
  • the user ID column stores a user ID that is an identifier of each user.
  • the user name column and the device column respectively store the user name and the name of the odor sensor 3 used by the user in association with the user ID.
  • the odor DB 143 includes an acquisition data ID column, an odor name column, an acquisition date/time column, an acquisition user column, an acquisition sensor column, a data string, and an acquisition condition column.
  • the acquired data ID column stores the acquired data ID that is the identifier of the odor data acquired from the odor sensor 3.
  • the scent name column, the acquisition date/time column, the acquisition user column, the acquisition sensor column, the data column, and the acquisition condition column are associated with the acquired data ID, and the scent name (object name), the acquisition date/time, the acquisition source user name, The name of the odor sensor 3 that is the acquisition source, the odor data, and the odor data acquisition conditions are stored.
  • the acquisition condition column includes, for example, a domain name and a subdomain name, which will be described later, a cleaning time for cleaning the odor sensor 3 before measurement, an odor (gas) suction time, a residence time in a gas chamber in the odor sensor 3, after measurement.
  • the cleaning time of the odor sensor 3, the position information of the place where the odor is measured, and the weather information of the place are stored.
  • Various information that defines the acquisition condition of the odor data will be described in detail later.
  • the domain DB 144 includes a domain ID column, a creation date/time column, a creation user column, a domain name column, a sub domain name column, and an acquisition condition column.
  • the domain ID column stores a domain ID that is an identifier of a domain that represents a smell category.
  • the creation date/time column, the creation user column, the domain name column, the subdomain column, and the acquisition condition column are each associated with a domain ID, and the date and time when the user registered (created) the information of the domain in this system, the registered user.
  • the name, the domain name, the subdomain name, and the measurement condition (acquisition condition) of the odor sensor 3 are stored.
  • the acquisition condition column stores, for example, pre-washing time before odor measurement, suction time, residence time, post-washing time after odor measurement, and the like.
  • the learning DB 145 includes a learning ID column, a creation date/time column, a creation user column, an odor name column, a domain name column, a sub domain name column, and a data column.
  • the learning ID column stores a learning ID that is an identifier of a learned parameter (such as the weight of the neural network) obtained by learning the odor data.
  • the creation date/time column, the creation user column, the scent name column, the domain name column, the sub domain column, and the data column are associated with the learning ID, respectively, and the creation date/time when the learning (creating) of the identification model 141 is executed, the identification model 141
  • the user name for which learning is performed, the learned odor name, the domain name representing the acquisition condition of the learned odor data, the subdomain name, and the learned parameter are stored.
  • FIG. 4 is a block diagram showing a configuration example of the terminal 2.
  • the control unit 21, the main storage unit 22, the auxiliary storage unit 23, the communication unit 24, the display unit 25, and the input unit 26 are provided.
  • the control unit 21 has an arithmetic processing unit such as a CPU, and performs various information processing, control processing, and the like by reading and executing the program stored in the auxiliary storage unit 23.
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the auxiliary storage unit 23 is a non-volatile storage area such as a ROM (Read-Only Memory), and stores programs and other data necessary for the control unit 21 to execute processing.
  • the communication unit 24 is a communication module for performing processing relating to communication, and transmits/receives information to/from the outside.
  • the display unit 25 is a display screen such as a liquid crystal display, and displays the image given from the control unit 21.
  • the input unit 26 is an operation interface such as a mechanical key, and receives an operation input from a user.
  • FIG. 5 is an explanatory diagram regarding the identification model 141.
  • the server 1 uses a neural network model generated by deep learning as the identification model 141.
  • the identification model 141 is a model related to LSTM (Long-Short Term Memory), which is a type of RNN (Recurrent Neural Network), and is a model to which time series data composed of data at a plurality of time points is input.
  • LSTM Long-Short Term Memory
  • RNN Recurrent Neural Network
  • the identification model 141 includes an input layer that receives input of time-series data, an intermediate layer (hidden layer) that extracts a feature amount from the data input to the input layer, and an output layer that outputs an identification result based on the feature amount.
  • the input layer has a neuron that receives an input of data at each of a plurality of consecutive time points, and the neuron of the input layer transfers the input data to a neuron of an intermediate layer.
  • the middle layer receives input data from the neurons of the input layer and performs an operation based on the input data.
  • the neurons in the middle layer are called LSTM blocks, which temporarily store their own operation results and refer to the operation results of the input data of the previous time point when performing the operation of the input data of the next time point. And calculate. By referring to the calculation result at the previous time point, the calculation at the next time point is performed from the time series data up to the latest time point.
  • the output layer has a neuron that calculates an output value based on the calculation result in the intermediate layer, and outputs the identification result of identifying the object.
  • the identification model 141 is assumed to be a model (Many-To-One) with one output for a plurality of inputs, but there may be a plurality of outputs. Further, the identification model 141 propagates the calculation result of the middle layer only in one direction (One-directional) from the past time point to the future time point, but propagates the calculation result in both directions (Bi-directional). It may be a model that goes on.
  • the identification model 141 is the LSTM, but other deep learning such as CNN (Convolution Neural Network), or other learning algorithms such as SVM (Support Vector Machine) and decision tree. It may be a model based on it.
  • CNN Convolution Neural Network
  • SVM Small Vector Machine
  • the server 1 inputs the odor data obtained by measuring the odor of an object and generates the identification model 141 that outputs the identification result of the object corresponding to the input odor data.
  • the odor data that is input to the identification model 141 is data measured by the odor sensor 3 described above, and is time-series data of frequencies measured by the QCM method.
  • the odor sensor 3 measures the gas (odor) inhaled into the gas chamber in the odor sensor 3 during the measurement time of several seconds to several tens of seconds, and acquires the time series data of the frequency over the measurement time. ..
  • the server 1 uses the data as odor data.
  • the server 1 receives the odor data measured by the odor sensor 3 from each user's terminal 2, associates the odor name representing the object whose odor is measured, and the odor data acquisition condition described below, and associates the odor DB 143 with the odor data.
  • the smell data is stored in.
  • the server 1 uses the odor data stored in the odor DB 143 as training data to generate the identification model 141.
  • the server 1 sequentially inputs the time-series odor data measured by the odor sensor 3 to each neuron in the input layer of the identification model 141 according to the time-series order at the time of the measurement, and after the calculation in the intermediate layer, An output value representing the identification result of the object is acquired from the output layer.
  • the server 1 regards the object corresponding to the odor data input to the input layer as a two-class classification problem for determining whether or not the object corresponds to a specific object to be learned, Probability value indicating whether or not it is output.
  • the output value from the identification model 141 may not be a probability value, but may be a value expressing whether or not the object corresponds to a binary value (0 or 1). Further, in the present embodiment, two-class classification is performed to determine whether or not it corresponds to one object, odor data of a plurality of objects are simultaneously learned as training data, as a model to perform multi-class classification Good.
  • the server 1 performs learning by using not only the odor data measured by the odor sensor 3 but also the odor data acquisition condition as input to the identification model 141.
  • the odor data acquisition condition is information indicating the condition when the odor data is measured, and includes, for example, text data indicating the measured odor category, state information indicating the state of the odor sensor 3 from which the odor data was acquired, and the odor. Includes environmental information related to the measurement environment when measurement was performed.
  • the odor category is information that represents, for example, the type of object whose odor was measured, or the state of the object when the odor was measured (for example, if the object is food, the number of days since the food was purchased). Note that these are merely examples, and the odor category may be arbitrarily defined. In the present embodiment, the odor category is set by the user who has measured the odor of an object inputting arbitrary text. In this system, the odor category arbitrarily set by the user is called a "domain".
  • the server 1 acquires the domain name arbitrarily input by the user as the odor category when receiving the odor data upload from the terminal 2. Specifically, the server 1 acquires a domain name that represents an odor category and a sub domain name that represents a category that is more detailed than the domain name. As an example, enter the type name of the object whose odor was measured (“human” in the case of person identification) as the domain name, and use a more detailed type name (for example, person name) as the subdomain name than the domain name. input. In this way, the domain is set by the user uploading the odor data by inputting arbitrary text.
  • the state information is information indicating the state of the odor sensor 3 that measures the odor of an object, and includes, for example, the above-described pre-washing time, suction time, residence time, and post-washing time.
  • the pre-cleaning time is the time for cleaning the odor sensor 3 before measuring the odor.
  • the suction time is the time for inhaling a gas (smell) with the odor sensor 3.
  • the residence time is the time during which the gas is retained in the gas chamber in the odor sensor 3 and measurement is performed.
  • the post-cleaning time is the time for cleaning the odor sensor 3 after measuring the odor. In this way, as the state information, information indicating the odor data acquisition state and the odor sensor 3 maintenance state is used.
  • the environment information is information about the measurement environment when the odor is measured, and includes, for example, position information and weather information.
  • the position information is a geographical name of the place where the odor is measured, a GPS (Global Positioning System) coordinate value, or the like, and is geographical information of the measurement place.
  • the weather information is data indicating the weather at the measurement location when the odor is measured, and is data indicating weather such as “sunny” and “rainy”.
  • the environmental information may include information on the date and time of measurement (for example, season) in addition to the position and weather.
  • the server 1 inputs the odor data acquisition conditions such as the domain name and the state information into the identification model 141 for learning.
  • the acquisition condition of the odor data it is possible to perform learning closer to the human sense. For example, it is considered that humans make different judgments (identifications) when they smell a known object (domain) and when they smell an unknown object. In addition, it is considered that different judgments are made depending on the environment in which the scent is smelled (place, weather, etc.). In this way, by using the acquisition condition of the odor data as an input, it is possible to reproduce the identification result closer to the human sense.
  • the server 1 inputs various information that defines the acquisition condition of the odor data into the identification model 141 as categorical variables.
  • the server 1 provides a layer for categorical variable input (not shown), which is different from the layer for odor data input, in the input layer of the identification model 141.
  • the server 1 inputs a categorical variable representing a domain name, a sub-domain name, state information, environment information, etc. into a categorical variable input layer and learns it together with odor data.
  • the server 1 inputs the odor data for training and the acquisition condition (category variable) to the identification model 141 and acquires the identification result of the object from the output layer.
  • the server 1 compares the acquired identification result with the correct object (smell name), and optimizes parameters such as weights between neurons by the error backpropagation method so that they approximate each other. As a result, the server 1 acquires optimum parameters for identifying the object with the identification model 141, that is, learned parameters.
  • the server 1 stores the learned parameters obtained by the above learning in the learning DB 145 in association with the learning target object (odor name) and the odor data acquisition condition (domain name etc.). Thereby, the server 1 stores the data of the identification model 141 (learned model) generated by machine learning in the learning DB 145.
  • the server 1 receives the smell data of various objects from each user's terminal 2, and performs the above machine learning in response to the request from the user.
  • the server 1 stores the learned parameters of the identification model 141 generated in response to the request from each user in the learning DB 145. In this way, the server 1 manages, in the learning DB 145, the data of the plurality of identification models 141 that have learned the odor data of different objects.
  • the server 1 identifies an object based on the identification model 141 in response to a request from the terminal 2. Specifically, the server 1 first receives, from the terminal 2, selection input of learned parameters to be set in the identification model 141 from the learned parameters stored in the learning DB 145. The server 1 sets the selected learned parameter in the identification model 141. In this way, the server 1 receives the selection input of the identification model 141 used for identifying the object from the terminal 2.
  • the server 1 receives, from the terminal 2, a selection input for selecting the odor data of the object to be identified from among the odor data stored in the odor DB 143. It is needless to say that the server 1 may newly acquire the odor data of the object to be identified from the user's terminal 2 instead of the odor data already stored in the odor DB 143.
  • the server 1 reads the selected odor data and the acquisition condition of the odor data from the odor DB 143, and inputs it to the identification model 141 in which the learned parameters are set. Then, the server 1 acquires the identification result of the object corresponding to the input odor data as an output from the identification model 141. Specifically, as described above, the server 1 acquires whether or not the object to be identified corresponds to the object to be learned in the identification model 141, and its probability value. The server 1 outputs the identification result to the terminal 2 and displays it.
  • the odor data not only the odor data but also the acquisition condition of the odor data is used for the input to the identification model 141, so that the object can be appropriately identified based on the odor.
  • FIG. 6 is a flowchart showing the procedure of the generation process of the identification model 141.
  • a process of learning the odor data and generating the identification model 141 will be described with reference to FIG.
  • the control unit 11 of the server 1 acquires the training data for generating the identification model 141 from the odor DB 143 (step S11).
  • the training data is the odor data of the object measured by the odor sensor 3, and the data in which the correct object (odor name) is associated with the acquisition condition of the odor data.
  • the acquisition conditions include the domain name and subdomain name arbitrarily entered by the user as text representing the odor category, state information indicating the state of the odor sensor 3 such as pre-washing time and suction time, and the odor measurement environment. It includes environmental information such as related location information and weather information.
  • the control unit 11 Based on the training data, the control unit 11 inputs the odor data and the acquisition condition of the odor data, and generates an identification model 141 that outputs the identification result of the object (step S12). Specifically, as described above, the control unit 11 generates a neural network (LSTM) as the identification model 141. The control unit 11 inputs the odor data and the categorical variable indicating the acquisition condition into the identification model 141, and acquires the identification result of identifying the object corresponding to the odor data as an output. The control unit 11 compares the acquired identification result with the correct answer object, and optimizes parameters such as weights between neurons, that is, learned parameters so that the two approximate each other, and generates the identification model 141.
  • LSTM neural network
  • the control unit 11 stores the learned parameters related to the generated identification model 141 in the learning DB 145 in association with the learning target object (odor name) and the odor data acquisition condition (domain name etc.) (step S13). ), a series of processing ends.
  • FIG. 7 is a flowchart showing the procedure of the object identification process.
  • the control unit 11 of the server 1 receives a selection input for selecting the odor data of the object to be identified among the odor data of each object stored in the odor DB 143 (step S31).
  • the control unit 11 reads the selected odor data and the acquisition condition of the odor data from the odor DB 143 (step S32).
  • the control unit 11 receives, from the terminal 2, a selection input for selecting the identification model 141 used for identifying the object (step S33). Specifically, as described above, the control unit 11 accepts selection input of learned parameters set in the identification model 141. The control unit 11 sets the selected learned parameter in the identification model 141, inputs the odor data of the object and the acquisition condition into the identification model 141, and identifies the object (step S34). The control unit 11 outputs the identification result to the terminal 2 (step S35) and ends the series of processes.
  • the state information representing the state of the odor sensor 3 as an input to the identification model 141 as a data acquisition condition, it is possible to more appropriately identify the object.
  • the odor sensor 3 having the crystal oscillator by using the odor sensor 3 having the crystal oscillator, it is possible to more appropriately perform the identification based on the odor.
  • the environment information representing the measurement environment at the time of odor measurement as the data acquisition condition for input to the identification model 141, it is possible to more appropriately identify the object.
  • a large number of identification models 141 that perform two-class classification are generated, and the identification model 141 to be used can be selected from the plurality of identification models 141, so that various options ( The identification model 141) can be provided to the user.
  • FIGS. 8 to 11 show examples of UI screens displayed by the terminal 2.
  • menu bars such as “measurement” and “data list” are displayed on the left side of the screen, and the screens of FIGS. 8 to 11 are switched and displayed according to the operation input to each menu. ..
  • the outline of the present embodiment will be described with reference to FIGS.
  • FIG. 8 is an explanatory diagram showing an example of the measurement screen.
  • the measurement screen is an operation screen when the odor is measured by the odor sensor 3.
  • the terminal 2 measures an odor in synchronization with the odor sensor 3 connected to its own device in response to an operation input on the measurement screen.
  • the terminal 2 receives the selection input of the odor sensor 3 used for odor measurement in the sensor selection field 81.
  • the domain name, the sub domain name, etc. which are the conditions for obtaining the odor data, are displayed by default.
  • the server 1 accepts registration of a domain name, a subdomain name, state information corresponding to the odor sensor 3 used by the user from the user in advance, and stores it in the domain DB 144 in association with the user ID.
  • the domain name or the like registered by the user is set as the acquisition condition by default.
  • a setting change such as a domain name may be accepted from the user.
  • the terminal 2 accepts setting inputs for environmental information such as location information and weather information in the fields such as “location”, “GPS information”, and “weather”. Finally, the terminal 2 accepts the input of the odor name representing the object to be measured in the odor name input field 82, and starts the odor measurement by the odor sensor 3 according to the operation input to the execution button 83.
  • the server 1 acquires the odor data measured above together with the acquisition conditions, odor name (correct object), etc. set on the measurement screen.
  • the server 1 stores each acquired data in the odor DB 143.
  • FIG. 9 is an explanatory diagram showing an example of the odor data list screen.
  • the list screen of FIG. 9 is a display screen for displaying a list of odor data stored in the odor DB 143.
  • the user can confirm the odor data stored in the odor DB 143 on the screen.
  • the terminal 2 displays a list of odor names, domain names, subdomain names, odor data acquisition dates, etc., corresponding to each odor data.
  • the odor data can be searched according to the input to each of the input fields such as “keyword”, “domain”, and “subdomain” displayed at the top of the list screen.
  • the user can use the odor data displayed on the list screen for learning and identification.
  • FIG. 10 is an explanatory diagram showing an example of the learning screen.
  • the learning screen is an operation screen for causing the server 1 to perform learning of the identification model 141.
  • the terminal 2 accepts the selection input of the odor data used as the training data in response to the operation input on the learning screen, and causes the server 1 to execute the generation process of the identification model 141.
  • the terminal 2 accepts a selection input for selecting the odor data to be learned from the odor data stored in the odor DB 143 based on the operation input to the odor data selection field 101. For example, when an operation input to the odor data selection field 101 is accepted, the terminal 2 pops up a list of odor data similar to the list screen of FIG. 9 (not shown). The terminal 2 accepts a selection input for selecting one or a plurality of odor data to be learned from the list of odor data displayed in a pop-up.
  • the domain name and the subdomain name corresponding to the selected odor data are displayed by default in the domain selection field 102 and the subdomain selection field 103.
  • the terminal 2 accepts the setting change for changing the domain name and the sub domain name displayed by default in response to the operation input to the domain selection field 102 and the sub domain selection field 103. In this way, the terminal 2 accepts selection input of acquisition conditions (domain name etc.) of odor data to be learned together with odor data.
  • the terminal 2 accepts a text input of a scent name representing an object to be learned in the scent name input field 104. As a result, the terminal 2 accepts the input of the correct name (correct object) of the object corresponding to the odor data selected in the odor data selection field 101.
  • the terminal 2 requests the server 1 for machine learning based on the various information input above in response to an operation input on the execution button 105.
  • the server 1 performs machine learning to learn the selected odor data and the acquisition condition and the correct object corresponding to the odor data, and generates the identification model 141.
  • the server 1 stores the learned parameters (weight, etc.) of the generated identification model 141 in the learning DB 145 in association with the odor name, domain name, etc.
  • the server 1 learns (generates) a new identification model 141.
  • the server 1 re-learns to update the already learned identification model 141.
  • the terminal 2 accepts the learned parameter to be updated, that is, the selection input for selecting the identification model 141 to be re-learned, in addition to the odor data to be learned and the acquisition condition.
  • the server 1 re-learns the selected identification model 141 and updates the learned parameter.
  • re-learning of the identification model 141 can be performed by the same screen operation.
  • FIG. 11 is an explanatory diagram showing an example of the determination screen.
  • the determination screen is an operation screen for causing the server 1 to identify an object based on the identification model 141 generated above.
  • the terminal 2 causes the server 1 to identify the object using the identification model 141 according to the operation input on the determination screen.
  • the terminal 2 accepts selection input of learned parameters to be set in the identification model 141 in the learned parameter selection field 111. For example, when the terminal 2 receives an operation input to the learned parameter selection field 111, the terminal 2 displays a pop-up list of information on each learned parameter (data of each identification model 141) stored in the learning DB 145. Specifically, the terminal 2 displays a list of odor names, domain names, subdomain names, etc. stored in the learning DB 145 in association with each learned parameter. The terminal 2 accepts a selection input for selecting any of the learned parameters displayed in the list. As a result, the terminal 2 receives the selection input of the identification model 141 used for identifying the object.
  • the terminal 2 accepts selection input of one or more odor data to be identified in the odor data selection field 112. Similar to the learning screen, when the operation input to the odor data selection field 112 is received, the terminal 2 pops up the same odor data list as in FIG. 9 and receives the selection input.
  • the server 1 acquires the odor data acquisition conditions (domain name, etc.) and the odor data acquisition conditions to be learned in the identification model 141 selected above. It is preferable to determine whether and match, and output an error if they do not match. This makes it possible to avoid an inappropriate situation such as using the identification model 141 having a domain name different from that of the object to be identified.
  • the terminal 2 accepts an operation input to the execute button 113 and requests the server 1 to identify an object.
  • the server 1 sets the learned parameter selected in the learned parameter selection field 111 in the identification model 141, and sets the odor data selected in the odor data selection field 112 in the identification model 141. Input to identify the object.
  • the server 1 identifies each of the one or more odor data selected in the odor data selection field 112, and outputs the identification result (probability value) of each odor data to the terminal 2.
  • the terminal 2 displays the identification result of each odor data output from the server 1.
  • an identification tab 114 and a search tab 115 are displayed at the top of the determination screen.
  • the terminal 2 causes the server 1 to identify the object by the above procedure.
  • the search tab 115 causes the server 1 to identify (search) an object using one or more identification models 141.
  • the terminal 2 accepts a selection input for selecting one or a plurality of learned parameters in accordance with the selection input to the learned parameter selection field 111 on the determination screen almost similar to FIG.
  • the terminal 2 receives the selection input of one or a plurality of identification models 141 used for identifying the object.
  • the server 1 inputs the odor data selected in the odor data selection field 112 to each selected identification model 141, and acquires the identification result from each identification model 141. To do.
  • the server 1 identifies whether the object to be identified corresponds to each object that is the learning target in each identification model 141 or simultaneously identifies a plurality of objects.
  • the server 1 outputs an identification result (search result) as to which of the objects corresponding to each of the identification models 141 the object corresponding to the input odor data corresponds to, based on the identification result of each identification model 141. To do. For example, the server 1 ranks according to the probability value output from each identification model 141, and outputs the object names in descending order of probability value. Alternatively, the server 1 may output the object name having the highest probability value as the search result.
  • one identification model 141 may be made to learn the odor data of a plurality of objects to prepare the identification model 141 capable of multi-class classification.
  • the identification accuracy can be improved.
  • FIG. 12 is a flowchart showing an example of a processing procedure executed by the server 1 according to the second embodiment.
  • the control unit 11 of the server 1 determines whether or not to measure the odor data according to the operation input on the terminal 2 (step S201).
  • the control unit 11 inputs, from the terminal 2, the odor data acquisition condition setting input in addition to the odor name (correct object) representing the object to be measured.
  • Accept step S202.
  • the terminal 2 performs measurement by the odor sensor 3 according to the operation input from the user, and the control unit 11 of the server 1 acquires the odor data from the odor sensor 3 via the terminal 2 and is set in step S202.
  • the odor data is stored in the odor DB 143 in association with the acquisition conditions and the like (step S203).
  • the control unit 11 determines whether or not to learn the odor data according to the operation input on the terminal 2 (step S204). When it determines with learning (S204:YES), the control part 11 receives the selection input which selects the odor data made into a learning object from the terminal 2 (step S205). Specifically, as described above, the control unit 11 accepts the odor data to be learned, the setting input of the odor data acquisition condition, the correct object, and the like.
  • the control unit 11 performs machine learning based on the selected odor data, the acquisition condition of the odor data, and the input correct object, and generates the identification model 141 (step S206).
  • the control unit 11 stores the learned parameters of the generated identification model 141 in the learning DB 145 (step S207).
  • the control unit 11 determines whether or not to identify the odor data according to an operation input on the terminal 2 (step S208). When it is determined that the odor data is to be identified (S208: YES), the control unit 11 receives a selection input for selecting the identification model 141 used for identifying the odor data (step S209). Specifically, as described above, the control unit 11 receives the selection input for selecting the learned parameter to be set in the identification model 141.
  • the control unit 11 receives a selection input for selecting the odor data to be identified (step S210).
  • the control unit 11 sets the learned parameter selected in step S209 in the identification model 141, inputs the odor data selected in step S210, and identifies the object (step S211).
  • the control unit 11 outputs the identification result to the terminal 2 (step S212). After executing the process of step S212 or in the case of NO in step S208, the control unit 11 ends the series of processes.
  • the second embodiment it is possible to provide the user with a platform capable of learning and identifying odor data with a simple operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Combustion & Propulsion (AREA)
  • Food Science & Technology (AREA)
  • Algebra (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Investigating Or Analyzing Materials By The Use Of Fluid Adsorption Or Reactions (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理装置（１）は、物体の匂いを計測した匂いデータを取得する第１取得部と、前記匂いデータの取得条件を取得する第２取得部と、物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部とを備えることを特徴とする。好適には、前記取得条件は、前記匂いのカテゴリを表すテキストデータであって、前記匂いの計測を行ったユーザが入力したテキストデータであることを特徴とする。

Description

情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム
　本発明は、情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラムに関する。
　物体の匂いに基づき物体識別を行う技術がある。例えば特許文献１では、車両のシートに着座した乗員を、シートに設置した臭い検出装置で検出した信号に基づき、ニューラルネットワークを用いて識別する乗り物用臭い判別システムが開示されている。
特開２０１７－１６１３００号公報
　しかしながら、特許文献１に係る発明は、匂いを計測した際の条件を考慮して識別するに至っていない。
　一つの側面では、物体の匂いから物体を好適に識別することができる情報処理装置等を提供することを目的とする。
　一つの側面に係る情報処理装置は、物体の匂いを計測した匂いデータを取得する第１取得部と、前記匂いデータの取得条件を取得する第２取得部と、物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部とを備えることを特徴とする。
　一つの側面では、物体の匂いから物体を好適に識別することができる。
匂い識別システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 ユーザＤＢ、匂いＤＢ、ドメインＤＢ、学習ＤＢのレコードレイアウトの一例を示す説明図である。 端末の構成例を示すブロック図である。 識別モデルに関する説明図である。 識別モデルの生成処理の手順を示すフローチャートである。 物体識別処理の手順を示すフローチャートである。 計測画面の一例を示す説明図である。 匂いデータの一覧画面の一例を示す説明図である。 学習画面の一例を示す説明図である。 判定画面の一例を示す説明図である。 実施の形態２に係るサーバが実行する処理手順の一例を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、匂い識別システムの構成例を示す模式図である。本実施の形態では、物体の匂いを計測した匂いデータを機械学習で学習済みの識別モデル１４１（学習済みモデル、図５参照）を用いて、匂いデータから物体を識別する匂い識別システムについて説明する。匂い識別システムは、情報処理装置（解析管理装置）１、端末２、匂いセンサ３を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに通信接続されている。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、ユーザから任意にアップロードされる物体の匂いデータの解析及び管理を行うサーバコンピュータであり、当該匂いデータを学習する機械学習を行い、匂いデータから物体を識別する識別モデル１４１を生成する。そしてサーバ１は、生成済みの識別モデル１４１を用いて物体の識別を行う。例えば物体が人間である場合、当該人間の呼気の匂いを計測したデータに基づき、人物識別を行う。なお、人物識別は本システムの一利用例に過ぎず、その他の物体の識別に本システムを利用してもよい。
　端末２は、本システムを利用するユーザが使用する端末装置であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等である。サーバ１は、端末２を介して匂いセンサ３から物体の匂いデータを取得し、識別モデル１４１による識別を行って識別結果を端末２に出力する。
　匂いセンサ３は、物体の匂いを計測するセンシングデバイスであり、匂い成分に相当する気体分子を、コンピュータが処理可能な数値に変換するデバイスである。例えば匂いセンサ３はＱＣＭ（Quartz Crystal Microbalance：水晶振動子マイクロバランス）法を用いた匂いセンサであり、水晶振動子の表面に気体分子が吸着した場合の水晶振動子の発振を利用して、匂い成分を周波数データに変換する。匂いセンサ３として水晶振動子を利用した匂いセンサを用いることで、半導体の抵抗値を計測する半導体式の匂いセンサや、ＦＥＴ（電界効果トランジスタ）を利用したバイオセンサ等と比較して、より人間の嗅覚に近い匂いデータを得ることができる。匂いセンサ３はユーザの端末２に接続されており、サーバ１は、匂いセンサ３で計測した匂いデータを取得する。
　なお、匂いセンサ３自体に通信モジュールを搭載し、サーバ１は匂いセンサ３から直接的に匂いデータを取得可能としてもよい。また、匂いセンサ３は水晶振動子を有する匂いセンサに限定されず、半導体式の匂いセンサ、ＦＥＴバイオセンサ等であってもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、識別モデル１４１、ユーザＤＢ１４２、匂いＤＢ１４３、ドメインＤＢ１４４、学習ＤＢ１４５を記憶している。識別モデル１４１は、匂いデータに基づく物体識別を行うモデルであり、例えば後述するように、ニューラルネットワークに係るモデルである。識別モデル１４１は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。ユーザＤＢ１４２は、本システムを利用する各ユーザの情報を格納するデータベースである。匂いＤＢ１４３は、匂いセンサ３から取得した匂いデータを格納するデータベースである。ドメインＤＢ１４４は、後述するドメイン（匂いのカテゴリ）の情報を格納するデータベースである。学習ＤＢ１４５は、匂いデータを学習して得た学習済みパラメータであって、識別モデル１４１（ニューラルネットワーク）に設定される重み等のパラメータを格納するデータベースである。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。
　図３は、ユーザＤＢ１４２、匂いＤＢ１４３、ドメインＤＢ１４４、学習ＤＢ１４５のレコードレイアウトの一例を示す説明図である。
　ユーザＤＢ１４２は、ユーザＩＤ列、ユーザ名列、デバイス列を含む。ユーザＩＤ列は、各ユーザの識別子であるユーザＩＤを記憶している。ユーザ名列、及びデバイス列はそれぞれ、ユーザＩＤと対応付けて、ユーザ名、及びユーザが使用する匂いセンサ３の名称を記憶している。
　匂いＤＢ１４３は、取得データＩＤ列、匂い名列、取得日時列、取得ユーザ列、取得センサ列、データ列、取得条件列を含む。取得データＩＤ列は、匂いセンサ３から取得した匂いデータの識別子である取得データＩＤを記憶している。匂い名列、取得日時列、取得ユーザ列、取得センサ列、データ列、及び取得条件列はそれぞれ、取得データＩＤと対応付けて、匂い名（物体名）、取得日時、取得元のユーザ名、取得元の匂いセンサ３の名称、匂いデータ、及び匂いデータの取得条件を記憶している。取得条件列には、例えば後述するドメイン名及びサブドメイン名、計測前に匂いセンサ３を洗浄した洗浄時間、匂い（気体）の吸引時間、匂いセンサ３内のガス室での滞留時間、計測後の匂いセンサ３の洗浄時間、匂いを計測した場所の位置情報、並びに当該場所の天候情報などが記憶されている。匂いデータの取得条件を定義する各種情報について、詳しくは後述する。
　ドメインＤＢ１４４は、ドメインＩＤ列、作成日時列、作成ユーザ列、ドメイン名列、サブドメイン名列、取得条件列を含む。ドメインＩＤ列は、匂いのカテゴリを表すドメインの識別子であるドメインＩＤを記憶している。作成日時列、作成ユーザ列、ドメイン名列、サブドメイン列、及び取得条件列はそれぞれ、ドメインＩＤと対応付けて、ユーザが本システムに当該ドメインの情報を登録（作成）した日時、登録したユーザ名、ドメイン名、サブドメイン名、及び匂いセンサ３での計測条件（取得条件）を記憶している。取得条件列には、例えば匂い計測前の事前洗浄時間、吸引時間、滞留時間、匂い計測後の事後洗浄時間などが記憶されている。
　学習ＤＢ１４５は、学習ＩＤ列、作成日時列、作成ユーザ列、匂い名列、ドメイン名列、サブドメイン名列、データ列を含む。学習ＩＤ列は、匂いデータを学習して得た学習済みパラメータ（ニューラルネットワークの重み等）の識別子である学習ＩＤを記憶している。作成日時列、作成ユーザ列、匂い名列、ドメイン名列、サブドメイン列、及びデータ列はそれぞれ、学習ＩＤと対応付けて、識別モデル１４１の学習（作成）を実行した作成日時、識別モデル１４１の学習を行わせたユーザ名、学習した匂い名、学習した匂いデータの取得条件を表すドメイン名、サブドメイン名、及び学習済みパラメータを記憶している。
　図４は、端末２の構成例を示すブロック図である。制御部２１、主記憶部２２、補助記憶部２３、通信部２４、表示部２５、入力部２６を備える。
　制御部２１は、ＣＰＵ等の演算処理装置を有し、補助記憶部２３に記憶されたプログラムを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２はＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部２３は、ＲＯＭ（Read-Only Memory）等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラム、その他のデータを記憶している。通信部２４は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２５は液晶ディスプレイ等の表示画面であり、制御部２１から与えられた画像を表示する。入力部２６は、メカニカルキー等の操作インターフェイスであり、ユーザから操作入力を受け付ける。
　図５は、識別モデル１４１に関する説明図である。図５に基づき、本実施の形態の概要を説明する。
　本実施の形態でサーバ１は、識別モデル１４１として、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。具体的には、識別モデル１４１はＲＮＮ（Recurrent Neural Network）の一種であるＬＳＴＭ（Long-Short Term Memory）に係るモデルであり、複数時点のデータから成る時系列データを入力とするモデルである。
　識別モデル１４１は、時系列データの入力を受け付ける入力層と、入力層に入力されたデータから特徴量を抽出する中間層（隠れ層）と、特徴量に基づく識別結果を出力する出力層とを有する。入力層は、連続する複数時点それぞれのデータの入力を受け付けるニューロンを有し、入力層のニューロンは、入力されたデータを中間層のニューロンに受け渡す。中間層は、入力層のニューロンから入力データを受け取り、入力データに基づく演算を行う。ＬＳＴＭでは、中間層のニューロンはＬＳＴＭブロックと呼ばれ、自らの演算結果を一時的に記憶し、次の時点の入力データに関する演算を行う場合に、前の時点の入力データに関する演算結果を参照して演算を行う。前の時点の演算結果を参照することで、直近時点までの時系列のデータから次の時点の演算を行う。出力層は、中間層での演算結果に基づき出力値を演算するニューロンを有し、物体を識別した識別結果を出力する。
　なお、本実施の形態で識別モデル１４１は、複数の入力に対し出力が一のモデル（Many-To-One）であるものとするが、出力は複数であってもよい。また、識別モデル１４１は過去の時点から未来の時点へと一方向（One-directional）のみ中間層の演算結果を伝播していくものとするが、双方向（Bi-directional）に演算結果を伝播していくモデルであってもよい。
　また、本実施の形態では識別モデル１４１がＬＳＴＭであるものとして説明するが、ＣＮＮ（Convolution Neural Network）等の他のディープラーニング、又はＳＶＭ（Support Vector Machine）、決定木など、その他の学習アルゴリズムに基づくモデルであってもよい。
　本実施の形態でサーバ１は、物体の匂いを計測した匂いデータを入力として、入力された匂いデータに対応する物体の識別結果を出力とする識別モデル１４１を生成する。識別モデル１４１への入力とする匂いデータは、上述の匂いセンサ３で計測したデータであり、ＱＣＭ法により計測した周波数の時系列データである。例えば匂いセンサ３では、数秒～数十秒の計測時間の間、匂いセンサ３内のガス室に吸入された気体（匂い）の計測を行い、当該計測時間に亘る周波数の時系列データを取得する。サーバ１は、当該データを匂いデータとして用いる。
　例えばサーバ１は、各ユーザの端末２から、匂いセンサ３で計測した匂いデータのアップロードを受け、匂いを計測した物体を表す匂い名、及び後述の匂いデータの取得条件と対応付けて、匂いＤＢ１４３に匂いデータを記憶してある。サーバ１は、匂いＤＢ１４３に記憶されている匂いデータを訓練データとして用い、識別モデル１４１を生成する。
　すなわち、サーバ１は、匂いセンサ３で計測された時系列の匂いデータを、その計測時点の時系列順序に従って識別モデル１４１の入力層の各ニューロンに順次入力し、中間層での演算を経て、物体の識別結果を表す出力値を出力層から取得する。本実施の形態でサーバ１は、入力層に入力された匂いデータに対応する物体が、学習対象である特定の物体に該当するか否かを判定する二クラス分類の問題と捉え、当該物体に該当するか否かを表す確率値を出力する。一の識別モデル１４１につき単一の物体の識別を行うようにすることで、一の識別モデル１４１で複数物体を識別する多クラス分類を行う場合と比較して、識別精度を向上させることができる。
　なお、識別モデル１４１からの出力値は確率値ではなく、その物体に該当するか否かを二値（０又は１）で表現した値であってもよい。また、本実施の形態では一の物体に該当するか否かを判定する二クラス分類を行うものとするが、複数の物体の匂いデータを訓練データとして同時に学習し、多クラス分類を行うモデルとしてもよい。
　ここでサーバ１は、匂いセンサ３で計測した匂いデータだけでなく、匂いデータの取得条件も識別モデル１４１への入力に用いて学習を行う。匂いデータの取得条件は、匂いデータを計測した際の条件を表す情報であり、例えば計測した匂いのカテゴリを表すテキストデータ、匂いデータの取得元である匂いセンサ３の状態を表す状態情報、匂いを計測した際の計測環境に関する環境情報などを含む。
　匂いのカテゴリとは、例えば匂いを計測した物体の種類、あるいは匂い計測時の物体の状態（例えば物体が食品であれば、その食品を購入してからの日数など）を表す情報である。なお、これらは例示であって、匂いのカテゴリは任意に定義されてよい。本実施の形態で匂いのカテゴリは、物体の匂いを計測したユーザが任意のテキストを入力することで設定される。本システムでは、ユーザが任意に設定する匂いのカテゴリを「ドメイン」と呼称する。
　例えばサーバ１は、端末２から匂いデータのアップロードを受ける際に、匂いのカテゴリを表すものとしてユーザが任意に入力したドメイン名を取得する。具体的には、サーバ１は、匂いのカテゴリを表すドメイン名と、ドメイン名よりも詳細なカテゴリを表すサブドメイン名とを取得する。一例としては、匂いを計測した物体の種類名（人物識別を例にすれば「人間」）をドメイン名として入力し、さらにドメイン名よりも詳細な種類名（例えば人物名）をサブドメイン名として入力する。このように、ドメインは、匂いデータをアップロードするユーザが任意のテキストを入力することで設定される。
　状態情報は、物体の匂いを計測した匂いセンサ３の状態を表す情報であり、例えば上述の事前洗浄時間、吸引時間、滞留時間、事後洗浄時間を含む。事前洗浄時間は、匂い計測前に匂いセンサ３を洗浄する時間である。吸引時間は、匂いセンサ３で気体（匂い）を吸入する時間である。滞留時間は、匂いセンサ３内のガス室に気体を滞留させて計測を行う時間である。事後洗浄時間は、匂い計測後に匂いセンサ３を洗浄する時間である。このように、状態情報として、匂いデータの取得状態、及び匂いセンサ３のメンテナンス状態を表す情報を用いる。
　環境情報は、匂いを計測した際の計測環境に関する情報であり、例えば位置情報、天候情報を含む。位置情報は、匂いを計測した場所の地域名やＧＰＳ（Global Positioning System）座標値などであり、計測場所の地理的な情報である。天候情報は、匂い計測時の計測場所の天候を示すデータであり、例えば「晴れ」、「雨」などの天気を表すデータである。
　なお、環境情報は位置、天候のほかに、計測日時に関する情報（例えば季節）などを含んでもよい。
　サーバ１は、匂いデータのほかに、ドメイン名や状態情報など、匂いデータの取得条件を識別モデル１４１に入力して学習させる。匂いデータの取得条件も併せて入力することで、より人間の感覚に近い学習を行わせることができる。例えば人間は、既知の物体（ドメイン）の匂いを嗅ぐ場合と未知の物体の匂いを嗅ぐ場合とでは、異なる判断（識別）をすると考えられる。また、その匂いを嗅ぐ環境（場所や天候など）によっては、異なる判断をすると考えられる。このように、匂いデータの取得条件を入力に用いることで、より人間の感覚に近い識別結果を再現させることができる。
　例えばサーバ１は、匂いデータの取得条件を規定する各種情報をカテゴリ変数として識別モデル１４１に入力する。例えばサーバ１は、識別モデル１４１の入力層に、匂いデータ入力用のレイヤとは異なる、カテゴリ変数入力用のレイヤ（不図示）を設ける。サーバ１は、カテゴリ変数入力用のレイヤに、ドメイン名、サブドメイン名、状態情報、環境情報等を表すカテゴリ変数を入力し、匂いデータと共に学習させる。
　サーバ１は、識別モデル１４１に訓練用の匂いデータ及び取得条件（カテゴリ変数）を入力し、物体の識別結果を出力層から取得する。サーバ１は、取得した識別結果を正解の物体（匂い名）と比較し、両者が近似するように、誤差逆伝播法でニューロン間の重み等のパラメータを最適化する。これによりサーバ１は、識別モデル１４１で物体を識別する上で最適なパラメータ、すなわち学習済みパラメータを取得する。
　サーバ１は、上記の学習で得た学習済みパラメータを、学習対象とした物体（匂い名）、及び匂いデータの取得条件（ドメイン名等）と対応付けて学習ＤＢ１４５に記憶する。これにより、サーバ１は、機械学習で生成した識別モデル１４１（学習済みモデル）のデータを学習ＤＢ１４５に記憶する。
　サーバ１は、各ユーザの端末２から種々の物体の匂いデータのアップロードを受け、ユーザからの要求に応じて上記の機械学習を行う。サーバ１は、各ユーザからの要求に応じて生成した識別モデル１４１の学習済みパラメータを、学習ＤＢ１４５に記憶しておく。このように、サーバ１は学習ＤＢ１４５において、異なる物体の匂いデータを学習した複数の識別モデル１４１のデータを管理する。
　サーバ１は、端末２からの要求に応じて、識別モデル１４１に基づく物体の識別を行う。具体的には、まずサーバ１は、学習ＤＢ１４５に記憶されている各学習済みパラメータから、識別モデル１４１に設定する学習済みパラメータの選択入力を端末２から受け付ける。サーバ１は、選択された学習済みパラメータを識別モデル１４１に設定する。このように、サーバ１は、物体の識別に用いる識別モデル１４１の選択入力を端末２から受け付ける。
　次にサーバ１は、匂いＤＢ１４３に記憶されている各匂いデータの内、識別対象とする物体の匂いデータを選択する選択入力を端末２から受け付ける。なお、サーバ１は、匂いＤＢ１４３に既に記憶されている匂いデータではなく、識別対象の物体の匂いデータをユーザの端末２から新規に取得するようにしてもよいことは勿論である。
　サーバ１は、選択された匂いデータと、当該匂いデータの取得条件とを匂いＤＢ１４３から読み出し、学習済みパラメータを設定した識別モデル１４１に入力する。そしてサーバ１は、識別モデル１４１から、入力した匂いデータに対応する物体の識別結果を出力として取得する。具体的には上述の如く、サーバ１は、識別対象の物体が、識別モデル１４１において学習対象とした物体に該当するか否か、その確率値を取得する。サーバ１は、識別結果を端末２に出力し、表示させる。
　以上より、本実施の形態によれば、匂いデータだけでなく、匂いデータの取得条件を識別モデル１４１への入力に用いることで、匂いに基づく物体の識別を好適に行うことができる。
　図６は、識別モデル１４１の生成処理の手順を示すフローチャートである。図６に基づき、匂いデータを学習して識別モデル１４１を生成する処理について説明する。
　サーバ１の制御部１１は、匂いＤＢ１４３から、識別モデル１４１を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、匂いセンサ３で計測した物体の匂いデータ、及び当該匂いデータの取得条件に対し、正解の物体（匂い名）が対応付けられたデータである。取得条件は、匂いのカテゴリを表すテキストとしてユーザが任意に入力したドメイン名、サブドメイン名のほか、事前洗浄時間、吸引時間等の匂いセンサ３の状態を表す状態情報、及び匂いの計測環境に関連する位置情報、天候情報等の環境情報を含む。
　制御部１１は訓練データに基づき、匂いデータ、及び匂いデータの取得条件を入力として、物体の識別結果を出力する識別モデル１４１を生成する（ステップＳ１２）。具体的には上述の如く、制御部１１は識別モデル１４１としてニューラルネットワーク（ＬＳＴＭ）を生成する。制御部１１は、匂いデータと、取得条件を表すカテゴリ変数とを識別モデル１４１に入力して、当該匂いデータに対応する物体を識別した識別結果を出力として取得する。制御部１１は、取得した識別結果を正解の物体と比較して、両者が近似するように、ニューロン間の重み等のパラメータ、すなわち学習済みパラメータを最適化して識別モデル１４１を生成する。
　制御部１１は、生成した識別モデル１４１に係る学習済みパラメータを、学習対象とした物体（匂い名）、及び匂いデータの取得条件（ドメイン名等）と対応付けて学習ＤＢ１４５に記憶し（ステップＳ１３）、一連の処理を終了する。
　図７は、物体識別処理の手順を示すフローチャートである。図７では、識別モデル１４１に基づく物体の識別処理について説明する。
　サーバ１の制御部１１は、匂いＤＢ１４３に記憶されている各物体の匂いデータの内、識別対象とする物体の匂いデータを選択する選択入力を受け付ける（ステップＳ３１）。制御部１１は、選択された匂いデータと、当該匂いデータの取得条件を匂いＤＢ１４３から読み出す（ステップＳ３２）。
　制御部１１は、物体の識別に用いる識別モデル１４１を選択する選択入力を端末２から受け付ける（ステップＳ３３）。具体的には上述の如く、制御部１１は、識別モデル１４１に設定する学習済みパラメータの選択入力を受け付ける。制御部１１は、選択された学習済みパラメータを識別モデル１４１に設定し、当該識別モデル１４１に物体の匂いデータ及び取得条件を入力して、物体を識別する（ステップＳ３４）。制御部１１は識別結果を端末２に出力し（ステップＳ３５）、一連の処理を終了する。
　以上より、本実施の形態１によれば、匂いに基づく物体の識別を好適に行うことができる。
　また、本実施の形態１によれば、匂いセンサ３の状態を表す状態情報をデータ取得条件として識別モデル１４１への入力に用いることで、より好適に物体の識別を行うことができる。
　また、本実施の形態１によれば、水晶振動子を有する匂いセンサ３を用いることで、匂いによる識別をより好適に行うことができる。
　また、本実施の形態１によれば、匂い計測時の計測環境を表す環境情報をデータ取得条件として識別モデル１４１への入力に用いることで、より好適に物体の識別を行うことができる。
　また、本実施の形態１によれば、二クラス分類を行う識別モデル１４１を多数生成しておき、複数の識別モデル１４１から利用する識別モデル１４１を選択できるようにすることで、多様な選択肢（識別モデル１４１）をユーザに提供することができる。
（実施の形態２）
　本実施の形態では、上述の匂い識別システムをユーザが利用するためのＵＩ（User Interface）画面に関する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図８～図１１に、端末２が表示するＵＩ画面例を図示する。端末２が表示するＵＩ画面には、画面左側に「計測」、「データ一覧」等のメニューバーが表示され、各メニューへの操作入力に応じて図８～図１１の画面を切り換えて表示する。図８～図１１に基づき、本実施の形態の概要を説明する。
　図８は、計測画面の一例を示す説明図である。計測画面は、匂いセンサ３による匂いの計測を行う際の操作画面である。端末２は、計測画面での操作入力に応じて、自装置に接続されている匂いセンサ３と同期して匂いの計測を行う。
　具体的には、端末２はセンサ選択欄８１で、匂いの計測に用いる匂いセンサ３の選択入力を受け付ける。匂いセンサ３が選択された場合、匂いデータの取得条件であるドメイン名、サブドメイン名などがデフォルトで表示される。例えばサーバ１は、ドメイン名やサブドメイン名、ユーザが使用する匂いセンサ３に対応する状態情報などの登録をユーザから事前に受け付け、ユーザＩＤと対応付けてドメインＤＢ１４４に記憶している。センサ選択欄８１でユーザの匂いセンサ３が選択された場合、ユーザが登録したドメイン名等が取得条件としてデフォルトで設定される。なお、図８の計測画面において、ユーザからドメイン名等の設定変更を受け付けてもよい。
　また、端末２は、「ロケーション」、「ＧＰＳ情報」、「天気」などの各欄で、位置情報、天候情報などの環境情報について設定入力を受け付ける。最後に端末２は、匂い名入力欄８２で、これから計測を行う物体を表す匂い名の入力を受け付け、実行ボタン８３への操作入力に応じて匂いセンサ３による匂いの計測を開始する。
　サーバ１は、上記で計測した匂いデータを、計測画面で設定された取得条件、匂い名（正解の物体）等と共に取得する。サーバ１は、取得した各データを匂いＤＢ１４３に記憶する。
　図９は、匂いデータの一覧画面の一例を示す説明図である。図９の一覧画面は、匂いＤＢ１４３に記憶されている匂いデータを一覧で表示する表示画面である。ユーザは当該画面で、匂いＤＢ１４３に記憶されている匂いデータを確認することができる。例えば端末２は、図９に示すように、各匂いデータに対応する匂い名、ドメイン名、サブドメイン名、匂いデータの取得日時等を一覧表示する。また、一覧画面の上部に表示される「キーワード」、「ドメイン」、「サブドメイン」などの各入力欄への入力に応じて、匂いデータを検索することもできる。ユーザは一覧画面で表示される匂いデータを学習及び識別に用いることができる。
　図１０は、学習画面の一例を示す説明図である。学習画面は、識別モデル１４１の学習をサーバ１に実行させるための操作画面である。端末２は、学習画面での操作入力に応じて、訓練データとする匂いデータの選択入力を受け付け、サーバ１に識別モデル１４１の生成処理を実行させる。
　具体的には、端末２は、匂いデータ選択欄１０１への操作入力に基づき、匂いＤＢ１４３に記憶されている匂いデータから、学習対象とする匂いデータを選択する選択入力を受け付ける。例えば匂いデータ選択欄１０１への操作入力を受け付けた場合、端末２は、図９の一覧画面と同様の匂いデータの一覧をポップアップ表示する（不図示）。端末２は、ポップアップ表示された匂いデータの一覧から、学習対象とする一又は複数の匂いデータを選択する選択入力を受け付ける。
　学習対象とする匂いデータが選択された場合、ドメイン選択欄１０２及びサブドメイン選択欄１０３に、選択された匂いデータに対応するドメイン名及びサブドメイン名がデフォルト表示される。端末２は、ドメイン選択欄１０２及びサブドメイン選択欄１０３への操作入力に応じて、デフォルトで表示されたドメイン名及びサブドメイン名を変更する設定変更を受け付ける。このように、端末２は、匂いデータと共に学習する匂いデータの取得条件（ドメイン名等）の選択入力を受け付ける。
　さらに端末２は、匂い名入力欄１０４で、学習対象とする物体を表す匂い名のテキスト入力を受け付ける。これにより、端末２は、匂いデータ選択欄１０１で選択された匂いデータに対応する物体の正しい名称（正解の物体）の入力を受け付ける。
　端末２は、実行ボタン１０５への操作入力に応じて、上記で入力された各種情報に基づく機械学習をサーバ１に要求する。端末２からの要求に応じて、サーバ１は、選択された匂いデータ及び取得条件と、当該匂いデータに対応する正解の物体とを学習する機械学習を行い、識別モデル１４１を生成する。サーバ１は、生成した識別モデル１４１の学習済みパラメータ（重み等）を、匂い名、ドメイン名等と対応付けて学習ＤＢ１４５に記憶する。
　なお、図１０の学習画面において、画面上部の新規タブ１０６が選択されている場合、サーバ１は、新規の識別モデル１４１の学習（生成）を行う。一方で、再学習タブ１０７が選択されている場合、サーバ１は、既に学習済みの識別モデル１４１を更新する再学習を行う。この場合、端末２は、学習対象とする匂いデータや取得条件などのほかに、更新する学習済みパラメータ、すなわち再学習の対象とする識別モデル１４１を選択する選択入力を受け付ける。サーバ１は、選択された識別モデル１４１に係る再学習を行い、学習済みパラメータを更新する。このように、本システムでは識別モデル１４１の再学習も同様の画面操作で行うことができる。
　図１１は、判定画面の一例を示す説明図である。判定画面は、上記で生成した識別モデル１４１に基づく物体の識別をサーバ１に実行させるための操作画面である。端末２は、判定画面での操作入力に応じて、識別モデル１４１を用いた物体の識別をサーバ１に実行させる。
　具体的には、端末２は、学習済みパラメータ選択欄１１１において、識別モデル１４１に設定する学習済みパラメータの選択入力を受け付ける。例えば端末２は、学習済みパラメータ選択欄１１１への操作入力を受け付けた場合、学習ＤＢ１４５に記憶されている各学習済みパラメータの情報（各識別モデル１４１のデータ）をポップアップで一覧表示する。具体的には、端末２は、各学習済みパラメータと対応付けて学習ＤＢ１４５に記憶されている匂い名、ドメイン名、サブドメイン名等を一覧表示する。端末２は、一覧で表示した各学習済みパラメータから何れかを選択する選択入力を受け付ける。これにより、端末２は、物体の識別に用いる識別モデル１４１の選択入力を受け付ける。
　次に端末２は、匂いデータ選択欄１１２で、識別対象とする一又は複数の匂いデータの選択入力を受け付ける。学習画面と同様に、匂いデータ選択欄１１２への操作入力を受け付けた場合、端末２は図９と同様の匂いデータの一覧をポップアップ表示して選択入力を受け付ける。
　なお、識別対象とする匂いデータが選択された場合に、サーバ１は、当該匂いデータの取得条件（ドメイン名等）と、上記で選択された識別モデル１４１において学習対象とした匂いデータの取得条件とが一致するか否かを判定し、一致しない場合はエラーを出力すると好適である。これにより、例えば識別対象の物体とはドメイン名が異なる識別モデル１４１を使用してしまうような、不適切な事態を回避することができる。
　端末２は、実行ボタン１１３への操作入力を受け付けて、サーバ１に物体の識別を要求する。サーバ１は、端末２からの要求に応じて、学習済みパラメータ選択欄１１１で選択された学習済みパラメータを識別モデル１４１に設定し、匂いデータ選択欄１１２で選択された匂いデータを識別モデル１４１に入力して物体の識別を行う。具体的には、サーバ１は、匂いデータ選択欄１１２で選択された一又は複数の匂いデータそれぞれについて識別を行い、各匂いデータの識別結果（確率値）を端末２に出力する。端末２は、サーバ１から出力された各匂いデータの識別結果を表示する。
　なお、判定画面には画面上部に、識別タブ１１４と、検索タブ１１５とが表示されている。識別タブ１１４が選択されている場合、端末２は上記の手順で物体の識別をサーバ１に実行させる。一方で、検索タブ１１５が選択されている場合、端末２は、一又は複数の識別モデル１４１を用いた物体の識別（検索）をサーバ１に実行させる。
　具体的には、端末２は、図１１とほぼ同様の判定画面において、学習済みパラメータ選択欄１１１への選択入力に応じて、一又は複数の学習済みパラメータを選択する選択入力を受け付ける。これにより、端末２は、物体の識別に用いる一又は複数の識別モデル１４１の選択入力を受け付ける。複数の識別モデル１４１が選択された場合、サーバ１は、選択された各識別モデル１４１に対し、匂いデータ選択欄１１２で選択された匂いデータを入力して、各識別モデル１４１から識別結果を取得する。これにより、サーバ１は、各識別モデル１４１で学習対象とした各物体に識別対象の物体が該当するか、複数物体について同時に識別を行う。
　サーバ１は、各識別モデル１４１での識別結果に基づき、入力された匂いデータに対応する物体が、各識別モデル１４１に対応する各物体の何れに該当するか、識別結果（検索結果）を出力する。例えばサーバ１は、各識別モデル１４１から出力された確率値に応じて順位付けを行い、確率値が高い順に物体名を出力する。あるいはサーバ１は、確率値が最も高い物体名を検索結果として出力するようにしてもよい。
　実施の形態１でも述べたように、一の識別モデル１４１に複数の物体の匂いデータを学習させて、多クラス分類が可能な識別モデル１４１を用意するようにしてもよいが、識別モデル１４１を、二クラス分類を行うモデルとすることで識別精度を向上させることができる。この識別モデル１４１を複数組み合わせることで、複数物体の何れに該当するか、すなわち多クラス分類を好適に行うことができる。
　図１２は、実施の形態２に係るサーバ１が実行する処理手順の一例を示すフローチャートである。
　サーバ１の制御部１１は、端末２での操作入力に応じて、匂いデータの計測を行うか否かを判定する（ステップＳ２０１）。匂いデータの計測を行うと判定した場合（Ｓ２０１：ＹＥＳ）、制御部１１は、計測対象である物体を表す匂い名（正解の物体）のほか、匂いデータの取得条件の設定入力を端末２から受け付ける（ステップＳ２０２）。端末２は、ユーザからの操作入力に応じて匂いセンサ３による計測を行い、サーバ１の制御部１１は、端末２を介して匂いセンサ３から匂いデータを取得して、ステップＳ２０２で設定された取得条件等と対応付けて匂いＤＢ１４３に匂いデータを記憶する（ステップＳ２０３）。
　ステップＳ２０３の処理を実行後、又はステップＳ２０１でＮＯの場合、制御部１１は端末２での操作入力に応じて、匂いデータの学習を行うか否かを判定する（ステップＳ２０４）。学習を行うと判定した場合（Ｓ２０４：ＹＥＳ）、制御部１１は、学習対象とする匂いデータを選択する選択入力を端末２から受け付ける（ステップＳ２０５）。具体的には上述の如く、制御部１１は、学習対象とする匂いデータのほか、当該匂いデータの取得条件、正解の物体などの設定入力を受け付ける。
　制御部１１は、選択された匂いデータ、及び当該匂いデータの取得条件と、入力された正解の物体とに基づく機械学習を行い、識別モデル１４１を生成する（ステップＳ２０６）。制御部１１は、生成した識別モデル１４１の学習済みパラメータを学習ＤＢ１４５に記憶する（ステップＳ２０７）。
　ステップＳ２０７の処理を実行後、又はステップＳ２０４でＮＯの場合、制御部１１は、端末２での操作入力に応じて、匂いデータの識別を行うか否かを判定する（ステップＳ２０８）。匂いデータの識別を行うと判定した場合（Ｓ２０８：ＹＥＳ）、制御部１１は、匂いデータの識別に用いる識別モデル１４１を選択する選択入力を受け付ける（ステップＳ２０９）。具体的には上述の如く、制御部１１は、識別モデル１４１に設定する学習済みパラメータを選択する選択入力を受け付ける。
　制御部１１は、識別対象とする匂いデータを選択する選択入力を受け付ける（ステップＳ２１０）。制御部１１は、ステップＳ２０９で選択された学習済みパラメータを識別モデル１４１に設定し、ステップＳ２１０で選択された匂いデータを入力して物体を識別する（ステップＳ２１１）。制御部１１は、識別結果を端末２に出力する（ステップＳ２１２）。ステップＳ２１２の処理を実行後、又はステップＳ２０８でＮＯの場合、制御部１１は一連の処理を終了する。
　以上より、本実施の形態２によれば、簡便な操作で匂いデータの学習及び識別が可能なプラットフォームをユーザに提供することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　サーバ（情報処理装置）
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ　プログラム
　１４１　識別モデル
　１４２　ユーザＤＢ
　１４３　匂いＤＢ
　１４４　ドメインＤＢ
　１４５　学習ＤＢ
　２　端末
　２１　制御部
　２２　主記憶部
　２３　補助記憶部
　２４　通信部
　２５　表示部
　２６　入力部
　３　匂いセンサ

Claims (10)

  1. 　物体の匂いを計測した匂いデータを取得する第１取得部と、
    　前記匂いデータの取得条件を取得する第２取得部と、
    　物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部と
    　を備えることを特徴とする情報処理装置。
  2. 　前記取得条件は、前記匂いのカテゴリを表すテキストデータであって、前記匂いの計測を行ったユーザが入力したテキストデータである
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記第１取得部は、前記匂いを計測する匂いセンサから前記匂いデータを取得し、
    　前記取得条件は、前記匂いの計測時における前記匂いセンサの状態を表す状態情報である
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記取得条件は、前記物体の匂いを計測した計測環境に関する環境情報である
    　ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　異なる前記物体ごとに、前記匂いデータ及び取得条件と、前記物体とを夫々学習済みの複数の前記学習済みモデルのデータを記憶する記憶部と、
    　前記複数の学習済みモデルから何れかを選択する選択入力を受け付ける受付部とを備え、
    　前記識別部は、選択された前記学習済みモデルに基づき、前記物体を識別する
    　ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記学習済みモデルは、前記匂いデータ及び取得条件を入力として、該匂いデータに対応する前記物体が、学習対象とした一の前記物体に該当するか否かを示す識別結果を出力するモデルであり、
    　前記受付部は、前記複数の学習済みモデルから、一又は複数の前記学習済みモデルを選択する選択入力を受け付け、
    　前記識別部は、選択された前記一又は複数の学習済みモデルに基づき、前記物体が、各前記学習済みモデルで学習対象とした各前記物体の何れに該当するかを識別する
    　ことを特徴とする請求項５に記載の情報処理装置。
  7. 　前記第１取得部は、水晶振動子を用いた匂いセンサから前記匂いデータを取得する
    　ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
  8. 　物体の匂いを計測した匂いデータを取得し、
    　前記匂いデータの取得条件を取得し、
    　物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、取得した前記匂いデータ及び取得条件から前記物体を識別する
    　処理をコンピュータが実行することを特徴とする情報処理方法。
  9. 　物体の匂いを計測した匂いデータ、及び該匂いデータの取得条件と、前記匂いデータに対応する正解の物体とを含む訓練データを取得し、
    　前記訓練データに基づき、前記匂いデータ及び取得条件を入力として、前記匂いデータに対応する物体を識別した識別結果を出力とする学習済みモデルを生成する
    　処理をコンピュータが実行することを特徴とする学習済みモデルの生成方法。
  10. 　ユーザからの操作入力に応じて、物体の匂いを計測した匂いデータと、該匂いデータの取得条件とを、前記匂いデータを管理する解析管理装置に出力し、
    　前記解析管理装置が管理する前記匂いデータの一覧を前記解析管理装置から取得して表示部に表示し、
    　前記一覧から、学習対象とする前記匂いデータを選択する選択入力を受け付け、
    　選択された前記匂いデータに対応する正解の物体の入力を受け付け、
    　選択された前記匂いデータ、及び該匂いデータの前記取得条件と、前記正解の物体とに基づく機械学習を前記解析管理装置に要求し、前記匂いデータ及び取得条件から前記物体を識別する学習済みモデルを生成させ、
    　前記一覧から、識別対象とする前記匂いデータを選択する選択入力を受け付け、
    　前記解析管理装置が生成済みの一又は複数の前記学習済みモデルから何れかを選択する選択入力を受け付け、
    　選択された前記学習済みモデルに基づき、選択された前記匂いデータ、及び該匂いデータの前記取得条件から前記物体を識別するよう前記解析管理装置に要求する
    　処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/047343 2018-12-05 2019-12-04 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム Ceased WO2020116490A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020559951A JP7544379B2 (ja) 2018-12-05 2019-12-04 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム
US17/297,842 US12253494B2 (en) 2018-12-05 2019-12-04 Information processing apparatus, information processing method, learned model generation method, and program
CN201980080060.XA CN113167704A (zh) 2018-12-05 2019-12-04 信息处理装置、信息处理方法、学习模型生成方法以及程序
EP19891914.4A EP3892980A4 (en) 2018-12-05 2019-12-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, LEARNING MODEL GENERATION METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862775561P 2018-12-05 2018-12-05
US62/775,561 2018-12-05

Publications (1)

Publication Number Publication Date
WO2020116490A1 true WO2020116490A1 (ja) 2020-06-11

Family

ID=70974661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047343 Ceased WO2020116490A1 (ja) 2018-12-05 2019-12-04 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム

Country Status (5)

Country Link
US (1) US12253494B2 (ja)
EP (1) EP3892980A4 (ja)
JP (1) JP7544379B2 (ja)
CN (1) CN113167704A (ja)
WO (1) WO2020116490A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022016362A (ja) * 2020-07-09 2022-01-21 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022020576A (ja) * 2020-07-20 2022-02-01 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022021339A (ja) * 2020-07-21 2022-02-02 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022021340A (ja) * 2020-07-21 2022-02-02 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022045332A (ja) * 2020-09-08 2022-03-18 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022114254A (ja) * 2021-01-26 2022-08-05 東京瓦斯株式会社 情報処理装置、匂い測定システムおよびプログラム
WO2022176923A1 (ja) 2021-02-16 2022-08-25 株式会社レボーン 情報処理装置及びプログラム
WO2023149097A1 (ja) 2022-02-02 2023-08-10 株式会社レボーン 情報処理装置、プログラム及び検出装置
WO2024004993A1 (ja) 2022-06-28 2024-01-04 株式会社レボーン 情報処理方法、情報処理システム、情報処理装置及びプログラム
WO2024142596A1 (ja) * 2022-12-26 2024-07-04 パナソニックＩｐマネジメント株式会社 匂い識別方法及び匂い識別システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12117463B2 (en) * 2021-12-13 2024-10-15 Google Llc Enabling an automated assistant to leverage odor sensor(s) of client device(s)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0510904A (ja) * 1991-07-05 1993-01-19 Nohmi Bosai Ltd ニオイ識別装置
JPH06160317A (ja) * 1992-11-20 1994-06-07 Nok Corp ガス識別方法とガス識別装置
JP2007022169A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 車両制御装置およびカント状態判定方法
JP2011169830A (ja) * 2010-02-19 2011-09-01 Osaka Prefecture Univ 匂い識別方法
JP2017161300A (ja) 2016-03-08 2017-09-14 株式会社デンソー 乗り物用臭い判別システム
JP2018045517A (ja) * 2016-09-15 2018-03-22 ヤフー株式会社 付与装置、付与方法および付与プログラム
JP2018075255A (ja) * 2016-11-10 2018-05-17 株式会社デンソー 状態推定装置、及び状態推定方法
JP2018146803A (ja) * 2017-03-06 2018-09-20 日本放送協会 音声合成装置及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004059589A2 (en) * 2002-07-19 2004-07-15 Smiths Detection-Pasadena, Inc. Non-specific sensor array detectors
US20060191319A1 (en) * 2004-12-17 2006-08-31 Kurup Pradeep U Electronic nose for chemical sensing
US8064722B1 (en) * 2006-03-07 2011-11-22 The United States Of America As Represented By The Secretary Of The Navy Method and system for analyzing signal-vector data for pattern recognition from first order sensors
CN101226166B (zh) * 2008-01-31 2013-08-14 浙江大学 用于现场检测的低功耗手持式电子鼻系统
KR20110043605A (ko) * 2008-06-23 2011-04-27 아토나프 가부시키가이샤 화학 물질에 관련한 정보를 취급하기 위한 시스템
KR101844787B1 (ko) * 2011-12-19 2018-05-21 한국전자통신연구원 콘텐츠와 냄새인식장치 간의 상호협력 장치 및 방법
CN103728348A (zh) * 2013-12-02 2014-04-16 江苏大学 一种室内空气质量电子鼻
CN103868955A (zh) 2014-04-09 2014-06-18 西南大学 一种便携式车内气体检测系统及方法
KR20160026530A (ko) * 2014-09-01 2016-03-09 엘지전자 주식회사 이동단말기, 이동 단말기의 제어방법 및 사진 인쇄기
US20160106935A1 (en) 2014-10-17 2016-04-21 Qualcomm Incorporated Breathprint sensor systems, smart inhalers and methods for personal identification
WO2016130858A1 (en) * 2015-02-11 2016-08-18 Skytree, Inc. User interface for unified data science platform including management of models, experiments, data sets, projects, actions, reports and features
WO2016145300A1 (en) * 2015-03-11 2016-09-15 Nano Engineered Applications, Inc. Chemical sensor
CN104820072B (zh) * 2015-04-30 2016-03-09 重庆大学 基于云计算的电子鼻空气质量监测系统的监测方法
JP2017182261A (ja) * 2016-03-29 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017094207A1 (ja) * 2015-11-30 2017-06-08 日本電気株式会社 情報処理システム、情報処理方法および情報処理用プログラム
US10163028B2 (en) * 2016-01-25 2018-12-25 Koninklijke Philips N.V. Image data pre-processing
US11042840B2 (en) * 2016-11-17 2021-06-22 Freshub Ltd System and a method for managing inventory
JP6817625B2 (ja) * 2016-12-14 2021-01-20 株式会社グルーヴノーツ サービス構築装置、サービス構築方法及びサービス構築プログラム
KR20180079995A (ko) * 2017-01-03 2018-07-11 주식회사 데일리인텔리전스 머신러닝을 기반으로 데이터를 분석하는 프로그램을 생성하기 위한 방법
KR102150282B1 (ko) * 2017-07-13 2020-09-01 한국전자통신연구원 멀티미디어 콘텐츠와 연관되는 후각 정보 생성 장치 및 방법
KR102040309B1 (ko) * 2017-09-18 2019-11-04 한국전자통신연구원 멀티미디어 콘텐츠와 연관되는 후각 정보 인식 장치 및 방법, 라벨 정보 생성 장치 및 방법
US11598740B2 (en) * 2017-10-03 2023-03-07 Nec Corporation Server apparatus, odor sensor data analysis method, and computer-readable recording medium
JP2019113419A (ja) * 2017-12-22 2019-07-11 太陽誘電株式会社 センシングシステム、車両、プログラム、情報処理装置、情報処理方法およびセンサ装置
CN108680748B (zh) * 2018-05-24 2021-02-26 潍坊歌尔微电子有限公司 基于丙酮传感器的血糖检测仪及其检测方法
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0510904A (ja) * 1991-07-05 1993-01-19 Nohmi Bosai Ltd ニオイ識別装置
JPH06160317A (ja) * 1992-11-20 1994-06-07 Nok Corp ガス識別方法とガス識別装置
JP2007022169A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 車両制御装置およびカント状態判定方法
JP2011169830A (ja) * 2010-02-19 2011-09-01 Osaka Prefecture Univ 匂い識別方法
JP2017161300A (ja) 2016-03-08 2017-09-14 株式会社デンソー 乗り物用臭い判別システム
JP2018045517A (ja) * 2016-09-15 2018-03-22 ヤフー株式会社 付与装置、付与方法および付与プログラム
JP2018075255A (ja) * 2016-11-10 2018-05-17 株式会社デンソー 状態推定装置、及び状態推定方法
JP2018146803A (ja) * 2017-03-06 2018-09-20 日本放送協会 音声合成装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3892980A4

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022016362A (ja) * 2020-07-09 2022-01-21 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP7184968B2 (ja) 2020-07-09 2022-12-06 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP7184969B2 (ja) 2020-07-20 2022-12-06 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022020576A (ja) * 2020-07-20 2022-02-01 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022021339A (ja) * 2020-07-21 2022-02-02 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022021340A (ja) * 2020-07-21 2022-02-02 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP7184974B2 (ja) 2020-07-21 2022-12-06 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP7184975B2 (ja) 2020-07-21 2022-12-06 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022045332A (ja) * 2020-09-08 2022-03-18 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP7560418B2 (ja) 2020-09-08 2024-10-02 三洋化成工業株式会社 匂い物質受容層を形成するための樹脂組成物、それを用いたセンサ素子、匂いセンサおよび匂い測定装置
JP2022114254A (ja) * 2021-01-26 2022-08-05 東京瓦斯株式会社 情報処理装置、匂い測定システムおよびプログラム
JPWO2022176923A1 (ja) * 2021-02-16 2022-08-25
WO2022176923A1 (ja) 2021-02-16 2022-08-25 株式会社レボーン 情報処理装置及びプログラム
JP7576356B2 (ja) 2021-02-16 2024-10-31 株式会社レボーン 情報処理装置及びプログラム
WO2023149097A1 (ja) 2022-02-02 2023-08-10 株式会社レボーン 情報処理装置、プログラム及び検出装置
JP2023113050A (ja) * 2022-02-02 2023-08-15 株式会社レボーン 情報処理装置、プログラム及び検出装置
JP7764030B2 (ja) 2022-02-02 2025-11-05 株式会社レボーン 情報処理装置、プログラム及び検出装置
WO2024004993A1 (ja) 2022-06-28 2024-01-04 株式会社レボーン 情報処理方法、情報処理システム、情報処理装置及びプログラム
WO2024142596A1 (ja) * 2022-12-26 2024-07-04 パナソニックＩｐマネジメント株式会社 匂い識別方法及び匂い識別システム

Also Published As

Publication number Publication date
EP3892980A4 (en) 2022-02-16
US12253494B2 (en) 2025-03-18
JP7544379B2 (ja) 2024-09-03
CN113167704A (zh) 2021-07-23
EP3892980A1 (en) 2021-10-13
JPWO2020116490A1 (ja) 2021-10-21
US20210325343A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US12253494B2 (en) Information processing apparatus, information processing method, learned model generation method, and program
JP7006585B2 (ja) 情報処理装置及び情報処理方法
JP6884116B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Dada et al. Artificial neural network models for rainfall prediction
JP6823612B2 (ja) 予測装置、予測方法、及び予測プログラム
KR102384860B1 (ko) 템플릿이 제공되어 상품 업로드 편의성이 향상된 오픈마켓 플랫폼의 운영방법
KR102547802B1 (ko) 뉴럴 네트워크를 이용하여 화학 구조를 생성하는 장치 및 방법
Mandal et al. Modeling of liquid flow control process using improved versions of elephant swarm water search algorithm
CN119107146B (zh) 一种基于人工智能的交互数据管理方法及系统
JP2022082501A (ja) プログラム、方法、情報処理装置及びシステム
JP6753833B2 (ja) 付与装置、付与方法、付与プログラム、及びプログラム
Zhang et al. State-parameter estimation approach for data-driven wildland fire spread modeling: Application to the 2012 RxCADRE S5 field-scale experiment
CN115470362A (zh) 基于城市时空知识图谱的兴趣点实时推荐方法
JP6377023B2 (ja) 最適化装置、最適化方法および最適化プログラム
Ham et al. Machine learning and dynamic user interfaces in a context aware nurse application environment
CN120260669B (zh) 基于图神经网络的苍术素药理作用靶点预测方法
Priyanka et al. Iot based crop recommendation system using machine learning for smart agriculture
CN114283843B (zh) 神经网络模型融合监测方法及装置
CN109918576B (zh) 一种基于联合概率矩阵分解的微博关注推荐方法
Vijaya et al. Early prediction of at-risk students in higher education institutions using adaptive dwarf mongoose optimization enabled deep learning
US20240127142A1 (en) Method and platform for providing curated work opportunities
Yilmaz Artificial neural networks pruning approach for geodetic velocity field determination
JP7664585B2 (ja) 機械学習装置、データ処理装置、推論装置、機械学習方法、データ処理方法、及び、推論方法
JP2021149606A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN121925664A (zh) 验证装置、推理装置、推理系统以及验证方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891914

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559951

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019891914

Country of ref document: EP

Effective date: 20210705

WWG Wipo information: grant in national office

Ref document number: 17297842

Country of ref document: US