WO2019208564A1 - ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム - Google Patents

ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム Download PDF

Info

Publication number
WO2019208564A1
WO2019208564A1 PCT/JP2019/017216 JP2019017216W WO2019208564A1 WO 2019208564 A1 WO2019208564 A1 WO 2019208564A1 JP 2019017216 W JP2019017216 W JP 2019017216W WO 2019208564 A1 WO2019208564 A1 WO 2019208564A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
model
group
network learning
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/017216
Other languages
English (en)
French (fr)
Inventor
崇史 森谷
山口　義和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2020515482A priority Critical patent/JP7085158B2/ja
Priority to US17/050,265 priority patent/US12159222B2/en
Publication of WO2019208564A1 publication Critical patent/WO2019208564A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the present invention relates to a neural network learning apparatus, a neural network learning method, and a program that sparsely learn model parameters of a neural network.
  • Non-Patent Document 1 is disclosed as an example of a general neural network learning method. Hereinafter, this learning method is referred to as Conventional Technique 1.
  • a method for learning a neural network type acoustic model for speech recognition (hereinafter simply referred to as “acoustic model” or simply “model”) is disclosed. Yes.
  • a pair (teacher data) of a feature quantity (real vector) extracted from each sample of learning data in advance and a correct unit number (correct answer label) corresponding to each feature quantity, and an appropriate initial model are prepared.
  • an initial model a neural network in which a random number is assigned to each parameter, a neural network that has already been learned with different learning data, or the like can be used.
  • the neural network learning apparatus 100 includes an intermediate feature amount extraction unit 101, an output probability distribution calculation unit 102, and a model update unit 103.
  • the operation of each component will be described with reference to FIG.
  • the intermediate feature quantity extraction unit 101 extracts an intermediate feature quantity (formula (1) of Non-Patent Document 1) for making it easy to identify the correct unit in the output probability distribution calculation unit 102 from the input feature quantity (S101). ).
  • the intermediate feature amount extraction unit 101 is constructed by a neural network having a plurality of layers, and performs calculation for extracting intermediate feature amounts by the number of layers.
  • Output probability distribution calculation unit 102 Input: Intermediate feature output: Output probability distribution processing: The output probability distribution calculation unit 102 inputs the intermediate feature amount extracted by the intermediate feature amount extraction unit 101 to the current model, and outputs the probability distribution of the units in the output layer (formula (2 in Non-Patent Document 1) )) Is calculated (S102).
  • the output probability distribution calculation unit 102 calculates which speech output symbol (phoneme state) is an intermediate feature that makes it easy to identify a speech feature, and uses it as a feature of the input speech. Get the corresponding output probability distribution.
  • Model update unit 103 Input: Model (before update), Output probability distribution, Correct unit number
  • model parameters are the weight w and the bias b in Equation (1) of Non-Patent Document 1.
  • model parameters For each pair of learning data features and correct unit numbers, repeat the above extraction of intermediate features ⁇ output probability distribution calculation ⁇ model update process a predetermined number of times (usually tens of millions to hundreds of millions) The model at the time when the iteration is completed is used as the learned model.
  • Non-Patent Document 2 discloses a learning method while reducing the model size in a neural network.
  • this learning method is referred to as Prior Art 2.
  • a loss function in learning of a general neural network is expressed by the following equation.
  • L (w) E (w)
  • E (w) is C in Equation (3) of Non-Patent Document 1
  • w is a model parameter that the intermediate feature amount extraction unit 101 and the output probability calculation unit 102 learn in the prior art 1.
  • learning is performed such that a part of the model parameters of the neural network becomes sparse (a value close to 0) by adding regularization to the above equation.
  • the model parameter update unit is referred to as a sparse model update unit.
  • the model update is executed by The second term ⁇ R (w) of this equation is a regularization term.
  • a regularization term called Ridge (L2) and Group Lasso is used.
  • ⁇ is a hyperparameter for adjusting the influence of the regularization term.
  • the regularization terms of L2 (R L2 (w)) and Group Lasso (R group (w)) when only the weight parameter w in each layer l is updated are shown below.
  • the unit of a group is an element of a neural network (for each row or column of the matrix W).
  • R group (w) is an element of a neural network (for each row or column of the matrix W).
  • Regularization term is a technology that avoids overlearning, and there are various regularization terms depending on the purpose.
  • Group Lasso and Ridge (L2) are used.
  • Non-Patent Document 2 uses Group Lasso to learn to be sparse for each group (eg, each row in the matrix) as determined by the user, and the user decides from the model parameters after learning. It is disclosed that the size of the entire model is reduced by deleting a model parameter of a group having a value smaller than the threshold value.
  • the neural network learning apparatus 200 includes an intermediate feature amount extraction unit 101, an output probability distribution calculation unit 102, and a sparse model update unit 201.
  • the unit 102 executes the same operation as the configuration requirement of the same name in the related art 1.
  • the operation of the sparse model updating unit 201 will be described with reference to FIG.
  • the sparse model updating unit 201 calculates a regularization term ⁇ R (w), calculates a loss function from the correct unit number, output probability distribution, and regularization term ⁇ R (w), and reduces the value of the loss function. And a model that is sparser than the model obtained by the model updating unit 103 that does not perform regularization is output (S201).
  • the sparse model update unit 201 includes a regularization term calculation unit 202 and a model update unit 203.
  • FIG. 6 the operation of each component in the sparse model update unit 201 will be described.
  • the regularization term uses a hyperparameter ⁇ for adjusting the influence on the loss function.
  • Model update unit 203 Input: Model (before update), Output probability distribution, correct answer unit number, regularization term output: Model (after update) processing:
  • the model update unit 203 includes an output probability distribution obtained by inputting a correct unit number (correct label in the teacher data) and an intermediate feature amount corresponding to the correct unit number (correct label in the teacher data) to the neural network model, and regular
  • the prior art 2 proposes a method for reducing the model size by deleting unnecessary model parameters (values close to 0) while learning the model as usual.
  • normal L2 regularization described above
  • the value of the entire parameter decreases (the number of elements close to 0 in the matrix increases), but the model size and the amount of calculation cannot be reduced because it is not possible to delete each row or column.
  • Prior art 2 uses Group Lasso (described above) that makes the norm value of each group close to 0, so that the row or column is grouped, and after learning, the model size is deleted by deleting the row or column whose norm value is close to 0 And reduced the amount of calculation.
  • Group Lasso rows or columns are grouped, and the frequency when the norm value is calculated for each group as shown in FIG. 11A is regarded as a distribution, and the value corresponding to the boundary between the distributions is used as a threshold value.
  • the model size is reduced by deleting the model parameter corresponding to the row or column corresponding to the group whose norm is smaller than the threshold.
  • Group Lasso cannot adjust the frequency distribution of the norm value, there is a problem that the number of model parameters to be reduced cannot be adjusted (Problem 2). Due to the problem 2, it is difficult to adjust the reduction amount of the model size in the method of reducing the model size of the neural network using the current Group Lasso.
  • an object of the present invention is to provide a neural network learning apparatus that can adjust the reduction amount of the model size.
  • the neural network learning device of the present invention includes a group parameter generation unit, a regularization term calculation unit, and a model update unit.
  • the group parameter generation unit divides the model parameters of the neural network model into arbitrarily defined groups, and generates group parameters representing the characteristics of each group.
  • the regularization term calculation unit calculates the regularization term on the assumption that the distribution of the group parameter follows the distribution defined by the hyperparameter that is a parameter that defines the characteristics of the distribution.
  • the model update unit calculates the loss function from the correct label in the teacher data and the output probability distribution obtained by inputting the feature quantity corresponding to the correct label in the teacher data to the neural network model and the regularization term. Update the neural network model to decrease the value.
  • the reduction amount of the model size can be adjusted.
  • FIG. 10 is a flowchart showing the operation of the neural network learning device of the prior art 1; The block diagram which shows the structure of the neural network learning apparatus of the prior art 2.
  • FIG. 10 is a flowchart showing the operation of the neural network learning device of the conventional technique 2; The block diagram which shows the structure of the sparse model update part of the prior art 2.
  • FIG. 9 is a flowchart showing the operation of a sparse model update unit of Conventional Technique 2.
  • 1 is a block diagram illustrating a configuration of a neural network learning device according to a first embodiment.
  • 3 is a flowchart showing the operation of the neural network learning apparatus according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a sparse model update unit according to the first embodiment.
  • 6 is a flowchart illustrating an operation of a sparse model update unit according to the first embodiment.
  • FIG. 11A is a conceptual diagram for explaining the difference between the prior art 2 and the neural network learning apparatus of the first embodiment, and FIG. 11A is a diagram showing an outline of model parameter deletion of the neural network learning apparatus of the prior art 2.
  • FIG. 5B is a diagram illustrating an outline of model parameter deletion of the neural network learning device according to the first embodiment.
  • the regularization technique in the conventional technique 2 is improved.
  • the neural network learning apparatus of the first embodiment can adjust the reduction amount of the model size by introducing a parameter that affects the reduction amount of the model size. it can.
  • the neural network learning apparatus 300 includes an intermediate feature amount extraction unit 101, an output probability distribution calculation unit 102, and a sparse model update unit 301.
  • the operation of the sparse model updating unit 301 will be described with reference to FIG.
  • the sparse model update unit 301 includes a group parameter generation unit 302, a regularization term calculation unit 303, and a model update unit 203.
  • the model update unit 203 performs the same operation as the configuration requirement of the same name in the related art 2.
  • FIG. 10 the operation of each component in the sparse model updating unit 301 will be described.
  • Group Parameter Generation Unit 302 Input: Model (before update), group definition (specific grouping methods such as rows and columns) Output: Group parameter processing: The group parameter generation unit 302 groups the model parameters of the input model (before update) into groups that are arbitrarily defined according to the group definition (a specific grouping method such as rows and columns), and features of each group Is generated (S302). In another expression, the group parameter generation unit 302 defines a group based on the definition of the group for the input model parameter, and acquires a group parameter based on the distribution in the group space. Specific examples of group parameters include, for example, a model parameter as a matrix, and a group definition that defines a group as a row or column of a matrix of model parameters, and a norm value for each row vector or column vector. It is.
  • Regularization term calculation unit 303 Input: Group parameter, Hyperparameter output: Regularization term processing: The regularization term calculation unit 303 calculates the regularization term on the assumption that the distribution of the group parameter follows the distribution defined by the hyperparameter that is a parameter that defines the characteristics of the distribution (S303). The regularization term calculation unit 303 performs processing different from that of the regularization term calculation unit 202 in that the regularization term R proposed (w) that assumes that the group parameter w g follows the distribution as described below is used.
  • w g is an arbitrary parameter (for example, norm) in a group (vector or matrix) that can be arbitrarily determined, and according to the related art 2, an arbitrary parameter (for example, norm) in the row vector or column vector of the matrix of model parameters.
  • ⁇ * ⁇ in the above equation represent a mixed Gaussian distribution
  • j and m represent the number of mixed distributions assuming a group parameter distribution.
  • the mixing weight ⁇ j , average ⁇ j , and variance ⁇ j are hyperparameters for adjusting the distribution of group parameters.
  • the second term is a mixed Laplace distribution
  • the mixture weight ⁇ k , average ⁇ ′ k , and variance ⁇ ′ k are hyperparameters that adjust the reduction amount of the model size in the same manner as the hyperparameter of the first term.
  • the mixing weight ⁇ j , average ⁇ j , and variance ⁇ j represent hyperparameters of an arbitrary distribution function.
  • the amount of model size reduction can be adjusted, and customization such as reducing the model size over Group Lasso while maintaining recognition accuracy is possible. Therefore, in incorporating a model using a neural network into a local system, it is very effective in terms of model size and calculation amount.
  • the apparatus of the present invention includes, for example, a single hardware entity as an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • a communication unit a CPU (Central Processing Unit, may include a cache memory or a register), a RAM or ROM that is a memory, an external storage device that is a hard disk, and an input unit, an output unit, or a communication unit thereof ,
  • the hardware entity may be provided with a device (drive) that can read and write a recording medium such as a CD-ROM.
  • a physical entity having such hardware resources includes a general-purpose computer.
  • the processing functions in the hardware entity (the device of the present invention) described in the above embodiment are realized by a computer, the processing contents of the functions that the hardware entity should have are described by a program. Then, by executing this program on a computer, the processing functions in the hardware entity are realized on the computer.
  • the program describing the processing contents can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • a magnetic recording device a hard disk device, a flexible disk, a magnetic tape or the like, and as an optical disk, a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only) Memory), CD-R (Recordable) / RW (ReWritable), etc., magneto-optical recording media, MO (Magneto-Optical disc), etc., semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. Can be used.
  • this program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device.
  • the computer reads a program stored in its own recording medium and executes a process according to the read program.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer.
  • the processing according to the received program may be executed sequentially.
  • the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. It is good.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).
  • the hardware entity is configured by executing a predetermined program on the computer.
  • a predetermined program on the computer.
  • at least a part of these processing contents may be realized in hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

モデルサイズの削減量を調整することができるニューラルネットワーク学習装置を提供する。ニューラルネットワークモデルのモデルパラメタを、任意に定義したグループにグループ分けし、各グループの特徴を表すグループパラメタを生成するグループパラメタ生成部と、グループパラメタの分布が、分布の特徴を規定するパラメタであるハイパーパラメタによって規定される分布に従うことを仮定して正則化項を計算する正則化項計算部と、教師データにおける正解ラベルと、教師データにおける正解ラベルに対応する特徴量をニューラルネットワークモデルに入力して得られる出力確率分布と、正則化項から損失関数を計算し、損失関数の値を減少させるようにニューラルネットワークモデルを更新するモデル更新部を含む。

Description

ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
　本発明はニューラルネットワークのモデルパラメタをスパースに学習するニューラルネットワーク学習装置、ニューラルネットワーク学習方法、およびプログラムに関する。
＜従来技術１＞
　一般的なニューラルネットワーク学習方法の例として非特許文献１が開示されている。以下、この学習方法を従来技術１と呼称する。非特許文献１の“TRAINING DEEP NEURAL NETWORKS”の節には、音声認識用のニューラルネットワーク型音響モデル（以下、単に「音響モデル」または単に「モデル」とも呼称する）を学習する方法が開示されている。
　従来技術１では、事前に学習データの各サンプルから抽出した特徴量（実数ベクトル）と各特徴量に対応する正解ユニット番号（正解ラベル）のペア（教師データ）、および適当な初期モデルを用意する。初期モデルとしては、各パラメタに乱数を割り当てたニューラルネットワークや、既に別の学習データで学習済みのニューラルネットワークなどが利用できる。
　以下、図１を参照して従来技術１のニューラルネットワーク学習方法を実行する、ニューラルネットワーク学習装置１００の構成について説明する。同図に示すように、ニューラルネットワーク学習装置１００は、中間特徴量抽出部１０１と、出力確率分布計算部１０２と、モデル更新部１０３を含む構成である。以下、図２を参照して、各構成要件の動作について説明する。
［中間特徴量抽出部１０１］
入力：特徴量
出力：中間特徴量
処理：
　中間特徴量抽出部１０１は、入力された特徴量から、出力確率分布計算部１０２において正解ユニットを識別しやすくするための中間特徴量（非特許文献１の式(1)）を抽出する（Ｓ１０１）。この中間特徴量抽出部１０１は複数の層のニューラルネットワークで構築されており、層の数だけ中間特徴量を抽出する計算が行われる。
［出力確率分布計算部１０２］
入力：中間特徴量
出力：出力確率分布
処理：
　出力確率分布計算部１０２は、中間特徴量抽出部１０１で抽出した中間特徴量を現在のモデルに入力して出力層の各ユニットの確率を並べた出力確率分布（非特許文献１の式(2)）を計算する（Ｓ１０２）。
　この出力確率分布計算部１０２では、音声認識の場合、音声の特徴量を識別しやすくした中間特徴量がどの音声の出力シンボル（音素状態）であるかを計算し、入力した音声の特徴量に対応した出力確率分布を得る。
［モデル更新部１０３］
入力：モデル（更新前）、出力確率分布、正解ユニット番号
出力：モデル（更新後）
処理：
　モデル更新部１０３は、正解ユニット番号と出力確率分布計算部１０２より得られる出力確率分布から損失関数L(w)=E(w)（非特許文献１の式(3)）を計算し、損失関数L(w)=E(w)の値を減少させるように（非特許文献１の式(4)によって）モデルを更新する（Ｓ１０３）。
　更新されるニューラルネットワークモデル内のパラメタ（以下、モデルパラメタと呼称する）は非特許文献１の式(1)の重みwとバイアスbである。学習データの特徴量と正解ユニット番号の各ペアに対して、上記の中間特徴量の抽出→出力確率分布計算→モデル更新の処理を繰り返し、所定回数（通常、数千万～数億回）の繰り返しが完了した時点のモデルを学習済みモデルとして利用する。
＜従来技術２＞
　一方、非特許文献２には、ニューラルネットワークにおけるモデルサイズを削減しながら学習する方法が示されている。以下、この学習方法を従来技術２と呼称する。
　一般的なニューラルネットワークの学習における損失関数は以下の式で表される。
L(w)=E(w)
　このE(w)は非特許文献１の式（３）のCであり、wは従来技術１において中間特徴量抽出部１０１および出力確率計算部１０２が学習するモデルパラメタである。非特許文献２では上式に正則化を加えることでニューラルネットワークのモデルパラメタの一部がスパース（0に近い値）となるような学習を行う。従来技術２では、モデルパラメタの更新部をスパースモデル更新部と呼ぶ。スパースモデル更新部は一般的な損失関数に正則化項を加えた式
L(w)=E(w)+λR(w)
によりモデル更新を実行する。この式の第２項λR(w)は正則化項であり、非特許文献２ではRidge（L2）とGroup Lassoと呼ばれる正則化項が用いられる。λは正則化項の影響を調整するためのハイパーパラメタである。以下に各層lにおける重みパラメタwのみを更新する場合のL2（RL2(w)）とGroup Lasso（Rgroup(w)）の正則化項を示す。
Figure JPOXMLDOC01-appb-M000001
　Group Lassoではパラメタ間で任意のグルーピングを行うことが可能であり、非特許文献２ではグループの単位をニューラルネットの素子（行列Wの行あるいは列ごと）としている。Rgroup(w)における
Figure JPOXMLDOC01-appb-M000002
はl層の１つの素子とl-1層の全素子（j=1,…,Nl-1）間のパラメタである重みの和を表している。
　正則化項は本来過学習を避ける技術であり、目的によって様々な正則化項が存在する。非特許文献２の式（２）ではGroup LassoやRidge（L2）を用いている。非特許文献２にはGroup Lassoを用いることで自分で決めたグループ（例：行列における１行ずつをグループとする）ごとにスパースとなるように学習し、学習後のモデルパラメタから利用者が決めた閾値よりも小さい値をもつグループのモデルパラメタを削除することでモデル全体のサイズを削減したことが開示されている。
　以下、図３を参照して従来技術２のニューラルネットワーク学習方法を実行する、ニューラルネットワーク学習装置２００の構成について説明する。同図に示すように、ニューラルネットワーク学習装置２００は、中間特徴量抽出部１０１と、出力確率分布計算部１０２と、スパースモデル更新部２０１を含み、中間特徴量抽出部１０１と、出力確率分布計算部１０２については、従来技術１の同名の構成要件と同じ動作を実行する。以下、図４を参照して、スパースモデル更新部２０１の動作について説明する。
［スパースモデル更新部２０１］
入力：モデル（更新前）、出力確率分布、正解ユニット番号、ハイパーパラメタ
出力：スパースなモデル（更新後）
処理：
　スパースモデル更新部２０１は、正則化項λR(w)を計算し、正解ユニット番号と出力確率分布と正則化項λR(w)から損失関数を計算し、損失関数の値を減少させるようにモデルを更新し、正則化を行わないモデル更新部１０３で得られるモデルよりもスパースなモデルを出力する（Ｓ２０１）。正則化項を用いる場合の損失関数を以下に示す。
L(w)=E(w)+λR(w)
　以下、図５を参照して、スパースモデル更新部２０１の詳細について説明する。同図に示すように、スパースモデル更新部２０１は、正則化項計算部２０２と、モデル更新部２０３を含む構成である。以下、図６を参照して、スパースモデル更新部２０１内の各構成要件の動作について説明する。
［正則化項計算部２０２］
入力：モデル（更新前）、ハイパーパラメタ
出力：正則化項
処理：
　正則化項計算部２０２は、モデルパラメタと、損失関数への影響を調整するためのハイパーパラメタλに基づいて、正則化項λR(w)を計算する（Ｓ２０２）。R(w)は入力するモデルパラメタから算出され、非特許文献２ではL2
Figure JPOXMLDOC01-appb-M000003
やGroup Lasso
Figure JPOXMLDOC01-appb-M000004
が用いられている。正則化項には、損失関数への影響を調整するためのハイパーパラメタλを用いる。
[モデル更新部２０３]
入力：モデル（更新前）、出力確率分布、正解ユニット番号、正則化項
出力：モデル（更新後）
処理：
　モデル更新部２０３は、正解ユニット番号（教師データにおける正解ラベル）と、正解ユニット番号（教師データにおける正解ラベル）に対応する中間特徴量をニューラルネットワークモデルに入力して得られる出力確率分布と、正則化項から損失関数を計算し、損失関数L(w)=E(w)+λR(w)の値を減少させるようにニューラルネットワークモデルを更新する（Ｓ２０３）。
Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patric Nguyen, Tara N. Sainath and Brian Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition," IEEE Signal Processing Magazine, Vol. 29, No 6, pp.82-97, 2012. T. Ochiai, S. Matsuda, H. Watanabe, and S. Katagiri, "Automatic Node Selection for Deep Neural Networks Using Group Lasso Regularization."ICASSP, pp. 5485-48, 2017.
　従来技術１では、ニューラルネットワークの学習は指定したパラメタ数をもとにモデルの構築が行われる。すなわち構築されたモデルのサイズは設計者に依存する。しかしながら、このモデルの内部には不要なパラメタが存在しており、ローカルで動作するための音声認識システムを構築するにはモデルサイズや計算量の面でコストがかかるという課題がある（課題１）。
　この課題１に対して従来技術２ではモデルを従来通り学習しながら不要なモデルパラメタ（０に近い値）を削除することでモデルサイズを削減する方法が提案されている。通常のL2正則化（上述）ではパラメタ全体の値は小さくなる（行列の０に近い要素が増える）が、行あるいは列ごと削除できないためモデルサイズおよび計算量は削減できない。従来技術２ではグループごとのノルムの値を０に近づけるGroup Lasso（上述）を用いることで、行あるいは列をグループとし、学習後にノルムの値が０に近い行あるいは列を削除することでモデルサイズと計算量の削減を実現した。具体的にはGroup Lassoでは行あるいは列をグループとし、図１１の（ａ）に示すようにグループごとにノルムの値を計算したときの頻度を分布とみなし、分布間の境界にあたる値を閾値とし、その閾値よりも小さいノルムとなるグループに該当する行あるいは列に対応するモデルパラメタを削除することでモデルサイズの削減を行う。このとき、Group Lassoではこのノルムの値の頻度の分布を調整できないため、削減するモデルパラメタの数を調整できないという課題がある（課題２）。課題２により、現状のGroup Lassoを用いたニューラルネットワークのモデルサイズ削減方法ではモデルサイズの削減量を調整することは困難である。
　そこで本発明では、モデルサイズの削減量を調整することができるニューラルネットワーク学習装置を提供することを目的とする。
　本発明のニューラルネットワーク学習装置は、グループパラメタ生成部と、正則化項計算部と、モデル更新部を含む。
　グループパラメタ生成部は、ニューラルネットワークモデルのモデルパラメタを、任意に定義したグループにグループ分けし、各グループの特徴を表すグループパラメタを生成する。
　正則化項計算部は、グループパラメタの分布が、分布の特徴を規定するパラメタであるハイパーパラメタによって規定される分布に従うことを仮定して正則化項を計算する。
　モデル更新部は、教師データにおける正解ラベルと、教師データにおける正解ラベルに対応する特徴量をニューラルネットワークモデルに入力して得られる出力確率分布と、正則化項から損失関数を計算し、損失関数の値を減少させるようにニューラルネットワークモデルを更新する。
　本発明のニューラルネットワーク学習装置によれば、モデルサイズの削減量を調整することができる。
従来技術１のニューラルネットワーク学習装置の構成を示すブロック図。 従来技術１のニューラルネットワーク学習装置の動作を示すフローチャート。 従来技術２のニューラルネットワーク学習装置の構成を示すブロック図。 従来技術２のニューラルネットワーク学習装置の動作を示すフローチャート。 従来技術２のスパースモデル更新部の構成を示すブロック図。 従来技術２のスパースモデル更新部の動作を示すフローチャート。 実施例１のニューラルネットワーク学習装置の構成を示すブロック図。 実施例１のニューラルネットワーク学習装置の動作を示すフローチャート。 実施例１のスパースモデル更新部の構成を示すブロック図。 実施例１のスパースモデル更新部の動作を示すフローチャート。 従来技術２と実施例１のニューラルネットワーク学習装置の違いを説明する概念図であって、図１１（ａ）は、従来技術２のニューラルネットワーク学習装置のモデルパラメタ削除の概要を示す図、図１１（ｂ）は、実施例１のニューラルネットワーク学習装置のモデルパラメタ削除の概要を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　実施例１のニューラルネットワーク学習装置では、従来技術２における正則化技術を改善した。従来技術２ではモデルサイズの削減量を定義できなかったが、実施例１のニューラルネットワーク学習装置ではモデルサイズの削減量に影響するパラメタを導入することにより、モデルサイズの削減量を調整することができる。
　以下、図７を参照して実施例１のニューラルネットワーク学習装置３００の構成について説明する。同図に示すように、ニューラルネットワーク学習装置３００は、中間特徴量抽出部１０１と、出力確率分布計算部１０２と、スパースモデル更新部３０１を含み、中間特徴量抽出部１０１と、出力確率分布計算部１０２については、従来技術１、従来技術２の同名の構成要件と同じ動作を実行する。以下、図８を参照して、スパースモデル更新部３０１の動作について説明する。
［スパースモデル更新部３０１］
入力：モデル（更新前）、出力確率分布、正解ユニット番号
出力：スパースなモデル（更新後）
処理：
　スパースモデル更新部３０１は、グループパラメタと正則化項λR(w)を生成し、正解ユニット番号と出力確率分布とグループパラメタと正則化項λR(w)から損失関数を計算し、損失関数の値を減少させるようにモデルを更新し、スパースなモデルを出力する（Ｓ３０１）。
　以下、図９を参照して、スパースモデル更新部３０１の詳細について説明する。同図に示すように、スパースモデル更新部３０１は、グループパラメタ生成部３０２と、正則化項計算部３０３と、モデル更新部２０３を含む構成である。モデル更新部２０３は、従来技術２における同名の構成要件と同じ動作を実行する。以下、図１０を参照して、スパースモデル更新部３０１内の各構成要件の動作について説明する。
［グループパラメタ生成部３０２］
入力：モデル（更新前）、グループの定義（行、列といった具体的なグルーピングの方法）
出力：グループパラメタ
処理：
　グループパラメタ生成部３０２は、入力したモデル（更新前）のモデルパラメタを、上記グループの定義（行、列といった具体的なグルーピングの方法）によって任意に定義したグループにグループ分けし、各グループの特徴を表すグループパラメタを生成する（Ｓ３０２）。別の表現では、グループパラメタ生成部３０２は、入力したモデルパラメタに対して、上記グループの定義によってグループを定義し、グループ空間における分布に基づくグループパラメタを取得する。グループパラメタの具体例としては、例えば、モデルパラメタを行列とし、グループの定義により、グループをモデルパラメタの行列のうちの行または列と定義したときに、行ベクトルまたは列ベクトルごとのノルムの値などである。
［正則化項計算部３０３］
入力：グループパラメタ、ハイパーパラメタ
出力：正則化項
処理：
　正則化項計算部３０３は、グループパラメタの分布が、分布の特徴を規定するパラメタであるハイパーパラメタによって規定される分布に従うことを仮定して正則化項を計算する（Ｓ３０３）。正則化項計算部３０３は、以下に示すようなグループパラメタwgが分布に従うことを仮定した正則化項Rproposed(w)を用いる点において、正則化項計算部２０２と異なる処理を実行する。
Figure JPOXMLDOC01-appb-M000005
wgは任意に決めることができるグループ（ベクトルあるいは行列）における任意のパラメタ（例えばノルム）であり、従来技術２に合わせるとモデルパラメタの行列の行ベクトルあるいは列ベクトルにおける任意のパラメタ（例えばノルム）を示す。上式の括弧｛＊｝内は混合ガウス分布を表しており、jおよびmはグループパラメタの分布を仮定した場合の分布の混合数を表す。混合重みαj、平均μj、分散σjはグループパラメタの分布を調整するためのハイパーパラメタであり、これらのハイパーパラメタを調整（例：混合重みαjの比を変えることで平均μjに属するパラメタの重要度を調整）することでモデルサイズの削減量を調整することが可能となる。また、上式では混合ガウス分布を仮定したが実際はガウス分布以外に任意の分布を組み合わせることが可能である。ラプラス分布とガウス分布を組み合わせた場合の正則化項を以下に示す。
Figure JPOXMLDOC01-appb-M000006
　第二項は混合ラプラス分布であり、混合重みβk，平均μ'k，分散σ'kも第一項のハイパーパラメタ同様にモデルサイズの削減量を調整するハイパーパラメタである。上式では微分不可能な点を持つラプラス分布を用いることも可能であることを示しているが実利用では全区間で微分可能であることが望ましい。最後に任意の分布関数F(*)を用いて一般化した場合を以下に示す。
Figure JPOXMLDOC01-appb-M000007
混合重みαj、平均μj、分散σjは任意の分布関数のハイパーパラメタを表す。
　従来技術２におけるGroup Lassoによるグループ正則化は行や列をグループとしているがグループパラメタの分布は仮定しておらず、分布の形状などの調整はできない。従来技術２におけるGroup Lassoによるグループ正則化では、図１１（ａ）に示すように、モデルの更新に伴って分布の形状は一通りに収束していくため、削除対象となるグループと残すグループの区分の方法が１通りに限定される。そのため、Group Lassoはグループ空間上におけるモデルパラメタの正則化は可能であるが、グループパラメタの分布を調整するような仕組みが定義されていないため分布の大きさなどを調整できず、不要なモデルパラメタの量を調整することが不可能である。
　一方、本実施例のニューラルネットワーク学習装置３００によるグループ正則化では、図１１（ｂ）に示すように、グループパラメタの分布の特徴を規定するハイパーパラメタ（例：混合重み、平均、分散など）を生成したため、削除対象となるグループ、残すグループの各分布の形状をカスタマイズすることができ、削除対象となるモデルパラメタの量を調整することができる。
＜効果＞
　本実施例のニューラルネットワーク学習装置３００により作成したニューラルネットワークを用いることでモデルサイズの削減量を調整することができ、認識精度を維持しながらGroup Lassoよりもモデルのサイズを削減するといったカスタマイズが可能となるため、ニューラルネットワークを用いたモデルをローカルのシステムに組み込む上でモデルサイズおよび計算量の面で非常に効果的である。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

  1. 　ニューラルネットワークモデルのモデルパラメタを、任意に定義したグループにグループ分けし、各グループの特徴を表すグループパラメタを生成するグループパラメタ生成部と、
    　前記グループパラメタの分布が、分布の特徴を規定するパラメタであるハイパーパラメタによって規定される分布に従うことを仮定して正則化項を計算する正則化項計算部と、
    　教師データにおける正解ラベルと、前記教師データにおける前記正解ラベルに対応する特徴量を前記ニューラルネットワークモデルに入力して得られる出力確率分布と、前記正則化項から損失関数を計算し、損失関数の値を減少させるように前記ニューラルネットワークモデルを更新するモデル更新部を含む
    　ニューラルネットワーク学習装置。
  2. 　請求項１に記載のニューラルネットワーク学習装置であって、
    　前記モデルパラメタを行列とし、前記グループを前記モデルパラメタの行列のうちの行または列とし、前記グループパラメタを行ベクトルまたは列ベクトルのノルムとした
    　ニューラルネットワーク学習装置。
  3. 　請求項１または２に記載のニューラルネットワーク学習装置であって、
    　前記ハイパーパラメタは、混合重み、平均、分散のうち少なくとも何れか一つを含む
    　ニューラルネットワーク学習装置。
  4. 　ニューラルネットワーク学習装置が実行するニューラルネットワーク学習方法であって、
    　ニューラルネットワークモデルのモデルパラメタを、任意に定義したグループにグループ分けし、各グループの特徴を表すグループパラメタを生成するステップと、
    　前記グループパラメタの分布が、分布の特徴を規定するパラメタであるハイパーパラメタによって規定される分布に従うことを仮定して正則化項を計算するステップと、
    　教師データにおける正解ラベルと、前記教師データにおける前記正解ラベルに対応する特徴量を前記ニューラルネットワークモデルに入力して得られる出力確率分布と、前記正則化項から損失関数を計算し、損失関数の値を減少させるように前記ニューラルネットワークモデルを更新するステップを含む
    　ニューラルネットワーク学習方法。
  5. 　請求項４に記載のニューラルネットワーク学習方法であって、
    　前記モデルパラメタを行列とし、前記グループを前記モデルパラメタの行列のうちの行または列とし、前記グループパラメタを行ベクトルまたは列ベクトルのノルムとした
    　ニューラルネットワーク学習方法。
  6. 　請求項４または５に記載のニューラルネットワーク学習方法であって、
    　前記ハイパーパラメタは、混合重み、平均、分散のうち少なくとも何れか一つを含む
    　ニューラルネットワーク学習方法。
  7. 　コンピュータを、請求項１から３の何れかに記載のニューラルネットワーク学習装置として機能させるプログラム。
PCT/JP2019/017216 2018-04-26 2019-04-23 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム Ceased WO2019208564A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020515482A JP7085158B2 (ja) 2018-04-26 2019-04-23 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
US17/050,265 US12159222B2 (en) 2018-04-26 2019-04-23 Neural network learning apparatus, neural network learning method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-084760 2018-04-26
JP2018084760 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019208564A1 true WO2019208564A1 (ja) 2019-10-31

Family

ID=68295050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017216 Ceased WO2019208564A1 (ja) 2018-04-26 2019-04-23 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム

Country Status (3)

Country Link
US (1) US12159222B2 (ja)
JP (1) JP7085158B2 (ja)
WO (1) WO2019208564A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275183A (zh) * 2020-01-14 2020-06-12 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN113762327A (zh) * 2020-06-05 2021-12-07 宏达国际电子股份有限公司 机器学习方法、机器学习系统以及非暂态电脑可读取媒体
WO2022007349A1 (zh) * 2020-07-09 2022-01-13 中国科学院深圳先进技术研究院 一种神经网络调优方法、系统、终端以及存储介质
WO2025178022A1 (ja) * 2024-02-22 2025-08-28 国立大学法人 東京大学 タイムストレッチ分光装置及びタイムストレッチ分光法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160040236A1 (en) * 2013-03-15 2016-02-11 Biogen Ma Inc. Systems and methods for characterization of multiple sclerosis
CN110378731B (zh) * 2016-04-29 2021-04-20 腾讯科技（深圳）有限公司 获取用户画像的方法、装置、服务器及存储介质
US20180121814A1 (en) * 2016-10-31 2018-05-03 Microsoft Technology Licensing, Llc Hyperparameter tuning
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
CN110832596B (zh) * 2017-10-16 2021-03-26 因美纳有限公司 基于深度学习的深度卷积神经网络训练方法
US11295232B2 (en) * 2017-10-30 2022-04-05 Microsoft Technology Licensing, Llc Learning the structure of hierarchical extraction models

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCARDAPANE, S. ET AL., GROUP SPARSE REGULARIZATION FOR DEEP NEURAL NETWORKS, 2 July 2016 (2016-07-02), pages 1 - 10, XP029946330, Retrieved from the Internet <URL:URL:https://arxiv.org/pdf/1607.00485.pdf> [retrieved on 20190610] *
U, X. F. ET AL., BAYESIAN VARIABLE SELECTION AND ESTIMATION FOR GROUP LASSO, vol. 10, no. 4, 3 December 2015 (2015-12-03), pages 909 - 936, XP055648755, Retrieved from the Internet <URL:https://arxiv.org/pdf/1512.01013.pdf> [retrieved on 20190610] *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275183A (zh) * 2020-01-14 2020-06-12 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN111275183B (zh) * 2020-01-14 2023-06-16 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN113762327A (zh) * 2020-06-05 2021-12-07 宏达国际电子股份有限公司 机器学习方法、机器学习系统以及非暂态电脑可读取媒体
WO2022007349A1 (zh) * 2020-07-09 2022-01-13 中国科学院深圳先进技术研究院 一种神经网络调优方法、系统、终端以及存储介质
WO2025178022A1 (ja) * 2024-02-22 2025-08-28 国立大学法人 東京大学 タイムストレッチ分光装置及びタイムストレッチ分光法

Also Published As

Publication number Publication date
US20210081792A1 (en) 2021-03-18
US12159222B2 (en) 2024-12-03
JP7085158B2 (ja) 2022-06-16
JPWO2019208564A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
US11081105B2 (en) Model learning device, method and recording medium for learning neural network model
US20210303970A1 (en) Processing data using multiple neural networks
US20210073641A1 (en) Learning device, learning system, and learning method
JP7085158B2 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
US12099955B2 (en) Machine learning models based methods and systems for determining prospective acquisitions between business entities
JP6925546B1 (ja) 演算システム、情報処理装置、および最適解探索処理方法
JP6827911B2 (ja) 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム
US20220405639A1 (en) Information processing apparatus, information processing method and program
US12182711B2 (en) Generation of neural network containing middle layer background
JP7624420B2 (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
CN111967941B (zh) 一种构建序列推荐模型的方法和序列推荐方法
CN118922838A (zh) 使用深度强化学习的合成数据生成
US20180082167A1 (en) Recurrent neural network processing pooling operation
CN115936802A (zh) 基于用户画像和序列建模的个性化营销方法、装置、设备和存储介质
JP7036054B2 (ja) 音響モデル学習装置、音響モデル学習方法、プログラム
JP7425210B2 (ja) 情報処理システムおよび最適解探索処理方法
CN116304607A (zh) 用于使用深度强化学习进行预测建模的自动特征工程
US20220004868A1 (en) Acoustic model learning apparatus, model learning apparatus, method and program for the same
US11321424B2 (en) Predicting variables where a portion are input by a user and a portion are predicted by a system
WO2019194128A1 (ja) モデル学習装置、モデル学習方法、プログラム
US20220092380A1 (en) Optimization device, optimization method, and computer-readable recording medium storing optimization program
JP2019095599A (ja) 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム
Zhu et al. A hybrid model for nonlinear regression with missing data using quasilinear kernel
JP7470019B2 (ja) 情報処理システム
CN117112858A (zh) 基于关联规则挖掘的对象筛选方法、处理器及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19791569

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020515482

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19791569

Country of ref document: EP

Kind code of ref document: A1