WO2007142102A1 - 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム - Google Patents

言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム Download PDF

Info

Publication number
WO2007142102A1
WO2007142102A1 PCT/JP2007/061023 JP2007061023W WO2007142102A1 WO 2007142102 A1 WO2007142102 A1 WO 2007142102A1 JP 2007061023 W JP2007061023 W JP 2007061023W WO 2007142102 A1 WO2007142102 A1 WO 2007142102A1
Authority
WO
WIPO (PCT)
Prior art keywords
language model
word string
learning
reliability
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/061023
Other languages
English (en)
French (fr)
Inventor
Tadashi Emori
Yoshifumi Onishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008520518A priority Critical patent/JP5088701B2/ja
Priority to US12/302,962 priority patent/US8831943B2/en
Priority to EP07744435A priority patent/EP2026327A4/en
Publication of WO2007142102A1 publication Critical patent/WO2007142102A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models

Definitions

  • Language model learning system language model learning method, and program for language model learning
  • the present invention relates to a language model learning system for speech recognition, a language model learning method, and a program for language model learning, which use a discriminatory criterion to learn a language model, so that the accuracy is higher than that of the conventional method.
  • Language model a high-accuracy speech recognition system can be constructed by using it as a speech recognition system, a language model learning system, a language model learning method, and a program for language model learning
  • a language model is represented by an N-gram model (N-gram model).
  • N-gram model the probability of appearance of a word string consisting of N words is the probability that the N-th word appears next to the word string of (N-1) words as a history.
  • an N-gram model is a large amount of text data, a learning corpus (co ⁇ ). If there is us, it can be calculated by maximum likelihood estimation.
  • the conventional language model learning system comprises text data storage means 107, word string count means 105, language model parameter update means 301, and language model storage means 110.
  • Word string number counting means 105 extracts all word strings consisting of N words of text data power, which is a learning corpus (co us us) stored in text data storage means 107, and the word strings thereof Calculate the number of occurrences for each type of. For example, for the word string “ 0 f the” in which two words “0 and 411 ⁇ 2” are linked, the number of occurrences of “of the” is calculated from the text data. Ru.
  • the language model parameter updating means 301 divides the number of occurrences of the target word string by the total number of word strings to calculate the occurrence probability of the word string. That is, the appearance probability of the word string “ 0 f the” corresponds to the number of occurrences of the word string “of the” divided by the total number of 2-word chains.
  • P (of) represents the probability that the word "of” appears.
  • Non-Patent Document 1 "Language and Computation 4: Probabilistic Language Model", The University of Tokyo Press, 1999, Kenji Kita
  • the first problem of the conventional language model learning system is that the maximum likelihood estimation, which is the conventional language model learning method, does not take into consideration the word error rate and the like used as an evaluation measure for speech recognition. Therefore, even if speech recognition is performed based on the language model learned by this conventional method, it is possible that reliable recognition results may not be obtained.
  • the second problem is that the maximum likelihood learning method, which is a conventional language model learning method, does not consider the influence of the acoustic model at the time of learning of the language model. It is a point which can not optimize simultaneously or sequentially, in consideration of influence.
  • An object of the present invention is to train a language model on a discriminatory standard related to a word error rate or the like used as an evaluation standard of speech recognition. Also, another object of the present invention is
  • the language model learning system of the present invention stores language model storage means for storing a language model for speech recognition and learning speech data stored in advance in the language model storage means.
  • a recognition unit that performs speech recognition using the assumed language model and outputs a recognition result
  • a reliability calculation unit that calculates the reliability of each word string in the recognition result
  • each calculated by the reliability calculation unit And language model parameter updating means for updating parameters of the language model stored in the language model storage means based on the reliability of the word string.
  • the language parameter updating means updates the parameters of the language model according to the discriminatory criteria related to the criteria used for evaluation of speech recognition. Since the language model learning is performed, a reliable language model can be constructed, and high-accuracy speech recognition can be realized.
  • the degree of reliability of each word ⁇ IJ calculated by the degree of reliability calculation means is the posterior probability of each word string calculated from the recognition result, and the signal of the audio signal corresponding to each word string It is also possible to construct a language model with high reliability in the same manner by using a power of noise ratio, duration of each word string and expected duration, or a combination of these. it can.
  • the language model learning system further includes a word string counting means for calculating the number of all word strings in the text data for learning corresponding to the voice data for learning and the number of appearances of each word string,
  • the parameter updating means calculates the appearance frequency of each word from the total number of word strings calculated by the word string counting means and the appearance frequency of each word string, and the appearance frequency of each word string and the reliability calculation means
  • the language model stored in the language model storage means may be updated based on the calculated degree of reliability of each word string.
  • the language model parameter updating means corrects the appearance frequency of the word string corresponding to this to a large value, and the correction is performed.
  • the parameters of the language model stored in the language model storage means may be updated based on the frequency of occurrence.
  • the parameter ⁇ of the language model corresponding to the word string ⁇ is calculated according to the equation [1] and the parameter is updated to the calculated value
  • the language model learning system may further include acoustic model learning means for updating an acoustic model using speech data for learning and an initial acoustic model.
  • acoustic model learning means and the language model parameter updating means respectively learn the acoustic model and the language model based on the unified discriminatory criteria. Therefore, both acoustic and language models can be optimized simultaneously.
  • the sound model learning means may perform learning of the sound model using a mutual information criterion.
  • the language model learning method of the present invention comprises a recognition step of speech recognition of training speech data using a language model stored in advance and outputting a recognition result, and reliability of each word string in the recognition result. And a language model parameter updating step of updating the parameters of the language model based on the reliability of each word string.
  • the language model parameters may be updated so that the reliability of each word string in the recognition result is maximized.
  • the parameters of the language model are updated according to the discriminatory criteria related to the criteria used for evaluating the speech recognition, as in the language model learning system described above.
  • the language model learning program includes a recognition process of performing speech recognition of learning speech data using a language model stored in advance and outputting a recognition result;
  • the feature is that the computer executes a reliability calculation process for calculating the reliability of each word string, and a language model parameter update process for updating the parameter of the language model using the reliability of each word string.
  • the language model parameter updating process may be specified as updating the parameters of the language model so that the reliability of each word string in the recognition result is maximized.
  • the language model described above is caused to cause the computer to execute the language model parameter update process according to the discriminatory criteria related to the criteria used for evaluation of speech recognition. Similar to a learning system, a highly reliable language model can be constructed, and highly accurate speech recognition can be realized.
  • the parameters of the language model are updated according to the reliability of each word string in the recognition result of the speech recognition, ie, the discriminatory criteria related to the criteria used for evaluating the speech recognition. Since model learning is performed, it is possible to construct a reliable language model that can realize high-accuracy speech recognition.
  • FIG. 1 is a functional block diagram showing the configuration of the language model learning system 10.
  • Language model learning system: L0 includes a language model learning unit 100, a text data storage unit 107, a sound model storage unit 109, a language model storage unit 110, and a learning end determination unit 106.
  • Language model learning means 100 includes recognition means 101, recognition result storage means 102, reliability calculation means 103, acoustic model storage means 109, language model parameter update means 104, and word string count means 105. There is.
  • the text data storage unit 107 stores learning text data for learning a language model
  • the speech data storage unit 108 stores learning speech data for learning a language model.
  • the text data stored in the text data storage means 107 may be a function of transcribing voice data stored in the voice data storage unit 108, or Conversely, voice data is a reading of text data.
  • the voice data for learning stored in the voice data storage unit 108 is, for example, data obtained by A / D converting an analog voice signal into a sampling frequency of 44. 1 kHz and 16 bits per sample.
  • the acoustic model storage unit 109 stores an acoustic model.
  • This acoustic model is a probabilistic model that expresses the acoustic features of the voice for each phoneme, for example, “HTK Book,” which is a manual manual for the Hidden Markov Model (HMM) published by Cambridge University. for HTK Version.3.3 This is an HMM described on pages 35 to 40 of Young et al. (hereinafter referred to as “Reference 2”).
  • the language model storage unit 110 stores language models.
  • This language model is the probability of simultaneous appearance taking into account the order in which the words appear. That is, it is a digitization of the ease of linking words to words.
  • a language model of a word string consisting of N words is represented by P (w [l], w [2],..., W [N]). This indicates the appearance probability of a word string that continues to the word w [2] and the word w [N] following the word w [l].
  • the recognition unit 101 uses the acoustic model stored in the acoustic model storage unit 109 and the language model stored in the language model storage unit 110 to obtain the learning speech stored in the speech data storage unit 108.
  • the data is voice-recognized and the recognition result is output.
  • the speech recognition process executed by the recognition unit 101 can be roughly divided into acoustic analysis and search, and the acoustic analysis is a process of calculating the feature quantity of speech data, and is performed from page 55 of reference 1 As described on page 66, mel cepstrum, power, and so on are calculated by performing pre-emphasis, window function, FFT (Fast Fourier Transform), filter bank, logarithmic conversion, and cosine transform in this order on voice data. Calculate the time change amount.
  • search Uses the feature quantities of the speech data and the acoustic model to calculate the acoustic likelihood of the word, and outputs a word with high acoustic likelihood as a recognition result.
  • the output form of the recognition result is a word graph form as shown in FIG.
  • the word graph in Fig. 3 (a) is similar to the SLF (HTK Standard Lattice Format) described on pages 333 to 337 of reference 1 and includes nodes (I1 to I5) and bars represented by circles. It consists of an arc represented by a line. The word is attached to the arc and is shown by a to g in Fig. 3 (a).
  • the word graph actually output from the recognition means 101 is output as text as shown in FIG. 3 (b), and the node time, the start and end nodes of each arc, the word, and the acoustic likelihood are output.
  • the recognition result storage means 102 stores word phrases that are recognition results output from the recognition means 101.
  • Confidence degree calculation means 103 recognizes the word string ⁇ for the observation time series of the voice ⁇ .
  • r J Calculate reliability based on the recognition result, which is a value representing whether or not it has been recognized.
  • the degree of confidence approaches 1 for the correct word string and approaches 0 for the incorrect word if both the acoustic model and the language model can be constructed with high accuracy.
  • the word string counting unit 105 extracts the word ⁇ IJ from the text data stored in the text data storage unit 107, and calculates the number of occurrences of each word string type. For example, “(( ⁇ and! ⁇ Are concatenated word string! ⁇ K Calculate how many times it appeared in the text data for learning.
  • Language model parameter updating means 104 updates parameters of the language model using the formula [1].
  • N indicates the number of occurrences of the word string ⁇ in the text data for learning
  • R indicates the total number of word strings having the same number of words as ⁇ included in the text for learning
  • D is a constant
  • p is the value of the language model before updating
  • p ( ⁇ I I) is the recognition result Shows the reliability of the word string ⁇ when the observation time series O is observed.
  • the word posterior probability is “Frank vVessel, alf chluter, Kalus Macherey, ans Herman Ney, onfide nce Measures for Large Vocabulary Continuos Speech Recognition, IEEE Trans, on Speech and Audio Processing. Vol 9, No. 3, March 2001 ( Hereinafter, it can be calculated using the method described in "Reference 2").
  • o is the feature amount of the word c, and is 0 if it represents the feature amount of the entire section.
  • I c) is the acoustic likelihood of the word c, P (c
  • L I az represents the appearance probability of the word string composed of the words z ⁇ a ⁇ c in the order.
  • the forward probability ⁇ of the word c is the sum of all the products of the forward probability and the language probability of all the words connected to the beginning of the word a.
  • Backward probability / 3 is expressed by the following expression.
  • the backward probability / 3 of the word c is such that the relationship between c, e, z ′, etc. is reversed as compared to the forward probability represented by the equation 2. ing.
  • ⁇ z is a total mouth of all words connected to the beginning of word a
  • z ' represents the sum of all words connected to the end of word e
  • P (O) is the acoustic likelihood of all observation time series ⁇
  • o) of the word c in the recognition result is a value indicating how much the word c matched with the observation time series O compared with the word d or h etc (see Fig. 3) in the same section. It is normalized to a value of 0-1.
  • the posterior probability of the word c can be calculated even if the word c is composed of two words.
  • the reliability of the word string ⁇ for the sequence O, and the woman 1] formula is used as text data for learning.
  • parameter updating of the language model depends on the recognition performance of the recognition means 101.
  • the parameter of the language model is updated using the posterior probability as the reliability, but if it is a measure that satisfies the above-mentioned property, what kind of reliability may be used.
  • the signal noise ratio (SNR: signa ⁇ to-noise ratio) of the speech signal for each word string, the ratio of the duration of the word string to the expected duration, or the like may be used as the reliability.
  • the signal-to-noise ratio of the speech signal of the target word string is combined and used as the reliability. It is good.
  • the denominator on the right side of the equation [1] and the ⁇ ( ⁇ I ⁇ ) of the numerator may be replaced with '′ ( ⁇ I)) calculated by the following equation [6].
  • a B C is a factor
  • the learning end determination means 106 calculates the posterior probability of all speech data, and takes the sum SUM [t]. Then, the sum of word posterior probabilities before updating the language model from SUM [t] minus SUM [t – 1] divided by SUM [t] is taken as the learning progress factor T. If the learning progress coefficient T exceeds a predetermined threshold,
  • the learning of the word model is retried, and the learning of the language model is ended if the value is below the threshold.
  • FIG. 2 is a flow chart showing the operation of the language model learning system 10.
  • recognition means 101 is stored in speech data storage means 108 using the acoustic model stored in acoustic model storage means 109 and the language model stored in language model storage means 10.
  • the speech data for learning is recognized, and the recognition result is output as a recognition result storage means 102.
  • the acoustic model and the language model used here may be those whose parameter values have been learned by any learning method, and may be completely random numbers, as long as they have the above-mentioned format.
  • the recognition result to be output is a word graph.
  • reliability calculation means 103 uses the recognition result stored in recognition result storage means 102 and the language model stored in language model storage means 1 10 to post-process each word string. Calculate the probability. This calculation operation is performed on all the recognition results by the recognition means 101.
  • the word string counting means 105 is stored in the text data storage means. The number of target word strings is counted from the learning text data.
  • language model parameter updating means 104 calculates the posterior probability of the word string calculated by reliability calculation means 103 and the numerical value counted by word string counting means 105 as [Equation 1] Substituting in, the probability value of the language model is calculated and updated.
  • the language model updated here is one that can be used for speech recognition.
  • the learning end determination means 106 calculates the word posterior probability for all learning data using the language model parameters updated by the language model parameter updating means 104, and based on that, the learning prognostic factor is If T is below the threshold, linguistic modeling
  • Step 1 If the operation of the learning system 10 is finished and the learning progress coefficient T exceeds the threshold, Step 2
  • the language model parameter updating means 104 determines the reliability of the word string in the recognition result, that is, the discriminatory criteria related to the criteria used for evaluating the speech recognition.
  • the language model is trained by updating the parameters of the language model. Therefore, it is possible to construct a language model for realizing high-accuracy speech recognition.
  • FIG. 4 is a functional block diagram showing the configuration of the language model learning system 20.
  • the language model learning system 20 includes an acoustic model learning means 200 in addition to the configuration of the language model learning system 10 disclosed in FIG.
  • the acoustic model learning means 200 uses the speech data for learning stored in the voice data storage means 108, the acoustic model stored in the acoustic model storage means 109, and the language model stored in the language model storage means 1 10. Learn the acoustic model.
  • MMIE learning of large vocabulary recognition described in pages 303 to 314 of Volume 22 of Speech Communication 1997.
  • Veltchev, JJ Odell, PC Woodland , SJ Yang, "MMIE training of large vocabulary recognition systems,""Speech Communication, vol. 22, 303-314, 1997” (hereinafter referred to as "Reference 3").
  • Use estimation based on mutual information criteria Learning acoustic models based on mutual information criteria will be explained based on pages 308 to 309 of reference 3.
  • the acoustic model learning unit 200 first performs speech recognition on learning speech data stored in the speech data storage unit 108 using the acoustic model and the language model.
  • the recognition result is output as a word graph, and the posterior probability of each word string is calculated based on the recognition result.
  • FIG. 5 is a flowchart showing the operation of the language model learning system 20.
  • Step 102 the acoustic model updated in Step 110, the language model stored in the language model storage unit 110, the learning speech data stored in the speech data storage unit 108, and the text data storage unit 107 are stored.
  • the language model parameters are updated as in the first embodiment using the learning text data.
  • the learning completion judging means 106 uses language model parameters. The sum of the posterior probability of each word string based on the recognition result after the data update SUM [t] minus the sum before the update SUM [t-1] divided by the SUM [t] When the learning progress coefficient Tp exceeds a predetermined threshold value, the learning is repeated from SteplOl. If the coefficient Tp falls below the threshold value, the learning of the language model is ended.
  • Equations (4), (5), and Equation (8), described on page 306, which are described on page 305 of reference document 3, are derived from the above-described expression 1).
  • the language model learning system 20 includes the acoustic model learning unit 200, and learns the acoustic model and the language model on the basis of unified discriminatory criteria. Therefore, both acoustic and language models can be optimized simultaneously, and acoustic and language models can be constructed to realize high-accuracy speech recognition.
  • FIG. 1 is a block diagram showing the configuration of a language model learning system according to a first embodiment of the present invention.
  • FIG. 2 is a flow chart showing the operation of the language model learning system disclosed in FIG.
  • FIG. 3 is a view for explaining an example of a word graph which is a recognition result output from the recognition means disclosed in FIG. 1;
  • FIG. 4 is a block diagram showing the configuration of a language model learning system according to a second embodiment of the present invention.
  • FIG. 5 is a flow chart showing the operation of the language model learning system disclosed in FIG. 4;
  • FIG. 6 is a block diagram showing a language model learning system configured by the prior art. Explanation of sign

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Description

明 細 書
言語モデル学習システム、言語モデル学習方法、および言語モデル学習 用プログラム
技術分野
[0001] 本発明は音声認識における言語モデノレ学習システム、言語モデル学習方法およ び言語モデル学習用プログラムに関し、識別的な基準を用いて言語モデルの学習を 行うため、従来の方法よりも高精度な言語モデルを構築でき、これを音声認識システ ムに用いることで高精度な音声認識システムを構築できることができる、言語モデル 学習システム、言語モデル学習方法、および言語モデル学習用プログラムに関する 背景技術
[0002] 従来の技術を用いた言語モデルの学習方法を述べる。
[0003] 従来の言語モデルの学習方法においては、たとえば、非特許文献 1の 57ページか ら 62ページに記載されているように、言語モデルを Nグラムモデル（N-gram model) で表している。 Nグラムモデル（N-gram model)は、 N個の単語からなる単語列の出現 確率を、履歴となる（N— 1)個の単語の単語列の次に N個目の単語が出現する確率 で近似したものである。ここで、単語列が、単数および複数の単語または単語以下の 文字列で構成されているとすると、 Nグラムモデル（N-gram model)は、大容量のテキ ストデータである学習コーパス（co卬 us)があれば、最尤推定によって算出できる。
[0004] このような従来技術で構成される言語モデル学習手段システムの構成を図 6に示す 。図 6によると従来の言語モデル学習システムは、テキストデータ記憶手段 107と単 語列数カウント手段 105と言語モデルパラメータ更新手段 301と言語モデル記憶手 段 110で構成されている。
[0005] 単語列数カウント手段 105は、テキストデータ記憶手段 107に記憶された学習コー パス（co卬 us)であるテキストデータ力 N個の単語からなる単語列を全て抽出し、そ の単語列の種類ごとに出現回数を計算する。例えば、「0 と41½」との 2単語が連鎖 した単語列「0f the」に対しテキストデータから「of the」が何回出現したのかを計算す る。
[0006] 言語モデルパラメータ更新手段 301は、対象となる単語列の出現回数を全単語列 数で割りその単語列の出現確率を計算する。すなわち、単語列「0f the」の出現確率 は、単語列「of the」の出現回数を 2単語連鎖の総数で割ったものに相当する。音声 認識の場合、デコードのプロセスで条件付確率を用いる。例えば、「of」の後に「the」 の出現する確率を P (the I of)とし、単語列「of the」が出現する同時確率である P (of, the)とすると、ベイズの定理を用いて P (the I of) =P (of， the) ZP (of)と計算すること が出来る。ここで、 P (of)は、単語「of」が出現する確率を表している。
[0007] 非特許文献 1：「言語と計算 4 :確率的言語モデル」、東京大学出版会、 1999年、北 研二
発明の開示
発明が解決しょうとする課題
[0008] 従来の言語モデル学習システムの第 1の問題点は、従来の言語モデル学習方法 である最尤推定が、音声認識の評価尺度として使われている単語誤り率等が考慮さ れていないため、この従来の方法で学習を行った言語モデルに基づいて音声認識 を実行しても信頼性の高い認識結果が得られない可能性があるという点である。
[0009] 第 2の問題点は、従来の言語モデルの学習方法である最尤学習法が、言語モデル の学習時に音響モデルの影響を考慮していないため、音響モデルと言語モデルとを 双方の影響を鑑みながら同時又は逐次的に最適化することができない点である。
[0010] 本発明の目的は、音声認識の評価尺度として用いられる単語誤り率などに関係が ある識別的な基準で言語モデルを学習させることにある。また、本発明の他の目的は
、音響モデル及び言語モデルの学習を統一された識別的な基準で実行し、言語モ デルの学習時に音響モデルの認識性能を考慮し音響モデルの学習時に言語モデ ルの性能を考慮して音響モデル及び言語モデルの学習を行うことにより、高精度な 音声認識を実現するための音響モデル及び言語モデルを構築することにある。 課題を解決するための手段
[0011] 本発明の言語モデル学習システムは、音声認識用の言語モデルを記憶する言語 モデル記憶手段と、予め記憶された学習用音声データを言語モデル記憶手段に記 憶された言語モデルを用いて音声認識し認識結果を出力する認識手段と、認識結 果における各単語列の信頼度を計算する信頼度計算手段と、信頼度計算手段によ り算出された各単語列の信頼度に基づいて前記言語モデル記憶手段に記憶された 言語モデルのパラメータを更新する前記言語モデルパラメータ更新手段とを備えたこ とを特徴とする。
[0012] このような言語モデル学習システムによれば、言語パラメータ更新手段が、音声認 識の評価に用レ、られる基準に関係のある識別的な基準にしたがって言語モデルの パラメータを更新することで、言語モデルの学習を実行するので、信頼性の高い言語 モデルを構築することができ、高精度な音声認識を実現することができる。
[0013] 上記言語モデル学習システムにおいて、信頼度計算手段により算出される各単語 歹 IJの信頼度として、認識結果から算出される各単語列の事後確率、各単語列に対応 する音声信号の信号対雑音比、各単語列の継続時間と期待継続時間の比のいずれ 力を用いるカ または、これらを組み合わせた値を用いるようにしても同様に信頼性 の高レ、言語モデルを構築することができる。
[0014] 上記言語モデル学習システムにおいて、学習用音声データに対応する学習用テキ ストデータ内の全単語列数と各単語列の出現回数とを計算する単語列数カウント手 段を備え、言語モデルパラメータ更新手段は、この単語列数カウント手段により算出 された全単語列数と各単語列の出現回数とから各単語の出現頻度を計算し、その各 単語列の出現頻度と信頼度計算手段により算出された各単語列の信頼度とに基づ レ、て言語モデル記憶手段に記憶された言語モデルを更新してもよレ、。
[0015] また、言語モデルパラメータ更新手段は、信頼度計算手段により算出された信頼度 が最大値でない場合に、これに対応する単語列の出現頻度を大きい値に補正して、 その補正された出現頻度に基づいて言語モデル記憶手段に記憶された言語モデル のパラメータを更新してもよい。さらに、学習用テキストデータ内の単語列 ωの出現 回数を N、学習用テキストデータに含まれる ωと同じ単語数の単語列の総数を R、認 識結果において観測時系列 Oが観測された場合の単語列 ωの信頼度を Ρ ( ω I〇
)とし、定数を D、更新前の言語モデルの値を pとすると、 [数 1]式にしたがって単語 列 ωに対応する言語モデルのパラメータ Ρを算出し当該パラメータを算出値に更新 してもよい。
[0016] [数 1]
Ν「∑Ρ、 】 \ 0 ρ】
j r
∑:学習音声データ数分の和
∑:全単語列分の和
[0017] 上記言語モデル学習システムにおいて、学習用音声データと初期音響モデルと言 語モデルを用いて音響モデルを更新する音響モデル学習手段をさらに備えるように しても良い。このようにすれば、音響モデル学習手段と言語モデルパラメータ更新手 段は、それぞれ音響モデルと言語モデルを統一された識別的な基準で学習する。そ のため、音響モデルと言語モデルの両方を同時に最適化することができる。また、音 響モデル学習手段は、相互情報量基準を用いて前記音響モデルの学習を行うように しても良い。
[0018] 本発明の言語モデル学習方法は、予め記憶された言語モデルを用いて学習用音 声データを音声認識し認識結果を出力する認識工程と、この認識結果における各単 語列の信頼度を計算する信頼度計算工程と、この各単語列の信頼度に基づいて前 記言語モデルのパラメータを更新する言語モデルパラメータ更新工程とを含むことを 特徴とする。また、言語モデルパラメータ更新工程では、認識結果における各単語列 の信頼度が最大になるように言語モデルのパラメータを更新してもよい。
[0019] 上記言語モデル学習方法によれば、音声認識の評価に用いられる基準に関係の ある識別的な基準にしたがって言語モデルのパラメータの更新を行うことで、上述し た言語モデル学習システムと同様に、信頼性の高い言語モデルを構築することがで き、高精度な音声認識を実現することができる。
[0020] 本発明の言語モデル学習プログラムは、予め記憶された言語モデルを用いて学習 用音声データを音声認識し認識結果を出力する認識処理と、この認識結果における 各単語列の信頼度を計算する信頼度計算処理と、この各単語列の信頼度を用いて 前記言語モデルのパラメータを更新する言語モデルパラメータ更新処理とをコンビュ ータに実行させることを特徴とする。また、言語モデルパラメータ更新処理を、認識結 果における各単語列の信頼度が最大になるように言語モデルのパラメータを更新す るという内容に特定してもよい。
[0021] 上記言語モデル学習プログラムによれば、音声認識の評価に用レ、られる基準に関 係のある識別的な基準にしたがって言語モデルパラメータ更新処理をコンピュータに 実行させることで、上述した言語モデル学習システムと同様に、信頼性の高い言語モ デルを構築することができ、高精度な音声認識を実現することができる。
発明の効果
[0022] 本発明によれば、音声認識の認識結果における各単語列の信頼度、すなわち音 声認識の評価に用いられる基準に関係のある識別的な基準に従って言語モデルの パラメータを更新し、言語モデルの学習を実行するので、高精度な音声認識を実現 できる信頼性の高い言語モデルを構築することができる。
発明を実施するための最良の形態
[0023] 以下、図を参照しながら本発明の一実施例である言語モデル学習システム 10の構 成と動作について説明する。
[0024] 図 1は、言語モデル学習システム 10の構成を示す機能ブロック図である。言語モデ ノレ学習システム： L0は、言語モデル学習手段 100とテキストデータ記憶手段 107と音 響モデル記憶手段 109と言語モデル記憶手段 110と学習終了判断手段 106とを含 んでいる。
[0025] 言語モデル学習手段 100は、認識手段 101と認識結果記憶手段 102と信頼度計 算手段 103と音響モデル記憶手段 109と言語モデルパラメータ更新手段 104と単語 列数カウント手段 105とを含んでいる。
[0026] テキストデータ記憶手段 107は、言語モデルの学習のための学習用テキストデータ を記憶しており、音声データ記憶部 108は、言語モデルの学習のための学習用音声 データを記憶している。このテキストデータ記憶手段 107に記憶されたテキストデータ は、音声データ記憶部 108に記憶された音声データを書き起こしたもの力、、あるいは 逆に、音声データがテキストデータを音読したものである。
[0027] 音声データ記憶部 108に記憶された学習用音声データは、例えば、アナログの音 声信号をサンプリング周波数を 44. lkHz、 1サンプルあたり 16ビットに A/D変換し たデータである。
[0028] 音響モデル記憶手段 109は、音響モデルを記憶している。この音響モデルは、音 声の音響的特長を音素ごとに表現した確率モデルであり、例えば、ケンブリッジ大学 で発行されている隠れマルコフモデル（HMM: Hidden Markov Model)のツールキッ トのマニュアルである「HTKBook for HTK Version.3.3 ヤング等著（以下、「参考文 献 2」と称する）」の 35ページから 40ページに記載されている HMMである。
[0029] 言語モデル記憶部 110は、言語モデルを記憶してレ、る。この言語モデルは、単語 が出現する順番を考慮した同時出現確率である。すなわち、単語と単語との言語的 なつながり易さを数値化したものである。例えば、 N個の単語からなる単語列の言語 モデルは、 P(w[l], w[2], ···, w[N])で表される。これは、単語 w[l]の次に単語 w[2]と続き単語 w[N]まで連なる単語列の出現確率を示す。これをベイズのルール で展開すると、 P(w[l], w[2], ···, w[N])=P(w[l])P(w[2] | w[l])--P(w[ N] I w[l], w[2]''w[N— 1])となる。ただし、 Nが大きくなると P(w[N] | w[l], w[2] · *w[N— 1])の履歴となる単語列 w[l] , w[2] · *w[N— 1]の組み合わせが 莫大になり学習できないため、通常の実装では履歴単語の数は 3〜4とされる。この ようなモデル力 S、 Nグラムモデル（N-gram model)である。本実施例では、言語モデル に Nグラムモデル（N-gram model)を用いている。
[0030] 認識手段 101は、音響モデル記憶手段 109に記憶された音響モデルと言語モデ ル記憶手段 110に記憶された言語モデルとを用いて、音声データ記憶手段 108に 記憶されている学習用音声データを音声認識し認識結果を出力する。
[0031] 認識手段 101で実行される音声認識処理は、大きく分けると音響分析と探索に分 けられ、音響分析は、音声データの特徴量を計算する処理であり、参考文献 1の 55 ページから 66ページに記載されているように、音声データに対しプリエンファシス、窓 関数、 FFT(Fast Fourier Transform)、フィルターバンク、対数化、コサイン変換の順 に計算を行うことでメルケプストラムやパワー、それらの時間変化量を計算する。探索 は、音声データの特徴量と音響モデルとを用いて単語の音響尤度を計算し、音響尤 度の高い単語を認識結果として出力する。また、探索において音響尤度のほかに言 語モデルも考慮したスコア付けを行う場合も考えられる。
[0032] 認識結果の出力形態は、図 3に表されるような単語グラフ形式である。図 3 (a)にお ける単語グラフは、参考文献 1の 333ページから 337ページに記載されている SLF ( HTK Standard Lattice Format)と同様に、円で表されたノード（I1〜I5)と棒線で表さ れたアークとから成り立つ。単語はアークに付随しており、図 3 (a)において a〜gで示 してレ、る。実際に認識手段 101から出力される単語グラフは、図 3 (b)のようなテキスト で出力され、ノードの時刻と、それぞれのアークの始終端ノードと単語、音響尤度とが 出力される。
[0033] 認識結果記憶手段 102は、認識手段 101から出力された認識結果である単語ダラ フを記憶する。信頼度計算手段 103は、音声の観測時系列〇に対し単語列 ωが認
r J 識できたかどうかを表す値である信頼度を認識結果を基に計算する。信頼度は、音 響モデルと言語モデルとがともに高精度に構築できた場合、正解単語列に対して 1 に近づき、不正解単語に対して 0に近づく。
[0034] 単語列カウント手段 105は、テキストデータ記憶手段 107に記憶されているテキスト データから単語歹 IJを抽出し、単語列の種類ごとにその出現回数を計算する。例えば 、「(^と ！^とが連鎖した単語列 ！^カ 学習用テキストデータ内に何回出現し たのかを計算する。
[0035] 言語モデルパラメータ更新手段 104は、 女 1]式を用いて言語モデルのパラメータ を更新する。
[0036] [数 1] - 、 】 \ 0 。Ρ].
Figure imgf000010_0001
∑:学習音声データ数分の和
∑:全単語列分の和
[0037] 女 1]式において、 Nは学習用テキストデータ内に単語列 ωが出現した数を示し、
Rは学習用テキストデータに含まれる ωと同じ単語数の単語列の総数を示し、 Dは定 数であり、 pは更新前の言語モデルの値であり、 p ( ω I〇）は認識結果において観 測時系列 Oが観測された場合の単語列 ωの信頼度を示している。
[0038] 女 1]式の ρ ( ω I Ο )には言語モデルパラメータの更新における寄与度を表すパ ラメータを指定することができ、その場合は、 p ( ω I Ο )の前にパラメータをかけるか
、べき乗のパラメータとすることができる。また、 [数 1]式の定数 Dは、推定値の収束 具合によって実験的に値を決めることができる。
[0039] ここで、この信頼度を統計的な観点で計算したものが単語事後確率である。単語事 後確率は、「Frank vVessel, alf chluter,Kalus Macherey,ans Herman Ney, し onfide nce Measures for Large Vocabulary Continuos Speech Recognition, IEEE Trans, o n Speech and Audio Processing. Vol 9, No.3, March 2001 (以下、「参考文献 2」と称 する）」に記載されてレ、る方法を用いて計算することができる。
[0040] ここで、参考文献 2に従い、図 3に示す認識結果に基づく単語 cの事後確率の計算 方法を説明する。認識結果に基づく単語 cの事後確率を計算するためには、単語 cの 前向き確率 αと後ろ向き確率 βとを求める必要があり、言語モデルを 3単語連鎖確 率 (tri-gram model)とした場合、前向き確率 αは [数 2]式で表される。
[0041] [数 2]
"(a； c) = PA (oc I c∑ a\ z； a)PL (c | az
z
z≡ aの始端の全単語 [0042] ここで、 oは単語 cの特徴量であり、全区間の特徴量を表す場合は Oとする。 P (o c A c
I c)は単語 cの音響尤度、 P (c
L I az)は単語 z→a→cの順で構成される単語列の出 現確率を表している。 [数 2]式に示すように、単語 cの前向き確率 αは、単語 aの始端 につながる全ての単語の前向き確率と言語確率との積を全て足し合わせたものにな つている。単語 c以外の単語の前向き確率を算出する場合、算出対象の単語より前 の時刻に出現した単語の前向き確率を求めておくことで、対象の前向き確率を算出 すること力 Sできる。
[0043] 後ろ向き確率 /3はほ女 3]式で表される。
[0044] [数 3]
Figure imgf000011_0001
z '≡ eの終端に接続される全単語
[0045] [数 3]式に示すように、単語 cの後ろ向き確率 /3は、 [数 2]式で示す前向き確率ひに 比べて、 cと eと z'等の関係が前後逆になつている。
[0046] 認識結果における単語 cの事後確率 P (c I o )は、ほ女 2]及びほ女 3]を用いて [数 4
]で表される。
[0047] [数 4]
Figure imgf000011_0002
z e aの始端の全単語
z 'e eの終端に接続される全単語
[0048] ここで、∑の zは、単語 aの始端に接続された全単語の総禾口、 z'は単語 eの終端に接 続された全単語の総和を表す。 P (O)は、全ての観測時系列〇の音響尤度であり [
A
数 5]式で表わされる。
[0049] [数 5]
Figure imgf000012_0001
∑ z'
z≡ aの始端の全単語
z 'e eの終端に接続される全単語
[0050] ここで、事後確率の計算方法の定義を見てみると、事後確率は単語ごとに求められ ること力 Sわ力る。認識結果における単語 cの事後確率 P (c | o )は、単語 cが同じ区間 の単語 dまたは h等（図 3参照）と比べて観測時系列 Oとどの程度マッチしたかを示す 値で、 0〜1の値に正規化されている。単語 cの事後確率は、単語 cが 2つの単語で構 成されていても計算可能である。
[0051] ほ女 2]、 [数 3]、 [数 4]においては、音響モデル及び言語モデルの寄与度を表すパ ラメータを設定することが可能で、そのときは、 P (o I c) yや P (c I ひ ζ) χのようにべ
A c L
き乗のパラメータを設定する。
[0052] ρ ( ω I〇）を認識結果に基づく単語列 ωの事後確率とした場合、ほ女 1]は学習後
J r j
の音声認識に対して単語列の事後確率を最大にするパラメータを推定する基準から 得られたものであり、この基準は音響モデルの識別的な推定方法にも使われている。 音響モデルの学習については第 2実施例にて説明する。
[0053] 女 1]式を用いて言語モデルのパラメータを更新する場合、 ρ ( ω I Ο )は、観測時
J r
系列 Oに対する単語列 ωの信頼度であり、 女 1]式は、学習用テキストデータにお
Γ J
ける単語列 ωの出現頻度から認識結果における信頼度の総和を引く定式になって
J
いる。これは、総合的に信頼度が高い単語列の場合、出現頻度から引かれる数が大 きくなるため、更新後の言語モデルのパラメータは小さくなる。また、信頼度が低い単 語列の場合、出現頻度から引かれる数が小さくなるため、言語モデルのパラメータは 大きくなる。ここで、「信頼度が高い」とは信頼度が 1の場合であり、「信頼度が低い」と は信頼度が 1以外の場合である。
[0054] 信頼度に事後確率を用いる場合、言語モデルのパラメータ更新は、認識手段 101 の認識性能に依存することになる。
[0055] また、本実施例においては、信頼度に事後確率を用いて言語モデルのパラメータ を更新したが、前記の性質を満たす尺度であれば、信頼度にどのようなものを用いて もよぐ例えば、単語列ごとの音声信号の信号雑音比（SNR : signa卜 to-noise ratio) や、単語列の継続時間と期待継続時間との比などを信頼度としてもよい。
[0056] また、対象単語列の音声信号の信号対雑音比、対象単語列の継続時間と期待継 続時間との比、認識結果に基づく対象単語列の事後確率とを組み合わせて信頼度 として用いても良い。例えば、 [数 1 ]式の右辺の分母と分子の ρ ( ω I Ο )をそれぞれ 次の [数 6]式により算出される ρ ' ( ω I〇）に置き換えてもよい。
[0057] [数 6]
ρ'(ω .- I Or ) = Αρ(ω: | Or )+ B(SM?)+ C (継続時間と期待継続時間の比)
A B Cは係数
[0058] 学習終了判断手段 106は、言語モデルの更新後、全音声データの事後確率を計 算し、その和 SUM [t]をとる。その後、 SUM [t]から言語モデルを更新する前の単 語事後確率の総和 SUM [t— 1 ]を差し引いた値を SUM [t]で割ったものを学習進 渉係数 Tとする。学習進渉係数 T 、予め定められた閾値を超えている場合は、言
P P
語モデルの学習をやり直し、閾値を下回る場合は言語モデルの学習を終了する。
[0059] 図 2は、言語モデル学習システム 10の動作を示すフローチャートである。
[0060] Step lにて、認識手段 101が音響モデル記憶手段 109に記憶された音響モデルと 言語モデル記憶手段 1 10に記憶された言語モデルとを用いて、音声データ記憶手 段 108に記憶されている学習用音声データを音声認識し認識結果を認識結果記憶 手段 102 出力する。ここで用いられる音響モデルや言語モデルは前述の形式であ れば、そのパラメータ値がどのような学習方法で学習されたものでもよい、さらに全く の乱数でも良い。また、出力される認識結果は、単語グラフとする。
[0061] SteP2にて、信頼度計算手段 103が、認識結果記憶手段 102に記憶された認識結 果と言語モデル記憶手段 1 10に記憶された言語モデルとを用いて各単語列の事後 確率を計算する。この計算する動作は、認識手段 101による認識結果全てに対して 行われる。
[0062] Step3にて、単語列数カウント手段 105が、テキストデータ記憶手段に記憶された 学習用テキストデータから対象となる単語列の数をカウントする。
[0063] Step4にて、言語モデルパラメータ更新手段 104が、信頼度計算手段 103により算 出された単語列の事後確率と、単語列数カウント手段 105によりカウントされた数値と を [数 1 ]式に代入して言語モデルの確率値を算出し更新する。ここで更新された言 語モデルは、それを用いて音声認識を行うことが可能なものである。
[0064] Step5にて、学習終了判断手段 106が、言語モデルパラメータ更新手段 104により 更新された言語モデルのパラメータを用いて学習データ全てに対する単語事後確率 を計算し、それを元に学習進渉係数 Tが閾値を下回っている場合は、言語モデル学
P
習システム 10の動作を終了し、学習進渉係数 Tが閾値を上回っている場合は Step
P
1に戻る。
[0065] このような言語モデル学習システム 10によれば、言語モデルパラメータ更新手段 1 04が、認識結果における単語列の信頼度、すなわち音声認識の評価に用いられる 基準に関係のある識別的な基準により言語モデルのパラメータの更新を行うことによ り、言語モデルの学習を実行する。そのため、高精度な音声認識を実現するための 言語モデルを構築することができる。
[0066] 次に、本発明の第 2の実施例である言語モデル学習システム 20について図面を参 照して詳細に説明する。ここで、言語モデル学習システム 20は、多くの構成が図 1の 言語モデル学習システム 10と共通するので、共通する構成要素には図 1と同一の符 号を付して説明を省略する。
[0067] 図 4は、言語モデル学習システム 20の構成を示す機能ブロック図である。言語モデ ノレ学習システム 20は、図 1に開示した言語モデル学習システム 10の構成に加えて、 音響モデル学習手段 200を含んでいる。音響モデル学習手段 200は、音声データ 記憶手段 108に記憶された学習用音声データと、音響モデル記憶手段 109に記憶 された音響モデルと、言語モデル記憶手段 1 10に記憶された言語モデルとを用いて この音響モデルの学習を行う。
[0068] 音響モデル学習手段 200が実行する音響モデルの学習方法としては、例えば、ス ピーチコミュニケーションの 1997年のボリューム 22の 303ページから 314ページに 記載されている「大語彙認識の MMIE学習 V. Veltchev, J.J. Odell, P.C. Woodland , S.J. Yang, "MMIE training of large vocabulary recognition systems, "Speech Comm unication vol.22, 303-314, 1997 (以下、これを「参考文献 3」と称する）」に記載されて レ、るような、相互情報量基準による推定を用いる。相互情報量基準による音響モデル の学習について、参考文献 3の 308ページから 309ページを基に説明する。
[0069] 音響モデル学習手段 200は、まず、音響モデルと言語モデルとを用いて音声デー タ記憶手段 108に記憶された学習用音声データを音声認識する。この認識結果は、 単語グラフで出力され、認識結果に基づく各単語列の事後確率を計算する。単語内 の音素や状態のセグメンテーションを計算する必要がある力 その計算をビタービア ルゴリズムで計算する。音素セグメンテーションの計算後、状態ごとの十分統計量を 計算する。十分統計量の計算時には音素や状態ごとの事後確率を計算する必要が あるが、参考文献 3では単語の事後確率を用いている。十分統計量の計算は、認識 結果に対してだけでなぐ正解の文字列に対しても同様に実行される。認識結果と認 識結果に対する十分統計量を用いて、参考文献 3の 305ページに記載されている式 (4)と式（5)と 306ページに記載されてレ、る式（8)に適用して音響モデルのパラメ一 タを更新する。
[0070] 図 5は、言語モデル学習システム 20の動作を示すフローチャートである。
[0071] SteplOlでは、音響モデル学習手段 200が、音響モデル記憶手段 109に記憶さ れた音響モデルと言語モデル記憶手段 110に記憶された言語モデルと音声データ 記憶手段 108に記憶されている音声データとを用いて音響モデルの学習を実行する 。音響モデルの学習は前述の相互情報量を用いた学習のほかに参考文献 2の 6ぺ ージから 8ページに記載されている Baum=Welchアルゴリズムによる最尤基準によ る方法も考えられる。音響モデルの学習後、音響モデル記憶手段 109に記憶された 音響モデルを更新し、 Stepl02の処理へ移る。
[0072] Stepl02では、 SteplOlで更新された音響モデルと言語モデル記憶手段 110に 記憶された言語モデルと、音声データ記憶手段 108に記憶された学習用音声データ と、テキストデータ記憶手段 107に記憶された学習用テキストデータとを用いて、実施 例 1と同様に、言語モデルのパラメータの更新を行う。
[0073] SteP103では、学習終了判断手段 106が、実施例 1と同様に、言語モデルパラメ ータ更新後の認識結果に基づく各単語列の事後確率の総和 SUM [t]から更新前の 総和 SUM [t— 1]を差し引いた値を、 SUM[t]で割ったものを学習進渉係数 Tpとし 、学習進渉係数 Tpが予め定められた閾値を超えている場合は SteplOlから学習を やり直し、閾値を下回る場合は言語モデルの学習を終了する。
[0074] ここで、第 1の実施例の SUM[t]と第 2の実施例の SUM[t]との違いは、第 1の実 施例では音響モデルを更新していないが、第 2の実施例では音響モデルを更新して レ、る点である。また、参考文献 3の 305ページに記載されている式（4)と式（5)と 306 ページに記載されている式 (8)は、導出元になる式が上述したほ女 1]式と同じである
[0075] このように本第 2実施例の言語モデノレ学習システム 20は、音響モデル学習手段 20 0を含み、音響モデルと言語モデルとを統一された識別的な基準で学習する。その ため、音響モデルと言語モデルの両方を同時に最適化することができ、高精度な音 声認識を実現するための音響モデル及び言語モデルを構築することができる。 図面の簡単な説明
[0076] [図 1]本発明の第 1の実施例である言語モデル学習システムの構成を示すブロック図 である。
[図 2]図 1に開示した言語モデル学習システムの動作を示す流れ図である。
[図 3]図 1に開示した認識手段から出力される認識結果である単語グラフの一例を説 明するための図である。
[図 4]本発明の第 2の実施例である言語モデル学習システムの構成を示すプロック図 である。
[図 5]図 4に開示した言語モデル学習システムの動作を示す流れ図である。
[図 6]従来の技術で構成される言語モデル学習システムを示すブロック図である。 符号の説明
[0077] 10、 20 言語モデル学習システム
100 言語モデル学習手段
101 認識手段
102 認識結果記憶手段 103 信頼度計算手段
104 言語モデルパラメータ更新手段
105 単語列数カウント手段
106 学習終了判断手段
107 テキストデータ記憶手段
108 音声データ記憶手段
109 音響モデル記憶手段
110 言語モデル記憶手段
200 音響モデル学習手段

Claims

請求の範囲
[1] 音声認識用の言語モデルを記憶する言語モデル記憶手段と、予め記憶された学 習用音声データを前記言語モデル記憶手段に記憶された言語モデルを用いて音声 認識し認識結果を出力する認識手段と、前記認識結果における単語列それぞれの 信頼度を計算する信頼度計算手段と、前記信頼度計算手段により算出された各単 語列の信頼度に基づいて前記言語モデル記憶手段に記憶された言語モデルのパラ メータを更新する前記言語モデルパラメータ更新手段とを備えたことを特徴とする言 語モデル学習システム。
[2] 前記言語モデルパラメータ更新手段が、前記信頼度計算手段により算出される各 単語列の信頼度が最大になるように前記言語モデル記憶手段に記憶された言語モ デルのパラメータを更新することを特徴とする請求項 1に記載の言語モデル学習シス テム。
[3] 前記信頼度計算手段は、前記認識結果に基づく各単語列の事後確率をその単語 歹 IJの信頼度として計算することを特徴とする請求項 1または 2に記載の言語モデル学 習システム。
[4] 前記信頼度計算手段は、前記認識結果に基づく各単語列の音声信号の信号対雑 音比をその単語列の信頼度として計算することを特徴とする請求項 1または 2に記載 の言語モデル学習システム。
[5] 前記信頼度計算手段は、前記認識結果に基づく各単語列の継続時間と期待継続 時間との比をその単語列の信頼度として計算することを特徴とする請求項 1または 2 に記載の言語モデル学習システム。
[6] 前記信頼度計算手段は、前記認識結果に基づく各単語列の事後確率と、その単 語列の音声信号の信号対雑音比と、その単語列の継続時間と期待継続時間との比 とを組み合わせた値を、この単語列の信頼度として計算することを特徴とする請求項 1または 2に記載の言語モデル学習システム。
[7] 前記学習用音声データに対応する学習用テキストデータ内の全単語列数と各単語 列の出現回数とを計算する単語列数カウント手段を備え、前記言語モデルパラメ一 タ更新手段が、前記単語列数カウント手段により算出された全単語列数と各単語列 の出現回数とから各単語の出現頻度を計算し、その各単語列の出現頻度と前記信 頼度計算手段により算出された各単語列の信頼度とに基づいて前記言語モデル記 憶手段に記憶された言語モデルのパラメータを更新することを特徴とする請求項 1な いし請求項 6のいずれかひとつに記載の言語モデル学習システム。
前記言語モデルパラメータ更新手段は、前記信頼度計算手段により算出された信 頼度が最大値でない場合に、これに対応する単語列の前記出現頻度を大きい値に 補正して、その補正された出現頻度に基づいて前記言語モデル記憶手段に記憶さ れた言語モデルのパラメータを更新することを特徴とする請求項 7に記載の言語モデ ル学習システム。
前記言語モデルパラメータ更新手段は、前記学習用テキストデータ内の単語列 ω の出現回数を N、前記学習用テキストデータに含まれる ωと同じ単語数の単語列の 総数を R、前記認識結果において観測時系列〇が観測された場合の単語列 ωの信 頼度を Ρ ( ω I Ο )とし、定数を D、更新前の言語モデルの値を pとすると、 女 1]式 にしたがって単語列 ωに対応する言語モデルのパラメータ Ρを算出し当該パラメ一 タを算出した値に更新することを特徴とする請求項 7または 8に記載の言語モデル学 習システム。
[数 1]
N厂
Figure imgf000019_0001
Dpj
J r
∑:学習音声データ数分の和
∑:全単語列分の和 音声認識用の音響モデルを記憶する音響モデル記憶手段と、この音響モデルと前 記学習用音声データと前記言語モデル記憶手段に記憶された言語モデルとに基づ いて前記音響モデル記憶手段に記憶された音響モデルを更新する音響モデル学習 手段とをさらに備えたことを特徴とする請求項 1ないし請求項 9のいずれかひとつに 記載の言語モデル学習システム。
[11] 前記音響モデル学習手段が、相互情報量基準を用いて前記音響モデル記憶手段 に記憶された音響モデルを更新することを特徴とする請求項 10に記載の言語モデ ル学習システム。
[12] 予め記憶された言語モデルを用いて学習用音声データを音声認識し認識結果を 出力する認識工程と、
前記認識結果における各単語列の信頼度を計算する信頼度計算工程と、 前記認識結果における各単語列の信頼度に基づいて前記言語モデルのパラメ一 タを更新する言語モデルパラメータ更新工程とを含むことを特徴とする言語モデル学 習方法。
[13] 前記言語モデルパラメータ更新工程では、前記信頼度計算工程で算出される各単 語列の信頼度が最大になるように前記言語モデルのパラメータを更新することを特徴 とする請求項 1に記載の言語モデル学習方法。
[14] 前記信頼度計算工程では、前記認識結果に基づく各単語列の事後確率をその単 語列の信頼度として算出することを特徴とする請求項 12または 13に記載の言語モデ ル学習方法。
[15] 前記信頼度計算工程では、前記認識結果に基づく各単語列の音声信号の信号対 雑音比をその単語列の信頼度として算出することを特徴とする請求項 12または 13に 記載の言語モデル学習方法。
[16] 前記信頼度計算工程では、前記認識結果に基づく各単語列の継続時間と期待継 続時間との比をその単語列の信頼度として算出することを特徴とする請求項 12また は 13に記載の言語モデル学習方法。
[17] 前記信頼度計算工程では、前記認識結果に基づく各単語列の事後確率と、その 単語列の音声信号の信号対雑音比と、その単語列の継続時間と期待継続時間との 比とを組み合わせた値を、この単語列の信頼度として算出することを特徴とする請求 項 12または 13に記載の言語モデル学習方法。
[18] 前記言語モデルのパラメータ更新工程では、前記学習用音声データに対応する学 習用テキストデータ内の各単語列の出現頻度と前記信頼度計算工程で算出された 各単語列の信頼度とに基づいて前記言語モデルのパラメータを更新することを特徴 とする請求項 12ないし請求項 17のいずれかひとつに記載の言語モデル学習方法。
[19] 前記言語モデルパラメータ更新工程では、前記信頼度計算工程で算出された信頼 度が最大値でない場合に、これに対応する単語列の前記出現頻度を大きい値に補 正して、その補正された出現頻度に基づいて前記言語モデルのパラメータを更新す ることを特徴とする請求項 18に記載の言語モデル学習方法。
[20] 前記言語モデルパラメータ更新手段は、前記学習用テキストデータ内の単語列 ω
J
の出現回数を N、前記学習用テキストデータに含まれる ωと同じ単語数の単語列の
J J
総数を R、前記認識結果において観測時系列〇が観測された場合の単語列 ωの信 r J 頼度を ρ ( ω I Ο )とし、定数を D、更新前の言語モデルの値を pとすると、ほ女 1]式
J r J にしたがって単語列 ωに対応する言語モデルのパラメータ Ρを算出し当該パラメ
J J 一 タを更新することを特徴とする請求項 18または 19に記載の言語モデル学習方法。
[数 1]
N厂∑p(^' \ Or DPj
3 ~R ∑∑p{ j \ Or )+ D
J r
∑:学習音声データ数分の和
∑:全単語列分の和
[21] 予め記憶された音響モデルと前記言語モデルと前記学習用音声データとを用いて 当該音響モデルを更新する音響モデル学習工程を含むことを特徴とする請求項 12 ないし請求項 20のいずれかひとつに記載の言語モデル学習方法。
[22] 前記音響モデル学習工程では、相互情報量基準を用いて前記音響モデルを更新 することを特徴とする請求項 21に記載の言語モデル学習方法。
[23] 予め記憶された言語モデルを用いて学習用音声データを音声認識し認識結果を 出力する認識処理と、
前記認識結果における各単語列の信頼度を計算する信頼度計算処理と、 前記認識結果における各単語列の信頼度を用いて前記言語モデルのパラメータを 更新する言語モデルパラメータ更新処理とをコンピュータに実行させることを特徴と する言語モデル学習プログラム。
[24] 前記言語モデルパラメータ更新処理を、前記認識結果における各単語列の信頼度 が最大になるように前記言語モデルのパラメータを更新するとレ、う内容に特定したこ とを特徴とする請求項 23に記載の言語モデル学習プログラム。
[25] 前記信頼度計算処理を、前記認識結果に基づく各単語列の事後確率をその単語 列の信頼度として算出するという内容に特定したことを特徴とする請求項 23または 2
4に記載の言語モデル学習プログラム。
[26] 前記信頼度計算処理を、前記認識結果に基づく各単語列の音声信号の信号対雑 音比をその単語列の信頼度として算出するという内容に特定したことを特徴とする請 求項 23または 24に記載の言語モデル学習プログラム。
[27] 前記信頼度計算処理を、前記認識結果に基づく各単語列の継続時間と期待継続 時間との比をその単語列の信頼度として算出するという内容に特定したことを特徴と する請求項 23または 24に記載の言語モデル学習プログラム。
[28] 前記信頼度計算処理を、前記認識結果に基づく各単語列の事後確率と、その単 語列の音声信号の信号対雑音比と、その単語列の継続時間と期待継続時間との比 とを組み合わせた値を、この単語列の信頼度として算出するという内容に特定したこ とを特徴とする請求項 23または 24に記載の言語モデル学習プログラム。
[29] 前記言語モデルパラメータ更新処理を、前記学習用音声データに対応する学習用 テキストデータ内の各単語列の出現頻度と前記信頼度計算工程で算出された各単 語列の信頼度とに基づいて前記言語モデルのパラメータを更新するという内容に特 定したことを特徴とする請求項 23乃至 28にいずれかひとつに記載の言語モデル学 習プログラム。
[30] 前記言語モデルパラメータ更新処理を、前記信頼度計算処理で算出された信頼度 が最大値でない場合に、これに対応する単語列の前記出現頻度を大きい値に補正 して、その補正された出現頻度に基づいて前記言語モデルのパラメータを更新する という内容に特定したことを特徴とする請求項 29に記載の言語モデル学習プロダラ ム。
[31] 前記言語モデルパラメータ更新処理を、前記学習用テキストデータ内の単語列 ω の出現回数を N、前記学習用テキストデータに含まれる ωと同じ単語数の単語列の 総数を R、前記認識結果において観測時系列〇が観測された場合の単語列 ωの信 頼度を ρ ( ω I Ο )とし、定数を D、更新前の言語モデルの値を pとすると、ほ女 1]式 にしたがって単語列 ωに対応する言語モデルのパラメータ Ρを算出し当該パラメ一 タを更新するという内容に特定したことを特徴とする請求項 29または 30に記載の言 語モデル学習プログラム。
[数 1] -
Figure imgf000023_0001
P、 〗 \ Or DPj
ゾ r
∑:学習音声データ数分の和
∑:全単語列分の和
[32] 予め記憶された音響モデルと前記言語モデルと前記学習用音声データとを用いて 当該音響モデルを更新する音響モデル学習処理を前記コンピュータに実行させるこ とを請求項 23乃至 31のいずれかひとつに記載の言語モデル学習プログラム。
[33] 前記音響モデル学習処理を、相互情報量基準を用いて前記音響モデルを更新す るという内容に特定したことを特徴とする請求項 32に記載の言語モデル学習プロダラ ム
PCT/JP2007/061023 2006-05-31 2007-05-30 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム Ceased WO2007142102A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008520518A JP5088701B2 (ja) 2006-05-31 2007-05-30 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム
US12/302,962 US8831943B2 (en) 2006-05-31 2007-05-30 Language model learning system, language model learning method, and language model learning program
EP07744435A EP2026327A4 (en) 2006-05-31 2007-05-30 LANGUAGE MODEL LEARNING, LANGUAGE MODEL LEARNING AND LANGUAGE MODEL LEARNING PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006150962 2006-05-31
JP2006-150962 2006-05-31

Publications (1)

Publication Number Publication Date
WO2007142102A1 true WO2007142102A1 (ja) 2007-12-13

Family

ID=38801360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/061023 Ceased WO2007142102A1 (ja) 2006-05-31 2007-05-30 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム

Country Status (4)

Country Link
US (1) US8831943B2 (ja)
EP (1) EP2026327A4 (ja)
JP (1) JP5088701B2 (ja)
WO (1) WO2007142102A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039965A (ja) * 2009-08-18 2011-02-24 Nippon Telegr & Teleph Corp <Ntt> モデルパラメータ推定装置、方法及びプログラム
JP2011107314A (ja) * 2009-11-16 2011-06-02 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置、音声認識方法及び音声認識プログラム
JP2015187684A (ja) * 2014-03-27 2015-10-29 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
KR20190050224A (ko) * 2017-11-02 2019-05-10 현대자동차주식회사 차량의 음성인식 장치 및 방법
WO2022113306A1 (ja) * 2020-11-27 2022-06-02 日本電信電話株式会社 対応装置、学習装置、対応方法、学習方法、及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142102A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム
US8844033B2 (en) * 2008-05-27 2014-09-23 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for detecting network anomalies using a trained probabilistic model
EP2402868A4 (en) * 2009-02-26 2013-07-03 Nat Univ Corp Toyohashi Univ LANGUAGE SEARCH AND LANGUAGE SEARCH METHOD
US8676580B2 (en) * 2011-08-16 2014-03-18 International Business Machines Corporation Automatic speech and concept recognition
US9489940B2 (en) * 2012-06-11 2016-11-08 Nvoq Incorporated Apparatus and methods to update a language model in a speech recognition system
BR112015004625B1 (pt) * 2012-09-03 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para fornecer uma estimativa de probabilidade de presença de voz multicanal informada.
US9601111B2 (en) * 2012-11-13 2017-03-21 GM Global Technology Operations LLC Methods and systems for adapting speech systems
US10042845B2 (en) * 2014-10-31 2018-08-07 Microsoft Technology Licensing, Llc Transfer learning for bilingual content classification
KR102325724B1 (ko) * 2015-02-28 2021-11-15 삼성전자주식회사 다수의 기기에서 텍스트 데이터 동기화
CN105957516B (zh) * 2016-06-16 2019-03-08 百度在线网络技术（北京）有限公司 多语音识别模型切换方法及装置
US10372821B2 (en) * 2017-03-17 2019-08-06 Adobe Inc. Identification of reading order text segments with a probabilistic language model
US10713519B2 (en) 2017-06-22 2020-07-14 Adobe Inc. Automated workflows for identification of reading order from text segments using probabilistic language models
US10770092B1 (en) * 2017-09-22 2020-09-08 Amazon Technologies, Inc. Viseme data generation
CN110176230B (zh) * 2018-12-11 2021-10-08 腾讯科技（深圳）有限公司 一种语音识别方法、装置、设备和存储介质
CN114078475B (zh) * 2021-11-08 2023-07-25 北京百度网讯科技有限公司 语音识别和更新方法、装置、设备和存储介质
US20250078842A1 (en) * 2023-08-30 2025-03-06 Nvidia Corporation Multi-speaker speech recognition facilitated by language models

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198395A (ja) * 1997-01-10 1998-07-31 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 統計的言語モデル生成装置及び音声認識装置
JPH10240288A (ja) * 1997-02-28 1998-09-11 Philips Electron Nv 言語モデル適合による音声認識方法
JP2000075892A (ja) * 1998-09-02 2000-03-14 Nippon Hoso Kyokai <Nhk> 音声認識のための統計的言語モデル作成方法および装置
JP2000075886A (ja) * 1998-08-28 2000-03-14 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 統計的言語モデル生成装置及び音声認識装置
JP2000259173A (ja) * 1999-03-08 2000-09-22 Nippon Hoso Kyokai <Nhk> 音声認識装置および方法
JP2000356997A (ja) * 1999-06-15 2000-12-26 Atr Interpreting Telecommunications Res Lab 統計的言語モデル生成装置及び音声認識装置
JP2001109491A (ja) * 1999-10-01 2001-04-20 Univ Waseda 連続音声認識装置および方法
JP2002091477A (ja) * 2000-09-14 2002-03-27 Mitsubishi Electric Corp 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002533771A (ja) * 1998-12-21 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声認識履歴にもとづく言語モデル

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3007357B2 (ja) * 1989-05-02 2000-02-07 株式会社リコー 音声認識装置の辞書更新方式
US5293584A (en) * 1992-05-21 1994-03-08 International Business Machines Corporation Speech recognition system for natural language translation
CA2126380C (en) * 1993-07-22 1998-07-07 Wu Chou Minimum error rate training of combined string models
US5864810A (en) * 1995-01-20 1999-01-26 Sri International Method and apparatus for speech recognition adapted to an individual speaker
US5999902A (en) * 1995-03-07 1999-12-07 British Telecommunications Public Limited Company Speech recognition incorporating a priori probability weighting factors
DE19708184A1 (de) * 1997-02-28 1998-09-03 Philips Patentverwaltung Verfahren zur Spracherkennung mit Sprachmodellanpassung
US6167377A (en) * 1997-03-28 2000-12-26 Dragon Systems, Inc. Speech recognition language models
CA2216224A1 (en) * 1997-09-19 1999-03-19 Peter R. Stubley Block algorithm for pattern recognition
DE69815067T2 (de) * 1997-12-12 2004-02-26 Philips Intellectual Property & Standards Gmbh Verfahren zur bestimmung modell-spezifischer faktoren für die mustererkennung im insbesonderen für sprachmuster
US6078885A (en) * 1998-05-08 2000-06-20 At&T Corp Verbal, fully automatic dictionary updates by end-users of speech synthesis and recognition systems
EP1135767B1 (de) * 1998-10-27 2002-05-29 Siemens Aktiengesellschaft Verfahren und anordnung zur klassenbildung für ein sprachmodell basierend auf linguistischen klassen
US6385579B1 (en) * 1999-04-29 2002-05-07 International Business Machines Corporation Methods and apparatus for forming compound words for use in a continuous speech recognition system
US6865531B1 (en) * 1999-07-01 2005-03-08 Koninklijke Philips Electronics N.V. Speech processing system for processing a degraded speech signal
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US6789061B1 (en) * 1999-08-25 2004-09-07 International Business Machines Corporation Method and system for generating squeezed acoustic models for specialized speech recognizer
US6539353B1 (en) * 1999-10-12 2003-03-25 Microsoft Corporation Confidence measures using sub-word-dependent weighting of sub-word confidence scores for robust speech recognition
US6904402B1 (en) * 1999-11-05 2005-06-07 Microsoft Corporation System and iterative method for lexicon, segmentation and language model joint optimization
US7451085B2 (en) * 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US7043422B2 (en) * 2000-10-13 2006-05-09 Microsoft Corporation Method and apparatus for distribution-based language model adaptation
US6934683B2 (en) * 2001-01-31 2005-08-23 Microsoft Corporation Disambiguation language model
US6754626B2 (en) * 2001-03-01 2004-06-22 International Business Machines Corporation Creating a hierarchical tree of language models for a dialog system based on prompt and dialog context
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
US6925154B2 (en) * 2001-05-04 2005-08-02 International Business Machines Corproation Methods and apparatus for conversational name dialing systems
JP4581290B2 (ja) * 2001-05-16 2010-11-17 パナソニック株式会社 音声認識装置および音声認識方法
JP2002366187A (ja) * 2001-06-08 2002-12-20 Sony Corp 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
JP4275353B2 (ja) * 2002-05-17 2009-06-10 パイオニア株式会社 音声認識装置及び音声認識方法
US7191130B1 (en) * 2002-09-27 2007-03-13 Nuance Communications Method and system for automatically optimizing recognition configuration parameters for speech recognition systems
US20040064315A1 (en) * 2002-09-30 2004-04-01 Deisher Michael E. Acoustic confidence driven front-end preprocessing for speech recognition in adverse environments
US7584102B2 (en) * 2002-11-15 2009-09-01 Scansoft, Inc. Language model for use in speech recognition
US7603267B2 (en) * 2003-05-01 2009-10-13 Microsoft Corporation Rules-based grammar for slots and statistical model for preterminals in natural language understanding system
US20060058999A1 (en) * 2004-09-10 2006-03-16 Simon Barker Voice model adaptation
WO2006034152A2 (en) 2004-09-17 2006-03-30 Multimodal Technologies, Inc. Discriminative training of document transcription system
ES2309728T3 (es) * 2005-02-17 2008-12-16 Loquendo S.P.A. Metodo y sistema automatico para proporcionar formulaciones linguisticos que estan fuera de un dominio de reconocimiento de un sistema de reconocimiento vocal automatico.
EP1760696B1 (en) * 2005-09-03 2016-02-03 GN ReSound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US7756708B2 (en) * 2006-04-03 2010-07-13 Google Inc. Automatic language model update
WO2007142102A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム
US7676363B2 (en) * 2006-06-29 2010-03-09 General Motors Llc Automated speech recognition using normalized in-vehicle speech
US7912707B2 (en) * 2006-12-19 2011-03-22 Microsoft Corporation Adapting a language model to accommodate inputs not found in a directory assistance listing
US7925505B2 (en) * 2007-04-10 2011-04-12 Microsoft Corporation Adaptation of language models and context free grammar in speech recognition

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198395A (ja) * 1997-01-10 1998-07-31 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 統計的言語モデル生成装置及び音声認識装置
JPH10240288A (ja) * 1997-02-28 1998-09-11 Philips Electron Nv 言語モデル適合による音声認識方法
JP2000075886A (ja) * 1998-08-28 2000-03-14 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 統計的言語モデル生成装置及び音声認識装置
JP2000075892A (ja) * 1998-09-02 2000-03-14 Nippon Hoso Kyokai <Nhk> 音声認識のための統計的言語モデル作成方法および装置
JP2002533771A (ja) * 1998-12-21 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声認識履歴にもとづく言語モデル
JP2000259173A (ja) * 1999-03-08 2000-09-22 Nippon Hoso Kyokai <Nhk> 音声認識装置および方法
JP2000356997A (ja) * 1999-06-15 2000-12-26 Atr Interpreting Telecommunications Res Lab 統計的言語モデル生成装置及び音声認識装置
JP2001109491A (ja) * 1999-10-01 2001-04-20 Univ Waseda 連続音声認識装置および方法
JP2002091477A (ja) * 2000-09-14 2002-03-27 Mitsubishi Electric Corp 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FRANK WESSEL ET AL.: "Confidence Measures for Large Vocabulary Continuous Speech Recognition", IEEE TRANS. ON SPEECH AND AUDIO PROCESSING., vol. 9, no. 3, March 2001 (2001-03-01), XP011054092
KAWAHARA T. AND LEE A.: "Renzoku Onsei Ninshiki Software Julius (Open-Source Speech Recognition Software Julius)", JOURNAL OF JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 20, no. 1, January 2005 (2005-01-01), pages 41 - 49, XP003020140 *
KENJI KITA: "Language and Computation 4; Probabilistic Language Model", 1999, UNIVERSITY OF TOKYO PRESS
See also references of EP2026327A4
V. VELTCHEV ET AL.: "MMIE training of large vocabulary recognition systems", SPEECH COMMUNICATION, vol. 22, 1997, pages 303 - 314
YOUNG, HTK BOOK FOR HTK VERSION. 3.3, pages 35 - 40

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039965A (ja) * 2009-08-18 2011-02-24 Nippon Telegr & Teleph Corp <Ntt> モデルパラメータ推定装置、方法及びプログラム
JP2011107314A (ja) * 2009-11-16 2011-06-02 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置、音声認識方法及び音声認識プログラム
JP2015187684A (ja) * 2014-03-27 2015-10-29 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
US9536518B2 (en) 2014-03-27 2017-01-03 International Business Machines Corporation Unsupervised training method, training apparatus, and training program for an N-gram language model based upon recognition reliability
US9601110B2 (en) 2014-03-27 2017-03-21 International Business Machines Corporation Unsupervised training method for an N-gram language model based upon recognition reliability
US9747893B2 (en) 2014-03-27 2017-08-29 International Business Machines Corporation Unsupervised training method, training apparatus, and training program for an N-gram language model based upon recognition reliability
KR20190050224A (ko) * 2017-11-02 2019-05-10 현대자동차주식회사 차량의 음성인식 장치 및 방법
KR102552486B1 (ko) * 2017-11-02 2023-07-06 현대자동차주식회사 차량의 음성인식 장치 및 방법
WO2022113306A1 (ja) * 2020-11-27 2022-06-02 日本電信電話株式会社 対応装置、学習装置、対応方法、学習方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2007142102A1 (ja) 2009-10-22
EP2026327A4 (en) 2012-03-07
JP5088701B2 (ja) 2012-12-05
US8831943B2 (en) 2014-09-09
US20100063819A1 (en) 2010-03-11
EP2026327A1 (en) 2009-02-18

Similar Documents

Publication Publication Date Title
JP5088701B2 (ja) 言語モデル学習システム、言語モデル学習方法、および言語モデル学習用プログラム
US7991615B2 (en) Grapheme-to-phoneme conversion using acoustic data
JP3933750B2 (ja) 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置
US10381000B1 (en) Compressed finite state transducers for automatic speech recognition
JP6031316B2 (ja) 音声認識装置、誤り修正モデル学習方法、及びプログラム
CN101689364B (zh) 声音识别装置和声音识别方法
JPH11175090A (ja) 話者クラスタリング処理装置及び音声認識装置
JP2010170137A (ja) 音声理解装置
CN110970031A (zh) 语音识别系统及方法
WO2018066436A1 (ja) 音響モデルの学習装置及びそのためのコンピュータプログラム
JP5274191B2 (ja) 音声認識装置
JPH0372997B2 (ja)
US20070038453A1 (en) Speech recognition system
CN101123090A (zh) 通过使用平方根折扣的统计语言的语音识别
JP6027754B2 (ja) 適応化装置、音声認識装置、およびそのプログラム
JP2002358097A (ja) 音声認識装置
JP2000352993A (ja) 音声認識システム及びヒドン・マルコフ・モデルの学習方法
Pylkkönen Towards efficient and robust automatic speech recognition: decoding techniques and discriminative training
JP5170449B2 (ja) 検出装置、音声認識装置、検出方法、及びプログラム
JPH09114482A (ja) 音声認識のための話者適応化方法
JP2005091504A (ja) 音声認識装置
JP2005091518A (ja) 音声認識装置及び音声認識プログラム
KR20120056086A (ko) 음향모델 적응 방법 및 이를 이용하는 음성인식 장치
JPH10254485A (ja) 話者正規化装置、話者適応化装置及び音声認識装置
JP4528076B2 (ja) 音声認識装置及び音声認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07744435

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008520518

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007744435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12302962

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE