JPH0895595A - 隠れマルコフモデルの学習方法 - Google Patents

隠れマルコフモデルの学習方法

Info

Publication number
JPH0895595A
JPH0895595A JP6228534A JP22853494A JPH0895595A JP H0895595 A JPH0895595 A JP H0895595A JP 6228534 A JP6228534 A JP 6228534A JP 22853494 A JP22853494 A JP 22853494A JP H0895595 A JPH0895595 A JP H0895595A
Authority
JP
Japan
Prior art keywords
covariance
variance
hmm
hidden markov
acoustic feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6228534A
Other languages
English (en)
Other versions
JP3091648B2 (ja
Inventor
Takashi Miki
敬 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP06228534A priority Critical patent/JP3091648B2/ja
Publication of JPH0895595A publication Critical patent/JPH0895595A/ja
Application granted granted Critical
Publication of JP3091648B2 publication Critical patent/JP3091648B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 音声認識装置に対する音声辞書学習手続きを
軽減する。 【構成】 音声分析処理S11で、学習の対象となる入
力音声データを一定時間毎に分析して該入力音声データ
の特徴を表す音響特徴量の組に変換する。分散・共分散
設定処理S12で、前記音響特徴量の組の分散及び共分
散を求める。HMMパラメータ推定処理S13で、前記
音響特徴量の組に対するHMMの尢度を最大にするHM
Mの多次元正規分布で表わされる出力確率密度関数の分
散及び共分散を求める。HMMパラメータ修正処理S1
4で、前記HMMパラメータ推定処理において求めた分
散及び共分散を前記分散・共分散設定処理において求め
た分散及び共分散を基準にして修正する。パラメータ収
束判定処理S15で、HMMパラメータ推定処理S13
でのパラメータ推定が収束したか否かを判定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、音声認識における隠れ
マルコフモデル(Hidden Markov Model 、以下、HMM
という)の学習方法に関するものである。
【0002】
【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。 文献1;日本音響学会誌、48巻[1号]、(1992)、嵯峨
山茂樹、“数理統計モデルによる音声認識の現状と将
来”、P.431-437 文献2;中川聖一著、“確率モデルによる音声認識”、
(1988)、電子情報通信学会、P.29-73 HMMは、その統計的性質から、音声パタンのような発
声速度に伴う時間変動、発声の個人差、及び調音結合等
の揺らぎを含むパタンを適切に表現できることから、音
声認識の分野において近年広く用いられている。HMM
を用いて音声を認識する方法、即ち、HMM音声認識方
法とは、音声を確率的な遷移ネットワークと見做して認
識処理を行うものである。図2は、従来の音声認識方法
に用いられる単語HMMの構造例を示す図である。図2
において、Si(i;0,1,2,3)はHMMにおけ
る音声の特徴等の状態を表す。Aklは状態遷移確率、
bkl(x)は遷移の際にある音声スペクトルxを出力
する確率である出力確率密度関数を表す。音声スペクト
ルxは入力音声データの特徴を表すものである。HMM
は、図2に示すように、いくつかの状態Si(i;0,
1,2,3)と、それらの状態間の遷移を表す弧で表現
される。各弧には、その弧を遷移する状態遷移確率Ak
l及び出力確率密度関数bkl(x)がパラメータとし
て与えられている。
【0003】HMMは、初期状態S0から遷移を開始し
て、最終状態S3に到達するまで弧を通って遷移を繰り
返し、スペクトル系列を出力する確率が得られる。出力
確率密度関数bkl(x)をスペクトルxの関数とした
ものは、連続出力確率分布HMMと呼ばれている。通
常、出力確率密度関数bkl(x)の真の関数型を求め
ることは不可能なので、通例、数学的取扱いが簡単で、
かつ表現能力が高い多次元正規分布がよく用いられる。
出力確率密度関数bkl(x)の正味のパラメータは、
平均ベクトルμと分散及び共分散ρである。図3は、従
来のHMMの学習方法を示すフローチャートである。連
続出力確率分布HMMで音声認識を行うにあたっては、
認識対象となる音声を最もよく表すHMMのパラメータ
を求めることが必要である。この処理をHMMの学習と
いう。以下、図3に従ってHMMの学習手順S1〜S3
を説明する。音声分析処理S1において、学習対象とな
る音声データが入力され、音響特徴量に変換される。H
MMパラメータ推定処理S2において、前記文献2に記
載されたB−W(Baum-Welch)アルゴリズム等により、
HMMパラメータの推定を行う。パラメータ収束判定処
理S3において、パラメータ推定が収束したか否かを判
定し、未収束であれば、HMMパラメータ推定処理S2
へ戻り、更に推定計算を行う。パラメータ推定が収束し
た場合、HMM学習は終了する。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
HMMの学習方法では、次のような課題があった。即
ち、HMMパラメータの推定、特に、多次元正規分布に
おけるパラメータである出力確率密度関数bkl(x)
中の分散及び共分散ρの推定には、大量の学習音声デー
タが必要であった。学習音声データ数が不足している
と、分散及び共分散ρの値が推定できず、音声認識の性
能が大幅に低下する欠点があった。本発明は、学習音声
データが少ない場合でも、適切な出力確率密度関数bk
l(x)を設定できるHMMの学習方法を提供するもの
である。
【0005】
【課題を解決するための手段】本発明では、前記課題を
解決するために、学習の対象となる入力音声データを分
析して該入力音声データの特徴を表す音響特徴量に変換
し、該音響特徴量から前記入力音声データのHMMのパ
ラメータを推定するHMMの学習方法において、次のよ
うな手段を講じている。即ち、学習の対象となる入力音
声データを一定時間毎に分析して入力音声データの特徴
を表す音響特徴量の組に変換する音声分析処理と、音響
特徴量の組の分散及び共分散を求める分散・共分散設定
処理とを行う。次に、音響特徴量の組に対するHMMの
尢度を最大にするHMMのパラメータを求めるHMMパ
ラメータ推定処理と、HMMパラメータ推定処理におい
て求めた出力確率密度関数のパラメータである分散及び
共分散を、分散・共分散設定処理において求めた分散及
び共分散を基準にして修正するHMMパラメータ修正処
理とを、行うようにしている。
【0006】
【作用】本発明によれば、以上のようにHMMの学習方
法を構成したので、音声分析処理において、学習の対象
となる入力音声データを一定時間毎に分析して入力音声
データの特徴を表す音響特徴量の組に変換する。分散・
共分散設定処理において、前記音響特徴量の組の分散及
び共分散を求める。HMMパラメータ推定処理におい
て、前記音響特徴量の組に対するHMMの尢度を最大に
するHMMのパラメータを求める。HMMパラメータ修
正処理において、前記HMMパラメータ推定処理におい
て求めた出力確率密度関数のパラメータである分散及び
共分散を前記分散・共分散設定処理において求めた分散
及び共分散を基準にして修正する。そのため、学習の対
象となる入力音声データが少ない場合でも、音響特徴量
全体のデータの統計量を用いて、推定精度の不十分なパ
ラメータを修正することにより、HMM認識精度が入力
音声データが多いときと同様に高く保たれる。その結
果、認識装置の音声辞書学習手続きが大幅に軽減され
る。従って、前記課題を解決できるのである。
【0007】
【実施例】図1は、本発明の実施例のHMMの学習方法
を説明するためのフローチャートである。本実施例のH
MMの学習方法では、例えば、プログラム制御されるコ
ンピュータを用いて図1に示す処理S11〜S15が実
行される。次に、この図1を用いて本発明のHMMの学
習方法を説明する。音声分析処理S11において、学習
対象となる音声データが入力され、フレーム毎に音響特
徴量の組である特徴ベクトルx(t)iに変換される。
特徴ベクトルx(t)iは、例えば、前記文献2に示さ
れているLPCケプストラムを用いる。ここで、tはフ
レーム番号、iはLPCケプストラムの番号PはLPC
ケプストラムの次数である。(i=1,…,P) 音声データは、通常複数の特徴ベクトル系列(以下、特
徴パタンという)からなる。ここで、特徴パタンの数を
PNとし、特徴ベクトルの総数をFNとする。分散・共
分散設定処理S12において、特徴ベクトルx(t)i
の分散及び共分散αijを、次の(1)式を用いて求め
る。
【0008】
【数1】 ここで、βiは特徴ベクトルx(t)iの平均値であ
り、次の(2)式で表される。
【0009】
【数2】 ここでは、全ての学習データに基づいて分散及び共分散
αij、及び平均値βiを計算したが、何らかの先験的
な値或いは学習データの一部分から求めてもよい。更
に、分散及び共分散αij、及び平均値βiは、1つだ
けでなく、何らかのカテゴリ別に求め、適宜使い分けて
もよい。ここで設定された分散及び共分散αijを基準
分散・共分散という。
【0010】HMMパラメータ推定処理S13におい
て、B−Wアルゴリズム等により、先の特徴ベクトルx
(t)iを用いてHMMパラメータの推定を行う。HM
Mパラメータは、初期状態確率πk、遷移確率Akl、
多次元正規分布における出力現確率密度関数中の平均ベ
クトルμkli及び分散・共分散ρklijで表され、
これらのパラメータの集合をθとする。HMMパラメー
タの推定とは、特徴ベクトルxに対するHMMの尢度L
(θ,x)を最大にする最尢推定値θ´を求めることで
ある。この推定されたHMMのパラメータを初期状態確
率πk´、遷移確率Akl´、平均ベクトルμkli´
及び分散・共分散ρklij´とする。又、その尢度の
最大値をL´とする。HMMパラメータ修正処理S14
において、HMMパラメータ推定処理S13で推定され
た分散・共分散ρklij´を、特徴パタン数PNに応
じて、次の(3)式を用いて修正する。αijは、分散
・共分散設定処理S12において設定された基準分散・
共分散である。
【0011】
【数3】 但し、 M;特徴パタン数PNの大小判断を行うための閾値 即ち、特徴パタン数PNが閾値M以下である場合、上限
C2 αijと下限C1αijを設定することである。但
し、C1 及びC2 は分散・共分散ρklij´の範囲を
定める定数である。
【0012】又、別の修正方法として、信頼度fが特徴
パタン数PNの関数(0≦f(PN)≦1)であると考
えて、次の(4)式のように修正する方法もある。 ρklij´=f(PN)ρklij´+{1−f(PN)}αij ・・・(4) 関数f(PN)については、実際のデータに基づいて決
めていくのがよいが、簡易な関数として、次の(5)式
でも十分に妥当な修正ができる。 f(PN)=1−1/(1+0.2PN) ・・・(5) パラメータ収束判定処理S15において、先の尢度最大
値L´の増加の度合により、HMMパラメータ推定処理
S13でのパラメータ推定が収束したか否かを判定す
る。その判定方法としては、例えば、尢度最大値L´
と、1回前の尢度最大値L´´との差(L´−L´´)
が、或る閾値D以下であれば収束したと判断する方法が
ある。即ち、L´−L´´>Dならば、HMMパラメー
タ推定処理S3へ戻り、L´−L´´≦Dならば、パラ
メータ推定が終了する。以上のように、本実施例では、
音声分析処理S11における学習対象となる入力音声デ
ータが少ない場合、HMMパラメータ修正処理S14に
おいて、特徴ベクトル全体のデータの基準分散・共分散
αijを用いて推定精度の不十分なパラメータを修正す
ることにより、少量学習時でのHMM認識精度を高く保
つことができる。その結果、認識装置の音声辞書学習
(登録)手続きという使用者の負担となる作業を、大幅
に軽減できる。尚、本発明のHMMの学習方法は、多次
元正規分布を出力確率密度関数にもつHMMを用いた全
ての音声認識装置や、その他HMMを利用したパタン認
識に容易に利用できる。
【0013】
【発明の効果】以上詳細に説明したように、本発明によ
れば、学習の対象となる入力音声データが少ない場合で
も、HMMパラメータ修正処理において、入力音声デー
タの特徴を表す音響特徴量全体の統計量を用いて、推定
精度の不十分なパラメータを修正することにより、少量
学習時でのHMM認識精度を高く保つことができる。そ
のため、認識装置に対する音声辞書学習(登録)手続き
という使用者の負担となる作業を大幅に軽減できる。
【図面の簡単な説明】
【図1】本発明の実施例のHMMの学習方法のフローチ
ャートである。
【図2】単語HMMの構造例を示す図である。
【図3】従来のHMMの学習方法のフローチャートであ
る。
【符号の説明】
S11 音声分
析処理 S12 分散・
共分散設定処理 S13 HMM
パラメータ推定処理 S14 HMM
パラメータ修正処理

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 学習の対象となる入力音声データを分析
    して該入力音声データの特徴を表す音響特徴量に変換
    し、該音響特徴量から前記入力音声データの隠れマルコ
    フモデルのパラメータを推定する多次元正規分布で表わ
    される出力確率密度関数を持つ隠れマルコフモデルの学
    習方法において、 学習の対象となる入力音声データを一定時間毎に分析し
    て該入力音声データの特徴を表す音響特徴量の組に変換
    する音声分析処理と、 前記音響特徴量の組の分散及び共分散を求める分散・共
    分散設定処理と、 前記音響特徴量の組に対する隠れマルコフモデルの尢度
    を最大にする隠れマルコフモデルのパラメータを求める
    隠れマルコフモデルパラメータ推定処理と、 前記隠れマルコフモデルパラメータ推定処理において求
    めたパラメータ中の分散及び共分散を前記分散・共分散
    設定処理において求めた分散及び共分散を基準にして修
    正する隠れマルコフモデルパラメータ修正処理とを、 行うことを特徴とする隠れマルコフモデルの学習方法。
JP06228534A 1994-09-26 1994-09-26 隠れマルコフモデルの学習方法 Expired - Fee Related JP3091648B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06228534A JP3091648B2 (ja) 1994-09-26 1994-09-26 隠れマルコフモデルの学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06228534A JP3091648B2 (ja) 1994-09-26 1994-09-26 隠れマルコフモデルの学習方法

Publications (2)

Publication Number Publication Date
JPH0895595A true JPH0895595A (ja) 1996-04-12
JP3091648B2 JP3091648B2 (ja) 2000-09-25

Family

ID=16877916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06228534A Expired - Fee Related JP3091648B2 (ja) 1994-09-26 1994-09-26 隠れマルコフモデルの学習方法

Country Status (1)

Country Link
JP (1) JP3091648B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100404852B1 (ko) * 1996-08-03 2004-02-25 엘지전자 주식회사 언어모델적응기능을가진음성인식장치및그제어방법
CN110059392A (zh) * 2019-04-11 2019-07-26 桂林电子科技大学 一种滑坡形变预测方法
CN112513563A (zh) * 2018-08-31 2021-03-16 株式会社小松制作所 作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100404852B1 (ko) * 1996-08-03 2004-02-25 엘지전자 주식회사 언어모델적응기능을가진음성인식장치및그제어방법
CN112513563A (zh) * 2018-08-31 2021-03-16 株式会社小松制作所 作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集
CN110059392A (zh) * 2019-04-11 2019-07-26 桂林电子科技大学 一种滑坡形变预测方法

Also Published As

Publication number Publication date
JP3091648B2 (ja) 2000-09-25

Similar Documents

Publication Publication Date Title
US5812975A (en) State transition model design method and voice recognition method and apparatus using same
JP2690027B2 (ja) パターン認識方法及び装置
JP4336865B2 (ja) 音声認識装置
JP4531166B2 (ja) 信頼性尺度の評価を用いる音声認識方法
US6725196B2 (en) Pattern matching method and apparatus
EP1465154B1 (en) Method of speech recognition using variational inference with switching state space models
EP1863014B1 (en) Apparatuses and methods for learning and using a distance transition model
JP3632529B2 (ja) 音声認識装置及び方法ならびに記録媒体
WO2007105409A1 (ja) 標準パタン適応装置、標準パタン適応方法および標準パタン適応プログラム
KR100574769B1 (ko) 최우법을 포함한 고유음성에 기초한 화자 및 환경 적응 방법
US6226610B1 (en) DP Pattern matching which determines current path propagation using the amount of path overlap to the subsequent time point
JP4703648B2 (ja) ベクトルコードブック生成方法、データ圧縮方法及び装置、並びに分散型音声認識システム
JP2852298B2 (ja) 標準パターン適応化方式
JP3536471B2 (ja) 識別装置および識別方法、並びに音声認識装置および音声認識方法
JP3091648B2 (ja) 隠れマルコフモデルの学習方法
JP3176210B2 (ja) 音声認識方法及び音声認識装置
JPWO2008126254A1 (ja) 話者認識装置、音響モデル更新方法及び音響モデル更新処理プログラム
JP3029803B2 (ja) 音声認識のための単語モデル生成装置及び音声認識装置
JPH06266384A (ja) 音響モデル適応方式
JP2000259198A (ja) パターン認識装置および方法、並びに提供媒体
JPH11212591A (ja) パターン認識方法及びパターン認識装置並びにパターン認識プログラムが記録された記録媒体
JP2006053431A (ja) 音声認識用音響モデル作成方法、音声認識用音響モデル作成装置、音声認識用音響モデル作成プログラム及びこのプログラムを記録した記録媒体
JP2000099078A (ja) 標準パターン学習装置
JP2734828B2 (ja) 確率演算装置及び確率演算方法
KR0170317B1 (ko) 관찰벡터의 디스토션 확률밀도를 가진 은닉마코프 모델을 이용한 음성인식 방법

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees