JPH0713589A - ヒドン・マルコフ・モデルの学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 環境依存型音素ＨＭＭ（ヒドン・マルコフ・
モデル）の利点を維持ながら、学習データに偏りの少な
い環境依存型音素ＨＭＭの学習方法を提供する。 【構成】 ステップ６で、単語（又は文節もしくは文）
ＨＭＭを学習した後、それらをステップ７で環境依存型
音素ＨＭＭに分解する。さらに、これらの環境依存型音
素ＨＭＭをステップ９で再連結して単語ＨＭＭを作る。
このような学習、分解、連結学習を繰り返すことによっ
て環境依存型音素ＨＭＭを学習する。その後、ステップ
１１で、環境依存型音素ＨＭＭの中心部分のパラメータ
を、それに対応する環境独立型音素ＨＭＭの中心部分の
パラメータで置き換える。これにより、音素定常部の性
質を保て、学習データへの偏りを低減できる。しかも、
両端の状態のパラメータをそのままにすることによっ
て、前後音素の環境への記述する能力を保つことも可能
である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識方法に用いら
れるヒドン・マルコフ・モデル（以下、ＨＭＭという）
の学習方法に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがあった。 文献１；ザ・ベル・システム・テクニカル・ジャーナル
（The Bell System Technical Journal)、６２「４」
（１９８３−４）American Telephoneand Telegraph Co
mpany，（米）、エス・イー・レビンソン(S．E ．Levin
son）、エル・アール・ラビナー(L．R ．Rabiner)、エ
ム・エム・ソンディ(M．M ．Sondhi）共著「An Introdu
ction to the Application of the Theory of Probabil
istic Functions of a Markov Process to Automatic S
peech Recognition 」Ｐ．１０３５−１０７４ 文献２；中川聖一著「確率モデルによる音声認識」（昭
６３−７）、電子情報通信学会、Ｐ．５５−６１ 音声認識技術として、古典的なパターン・マッチング手
法から、近年では統計的な手法に変わり、後者が主流に
なりつつある。後者の統計的な手法では、確率的な有限
状態を持つマルコフ・モデルが提案されており、通常、
ＨＭＭと呼ぶ。一般に、ＨＭＭは、複数の状態（例え
ば、音声の特徴等）と状態間の遷移からなる。さらに、
ＨＭＭは、状態間の遷移を表す遷移確率と、遷移する際
に伴うラベル（音声の特徴パラメータの典型的なもの
で、通常数十から数千種類がある）を出力する出力確率
を有している。このようなＨＭＭを用いた音声認識方法
が前記文献１に記載されており、その単語音声認識の例
を図２に示す。

【０００３】図２は、従来の音声認識方法に用いられる
単語ＨＭＭの構造例を示す図である。図２のＳ₁，Ｓ₂，
Ｓ₃，Ｓ₄はＨＭＭにおける音声の特徴等の状態を表す。
ａ₁₁，ａ₁₂，ａ₂₂，ａ₂₃，ａ₃₃，ａ₃₄，ａ₄₄，ａ₄₅は状
態遷移確率、ｂ₁（ｋ），ｂ₂（ｋ），ｂ₃（ｋ），ｂ
₄（ｋ）はラベル出力確率を表す。ＨＭＭでは、状態遷
移確率ａ_ij（但し、ｉ＝１，…，４、ｊ＝１，…，５）
で状態遷移が行われる際、ラベル出力確率ｂ_j （ｋ）で
ラベルを出力する。発声された単語をＨＭＭを用いて認
識するには、まず、各単語に対して用意された学習デー
タを用いて、その単語のラベル列を最も高い確率で出力
するようにＨＭＭを学習する。次に、発声された未知単
語のラベル列を入力し、最も高い出力確率を与えた単語
ＨＭＭを認識結果とする。この種の音声認識方法では、
発声された単語そのものにＨＭＭを与えて学習し、尤度
（即ち、ラベル列の出力確率）によって認識結果を判断
している。このような単語ＨＭＭは、優れた認識精度を
保証するが、認識語い数が増大することによって膨大な
学習データが必要となることや、学習対象語以外の音声
が全く認識できないこと等の欠点がある。

【０００４】一方、音声学では通常、音素と呼ばれる声
学的要素の系列で単語を表している。従って、音素ごと
にＨＭＭを用意し、これらのＨＭＭを連結して単語ＨＭ
Ｍを生成し、単語認識を行う方法もある。しかし、実際
に発声された単語音声においては、各々の音素は隣同士
の音素の影響を受け、特徴パラメータ（例えば、スペク
トル）がかなり変形してしまう。このような調音結合に
よるスペクトルの変形は、音素ＨＭＭで表現しきれない
ことがある。そのため、このような単純に音素ＨＭＭを
連結して単語を認識する方法では、認識率の低下が免れ
ない。このような調音結合による影響を除去するため、
前後の音韻環境に依存する音素モデル、つまり、ダイフ
ォン（diphone)とトライフォン(triphoen)が提案されて
いる。ここで言うダイフォンは、対象音素に対して、先
行音素もしくは後続音素のどれかが既知である音素を指
し、トライフォンは先行音素と後続音素両方とも既知で
ある音素を指す。音声認識を行う際、ダイフォンあるい
はトライフォンＨＭＭを用意し、これらのＨＭＭの連接
によって単語ＨＭＭを構成し、単語認識を行うようにし
ている。音韻環境依存型音素ＨＭＭは、音韻環境独立型
音素ＨＭＭに比べ、調音結合によるスペクトル変形に伴
う認識率の低下が回避できるが、モデル数が多いため、
ＨＭＭを学習するには大量な学習データを用意しなけれ
ばならない。その上、学習データに各々のトライフォン
あるいはダイフォンが存在する区間を示す情報（即ち、
ラベル情報）も用意しなければならない。しかし、ラベ
ル付け作業を行う場合、例えばコンピュータによる自動
作業は満足のゆく精度が得られず、ほとんど手作業でラ
ベル付けを行っている。

【０００５】そこで、従来、ラベル情報を要しない学習
法が提案されている。この方法では、まず学習しやすい
環境独立型音素ＨＭＭを用意する。そして、発声内容が
既知でラベルが付かない単語（又は文節もしくは文、以
下同様）発声の学習データに対して、先の環境独立型音
素ＨＭＭを連結して単語ＨＭＭを構築し、これらの単語
ＨＭＭを学習する。単語ＨＭＭの学習なので、単語境界
（即ち、単語の始端と終端）が分かれば、学習プロセス
が実現できる。さらに、連結と逆の手続きで、これらの
単語ＨＭＭを分解し、環境依存型音素ＨＭＭを生成す
る。学習精度を良くするため、上述の連結学習、及び分
解生成を繰り返すことによって、近似的に環境依存型音
素ＨＭＭを生成する。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
環境依存型音素ＨＭＭ学習法では、次のような問題点が
あった。ある特定の環境依存型音素ＨＭＭに対して、そ
れに対応する音声データの数が場合によって非常に限ら
れるため、上述のように学習して得た環境依存型音素Ｈ
ＭＭは、性質が学習データに左右されやすい。即ち、学
習データに偏るおそれがある。しかし、環境独立型音素
ＨＭＭは大量の音声データより学習しやすく、学習デー
タへの偏りが少ない。本発明は、前記従来技術が持って
いた課題として、環境依存型音素ＨＭＭの利点を維持し
ながら、学習データに偏りの少ない環境依存型音素ＨＭ
Ｍの学習方法を提供するものである。

【０００７】

【課題を解決するための手段】本発明は、前記課題を解
決するために、環境依存音素ＨＭＭを学習するに際し
て、予め用意しておいた環境独立音素ＨＭＭを連結して
単語（又は文節もしくは文）ＨＭＭを構築する。そし
て、前記単語（又は文節もしくは文）ＨＭＭを学習する
学習処理と、前記学習処理後にその学習結果を環境依存
音素ＨＭＭに分解する分解処理と、前記分解された環境
依存音素ＨＭＭを再連結して単語（又は文節もしくは
文）ＨＭＭを作る連結処理とを用い、前記学習処理、分
解処理及び連結処理を繰り返すことによって前記環境依
存音素ＨＭＭを学習するＨＭＭの学習方法において、次
のような手段を講じている。即ち、本発明では、前記単
語（又は文節もしくは文）ＨＭＭを分解して得た環境依
存音素ＨＭＭの中心部分のパラメータを、それに対応す
る前記環境独立音素ＨＭＭの相同部分のパラメータで置
き換えることによって、偏りのない環境依存音素ＨＭＭ
を学習するようにしている。

【０００８】

【作用】本発明によれば、以上のようにＨＭＭの学習方
法を構成したので、環境依存型音素ＨＭＭを学習し終え
た後、環境依存型音素ＨＭＭの中心部分のパラメータ
が、それに対応する環境独立型音素ＨＭＭの中心部分の
パラメータで置き換えられる。例えば、音素当り４状態
のＨＭＭの場合、中央の２、３状態のパラメータａ_ij、
ｂ_j(ｋ）（ｉ＝２、３；ｊ＝２、３）が、環境独立型音
素ＨＭＭのａ_ij、ｂ_j(ｋ）で置き換えられる。そのた
め、音素定常部の性質が保たれ、学習データへの偏りが
低減する。一方、両端の状態（即ち、状態１と４）のパ
ラメータがそのままにされるので、前後音素の影響（即
ち、環境）への記述する能力も保たれる。これにより、
環境依存型音素ＨＭＭの利点が保たれつつ、学習データ
への偏りが低減する。従って、前記課題を解決できるの
である。

【０００９】

【実施例】図１は本発明の実施例を示すＨＭＭの学習方
法の処理内容のフローチャート、図３（ａ），（ｂ）は
図１中のステップ１１の処理説明図である。これらの図
を参照しつつ、本実施例のＨＭＭの学習方法を説明す
る。本実施例のＨＭＭ学習方法では、例えば、プログラ
ム制御されるコンピュータを用いて図１のステップ１〜
１２の処理が実行される。先ず、ステップ１で学習が開
始されると、ステップ２において学習データの音声信号
（例えば、単語音声として単語akaiとsakae)が入力さ
れ、ステップ３の前処理へ進む。ステップ３の前処理で
は、例えば、入力されたアナログ音声信号をアナログ／
デジタル変換（以下、Ａ／Ｄ変換という）によってデジ
タル信号に変換し、ＬＰＣ（Linear Predictive Codin
g、線形予測符号化）分析によるＬＰＣケプストラムの
抽出等により、音声特徴パラメータを抽出し、ステップ
５へ進む。

【００１０】環境独立型音素ＨＭＭ辞書４には、例え
ば、日本語音素（約３０〜４０種類）のＨＭＭが格納さ
れている。いわゆる環境独立型というのは、その音素の
前後の音素が未知であることを指す。これらを次のよう
に表す。 ステップ５では、入力された単語の音素列表現と、環境
独立型音素ＨＭＭ辞書４を参照しながら、上述の環境独
立型音素ＨＭＭを、例えば次式（１）のように連結して
単語ＨＭＭを生成する。

【００１１】 次に、ステップ６では、ステップ２で入力された単語音
声を用いて上述の単語ＨＭＭのパラメータを推定する
（ＨＭＭの学習）。ＨＭＭパラメータの推定には、例え
ば前記文献２に記載されたBaum-Welch(B-W）アルゴリズ
ムを用いる。このＢ−Ｗアルゴリズムでは、例えば、観
測ラベル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_T 及び状態系列Ｉ＝
ｉ₁，ｉ₂，…，ｉ_T に対して、次式（２）のように、前
向き変数α_t（ｉ）と後向き変数β_t（ｉ）を定義する。

【００１２】 α_t（ｉ）＝Ｐｒ（ｏ₁，ｏ₂，…，ｏ_t，ｉ_t＝ｓ_i） β_t（ｉ）＝Ｐｒ（ｏ_t+1，ｏ_t+2，…，ｏ_T｜ｉ_t＝ｓ_i） ・・・（２） そして、状態遷移確率ａ_ijとラベル出力確率ｂ_j （ｋ）
を次式（３）のように推定する。

【００１３】

【数１】 このように単語ＨＭＭを学習し終えると、ステップ７で
は、例えば次式（４）のように、単語ＨＭＭを環境依存
型音素ＨＭＭに分解する。 これらの環境依存型音素ＨＭＭを環境依存型音素ＨＭＭ
辞書８に保存する。このとき、（ａ）ｋ（ａ）というＨ
ＭＭが２つあるので、次式（５）のように、その平均を
取り、環境依存型音素ＨＭＭ辞書８に保存する。

【００１４】

【数２】 ステップ１０では、ある基準で上述の環境依存型音素Ｈ
ＭＭが収束したかどうかを判別し、もし収束していなけ
れば、ステップ９で次式（６）のように、ステップ７で
分解した環境依存型音素ＨＭＭを連結して単語ＨＭＭを
再構成し、ステップ６の単語ＨＭＭの学習へ戻り、上述
の学習処理と分解処理を繰り返す。 これに対し、ステップ１０の判別の結果、もし収束して
いたら（即ち、環境依存型音素ＨＭＭパラメータの前回
の値と今回の値との差が充分に小さければ）、学習ルー
プを終え、ステップ１１で、環境依存型音素ＨＭＭの中
心部分のパラメータを環境独立型音素ＨＭＭのそれで置
換する。例えば、ステップ１１において、環境依存型音
素ＨＭＭの各状態のパラメータはａ_ij（ｉ＝１、・・
・、４４；ｊ＝１、・・・、５）、ｂ_j(ｋ）（ｊ＝１、
・・・、４）とし、環境独立型音素ＨＭＭの各状態のパ
ラメータはａ_ij ⁰(ｉ＝１、・・・、４；ｊ＝１、・・
・、５）、ｂ_j ⁰（ｋ）（ｊ＝１、・・・、４）とする
と、新しい環境依存型音素ＨＭＭの各状態のパラメータ
はそれぞれ、ａ₁₁，ａ₁₂，ａ₄₄，ａ₄₅とｂ₁（ｋ），ｂ₄
（ｋ）は変化せず、ａ₂₂＝ａ₂₂ ⁰；ａ₂₃＝ａ₂₃ ⁰；ａ₃₃＝
ａ₃₃ ⁰；ａ₃₄＝ａ₃₄ ⁰；ｂ₂(ｋ）＝ｂ₂ ⁰（ｋ）；ｂ
₃（ｋ）＝ｂ₃ ⁰（ｋ)；のように置換する。

【００１５】即ち、ステップ１１では、例えば、環境依
存型音素ＨＭＭ辞書８内の（ａ）ｋ（ａ）に対して環境
独立型音素ＨＭＭ辞書４内の（＊）ｋ（＊）をピックア
ップし、図３（ａ），（ｂ）の処理をする。中心部分の
置換とは、４状態の場合、次のように、中央の２状態の
パラメータを置換する。 このようなステップ１１での置換処理後、ステップ１２
で学習を終了する。

【００１６】以上のように、本実施例では、次のような
利点がある。本実施例では、図１のステップ１０で、環
境依存型音素ＨＭＭを学習し終えた後、ステップ１１に
おいて、中心部分のパラメータをそれに対応する環境独
立型音素ＨＭＭの中心部分のパラメータで置き換えるよ
うにしているので、学習データへの偏りを低減できる。
しかも、その両端の状態のパラメータをそのままにする
ため、前後の音素環境への対応も保てるので、従来の環
境依存型音素ＨＭＭの長所を損なうことなく、学習デー
タへの偏りを減らすことができ、高精度の音声認識が可
能となる。なお、上記実施例では、入力された単語音声
に対するＨＭＭの学習方法について説明したが、文節や
文の音声が入力された場合にも、上記実施例と同様にし
て環境依存型音素ＨＭＭの学習が行える。

【００１７】

【発明の効果】以上詳細に説明したように、本発明によ
れば、環境依存型音素ＨＭＭを学習し終えた後、中心部
分のパラメータをそれに対応する環境独立型音素ＨＭＭ
の中心部分のパラメータで置き換えるようにしたので、
学習データへの偏りを低減できる。しかも、両端の状態
のパラメータをそのままにするため、前後の音素環境へ
の対応も保てるので、従来の環境依存型音素ＨＭＭの長
所を損なうことなく、学習データへの偏りを減らすこと
ができ、高精度の音声認識が可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示すＨＭＭの学習方法の処理
内容のフローチャートである。

【図２】従来の音声認識方法に用いられる単語ＨＭＭの
構造例を示す図である。

【図３】図１中のステップ１１の処理説明図である。

【符号の説明】 ４ 環境独立型音素ＨＭＭ辞書 ５ 単語ＨＭＭの構成処理のステップ ６ 単語ＨＭＭの学習処理のステップ ７ 単語ＨＭＭを環境依存型音素ＨＭＭに分解する
分解処理のステップ ８ 環境依存型音素ＨＭＭ辞書 ９ 環境依存型音素ＨＭＭを連結して単語ＨＭＭを
再構成する連結学習処理のステップ １０ 環境依存型音素ＨＭＭの収束判定処理のステッ
プ １１ 中心部分のパラメータの置き換え処理のステッ
プ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 環境依存音素ヒドン・マルコフ・モデル
   を学習するに際して、予め用意しておいた環境独立音素
   ヒドン・マルコフ・モデルを連結して単語、文節又は文
   のうちのいずれか１つのヒドン・マルコフ・モデルを構
   築し、 前記いずれか１つのヒドン・マルコフ・モデルを学習す
   る学習処理と、前記学習処理後にその学習結果を環境依
   存音素ヒドン・マルコフ・モデルに分解する分解処理
   と、前記分解された環境依存音素ヒドン・マルコフ・モ
   デルを再連結して単語、文節又は文のうちのいずれか１
   つのヒドン・マルコフ・モデルを作る連結処理とを用
   い、前記学習処理、分解処理及び連結処理を繰り返すこ
   とによって前記環境依存音素ヒドン・マルコフ・モデル
   を学習するヒドン・マルコフ・モデルの学習方法におい
   て、 前記単語、文節又は文のうちのいずれか１つのヒドン・
   マルコフ・モデルを分解して得た環境依存音素ヒドン・
   マルコフ・モデルの中心部分のパラメータを、それに対
   応する前記環境独立音素ヒドン・マルコフ・モデルの相
   同部分のパラメータで置き換えることによって、前記環
   境依存音素ヒドン・マルコフ・モデルを学習することを
   特徴とするヒドン・マルコフ・モデルの学習方法。