JPH0827638B2 - 音素を単位とした音声認識装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、音声を構成する基本単位である音素を認識
単位とすることにより、大語彙連続音声が認識可能な音
声認識装置の改良に関するものである。

（従来の技術） 従来、音声を構成する基本的な単位である音素を単位
として、音声を認識する方式は存在した。この方式で
は、まず認識の基本となる音素標準パターンを学習によ
り求める。この音素標準パターンを、音素表記された単
語辞書にしたがって合成した単語の標準パターンを用い
て単語音声を認識する。この場合において、「音素」と
いう用語は認識の単位という意味で、音声学でいう音素
だけでなく、音節や複数の音素連鎖も含む、より広い意
味で用いている。また、認識対象としては単語以外に、
文節、文章等があるが、以下では単語を認識する場合に
ついて説明する。

音素を単位とした認識方式の例として、たとえば、日
本音響学会音声研究会資料S85−62（1985年12月20日）
の477頁から484頁に「音節をベースとする日本語音声認
識」と題されて発表されている論文（以下引用文献１と
称す）に、子音＋母音（CV;子音をＣ、母音をＶと表記
する）および母音＋子音＋母音（VCV）を認識単位（音
素）とした音声認識方式が示されている。この方式で
は、単語単位に連続発声された学習用音声を、CV、VCV
の音素にセグメンテーションし、セグメンテーションさ
れた区間の音声から音素標準パターンを作成する（この
ような標準パターンの作成や、更新を学習と呼ぶ）。認
識時には、求められた音素標準パターンを結合したもの
を基にDPマッチング法により単語（文節）を認識してい
る。

また、IEEE,International Conference on Acoustic
s, Speech, and Signal Processing,1986,30.9の1593頁
に"The Role of Word−Dependent Coarticulatory Effe
cts in a Phoneme−Based Speech Recognition System"
（1986年）と題されて発表されている論文（以下引用文
献２と称す）には、音素を認識の単位として、隠れマル
コフモデル（Hidden Markov model、以下「HMM」と呼
ぶ）法を用いて認識を行う方式が示されている。以下
に、この方式を説明する。

最初に、音素単位のHMM（音素HMMと呼ぶ。音素標準パ
ターンと等価なものである。）を学習により求める方法
について述べる。学習用音声は、ベクトル量子化法によ
り観測ラベル列Ｏ（ｔ）;1≦ｔ≦Ｔに変換される。第２
図に音素HMMの例を示す。HMMは図のような状態遷移ネッ
トワークであらわされる。HMMには、状態ｉにおける観
測ラベル列Ｏ（ｔ）の出力確立bi（Ｏ（ｔ））、状態ｉ
から状態ｊへの状態遷移確立ａ（i,j）の各パラメータ
が定義されている。

音素HMMを学習する場合、まず、あらかじめ代表的な
話者のセグメンテーションされた音声データをもとに音
素HMMを作成しておく。これを音素HMM学習の初期値であ
る初期モデルとする。新しい話者に対しては、その話者
が発声した学習用音声を用いて、学習処理により初期モ
デルを更新し、その話者の音素HMMを作成する。この学
習処理は、FB（Forward−Backward）アルゴリズムを用
いて実行できる。このFBアルゴリズムについては、たと
えば、Proceedings of The IEEE,Vol.73,No.11の1652頁
に"Structural Methods in Automatic Speech Recognit
ion"（1985年11月）と題されて発表されている論文（以
下引用文献３と称す）に詳しく述べられている。単語単
位に発声された学習用音声を用いて音素HMMを学習する
方法としては、単語単位に更新されたFBアルゴリズムに
おける中間パラメータを、音素HMM単位にまとめること
により新しい音素HMMのパラメータ得るという操作を繰
り返す方法をもちいている。

入力音声を認識する場合は、音素HMMを音素表記され
た単語辞書に従って結合した単語HMMを用いて、上記のF
Bアルゴリズムにおける前向き確率として、その単語HMM
に対する入力音声の出現確率を求める。その出現確率が
最も高い単語が認識結果となる。

（発明が解決しようとする問題点） 音素を単位とした音声認識では、一般に、認識単位と
しては、Ｃ、Ｖなどの単独の音素（単音素と呼ぶ）より
も引用文献１に述べられているようなCV、VCVなどのあ
る程度の長さを持った音素連鎖（複合音素と呼ぶ）を用
いるほうが好ましい。これは、音声パターンは、前後に
どのような音素があるかにより大きく変化すること、単
音素から次の単音素に移る変化部分に大きな特徴がある
こと等の理由による。

しかし、一般に単音素の種類にくらべて複合音素の種
類はきわめて多い。たとえば日本語のＣ、Ｖなどの単音
素の数は20種程度であるが、複合音素のVCVは1000種以
上存在する。このため、全てのVCVを学習するために
は、それらの複合音素を含む膨大な学習用音声が必要で
あり、学習に必要な処理量もきわめて多くなるという欠
点があった。

また、音声を発声する場合、無声化・長母音化等の発
声変形が生じることがある。このような発声変形に対処
するため、無声化音素や長母音化音素の音素HMMを通常
の音素HMMの他に用意する方法がある。しかし、発声変
形の有無は確率的に生じることであり、学習用音声の中
に特定の発声変形が存在しない場合や、無声化等の変形
を生じる可能性のある音素全てに、発声変形が生じてい
る場合がある。このような場合は、発声変形が生じた音
素や、発声変形のない音素の標準パターンが学習されな
いという欠点があった。

さらに、初期モデルは、一般に代表的な話者の発声を
もとに作成したものを用いているが、音素HMMを学習す
るときに、新しい話者の学習用音声が代表的な話者の音
声パターンと大きく異なる場合は、学習音声の音素セグ
メントと音素HMMの区間の対応付けが大きくずれてしま
うことにより、学習が正しく行われないことがあるとい
う欠点があった。

本発明は、以上のような欠点を除き、少ない学習用音
声で、さまざまな発声変形や、種類の多い複合音素の標
準パターンが学習できるようにすることにより、高性能
な音声認識装置を実現することにある。

（問題点を解決するための手段） 本願の第１の発明による音素を単位とした音声認識装
置は、学習用音声から単音素標準パターンを求める単音
素学習部と、得られた前記単音素標準パターンを１個以
上結合することにより複合音素標準パターンを作成する
音素結合部と、前記作成された複合音素標準パターンを
もとに学習用音声を用いて学習する複合音素学習部と、
前記複合音素標準パターンを用いて入力音声を認識する
音声認識部とを有する。

本願の第２の発明による音素を単位とした音声認識装
置は、前記本願の第１の発明に加え、学習用音声の発声
変形情報を求める発声変形検出部と、前記発声変形情報
をもとに学習を行う単音素学習部と、前記発声変形情報
をもとに学習を行う複合音素学習部とを有する。

本願の第３の発明による音素を単位とした音声認識装
置は、前記本願の第１および２の発明に加え、あらかじ
め求められた初期標準パターンと、学習用音声から求め
られた初期標準パターンを標準パターン毎に選択する音
素選択部と、選択された初期標準パターンを初期値とし
て学習用音声から単音素標準パターンを求める単音素学
習部とを有する。

（作用） 本発明による音素を単位とする音声認識装置の作用に
ついて説明する。以下の説明では、単音素としてはＣ、
Ｖなどの音素、複合音素としては語頭のCV、およびVCV
などの音素連鎖を用いることにする。また認識方法とし
ては、引用文献２に述べられているような音素単位のHM
Mを用いることにする。このほかの方法による場合も同
様である。

本発明では、認識の単位として複合音素HMMを用い
る。この複合音素HMMを学習により求める際に、学習用
音声が少ない場合や発声変形が含まれている場合、定義
されている全ての複合音素に対応する音声パターンが学
習用音声中に存在しないことがある。その結果、学習さ
れない複合音素HMMができる可能性が生じる。

これに対処するため、本発明では複合音素HMMを求め
る際に、まず単音素HMMを学習により求める。単音素HMM
は複合音素HMMを分割したものに相当する。複合音素V1C
1V2（たとえば［asi］）は、単音素V1（［ａ］）、C1
（［ｓ］）、V2（［ｉ］）に分割される。単音素HMM
は、種類が限られる（20種程度）ため、全ての単音素を
含む学習用音声を用意することは容易である。発声変形
に対しても、単音素HMMを用いれば、発声変形が生じた
音素と類似した音素との置き換えにより対処可能であ
る。例えば、無声化母音の単音素HMMは、摩擦音［ｓ］
等の単音素HMMで置き換えることにより対処できる。学
習用音声の発声変形の内容（例えば無声化の有無）につ
いては、あらかじめ発声変形情報として、わかっている
ものとする。

単音素HMMの学習方法は、例えば引用文献２に述べら
れているような方法を用いることができる。第３図に単
音素［ａ］の単音素HMMの例を示す。ここでは、図に示
すように２状態からなるHMMを単音素HMMとして用いる。
単音素HMMを学習する場合、まず代表的な話者の音声よ
り求められた単音素HMMを初期モデルとして用いる。こ
れらの単音素HMMを、単音素表記された単語辞書に従っ
て結合し単語HMMを作成する。第５図に単音素HMM
［ａ］，［ａ］，［ｓ］，［ａ］，［ａ］，［ｈ］，
［ｉ］，［ｉ］を結合して得られた単語HMM［asahi］の
例を示す。母音の単音素［ａ］，［ｉ］が重なっている
のは複合音素［asa］，［ahi］への分割を考慮したため
である。

このような単語HMMをもとに、単語発声された学習用
音声を用いて、引用文献２に述べられている方法で単音
素HMMを学習する。発声変形を含む学習用音声を用いる
場合、前記の発声変形情報にしたがって単音素HMMを結
合し、学習に用いる単語HMMを作成する。

このようにして求められた単音素HMMを結合すること
により複合音素HMMを作成することができる。第４図
は、単音素HMMの［ａ］，［ｓ］，［ａ］を結合し求め
られた複合音素HMM［asa］の例である。調音結合の影響
のため、前後の音素の種類によって同じ音素でも音声パ
ターンは変わり得る。このように、単音素HMMの単なる
結合では不十分ではあるが、近似的には複合音素HMMと
して使用することは可能である。

さらに、本発明では学習用音声中に存在する複合音素
HMMについては、単音素HMMの合成により作成した複合音
素HMMを初期モデルとして、複合音素HMMの学習を行う。
この学習は単音素HMMの場合と同様に行うことができ
る。

これにより、学習用音声中に存在する複合音素に対し
ては調音結合の影響を含んだモデルを作成することがで
きる。

このように、本発明によれば学習用音声中に存在する
複合音素だけでなく、存在しない場合も近似的に複合音
素HMMを作成することができるので、限られた量の学習
用音声を有効に使って複合音素HMMの学習を行うことが
できる。

以上の説明では、学習用音声中の発声変形はあらかじ
めわかっているとした。しかし、発声変形情報を得るた
めには、あらかじめ学習用音声を発声する際に発声変形
の有無について指定する等の方法を用いる必要がある。
例えば、ある母音は無声化させ、他の母音は無声化させ
ないように発声する等である。しかし、このような方法
は使用者に負担を強いることになる。それに対し、本発
明では、学習用音声の発声変形を自動的に検出する方法
を用いることもできる。以下に、この発声変形の自動的
検出法について述べる。

まず、発声変形をすべて網羅した単語辞書を用意し、
それらの辞書に従って代表的話者により求められた単音
素HMMを結合して単語HMMを作成する。これらの単語HMM
に対する学習用音声の出現確率を求め、最も確率の高い
単語辞書中の発声変形を学習用音声の発声変形とする。
この出現確率は、単語を認識する場合と同様、引用文献
３に述べられている前向き確率を用いて求めることがで
きる。

例えば、「拍手」（発音：［hakusyu］）の４番目と
６番目の単音素である［ｕ］は無声化する可能性があ
る。そこで、すべての可能な組合せである［hakusy
u］，［haku−syu］，［hakusyu−］，［haku−syu−］
（無性化した［ｕ］を［ｕ−］とあらわす）の辞書を用
意し、それらの辞書に従って作られた単語HMMを用いて
発声変形を求める。例えば［haku−syu］の出現確率が
最も高ければ、最初の［ｕ］は無声化しているとする。

このようにして求められた発声変形情報を用いること
により、発声変形を含む音声による学習が可能となる。

また、以上の説明では、初期モデルは代表的な話者の
発声を基にしている。通常、これにより単音素HMMの学
習を行うことができるが、新しい話者の学習用音声が代
表的な話者の音声パターンと大きく異なる場合は、学習
が正しく行われないことがあることについて既に述べ
た。そこで本発明では、母音などの、話者によりパター
ン変動の大きい可能性のある単音素の初期モデルは、学
習用音声から直接作成する方法を用いる。

ここでは、母音の初期モデルを学習用音声から作成す
る場合について述べるが、母音以外の初期モデルに対し
ても同様である。まず、学習用音声として単音素単位に
セグメンテーションが容易な音声を用意する。たとえば
単独発声した母音を学習用音声とすれば、この音声デー
タの音声区間（たとえば、振幅がある程度以上大きい部
分）を母音の単音素のセグメントとすることができる。
また、たとえば、共立出版「音声認識」の73頁から述べ
られているセグメンテーション法を用いて母音区間を切
り出すことにより、様々な音声を初期モデル作成のため
に用いることができる。

この学習用音声を上記の方法で単音素にセグメンテー
ションし、単音素セグメント内の音声を学習用音声とし
て、単音素毎にFBアルゴリズムを用いて単音素HMMを学
習することができる。この場合学習用音声セグメントと
単音素HMMの対応付けがずれるおそれは無いので、学習
の初期モデルとして例えば乱数値や代表的な話者より作
られた単音素HMMを用いることができる。また、観測ラ
ベル出力確率bi（ｘ）だけを、対応するセグメント内の
全観測ラベルの出現頻度を基に求めたものを用い、状態
遷移確率ａ（i,j）は代表的な話者のものをそのまま用
いることもできる。

このように、単音素の初期モデルを学習する話者の音
声から求めることにより、安定した学習が可能となる。

以上、HMMを用いた方法を基に説明したが、引用文献
１に述べられているようなDPマッチング法を使用する場
合も同様である。この場合、音素標準パターンとして、
単音素標準パターンと複合音素標準パターンを用意す
る。DPマッチングを用いた標準パターンの反復学習法と
して、次のようなものを用いることができる。あらかじ
め求められた初期音素標準パターンを単語辞書に従って
接続した単語標準パターンを用いて、学習用音声をDPマ
ッチングにより音素単位にセグメンテーションする。得
られた音素単位のセグメントを同一音素間で平均化し新
しい音素標準パターンを作成する。この操作を繰り返
し、音素標準パターンを更新する。

このような反復学習法を用いることにより、DPマッチ
ングに用いる標準パターンの学習法もHMMのFBアルゴリ
ズムを用いる方法と同様に扱うことができるので、本発
明による学習法を適用することができる。

（実施例） 本発明による音素を単位とした音声認識装置の実施例
について図面を参照して説明する。第１図は本発明の一
実施例を示す構成図である。まず最初に、認識に用いる
複合音素HMMを求める学習方法について説明する。

初期モデルメモリ１には単音素HMMの学習のための初
期値となる単音素HMMのパラメータ（初期モデル）が保
持されている。この初期モデルは予め代表的な話者が発
声した音声を単音素毎にセグメンテーションしたものか
ら求めておく。これは、単音素毎に文献３に述べられて
いるようなFBアルゴリズムを適用することにより実現で
きる。単音素HMMとしては、ここで第３図に示されてい
るような２状態からなるモデルを用いる。

初期モデル学習用音声メモリ２の中には、ベクトル量
子化法により観測ラベル列に変換された初期モデル学習
用音声の音声データが保持されている。この音声データ
はセグメンテーション部３に入力され、単音素単位にセ
グメンテーションされる。ここでは単独発声した母音を
初期モデル学習用音声とし、この音声データの振幅があ
る定められた値より大きい部分を母音の単音素データと
する。パラメータ作成部４では、入力された単音素デー
タをもとに、FBアルゴリズムにより単音素HMMのパラメ
ータを求める。

初期モデル選択部５では、初期モデルメモリ１中の単
音素HMMと、パラメータ作成部４により求められた単音
素HMMから、予め定められたルールに従って、単音素HMM
が初期モデルとして選択され出力される。例えば、母音
の初期モデル（単音素HMM）はパラメータ作成部４から
のものを用い、それ以外は初期モデルメモリ１内のもの
を選択するというルールを適用する。初期モデル学習用
音声を用いない場合は、初期モデルメモリ１中の単音素
HMMを初期モデルとして出力する。

学習用音声メモリ６中には観測ラベル列で表現された
学習用音声データが保持されている。発声変形検出部７
では、学習用音声データに対応する単語の発声変形をす
べて網羅した辞書を単語辞書メモリ８から読みだす。こ
の単語辞書の表記に従って初期モデルを結合し、発声変
形毎の単語HMMを作成する。続いて、これらの単語HMMに
対して、学習用音声データの出現確率を前向き確率とし
て求め、出現確率が最大となる単語HMMの発声変形を、
その学習用音声データの発声変形情報として発声変形情
報メモリ９中に保持する。また、発声変形情報として
は、このようにして求められたもの以外にも、予め学習
用音声を調査することにより得られた情報を用いること
ができる。

単音素学習部10では、学習用音声メモリ６中の音声デ
ータを用いて単音素HMMの学習を行う。これは、まず発
声変形情報メモリ９中の発声変形情報により、単語辞書
メモリ８中の発声変形を含む単語辞書を選択し、初期モ
デルを結合し学習用音声に対応した単語HMMを作成す
る。引用文献２に述べられている方法と同様に、この単
語HMMのパラメータを更新し、その更新されたパラメー
タを単音素単位にまとめることにより単音素HMMの学習
処理を進める。パラメータが集束するまで、この学習処
理を繰り返して行う。

学習が終了した単音素HMMは、単音素結合部11におい
て予め定められたルールに従って結合され、複合音素HM
Mが作られる。ルールとしては例えば、複合音素［asa］
は単音素［ａ］，［ｓ］，［ａ］を第４図のように結合
して作成するというものなどがある。

複合音素学習部12では、単音素結合部11により作られ
た複合音素HMMを初期モデルとし、学習用音声メモリ６
中の音声データを用いて複合音素HMMの学習を行う。学
習法は単音素学習部10で用いられた方法と同じである。

求められた複合音素HMMは、複合音素HMMメモリ13中に
保持される。

続いて、入力音声を認識する方法について説明する。
認識処理は認識部14中で行われる。この認識方法は文献
２で述べられている方法と同じである。すなわち、入力
音声はベクトル量子化方法により観測ラベル列に変換さ
れる。つぎに、単語辞書８中の単語辞書に従って、複合
音素HMMメモリ13中の複合音素HMMを結合し単語HMMが順
次作成される。この単語HMMに対する入力音声の出現確
率を、前向き確率として求め、この出現確率が最大とな
る単語HMMに対する単語が認識結果となる。

（発明の効果） 本発明によれば、少ない学習用音声で、多くの発声変
形や、多くの種類を持つ複合音素の標準パターンが学習
できるので、高性能な音声認識装置を実現することがで
きる。

【図面の簡単な説明】

第１図は、本願発明による一実施例を示す構成図、第２
図は、音素HMMの例を示す図、第３図は、単音素HMMの例
を示す図、第４図は、複合音素HMMの例を示す図、第５
図は、単語HMMの例を示す図である。 図において、 １…初期モデルメモリ、２…初期モデル学習用音声メモ
リ、３…セグメンテーション部、４…パラメータ生成
部、５…初期モデル選択部、６…学習用音声メモリ、７
…発声変形検出器、８…単語辞書メモリ、９…発声変形
情報メモリ、10…単音素学習部、11…単音素結合部、12
…複合音素結合部、13…複合音素HMMメモリ、14…認識
部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】学習用音声から単音素標準パターンを求め
   る単音素学習部と、得られた前記単音素標準パターンを
   １個以上結合することにより複合音素標準パターンを作
   成する音素結合部と、前記作成された複合音素標準パタ
   ーンをもとに学習用音声を用いて学習する複合音素学習
   部と、前記複合音素標準パターンを用いて入力音声を認
   識する認識部とを有する音素を単位とした音声認識装
   置。
2. 【請求項２】学習用音声の発声変形情報を求める発声変
   形検出部と、前記発声変形情報をもとに学習を行う単音
   素学習部と、前記発声変形情報をもとに学習を行う複合
   音素学習部とを有する請求項１記載の音素を単位とした
   音声認識装置。
3. 【請求項３】あらかじめ求められた初期標準パターン
   と、学習用音声から求められた初期標準パターンを標準
   パターン毎に選択する音素選択部と、選択された初期標
   準パターンを初期値として学習用音声から単音素標準パ
   ターンを求める単音素学習部とを有する請求項１または
   ２記載の音素を単位とした音声認識装置。