JPH11212587A - 音声認識における雑音適応方法 - Google Patents

Abstract

(57)【要約】 【課題】 音声認識における雑音適応の処理を高速にお
こなう。 【解決手段】 雑音の無い環境で作成された音韻ＨＭＭ
と雑音ＨＭＭを周波数領域で加算することにより発声環
境に合わせた音韻ＨＭＭを作成する音声認識における雑
音適応方法において、音韻ＨＭＭを構成する確率分布の
うち、雑音ＨＭＭを加算する分布を制限する分布選択手
段を設ける。 【効果】 雑音ＨＭＭを加算する分布を制限されるので
処理量の削減が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声認識における雑
音適応方法に係る。

【０００２】

【従来の技術】音声認識装置を実用化するためには、騒
音下で発声した音声でも正しく認識するような耐騒音化
技術が必要不可欠である。音声認識の分野では、雑音の
ない環境で作成した音韻単位に分割された音声の特徴パ
ラメータ系列を隠れマルコフモデル（音韻ＨＭＭ）に対
して、雑音の特徴パラメータ系列を隠れマルコフモデル
として表現したもの（雑音ＨＭＭ）をスペクトル上で加
算する雑音適応方式（特開平6-214592号公報）が知られ
ている。

【０００３】

【発明が解決しようとする課題】前記従来技術の雑音適
応方式は、音韻ＨＭＭのすべての音響パラメータをスペ
クトル領域のパラメータに変換する必要があるため、そ
の適応処理に時間がかかる。雑音適応処理に時間がかか
りすぎると、音声認識機能を利用する際に雑音適応が完
了するまで待たなければならず、使い勝手が悪くなる。
また、常に雑音が変化するような環境では、適応する時
点と実際に音声認識を開始する時点とで騒音環境にずれ
が生じてしまうため、雑音適応による効果が充分に発揮
できない。

【０００４】本発明の目的は、雑音ＨＭＭの重畳による
雑音適応処理において、該処理量を大幅に削減する音声
認識における雑音適応方法を提供し、雑音下でも安定に
動作する耐騒音型音声認識装置を提供することにある。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明では、音韻単位に分割された音声の特徴パ
ラメータ系列を隠れマルコフモデルとして表現したもの
（音韻ＨＭＭ）を雑音の無い環境で作成し、該雑音の無
い環境で作成した前記音韻ＨＭＭと雑音の特徴パラメー
タ系列を隠れマルコフモデルとして表現したもの（雑音
ＨＭＭ）とをそれぞれの前記特徴パラメータ系列の周波
数領域で加算し、発声環境に合わせた前記音韻ＨＭＭを
作成する音声認識における雑音適応方法において、前記
雑音の無い環境で作成した前記音韻ＨＭＭを構成する確
率分布のうち、前記雑音ＨＭＭを加算する分布を制限す
る。

【０００６】（実施例）以下、本発明の実施例を示す。
図１は本発明の一実施例を説明するための半連続ＨＭＭ
による単語音声認識装置のブロック図である。図１にお
いて、１０１は音声入力部、１０２は特徴パラメータ抽
出部、１０３は音声認識部、１０４は代表分布格納部、
１０５は音響ＨＭＭ格納部、１０６は辞書格納部、１０
７は認識結果出力部、１０８は雑音モデル適応部であ
る。

【０００７】音声入力部（１０１）は通常、マイクロフ
ォンとＡ／Ｄ変換器より構成されており、音声波形を取
り込み、ディジタルデータに変換する。特徴パラメータ
抽出部（１０２）は、ディジタルデータに変換された入
力音声波形を短時間周期（通常は10ms〜20ms）毎に分割
し、分割したデータに対する特徴パラメータを抽出す
る。音声認識における特徴パラメータとしては、ＬＰＣ
ケプストラムが使われることが多い。ＬＰＣケプストラ
ムについては中田著「音声」（コロナ社）が詳しい。音
響ＨＭＭ格納部（１０５）には、音韻ＨＭＭが格納され
ている。音韻ＨＭＭとは、音韻単位に分割された音声の
特徴パラメータ系列を隠れマルコフモデル（ＨＭＭ）と
して表現したものである。ＨＭＭに関しては、中川著
「確率モデルによる音声認識」（電子情報処理学会編）
に詳細な説明がされている。音韻ＨＭＭにおける確率密
度関数は、多次元ガウス分布の混合分布として近似され
る。このとき、半連続ＨＭＭ方式では、この多次元ガウ
ス分布を有限個のクラスタに分類し、それぞれのクラス
タに属する分布を一つの分布で代表させる。ここで、代
表させた分布を代表分布、クラスタの識別子（ＩＤ）を
コードワード、コードワードとそのクラスタの代表分布
とを関係付ける対応表をコードブックと呼んでいる。代
表分布格納部（１０４）には、このコードブックが格納
されている。代表分布格納部（１０４）の一実施例を図
２に示す。代表分布は、これを多次元ガウス分布として
モデル化した場合には、平均ベクトルと分散行列によっ
て表現することができる。代表分布格納部（１０４）
は、代表分布を表現する平均ベクトルVと分散行列Σ、
及びその分布を特定するためのＩＤ番号（コードワー
ド）を組とする集合によって構成されている。辞書格納
部（１０５）は、認識対象となる語彙が音韻記号列とし
て記述されている。単語ＨＭＭは、各認識対象単語に対
して、辞書格納部（１０５）に記述されている音韻記号
列にしたがって音韻ＨＭＭを連結していくことにより作
成される。音声認識部（１０３）は、特徴パラメータ抽
出部（１０２）で抽出した入力音声の特徴パラメータの
時系列データと認識対象語彙に基づいて作成した音声Ｈ
ＭＭとの間で尤度を計算し、その尤度の一番高い単語を
認識結果とする。認識結果出力部（１０６）は、音声認
識部（１０３）で得られた音声認識結果を出力する装置
によって構成される。例えば、認識結果をテキストとし
て表示するためのディスプレイなどがこれにあたる。

【０００８】図３は雑音モデル適応部（１０８）の一実
施例を説明するための図である。図３において、３０１
は雑音ＨＭＭ作成部、３０２は分布選択部、３０３はス
ペクトル変換部、３０４はパラメータ加算部、３０５は
スペクトル逆変換部である。

【０００９】雑音ＨＭＭ作成部（３０１）は、参照対象
とする雑音波形に対応する特徴パラメータ系列を入力と
し、雑音ＨＭＭを作成する。入力する特徴パラメータ系
列の計算については、図１で既に説明した。雑音ＨＭＭ
を出現確率が単一ガウス分布１状態のモデルとすると、
雑音ＨＭＭ作成部（３０１）は、入力系列に対する特徴
パラメータの平均値と分散値を計算することになる。分
布選択部（３０２）は、コードブック格納部に格納され
ている代表分布のうち雑音ＨＭＭとモデル合成をおこな
う分布を選択する。分布選択部（３０２）の詳細につい
ては後述する。スペクトル変換部（３０３）は、分布選
択部（３０２）で選択された代表分布に対して、その特
徴パラメータを周波数領域のパラメータに変換する。前
述したように、音声認識ではＬＰＣケプストラムが特徴
パラメータとしてよく用いられる。ＬＰＣケプストラム
の周波数変換には、コサイン変換による対数スペクトル
領域への変換と、線形変換による線形スペクトル領域へ
の変換の２ステップにより行われる。ここで、特徴パラ
メータのガウス分布において、平均ベクトルの第r次元
目の値をμ[r]、分散行列の第r行s列の値をσ[r;s]とす
ると、コサイン変換は次式で与えられる。

【００１０】

【数１】

【００１１】

【数２】

【００１２】ここで、

【００１３】

【数３】

【００１４】はコサイン変換行列である。また、μ、σ
に付けた下付きsuffixのcpとlgはそれぞれケプストラム
領域のパラメータ、対数スペクトル領域のパラメータで
あることを表す。同様に、線形変換は次式で行われる。

【００１５】

【数４】

【００１６】

【数５】

【００１７】ただし、suffixのlnは線形スペクトル領域
でのパラメータであることを表す。パラメータ加算部
（３０４）は、代表分布と雑音ＨＭＭの各特長量をスペ
クトル領域上で加算する。

【００１８】

【数６】

【００１９】

【数７】

【００２０】ここで、μ、σに付けた上付きsuffixのs
n,s,nはそれぞれ、加算後の特徴量、代表分布の特徴
量、雑音ＨＭＭの特徴量であることを示す。スペクトル
逆変換部（３０５）は、雑音ＨＭＭと加算した代表分布
の特徴量を周波数領域から元のケプストラム領域に逆変
換する。この変換は対数変換とコサイン逆変換とに分け
られ、それぞれ線型変換の逆変換とコサイン変換の逆変
換に対応する。スペクトル逆変換部（３０５）で再び元
のケプストラム領域に戻された特徴パラメータは、代表
分布格納部（１０４）に格納され、これまでの代表分布
の代わりに音声認識部（１０３）で使用する。

【００２１】次に、分布選択部（３０２）の詳細につい
て説明する。分布選択部（３０２）は、代表分布格納部
（１０４）に格納されているn個の代表分布のうち雑音
ＨＭＭとモデル合成をする分布を選択し、スペクトル変
換部（３０３）に出力する。図２で説明したように、代
表分布格納部（１０４）に存在する代表分布にはそれぞ
れの分布を示すＩＤ番号（コードワード）がつけられて
いる。したがって、分布選択部（３０２）では、選択対
象とする代表分布のＩＤ番号を記憶しておけば良い。

【００２２】以下、分布選択部（３０２）においてなさ
れる代表分布の選択方法について説明する。代表分布の
選択は、代表分布の一つと、その代表分布に雑音ＨＭＭ
を周波数領域で加算した雑音重畳代表分布との分布間距
離をそれぞれの分布毎に計算しておき、その大きさに基
づいて行われる。この分布間距離の計算の説明を図４に
示す。この図ではn個ある代表分布のうち、コードワー
ドiの代表分布に対する例である。この代表分布i（４０
１）に対して雑音ＨＭＭ（４０２）をスペクトル領域で
加算することにより、雑音重畳代表分布i（４０３）を
作成する。使用する雑音ＨＭＭは音声認識システムが良
く使われると想定される環境雑音にもとづき作成する。
このとき、コードワードiの代表分布が雑音重畳によっ
て受ける変形量は、代表分布（４０１）と雑音重畳代表
分布（４０３）との間の距離として求める。分布間の距
離尺としては、カルバック・ダイバージェンス（Kullba
ckdivergence）距離尺度がよく用いられる。無相関多次
元ガウス分布に対するKullback divergence距離は次式
で計算する。

【００２３】

【数８】

【００２４】

【数９】

【００２５】先に述べたように、分布間距離Diはこの代
表分布が雑音重畳によって受ける変形量に相当する。つ
まり、この値が大きな代表分布は雑音の影響を受けやす
いモデルと考えられ、逆に、この値が小さい代表分布は
雑音に対して頑健なモデルであると考えられる。そこ
で、雑音に対して頑健な分布は雑音ＨＭＭの重畳による
雑音適応処理を行わないことにする。分布選択部（３０
２）では、事前に計算した各代表ベクトルの分布間距離
の値をもとに、この値がある閾値を上回る分布のコード
ワードを記憶しておく。そして、記憶したコードワード
に対応する代表分布のみに対し、雑音ＨＭＭを周波数領
域で加算する。雑音ＨＭＭの重畳による雑音適応手法の
処理量は、処理を適用する分布数にほぼ比例する。した
がって、分布選択部（３０２）において、処理する代表
分布の数を制限することで、雑音適応の処理量を大幅に
削減することが可能である。たとえば、処理する分布の
数を１／２に制限すれば、雑音適応処理もほぼ１／２の
処理量に削減される。また、選択基準として雑音重畳に
よって受けるモデルの変形量に相当する分布間距離尺度
を採用することで、処理量削減により雑音適応の効果が
大幅に劣化するようなことはない。

【００２６】第一の実施例では、分布選択部（３０２）
によって、雑音ＨＭＭを周波数領域上で加算する代表分
布の数を制限する方式について説明した。しかし、使用
状況によっては雑音適応の処理時間に余裕があることも
ある。そこで、第二の実施例として、雑音適応を高速に
処理する必要があるときには、第一の実施例と同様に処
理する代表分布の数を制限し、処理に余裕がある場合に
は、すべての代表分布に対して雑音ＨＭＭを重畳する方
式を説明する。第二の実施例では、分布選択部（３０
２）において、図５に示すような優先度テーブルを用意
する。優先度テーブルには、代表分布格納部（１０４）
に対応するコードワードとその優先度により構成され
る。ここで、優先度は分布間距離の値に基づいて決定さ
れる。雑音モデル適応部（１０８）は優先度の高い順に
代表分布を選択し、逐次、雑音ＨＭＭとｋ重畳を処理し
ていく。このとき、雑音適応の処理が完了する前に、音
声認識が開始されたとしても、優先度の高い（雑音によ
る変形を受けやすい）代表分布は既に雑音ＨＭＭとの重
畳が完了しているため、雑音適応の性能が大幅に低下す
ることはない。

【００２７】また、同様な考え方として、優先度に応じ
て、雑音適応の更新頻度を代表分布毎に変えるという方
式も考えられる。つまり、優先度の高い分布ほど更新を
頻繁におこない、優先度の低い代表分布に対しては、そ
の更新頻度を下げることで、限られた処理時間の中で効
果的な雑音適応処理が可能となる。

【００２８】以上はすべて単語音声認識装置を例にとっ
て説明したが、連続音声認識に対しても、同様に適用可
能である。

【００２９】

【発明の効果】以上述べてきたように、本発明では、前
記雑音の無い環境で作成した前記音韻ＨＭＭを構成する
確率分布のうち、前記雑音ＨＭＭを加算する分布を制限
するので、雑音適応の処理量を大幅に削減することが可
能となる。すなわち、雑音ＨＭＭの重畳による雑音適応
手法の処理量は処理を適用する分布数にほぼ比例するの
で、処理する分布数を減少させれば、雑音適応の処理量
を減少させることが可能となる。

【図面の簡単な説明】

【図１】音声認識装置の構成図。

【図２】代表分布格納部を説明する図。

【図３】雑音モデル適応部の構成図。

【図４】分布間距離の計算を説明するための図。

【図５】優先度テーブルを説明する図。

【符号の説明】

１０２…特徴パラメータ抽出部、１０４…代表分布格納
部、３０１…雑音ＨＭＭ作成部、３０２…分布選択部、
３０３…スペクトル変換部、３０４…パラメータ加算
部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】音韻単位に分割された音声の特徴パラメー
   タ系列を隠れマルコフモデルとして表現したもの（音韻
   ＨＭＭ）を雑音の無い環境で作成し、該雑音の無い環境
   で作成した前記音韻ＨＭＭと雑音の特徴パラメータ系列
   を隠れマルコフモデルとして表現したもの（雑音ＨＭ
   Ｍ）とをそれぞれの前記特徴パラメータ系列の周波数領
   域で加算し、発声環境に合わせた前記音韻ＨＭＭを作成
   する音声認識における雑音適応方法において、 前記雑音の無い環境で作成した前記音韻ＨＭＭを構成す
   る確率分布のうち、前記雑音ＨＭＭを加算する分布を制
   限することを特徴とする音声認識における雑音適応方
   法。
2. 【請求項２】前記雑音の無い環境で作成した前記音韻Ｈ
   ＭＭを構成する確率分布と、該確率分布と前記雑音ＨＭ
   Ｍとを前記周波数領域で加算した雑音重畳確率分布との
   間で分布間距離を分布毎に予め計算しておき、前記分布
   間距離の大きさに基づいて前記雑音ＨＭＭを加算する分
   布を制限することを特徴とする請求項１記載の音声認識
   における雑音適応方法。
3. 【請求項３】前記制限された前記雑音ＨＭＭを加算する
   分布は、前記予め計算しておいた前記分布間距離の値が
   所定の閾値を超えた分布であることを特徴とする請求項
   ２記載の音声認識における雑音適応方法。
4. 【請求項４】前記予め計算しておいた前記分布間距離の
   値が大きい分布を優先して前記雑音ＨＭＭの加算する処
   理をおこなうことを特徴とする請求項２又は請求項３の
   何れかに記載の音声認識における雑音適応方法。