JPH07261790A

JPH07261790A - 音声認識装置

Info

Publication number: JPH07261790A
Application number: JP6053973A
Authority: JP
Inventors: Junichi Nakabashi; 順一中橋; Hidekazu Tsuboka; 英一坪香
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-03-24
Filing date: 1994-03-24
Publication date: 1995-10-13

Abstract

(57)【要約】【目的】認識性能を向上すること。【構成】コードブック記憶手段４０６と、コードブッ
クによって特徴ベクトル系列の各ベクトルを各ラベルに
対応した帰属度の組（帰属度ベクトル）に変換し、前記
特徴ベクトル系列を帰属度ベクトル系列に変換するファ
ジィベクトル量子化部４０５と、ラベルの発生確率（ラ
ベル発生確率）が状態毎に定義されたＨＭＭを記憶する
ＨＭＭ記憶手段４０７と、ラベル発生確率と前記帰属度
ベクトルにより前記特徴ベクトル系列の前記ＨＭＭから
の発生度合を算出する特徴ベクトル系列発生度合算出手
段５０１と、各コードベクトルを修正するコードブック
修正部４０８を備え、コードブック修正部４０８はコー
ドブックに対する特徴ベクトル系列の経路確率で重み付
けした量子化誤差の歪を最小にするように前記コードベ
クトルを修正する修正ベクトル算出部５０８を含みコー
ドベクトルを修正。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン認識、特に時系
列標準モデルにヒドゥンマルコフモデル（ＨＭＭ：Hidd
en Markov Model）を用いた音声認識における、ベクト
ル空間の有限個の代表点（以下、単にコードベクトルと
いう）を修正するための装置および入力特徴ベクトルを
正規化する装置に関する。

【０００２】本発明は一般の時系列信号に適用可能なも
のであるが、説明の便宜のために、以下、従来の技術及
び本発明については、音声認識を例に説明する。

【０００３】

【従来の技術】一般に、音声認識装置は、未知の音声信
号を定められた特徴ベクトルの系列に変換し、該特徴ベ
クトルと前もって記憶されている識別された参照モデル
とを比較するように構成されている。比較の結果とし
て、前記音声信号は、定められた認識基準に従って最も
よく適合する（尤度が最大となる）参照モデルとして識
別される。現在、最も性能の良いとされる参照モデル
は、統計的推定に基づく状態と状態遷移との集合を利用
したＨＭＭであり、以下、参照モデルを代表してＨＭＭ
を用いる。

【０００４】ＨＭＭに基づく音声認識では、尤度を算出
するために、以下の操作を行う。まず、未知の音声信号
は線形予測コーディング（ＬＰＣ：Linear PredictiveC
oding)分析等の周知の方法を用いて特徴ベクトルの系列
（特徴ベクトル系列）に変換され、次に、該特徴ベクト
ルは、ベクトル間距離の最も近いコードベクトルを表す
ラベル（コードベクトルに付された番号または記号）に
変換され、前記特徴ベクトルの系列はラベルの系列（ラ
ベル系列）となり、予め作成され記憶されているＨＭＭ
が該ラベル系列を発生する確率（尤度）を算出し、尤度
が最大となるＨＭＭを認識結果とする。

【０００５】ここで、コードベクトルとは、特徴ベクト
ルの多次元空間において、予めＬＢＧアルゴリズム等の
周知の方法を用いて作成した有限個の代表点を表すベク
トルであり、ラベルによって検索可能な形で記憶されて
いる。

【０００６】次に、ＨＭＭについて説明する。ＨＭＭ
は、各観測が有限個Ｍのラベルの中のどれかであるよう
な観測ラベル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_Tを評価するの
に用いられる。図１はこのようなＨＭＭを説明するため
の図である。

【０００７】図１では、状態数Ｎ＝３、ラベルの有限個
数Ｍ＝４を例としてある。状態１，２，３間の遷移は状
態遷移確率行列Ａ＝［ａ_ij］として表され、状態遷移確
率ａ_ijは状態ｉにいる場合には次に状態ｊに遷移を生ず
る確率である。ＨＭＭからラベルの発生する確率はラベ
ル発生確率行列Ｂ＝［ｂ_ij(k)］で表わされ、ラベル発
生確率ｂ_ij(k)は状態ｉから状態ｊに遷移した場合にラ
ベルｋを発生する確率である。ＨＭＭは、各語彙に対し
て１つずつ作成しておき、各ＨＭＭがラベル系列を発生
する確率（尤度）に基づいて該ラベル系列を分類するた
めに用いられる。

【０００８】未知の音声信号の特徴ベクトル系列Ｙ＝ｙ
₁，ｙ₂， …，ｙ_t，…，ｙ_Tに対して得られるラベル系
列をＯ＝ｏ₁，ｏ₂，…，ｏ_T、ＨＭＭλが発生できる長
さＴの任意の状態系列をＳ＝ｓ₁，ｓ₂，…，ｓ_Tとする
とき、ＨＭＭλがラベル系列Ｏを発生する確率（尤度）
は、（数１）のように示される。

【０００９】

【数１】

【００１０】以上は、特徴ベクトルｙ_tを唯一のラベル
ｏ_tに変換する場合の説明であるが、Ｍ個のラベルのう
ち特徴ベクトルｙ_tに対して近傍のＫ個（ベクトル間距
離の近いものからＫ個に制限）のラベルの組ｏ_t1，
ｏ_t2，…，ｏ_tKと、特徴ベクトルｙ _tの該ラベルの組で
検索される各々のコードベクトルに対する特徴ベクトル
ｙ_tの帰属度の組ｕ_t1，ｕ_t2，…，ｕ_tKを用いて、ラベ
ルベクトルｏ_t＝（ｏ_t1，ｏ_t2，…，ｏ_tK）と帰属度ベ
クトルｕ_t＝（ｕ_t1，ｕ_t2，…，ｕ_tK）に変換するファ
ジィベクトル量子化と呼ばれる方法がある。該ファジィ
ベクトル量子化は、特徴ベクトル系列Ｙをラベルベクト
ル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_Tと帰属度ベクトル系列Ｕ
＝ｕ₁，ｕ₂，…，ｕ_Tに変換し、ＨＭＭλが前記特徴ベ
クトル系列を発生する確率（尤度）は、ラベル発生確率
ｂ_imの変わりに特徴ベクトルの発生度合ω _i(t)を用い
て、（数２）のように示される。

【００１１】

【数２】

【００１２】ここで、Ｋの取り得る値は１からＭの整数
であり、計算量の削減の為に小さな値Ｋに制限される
（Ｋ＝３が適当）。１の場合は前記唯一のラベルを発生
する場合に対応する。

【００１３】上記のようにして得られる各ＨＭＭの尤度
（特徴ベクトル系列Ｙを各語彙のＨＭＭが発生する確
率）を比較し、該尤度が最大のものを選択することによ
り認識は行われる。

【００１４】例えば、語彙数Ｗの場合、未知の特徴ベク
トル系列Ｙに対するｗ番目の語彙のＨＭＭλ^wの尤度を
Ｌ（Ｙ｜λ^w）とする場合、その認識結果ｗは（数３）
である。

【００１５】

【数３】

【００１６】従って、得られた尤度の相対的比較により
認識結果が求められる。図２は、コードブックの一構成
例を示すものであり、各行の１カラム目にラベルをそれ
以降にコードベクトルの値を格納する形、すなわち、ラ
ベルによってコードベクトルが検索可能な形で構成され
ている。

【００１７】以上のような構成の音声認識装置のブロッ
ク図は図３に示す形となる。３０１は特徴抽出部であ
り、ＬＰＣ分析等の周知の方法を用いて、未知の音声信
号を一定時間間隔毎に特徴ベクトルに変換し、特徴ベク
トルの系列Ｙ＝ｙ₁，ｙ₂， …，ｙ_t，…，ｙ_Tを得る。
ここでＴは、未知の音声信号に対する特徴ベクトル系列
Ｙの長さである。

【００１８】３０２はコードブック記憶部であり、コー
ドベクトルをそれに付されたラベルによって検索可能な
形で記憶している。

【００１９】３０３はファジィベクトル量子化部であ
り、前記特徴抽出部３０１で抽出された前記特徴ベクト
ルｙ_tと前記コードブック記憶部３０２に記憶されてい
るコードベクトルとのベクトル間距離の最も近い順にＫ
個のラベルと、特徴ベクトルｙ _tの該ラベルの組で検索
される各々のコードベクトルに対する特徴ベクトルｙ_t
の帰属度に置き換え、ラベルベクトルｏ_t＝（ｏ_t1，ｏ
_t2，…，ｏ_tK）と帰属度ベクトルｕ_t＝（ｕ_t1，ｕ_t2，
…，ｕ_tK）に変換し、前記特徴ベクトルｙ_tの系列Ｙを
ラベルベクトル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_Tと帰属度ベ
クトル系列Ｕ＝ｕ₁，ｕ ₂，…，ｕ_Tに変換するものであ
る。

【００２０】３０４はＨＭＭ記憶部であり、既に作成さ
れているＨＭＭλ^w（w=1〜W）を認識すべき各語彙毎に
前記状態遷移確率行列Ａと前記ラベル発生確率行列Ｂを
語彙数Ｗだけ記憶しておく。従って、ｗ番目のＨＭＭ
は、λ^w＝｛Ａ^w，Ｂ^w｝w=1〜Wと表される。

【００２１】３０５は特徴ベクトル系列発生度合算出部
であり前記ファジィベクトル量子化部３０３で求められ
た前記ラベルベクトル系列Ｏと前記帰属度ベクトル系列
Ｕと前記ＨＭＭ記憶部３０４に記憶されているｗ番目の
語彙のラベル発生確率行列Ｂ ^wを用いて、ＨＭＭλ^wに対
する特徴ベクトル系列の発生度合行列Ω^w＝{ω^w _it}を
(数４)に従い算出するものである。

【００２２】

【数４】

【００２３】ここで、ラベル発生確率ｂ_iｏ_tkは、時刻
ｔの特徴ベクトルｙ_tをファジィベクトル量子化したと
きのｋ番目のラベルｏ_tkがＨＭＭの状態ｉから発生する
ラベル発生確率である。

【００２４】３０６は尤度算出部であり、前記特徴ベク
トル系列発生度合算出部３０５で算出されたＨＭＭλ^w
に対する前記特徴ベクトル系列発生度合行列Ω^wと前記
ＨＭＭ記憶部３０４に記憶されているＨＭＭλ^wの状態
遷移確率行列Ａ^wを用い、尤度Ｌ（Ｙ｜λ^w）を算出する
ものである。

【００２５】３０７は尤度記憶部であり、前記尤度算出
部３０６で算出された特徴ベクトル系列Ｙに対する各単
語ＨＭＭλ^wの尤度Ｌ（Ｙ｜λ^w）を比較のために記憶す
る。

【００２６】３０８は比較判定部であり、前記尤度記憶
部３０７に記憶されている各ＨＭＭの尤度のうち最大値
を与えるＨＭＭに対応する語彙を認識結果として判定す
るものである。

【００２７】前記３０５から３０７は各語彙のＨＭＭλ
^wにつき一度ずつ行い、w=1〜Wまで繰り返され、その結
果を前記比較判定部３０８で評価する。

【００２８】以上が、従来のコードブック、ＨＭＭを用
いた音声認識装置の構成である。以上のようなＨＭＭを
用いた音声認識を行うためには、ＨＭＭの学習と呼ばれ
る、大量のＨＭＭ作成用音声データ（以後、ＨＭＭの学
習データと呼ぶ）を用いたＨＭＭの作成手続きが必要で
ある。

【００２９】ＨＭＭの学習データが、ある特定の一人の
話者で認識時も同一の話者が入力する場合を特定話者音
声認識と呼び、不特定多数の話者を用いてＨＭＭの学習
を行い、認識時の話者は未知である場合を不特定話者音
声認識と呼ぶ。

【００３０】

【発明が解決しようとする課題】特定話者音声認識の場
合は、性能はよいが一人の話者から膨大なＨＭＭの学習
データを集める必要があり、実現性に乏しい。

【００３１】不特定話者音声認識の場合は、ＨＭＭの学
習データの収集は容易であり、データが多ければ多いほ
ど、ＨＭＭの統計的信頼性が上がる。しかし、特定話者
の性能を超えることはなく、該ＨＭＭでは、認識性能の
極端に悪い特異な話者がいる。

【００３２】また、ＨＭＭを音節や音韻のように単語よ
り小さい単位で記憶しておく場合には、学習用語彙と認
識用語彙の間に、文脈（音節、音韻等の並ぶ順序）の差
異の影響により性能の劣下が起こる。

【００３３】また、認識時の周囲の環境が、学習用デー
タを収録した場合と違うときなども、その差異により性
能の劣化が起こる。

【００３４】以上のように従来の音声認識では、学習時
と認識時の話者の差異及び文脈の差異により性能の劣下
が起きるという課題があった。

【００３５】

【課題を解決するための手段】

（１）本課題を解決するために本発明は、修正用音声の
発声内容がシステム側に既知（どの様な単語を発声した
かが分かっている）場合に、特徴ベクトル空間の有限個
の代表点（コードベクトル）をそれに付されたラベルに
よって検索可能な形で記憶するコードブック記憶手段
と、該コードブックによって特徴ベクトル系列の各ベク
トルを各ラベルに対応した帰属度の組（帰属度ベクト
ル）に変換し、前記特徴ベクトル系列を帰属度ベクトル
系列に変換するファジィベクトル量子化手段と、前記ラ
ベルの発生確率（ラベル発生確率）と状態間の遷移確率
が状態毎に定義されたＨＭＭを記憶するＨＭＭ記憶手段
と、前記ラベル発生確率と前記帰属度ベクトルにより前
記特徴ベクトル系列の前記ＨＭＭからの発生度合を算出
する特徴ベクトル系列発生度合算出手段と、前記特徴ベ
クトル系列発声度合と前記ＨＭＭの遷移確率からある時
刻にある状態に存在する確率（経路確率）を算出する経
路確率算出手段と、前記各コードベクトルを修正するコ
ードブック修正手段を備え、該コードブック修正手段は
前記コードブックに対する前記特徴ベクトル系列の前記
経路確率で重み付けした量子化誤差の歪を最小にするよ
うに前記コードベクトルを修正する修正ベクトル算出手
段を含み、前記コードベクトルを修正するように構成さ
れている。（２）本課題を解決するために本発明は、修正用音声の
発声内容がシステム側に既知（どの様な単語を発声した
かが分かっている）場合に、特徴ベクトル空間の有限
個の代表点（コードベクトル）をそれに付されたラベル
によって検索可能な形で記憶するコードブック記憶手段
と、該コードブックによって特徴ベクトル系列の各ベク
トルを各ラベルに対応した帰属度の組（帰属度ベクト
ル）に変換し、前記特徴ベクトル系列を帰属度ベクトル
系列に変換するファジィベクトル量子化手段と、前記ラ
ベルの発生確率（ラベル発生確率）と状態間の遷移確率
が状態毎に定義されたＨＭＭを記憶するＨＭＭ記憶手段
と、前記ラベル発生確率と前記帰属度ベクトルにより前
記特徴ベクトル系列の前記ＨＭＭからの発生度合を算出
する特徴ベクトル系列発生度合算出手段と、前記特徴ベ
クトル系列発声度合と前記ＨＭＭの遷移確率からある時
刻にある状態に存在する確率（経路確率）を算出する経
路確率算出手段と、前記特徴ベクトルを修正する特徴ベ
クトル修正手段を備え、該特徴ベクトル修正手段は前記
コードブックに対する前記特徴ベクトル系列の前記経路
確率で重み付けした量子化誤差の歪を最小にするように
前記特徴ベクトルを修正する修正ベクトル算出手段を含
み、前記特徴ベクトルを修正するように構成されてい
る。

【００３６】

【作用】

（１）本発明の効果は、修正用音声の発声内容がシステ
ム側に既知（どの様な単語を発声したかが分かってい
る）場合に、該音声に対応する経路確率を荷重係数とし
てコードブックに対する量子化誤差歪が最小になるよう
にコードベクトルの修正ベクトルを算出し、コードベク
トルを修正することにより、上記修正用音声に適したコ
ードベクトルを作成し、認識性能の向上を図ることであ
る。。（２）本発明の効果は、修正用音声の発声内容がシステ
ム側に既知（どの様な単語を発声したかが分かってい
る）場合に、該音声に対応する経路確率を荷重係数とし
てコードブックに対する量子化誤差歪が最小になるよう
に特徴ベクトルの修正ベクトルを算出し、認識時に前記
修正ベクトルを用いて未知の入力音声の特徴ベクトル系
列を正規化することにより、認識性能の向上を図ること
である。

【００３７】

【実施例】本発明は、ＨＭＭの学習時と認識時との間の
条件の差異の修正に対して適用可能であるが、以下、Ｈ
ＭＭの学習用データを発声した話者と認識装置を使用す
る話者が違う場合に、その話者間の差異の修正を例に、
本発明を説明する。

【００３８】また、特徴ベクトル系列発生度合算出式の
積和またはべき乗積の計算の制限範囲は１からコードブ
ックサイズに等しい値Ｍまでの整数値を取り得るが、計
算量の削減のために小さな値を用いる場合が多く、本実
施例では、該制限範囲をＫという文字で表す。

【００３９】図４は、本発明であるコードブック修正装
置の概要を表すブロック図である。４０１は修正用音声
記憶部であり、コードブックをその人用に修正したい話
者（以後、修正話者と呼ぶ）すなわち音声認識システム
を使用する話者が発声した内容既知（コードブック修正
装置に発声の内容が事前に分かっている）の音声Ｓ
^r（以後、修正用音声と呼ぶ）を発声数Ｒ（ｒ＝１〜
Ｒ）記憶しており、以降のコードブックの修正に用いら
れる。該修正用音声は、発声内容が既知であればいかな
る単語、文章でも良い。

【００４０】４０２は特徴抽出部であり、前記図３に示
した認識装置で用いる特徴抽出手法と同様の手法を用
い、修正用音声Ｓ^rを一定時間間隔毎に特徴ベクトルの
系列Ｙ^r＝ｙ₁ ^r，ｙ₂ ^r， …，ｙ_t ^r，…，ｙ_T ^rに変換す
る。ここでＴ^rは、修正用音声Ｓ^rを特徴ベクトル系列に
変換したときのデータのフレーム数である。

【００４１】４０３は修正用特徴ベクトル記憶部であ
り、前記４０１に記憶されている修正用音声信号Ｓ^rを
前記特徴抽出部４０２で特徴抽出した特徴ベクトル系列
Ｙ^rをｒ＝１〜Ｒについて記憶している。

【００４２】４０４はデータ制御部であり、現在Ｒ発声
のうち第ｒ番目の発声を扱っているか、そのｒ番目の発
声内容は何かを用いて、以下の処理を制御する。ここ
で、word(r)とは、第ｒ番目の発声内容（該発声内容の
ＨＭＭの番号ｗ）を示す。

【００４３】４０５はファジィベクトル量子化部であ
り、前記データ制御部４０４より送られた発声番号ｒを
用いて前記修正用特徴ベクトル記憶部４０３より特徴ベ
クトル系列Ｙ^rを読みだし、各時刻ｔの特徴ベクトルｙ_t
^rに対して、後述するコードブック記憶部４０６に記憶
されているＣ₁〜Ｃ_Mのコードベクトルとのベクトル間距
離ｄ^r(t,m)の最も近い順に１位からＫ位のラベルと、特
徴ベクトルｙ_tの該ラベルの組で検索される各々のコー
ドベクトルに対する特徴ベクトルｙ_tの帰属度に置き換
え、距離ベクトルｄ_t ^r＝（ｄ_t1，ｄ_t2，…，ｄ_tK）とラ
ベルベクトルｏ_t ^r＝（ｏ_t1，ｏ_t2，…，ｏ_tK）と帰属度
ベクトルｕ_t ^r＝（ｕ_t1，ｕ_t2，…，ｕ_tK）に変換し、前
記特徴ベクトルｙ_t ^rの系列Ｙ^rを距離ベクトル系列Ｄ^r＝
ｄ₁ ^r，ｄ₂ ^r，…，ｄ_T ^rとラベルベクトル系列Ｏ^r＝
ｏ₁ ^r，ｏ₂ ^r，…，ｏ_T ^rと帰属度ベクトル系列Ｕ^r＝
ｕ₁ ^r，ｕ₂ ^r，…，ｕ_T ^rに変換するものである。

【００４４】４０６はコードブック記憶部であり、コー
ドベクトルＣ_mをそれに付されたラベルｍによって検索
可能な形で記憶しており、前記ファジィベクトル量子化
部４０５で、ベクトル量子化時に用いられる。

【００４５】４０７はＨＭＭ記憶部であり、既に作成さ
れているＨＭＭを認識すべき各語彙毎に前記図１に示し
たように状態遷移確率行列Ａとラベル発生確率行列Ｂを
語彙数Ｗだけ記憶しておく。従って、ｗ番目のＨＭＭλ
^wは、λ^w ＝｛Ａ^w，Ｂ^w｝と表される。

【００４６】４０８はコードブック修正部であり、前記
コードブック記憶部４０６におけるコードベクトルＣ_m
の値を修正用音声と、前記ＨＭＭ記憶部４０７に記憶さ
れている修正用音声の発声内容に対応するＨＭＭから算
出される、ある時刻にＨＭＭのある状態に存在する確率
（経路確率）を用い、前記コードブックに対する、前記
特徴ベクトル系列の前記経路確率で重み付けした量子化
誤差の歪が最小になるように、コードベクトル値を修正
し、修正した新しいコードベクトルＣ^' _mを前記コードブ
ック記憶部４０６に転送するものである。

【００４７】４０９は修正収束判定部であり、修正用音
声を用いてコードベクトルを修正したときの収束状況を
判定するものであり、予め定められた収束条件を満足す
れば修正動作を終了し、満足しなければ満足するまで、
コードベクトルの修正を繰り返す。

【００４８】本発明の特徴は前記コードブック修正部４
０８の構成にあり、発声内容が既知であることを条件
に、該発声内容に対応するＨＭＭから算出される経路確
率を用い、前記コードブックに対する、前記特徴ベクト
ル系列の前記経路確率で重み付けした量子化誤差の歪が
最小になるようにコードベクトルの修正を行うことであ
る。コードブック修正部の具体的な構成を示したブロッ
ク図を図５に示す。

【００４９】各々の端子１〜９は前記図４と接続されて
おり、端子１、７は前記コードブック記憶部４０６と接
続されており、端子１はコードブックＣを受信し、端子
７は修正後のコードブックＣ^'を送信する。端子５、６
は前記ＨＭＭ記憶部４０７と接続されており、端子５が
ｒ番目の音声に対応するＨＭＭの状態遷移確率行列Ａ
^word(r)を、端子６が同じくラベル発生確率行列Ｂ
^word(r)を受信する。端子２、３、４は前記ファジィベ
クトル量子化部４０５と接続されており、ｒ番目の音声
に対する距離ベクトル系列Ｄ^rとラベルベクトル系列Ｏ^r
と帰属度ベクトル系列Ｕ ^rを受信する。端子８は前記修
正収束判定部４０９と接続されており、収束の判定に用
いられる平均目的関数値Ｊを送信する。当然の事である
が、平均化をせずに、各目的値関数の加算値でもよい。
端子９は前記データ制御部４０４と接続しており、現在
の修正用音声データが第ｒ番目であるかの情報を受信
し、ｒ＝Ｒとなったら、修正ベクトル△Ｃと平均目的関
数値Ｊを算出する。

【００５０】上記のような情報のやり取りを行いなが
ら、前記コードブック修正部４０８すなわち図５は実行
される。

【００５１】５０１は特徴ベクトル系列発生度合算出部
であり、端子２、３、４、６より受信した距離ベクトル
系列、ラベルベクトル系列、帰属度ベクトル系列、前記
ラベル発声確率行列をもとに帰属度とラベル発生確率か
ら特徴ベクトル発生度合ω_i(t)を全ての時刻ｔ、ＨＭＭ
の全ての状態ｉについて算出し、特徴ベクトル発生度合
行列Ωを求める。

【００５２】５０２は経路確率算出部であり、ある時刻
ｔにＨＭＭのある状態ｉに存在する経路確率γ_i(t)を全
ての時刻ｔ、ＨＭＭの全ての状態ｉについて算出し、経
路確率行列Γを求める。

【００５３】５０３は修正ベクトル分母分子算出部であ
り、修正ベクトル算出式の分母および分子を算出する。

【００５４】５０４は修正ベクトル分母分子記憶部であ
り、前記修正ベクトル分母分子算出部５０３で算出され
た修正ベクトル算出式の分母および分子の値を後述する
修正ベクトル算出部で用いるために記憶する。

【００５５】５０５は目的関数値算出部であり、前記経
路確率γ_i(t)と前記帰属度ベクトルｕ_t ^rと前記距離ベク
トルｄ_t ^rを用い、（数５）に従って、収束判定に用いら
れる目的関数値Ｊ^rを算出する。

【００５６】

【数５】

【００５７】５０６は目的関数値記憶部であり、前記目
的関数値算出部５０５から送られた目的関数値Ｊ^rの全
修正用単語分Ｒ個を記憶する。当然の事であるが、Ｒ個
すべて記憶せずに、累積することでもよい。

【００５８】以上の動作を修正用音声Ｒ個に対して行っ
た（前記端子８からの信号がＲになった）後、後述する
動作を行う。

【００５９】５０７は修正ベクトル算出部であり、修正
ベクトル算出式に基づき、前記修正ベクトル分母分子記
憶部５０４に記憶されている修正ベクトルの分母および
分子より修正ベクトルの集合△Ｃを求める。

【００６０】５０８は修正後コードベクトル算出部であ
り、前記端子１より受信した修正前のコードブックＣの
コードベクトル値と前記修正ベクトル算出部５０７で求
めた修正ベクトルの集合△Ｃを用いて、修正後のコード
ブックＣ’のコードベクトル値を算出し、前記端子７よ
り前記コードベクトル記憶部４０６に送信する。

【００６１】５０９は平均目的関数値算出部であり、前
記修正収束判定部４０９に前記端子８を通じて送信する
ために全目的関数値を平均して、平均目的関数値Ｊ_ave
を算出する。

【００６２】以上が、本発明におけるコードブック修正
部の構成であるが、この構成には大きく２つの場合が考
えられる。一方は、コードブックのコードベクトルを修
正するときに、修正前と後のコードベクトル間の修正ベ
クトルを各クラスタ毎に個別に求める方法、他方はその
修正ベクトルを全クラスタ共通に求める方法である。

【００６３】まず、前者の修正ベクトルを各クラスタ毎
に個別に求める場合を、図６から図９のコードブックの
修正動作の実行を表すフローチャートを用いて説明す
る。

【００６４】６０１で修正話者の発声内容既知の音声Ｓ
^rが前記修正用音声記憶部４０１に記憶されているか確
認する。記憶されていれば次に進み、されていなければ
６０２に示すように修正用音声を発声し記憶する。６０
３はその修正用音声Ｓ^rを前記特徴抽出部４０２で周知
の特徴ベクトル抽出手段を用いて特徴ベクトルＹ^rに変
換することに対応しており、ｒ＝１〜Ｒについて実行
し、６０４に示すようにそれらを前記修正用特徴ベクト
ル記憶部４０３に記憶する。

【００６５】以下の動作は、修正が収束したと判断され
るまで繰り返し行われる。まず、６０５で修正ベクトル
の分母用および分子用のバッファをゼロクリアし、以降
の準備をする。６０６または６０７で修正用音声データ
の特徴ベクトル系列Ｙ^rを読み込み、６０８では、前記
ファジィベクトル量子化部４０５と前記コードベクトル
記憶部４０６においてファジィベクトル量子化を周知の
方法により実行し、前記帰属度ベクトル系列Ｕ^rと前記
ラベルベクトル系列Ｏ^rを算出する。

【００６６】６０９すなわち図７では、前記特徴ベクト
ル系列発生度合算出部５０１における特徴ベクトル発生
度合ω_i(t)の算出をｔ＝１〜Ｔ^r，ｉ＝１〜Ｉについて
７０７で前記算出式（数４）に従い行う。

【００６７】６１０では前記経路確率算出部５０２の経
路確率γ_i(t)を周知のフォワード・バックワードアルゴ
リズムを用いて算出する。周知の事ではあるが、最適経
路のみを考慮するビタビアルゴリズムでもよい。

【００６８】６１１すなわち図８では、前記修正ベクト
ル分母分子算出部５０３の動作を、８０３でｒ番目の特
徴ベクトル系列Ｙ^rのフレーム長Ｔ^rが終了するまで、ま
た８０６でそのｒ番目の発声内容に対応するＨＭＭの状
態数Ｉが終了するまで全てのコードベクトルＣ_m（ｍ＝
１〜Ｍ）に対して（８０９の条件を満足）、８１０で分
母については（数６）、分子については（数７）でそれ
ぞれ修正ベクトル算出式の分母および分子を算出する。
ただし、前記（数６）および（数７）はラベルｍごとの
修正ベクトル算出式（数８）の分母および分子の式であ
る。

【００６９】

【数６】

【００７０】

【数７】

【００７１】

【数８】

【００７２】ここで、△Ｃ_m ^r _{_denom}および△Ｃ_m ^r _{_numer}
はｒ番目の単語、ｍ番目のクラスタに対する修正ベクト
ル△Ｃ_mの算出式の各々分母および分子を表す。

【００７３】全てのＴ^r、Ｉが終了して（８０６、８０
３の条件を満足）、この部分の計算を終了する。

【００７４】６１２で最後の特徴ベクトル系列Ｙ^Rを選
択したかという条件が満たされるまで、すなわち全ての
特徴ベクトル系列Ｙ^r（ｒ＝１〜Ｒ）に対して６０８か
ら６１１の動作を繰り返し、全ての修正用音声に対する
コードベクトル毎の修正ベクトル算出式の分母および分
子を算出し終わると、６１３から６１５すなわち図９に
おいて修正ベクトルの集合△Ｃ＝｛△Ｃ₁，△Ｃ₂，…，
△Ｃ_M）の算出と修正後のコードブックＣ^'＝｛Ｃ₁ ^'，Ｃ
₂ ^'，…，Ｃ_M ^'）の算出が行われる。

【００７５】９０３に示すように全てのコードベクトル
に対して、前記修正ベクトル算出式の分母および分子を
用いて（数９）に従い６１３すなわち９０４で各クラス
タに対する前記修正ベクトル△Ｃ_mを求める。

【００７６】

【数９】

【００７７】前記修正ベクトルの集合△Ｃが求まれば、
後はそれを修正前の前記コードブックＣのコードベクト
ルに加え（６１４すなわち９０５）、修正後のコードブ
ックＣ^'を新しくコードブックＣとして置き換える（６
１５すなわち９０６）。

【００７８】６１６で修正が予め定められた収束条件に
対して収束したかどうかを判定し、収束すると判断され
れば終了し、その時点でのコードブックを修正話者に対
するコードブックとする。また、収束していないと判断
された場合は６０５に戻り、収束するまで繰り返す。

【００７９】次に、後者の場合すなわち修正ベクトルを
全クラスタ共通に求める場合を、図６、図７と図１０、
図１１のコードブックの修正動作の実行を表すフローチ
ャートを用いて説明する。

【００８０】６０１で修正話者の発声内容既知の音声Ｓ
^rが前記修正用音声記憶部４０１に記憶されているか確
認する。記憶されていれば次に進み、されていなければ
６０２に示すように修正用音声を発声し記憶する。６０
３はその修正用音声Ｓ^rを前記特徴抽出部４０２で周知
の特徴ベクトル抽出手段を用いて特徴ベクトルＹ^rに変
換することに対応しており、ｒ＝１〜Ｒについて実行
し、６０４に示すようにそれらを前記修正用特徴ベクト
ル記憶部４０３に記憶する。

【００８１】以下の動作は、修正が収束したと判断され
るまで繰り返し行われる。まず、６０５で修正ベクトル
の分母用および分子用のバッファをゼロクリアし、以降
の準備をする。６０６または６０７で修正用音声データ
の特徴ベクトル系列Ｙ^rを読み込み、６０８では、前記
ファジィベクトル量子化部４０５と前記コードベクトル
記憶部４０６においてファジィベクトル量子化を周知の
方法により実行し、前記距離ベクトル系列Ｄ^rと前記帰
属度ベクトル系列Ｕ^rと前記ラベルベクトル系列Ｏ^rを算
出する。

【００８２】６０９すなわち図７では、前記特徴ベクト
ル系列発生度合算出部５０１における特徴ベクトル発生
度合ω_i(t)の算出をｔ＝１〜Ｔ^r，ｉ＝１〜Ｉについて
７０７で前記算出式（数４）に従い行う。

【００８３】６１０では前記経路確率算出部５０２の経
路確率γ_i(t)を周知のフォワード・バックワードアルゴ
リズムを用いて算出する。周知の事ではあるが、最適経
路のみを考慮するビタビアルゴリズムでもよい。

【００８４】６１１すなわち図１０では、前記修正ベク
トル分母分子算出部５０３の動作を、１００３でｒ番目
の特徴ベクトルＹ^rのフレーム長Ｔ^rが終了するまで、ま
た１００６でそのｒ番目の発声内容に対応するＨＭＭの
状態数Ｉが終了するまで全てのコードベクトルＣ_m（ｍ
＝１〜Ｍ）に対して（１００９の条件を満足）、１０１
０で分母については（数１０）、分子については（数１
１）で修正ベクトル算出式の分母および分子を算出す
る。ただし、前記（数１０）および（数１１）は全ラベ
ル共通の修正ベクトル算出式（数１２）の分母および分
子の式である。

【００８５】

【数１０】

【００８６】

【数１１】

【００８７】

【数１２】

【００８８】ここで、△Ｃ^r _{_denom}および△Ｃ^r _{_numer}は
ｒ番目の単語の全クラスタ共通の修正ベクトル△Ｃの算
出式の各々分母および分子を表す。

【００８９】全てのＴ^r、Ｉが終了して（１００６、１
００３の条件を満足）、この部分の計算を終了する。

【００９０】６１２で最後の特徴ベクトル系列Ｙ^Rを選
択したかという条件が満たされるまで、すなわち全ての
特徴ベクトルＹ^r（ｒ＝１〜Ｒ）に対して６０８から６
１１の動作を繰り返し、全ての修正用音声に対する全コ
ードベクトル共通の修正ベクトル算出式の分母および分
子を算出し終わると、６１３から６１５すなわち図１１
において共通修正ベクトル△Ｃの算出と修正後のコード
ブックＣ^'＝｛Ｃ₁ ^'，Ｃ₂ ^'，…，Ｃ_M ^'）の算出が行われ
る。

【００９１】前記修正ベクトル算出式の分母および分子
を用いて（数１３）に従い６１３すなわち１１０１で全
クラスタ共通の前記修正ベクトル△Ｃを求める。

【００９２】

【数１３】

【００９３】前記修正ベクトル△Ｃが求まれば、後はそ
れを修正前の前記コードブックＣに加え（６１４すなわ
ち１１０５）、修正後のコードブックＣ^'を新しくコー
ドブックＣとして置き換える（６１５すなわち１１０
６）。

【００９４】６１６で修正が予め定められた収束条件に
対して収束したかどうかを判定し、収束すると判断され
れば終了し、その時点でのコードブックを修正話者に対
するコードブックとする。また、収束していないと判断
された場合は６０５に戻り、収束するまで繰り返す。

【００９５】上記実施例は、一度修正ベクトルと呼ばれ
る修正前後のコードブックの写像ベクトルを求めた後、
修正後のコードブックを求めているが、当然のことであ
るが、同様に前記コードブックに対する、前記修正用音
声の前記特徴ベクトル系列の前記経路確率で重み付けし
た量子化誤差の歪を最小にするように、直接修正後のコ
ードブックのコードベクトルを求めることも可能であ
る。

【００９６】上記実施例で得られた修正後のコードブッ
クを前記従来例図３のような音声認識装置のコードブッ
ク記憶装置３０２の値と置き換えることのみで、音声認
識が実行できる。

【００９７】上記のことも本発明の特徴であり、コード
ブックの変更を経路確率の重み付けを行った上で量子化
歪最小で実行しており、経路確率の小さい場合、即ちＨ
ＭＭとの対応が悪い場合は、その部分を適応に使わない
ように抑制する。

【００９８】上記実施例の場合は、修正ベクトル△Ｃを
コードベクトルＣに加えるて更新することによりコード
ベクトルの修正を行ったが、修正ベクトル△Ｃをもとに
して得られた一定のベクトル△Ｈ（以後、正規化ベクト
ルと呼ぶ。）を入力話者の音声の特徴ベクトルｙ_tから
（数１４）のように減じることにより、入力音声におけ
る話者による差異を除き、話者正規化できる。

【００９９】

【数１４】

【０１００】この場合、コードベクトル値はそのまま
で、正規化ベクトルを記憶しておき、認識時に特徴ベク
トル系列の各フレームの特徴ベクトルからその正規化ベ
クトルを減じれば良い。図１２は、そのような話者正規
化のための正規化ベクトル△Ｈ）を作成する装置に関す
るブロック図である。

【０１０１】１２０１は修正用音声記憶部であり、正規
化ベクトルを求めたい話者（以後、修正話者）すなわち
音声認識システムをし要する話者が発声した発声内容既
知（特徴ベクトル正規化装置に発生の内容が事前に分か
っている）の音声Ｓ^r（以後、修正用音声と呼ぶ）を発
生数Ｒ（ｒ＝１〜Ｒ）記憶しており、以降の修正に用い
られる。

【０１０２】１２０２は特徴抽出部であり、前記図３に
示した認識装置で用いる特徴抽出手法と同様の手法を用
い、修正用音声Ｓ^rを一定時間間隔毎に特徴ベクトルの
系列Ｙ^r＝ｙ₁ ^r，ｙ₂ ^r， …，ｙ_t ^r，…，ｙ_T ^rに変換す
る。ここでＴ^rは、修正用音声Ｓ^rを特徴ベクトル系列に
変換したときのデータのフレーム数である。

【０１０３】１２０３は修正用特徴ベクトル記憶部であ
り、前記１２０１に記憶されている修正用音声信号Ｓ^r
を前記特徴抽出部１２０２で特徴抽出した特徴ベクトル
系列Ｙ^rをｒ＝１〜Ｒについて記憶している。

【０１０４】１２０４はデータ制御部であり、現在Ｒ発
声のうち第ｒ番目の発声を扱っているのか、そのｒ番目
の発声内容は何かを用いて、以下の処理を制御する。こ
こで、word(r)とは、第ｒ番目の発声内容（該発声内容
のＨＭＭの番号ｗ）を示す。

【０１０５】１２０５は正規化ベクトル記憶部であり、
前記特徴ベクトルを修正するための正規化ベクトルを記
憶するものである。

【０１０６】１２０６は特徴ベクトル正規化部であり、
前記正規化ベクトル記憶部１２０５に記憶されている正
規化ベクトル△Ｈを用いて、特徴ベクトルの各時刻ｔの
値ｙ _tを修正することにより修正後の特徴ベクトルを得
るものである。

【０１０７】１２０７はファジィベクトル量子化部であ
り、前記データ制御部１２０４より送られた発声番号ｒ
を用いて前記修正用特徴ベクトル記憶部１２０３より特
徴ベクトル系列Ｙ^rを読みだし、各時刻ｔの特徴ベクト
ルｙ_t ^rを、前記正規化ベクトル記憶部１２０５に記憶さ
れている正規化ベクトルを用いて前記特徴ベクトル正規
化部で特徴ベクトルの修正を行い、得られた修正後の特
徴ベクトルに対して、後述するコードブック記憶部１２
０８に記憶されているＣ₁〜Ｃ_Mのコードベクトルとのベ
クトル間距離ｄ^r(t,m)の最も近い順に１位からＫ位のラ
ベルと、特徴ベクトルｙ_tの該ラベルの組で検索される
各々のコードベクトルに対する特徴ベクトルｙ_tの帰属
度に置き換え、距離ベクトルｄ_t ^r＝（ｄ_t1，ｄ_t2，…，
ｄ_tK）とラベルベクトルｏ_t ^r＝（ｏ_t1，ｏ_t2，…，
ｏ_tK）と帰属度ベクトルｕ_t ^r＝（ｕ_t1，ｕ_t2，…，
ｕ_tK）に変換し、前記修正後の特徴ベクトルｙ_t ^r’の系
列Ｙ^r’を距離ベクトル系列Ｄ^r＝ｄ₁ ^r，ｄ₂ ^r，…，ｄ_T ^r
とラベルベクトル系列Ｏ^r＝ｏ₁ ^r，ｏ₂ ^r，…，ｏ_T ^rと帰
属度ベクトル系列Ｕ^r＝ｕ₁ ^r，ｕ₂ ^r，…，ｕ_T ^rに変換す
るものである。ここで、Ｋは１からコードブックサイズ
Ｍを取り得るものであり、後述する特徴ベクトル発声度
合の算出の演算回数を制限するものである。

【０１０８】１２０８はコードブック記憶部であり、コ
ードベクトルＣ_mをそれに付されたラベルｍによって検
索可能な形で記憶しており、前記ファジィベクトル量子
化部１２０７で、ベクトル量子化時に用いられる。

【０１０９】１２０９はＨＭＭ記憶部であり、既に作成
されているＨＭＭを認識すべき各語彙毎に前記図１に示
したように状態遷移確率行列Ａとラベル発生確率行列Ｂ
を語彙数Ｗだけ記憶しておく。従って、ｗ番目のＨＭＭ
は、λ^w ＝｛Ａ^w，Ｂ^w｝と表される。

【０１１０】１２１０は正規化ベクトル調整部であり、
前記正規化ベクトル記憶部１２０５における正規化ベク
トル△Ｈの値を修正用音声と前記ＨＭＭ記憶部１２０９
に記憶されている修正用音声の発声内容に対応するＨＭ
Ｍを用いて、前記コードブックに対する、前記特徴ベク
トル系列の前記経路確率で重み付けした量子化誤差の歪
を最小になるように、正規化ベクトルを調整し、調整し
た新しい正規化ベクトル△Ｈ^'を前記正規化ベクトル記
憶部１２０５に転送するものである。

【０１１１】１２１１は修正収束判定部であり、修正用
音声を用いて正規化ベクトルを修正したときの収束状況
を判定するものであり、予め定められた収束条件を満足
すれば修正動作を終了し、満足しなければ満足するま
で、逐次、正規化ベクトルを更新しながら同じ修正用音
声を用いて修正を繰り返す。

【０１１２】本発明の特徴は前記正規化ベクトル調整部
１２１０の構成にあり、発声内容が既知であることを条
件に、特徴ベクトルを正規化ベクトルにより修正した修
正後の特徴ベクトルに対する、前記コードブックに対す
る、前記特徴ベクトル系列の前記経路確率で重み付けし
た量子化誤差の歪を最小になるように正規化ベクトルを
調整することである。

【０１１３】正規化ベクトル調整部の具体的な構成を示
したブロック図を図１３に示す。各々の端子１〜１０は
前記図１２と接続されており、端子１は前記コードベク
トル記憶部１２０８と接続され、コードブックＣを受信
する。。端子５、６は前記ＨＭＭ記憶部１２０９と接続
されており、端子５がｒ番目の音声に対応するＨＭＭの
状態遷移確率行列Ａ^word(r)を、端子６が同じくラベル
発生確率行列Ｂ^wor ^d(r)を受信する。端子２、３、４は
前記ファジィベクトル量子化部１２０７と接続されてお
り、ｒ番目の音声に対する距離ベクトル系列Ｄ^rとラベ
ルベクトル系列Ｏ^rと帰属度ベクトル系列Ｕ^rを受信す
る。端子７、１０は前記正規化ベクトル記憶部１２０５
と接続されており、端子７は正規化ベクトル△Ｈを受信
し、端子１０は修正後の正規化ベクトル△Ｈ’を送信す
る。端子８は前記修正収束判定部１２１１と接続されて
おり、収束の判定に用いられる平均目的関数値Ｊ_aveを
送信する。端子９は前記データ制御部１２０４と接続し
ており、現在の修正用音声データが第ｒ番目であるかの
情報を受け取り、ｒ＝Ｒとなったら、正規化ベクトル△
Ｈと平均目的関数値Ｊ_aveを算出する。

【０１１４】上記のような情報のやり取りを行いなが
ら、前記コードブック修正部１２１０すなわち前記図１
３は実行される。

【０１１５】１３０１は特徴ベクトル系列発生度合算出
部であり、端子２、３、４、６より受信した距離ベクト
ル系列、ラベルベクトル系列、帰属度ベクトル系列、前
記ラベル発生確率行列をもとに帰属度とラベル発生確率
から前記（数４）に示す特徴ベクトル発生度合ω_i(t)を
全ての時刻ｔ、ＨＭＭの全ての状態ｉについて算出し、
特徴ベクトル発生度合行列Ωを求める。

【０１１６】１３０２は経路確率算出部であり、ある時
刻ｔにＨＭＭのある状態ｉに存在する経路確率γ_i(t)を
全ての時刻ｔ、ＨＭＭの全ての状態ｉについて算出し、
経路確率行列Γを求める。

【０１１７】１３０３は修正ベクトル分母分子算出部で
あり、修正ベクトル算出式の分母および分子を算出す
る。

【０１１８】１３０４は修正ベクトル分母分子記憶部で
あり、前記修正ベクトル分母分子算出部１３０３で算出
された修正ベクトル算出式の分母および分子の値を後述
する修正ベクトル算出部で用いるために記憶する。

【０１１９】１３０５は目的関数値算出部であり、前記
経路確率γ_i(t)と前記帰属度ベクトルｕ_t ^rと前記距離ベ
クトルｄ_t ^rを用い、前記（数５）に従って、収束判定に
用いられる目的関数値Ｊ^rを算出する。

【０１２０】１３０６は目的関数値記憶部であり、前記
目的関数値算出部１３０５から送られた目的関数値Ｊ^r
の全修正用単語分Ｒ個を記憶する。当然の事であるが、
Ｒ個すべて記憶せずに、累積することでもよい。

【０１２１】以上の動作を修正用音声Ｒ個に対して行っ
た（前記端子８からの信号がＲになった）後、後述する
動作を行う。

【０１２２】１３０７は修正ベクトル算出部であり、修
正ベクトル算出式に基づき、前記修正ベクトル分母分子
記憶部１３０４に記憶されている修正ベクトルの分母分
子より修正ベクトル値△Ｃを求め、端子１０より前記修
正ベクトル記憶部１２０５に送り出す。

【０１２３】１３０８は正規化ベクトル算出部であり、
前記修正ベクトル算出部で求められた修正ベクトル△Ｃ
と端子７で受信した修正前の正規化ベクトル△Ｈによ
り、新しい正規化ベクトル△Ｈ’を得ることができる。

【０１２４】１３０９は平均目的関数値算出部であり、
前記修正収束判定部１２１１に前記端子７を通じて送り
出すために前記目的関数値記憶部１３０６に記憶されて
いる全目的関数値を平均して、平均目的関数値Ｊ_aveを
算出する。

【０１２５】上記の特徴ベクトル正規化装置における修
正ベクトルの算出式は、前記（数１０）（数１１）（数
１２）（数１３）に対応する。

【０１２６】以上が、本発明のコードブック修正装置と
特徴ベクトル正規化装置の実施例であるが、以上の場
合、修正用音声はあらかじめ発声されたものとしていた
が、発声内容既知という観点から考えると、認識結果の
信頼性が高い場合は、該認識結果をその発声内容と考え
ることができ、音声認識システムを使用する話者が、事
前に修正用音声を発声する必要がない。

【０１２７】この場合、認識結果の信頼性は、その尤度
そのものが大きいときや第１候補と第２候補の尤度差が
大きいときは認識結果の信頼度が高く、そうでない場合
は認識結果の信頼性が低いと考えられるから、それぞれ
に適当に閾値を設けておき、その閾値を超えたときはコ
ードブックの修正を行い、そうでない場合は修正を行わ
ないというようにすれば発声内容が未知の場合でも認識
結果を発声内容とすることにより、コードブックの修正
が行える。

【０１２８】この場合ような音声認識装置のブロック図
を図１４を用いて説明する。１４０１は特徴抽出部であ
り、ＬＰＣ分析等の周知の方法を用いて、未知の音声信
号を一定時間間隔毎に特徴ベクトルに変換し、特徴ベク
トルの系列Ｙ＝ｙ₁，ｙ₂， …，ｙ_t，…，ｙ_Tを得る。
ここでＴは、未知の音声信号に対する特徴ベクトル系列
Ｙの長さである。

【０１２９】１４０２はコードブック記憶部であり、コ
ードベクトルをそれに付されたラベルによって検索可能
な形で記憶している。

【０１３０】１４０３はファジィベクトル量子化部であ
り、前記特徴抽出部１４０１で抽出された前記特徴ベク
トルｙ_tと前記コードブック記憶部１４０２に記憶され
ているコードベクトルとのベクトル間距離ｄ^r(t,m)の最
も近い順にＫ個のラベルと、特徴ベクトルｙ_tの該ラベ
ルの組で検索される各々のコードベクトルに対する特徴
ベクトルｙ_tの帰属度に置き換え、距離ベクトルｄ_t＝
（ｄ_t1，ｄ_t2，…，ｄ_tK）とラベルベクトルｏ_t＝（ｏ
_t1，ｏ_t2，…，ｏ_tK）と帰属度ベクトルｕ_t＝（ｕ _t1，
ｕ_t2，…，ｕ_tK）に変換し、前記特徴ベクトルｙ_tの系
列Ｙを距離ベクトル系列Ｄ＝ｄ₁，ｄ₂，…，ｄ_Tとラベ
ルベクトル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_Tと帰属度ベクト
ル系列Ｕ＝ｕ₁，ｕ₂，…，ｕ_Tに変換するものである。

【０１３１】１４０４はＨＭＭ記憶部であり、既に作成
されているＨＭＭλ^w（w=1〜W）を認識すべき各語彙毎
に前記状態遷移確率行列Ａと前記ラベル発生確率行列Ｂ
を語彙数Ｗだけ記憶しておく。従って、ｗ番目のＨＭＭ
は、λ^w＝｛Ａ^w，Ｂ^w｝w=1〜W と表される。

【０１３２】１４０５は特徴ベクトル系列発生度合算出
部であり前記ファジィベクトル量子化部１４０３で求め
られた前記ラベルベクトル系列Ｏと前記帰属度ベクトル
系列Ｕと前記ＨＭＭ記憶部１４０４に記憶されているｗ
番目の語彙のラベル発生確率行列Ｂ^wを用いて、ＨＭＭ
λ^wに対する特徴ベクトル系列の発生度合行列Ω^w＝{ω ^w
_it}を前記（数４)に従い算出するものである。

【０１３３】ここで、ラベル発生確率ｂ_iｏ_tkは、時刻
ｔの特徴ベクトルｙ_tをファジィベクトル量子化したと
きのｋ番目のラベルｏ_tkがＨＭＭの状態ｉから発生する
ラベル発生確率である。

【０１３４】１４０６は尤度算出部であり、前記特徴ベ
クトル系列発生度合算出部１４０５で算出されたＨＭＭ
λ^wに対する前記特徴ベクトル系列発生度合行列Ω^wと前
記ＨＭＭ記憶部１４０４に記憶されているＨＭＭλ^wの
状態遷移確率行列Ａ^wを用い、尤度Ｌ（Ｙ｜λ^w）を算出
するものである。

【０１３５】１４０７は尤度記憶部であり、前記尤度算
出部１４０６で算出された特徴ベクトル系列Ｙに対する
各単語ＨＭＭλ^wの尤度Ｌ（Ｙ｜λ^w）を比較のために記
憶する。

【０１３６】１４０８は比較判定部であり、前記尤度記
憶部１４０７に記憶されている各ＨＭＭの尤度のうち最
大値を与えるＨＭＭに対応する語彙を認識候補として判
定するものである。

【０１３７】前記１４０５から１４０７は各語彙のＨＭ
Ｍλ^wにつき一度ずつ行い、w=1〜Wまで繰り返され、そ
の結果を前記比較判定部１４０８で評価する。

【０１３８】１４０９は認識候補信頼性算出部であり、
前記比較判定部１４０８で選ばれた認識候補の信頼性を
前記尤度記憶部１４０７に記憶されている該認識候補の
尤度等を用いて算出するものである。

【０１３９】１４１０はコードブック修正実行判定部で
あり、前記認識候補信頼度算出部１４０９より得られた
前記認識候補の信頼性が、予め定められた閾値以上であ
ればコードブック修正信号を後述するコードブック修正
部に送り、コードブックの修正を実行させる。

【０１４０】１４１１はコードブック修正部であり、前
記コードブック修正実行判定部からの前記コードブック
修正信号を受けて、前記コードブック記憶部１４０２に
記憶されている前記コードブックと前記ファジィベクト
ル量子化部１４０３で得られた前記距離ベクトル系列Ｄ
と前記ラベルベクトル系列Ｏと前記帰属度ベクトル系列
Ｕと前記経路確率を用いて、コードブックの修正を行
い、修正後のコードブックをコードブック記憶部に送る
ものである。

【０１４１】同様に、閾値を超えたときは正規化ベクト
ルの調整を行い、そうでない場合は調整を行わないとい
うようにすれば発声内容が未知の場合でも認識結果を発
声内容とすることにより、正規化ベクトルの修正が行え
る。

【０１４２】この場合ような音声認識装置のブロック図
を図１５を用いて説明する。１５０１は特徴抽出部であ
り、ＬＰＣ分析等の周知の方法を用いて、未知の音声信
号を一定時間間隔毎に特徴ベクトルに変換し、特徴ベク
トルの系列Ｙ＝ｙ₁，ｙ₂， …，ｙ_t，…，ｙ_Tを得る。
ここでＴは、未知の音声信号に対する特徴ベクトル系列
Ｙの長さである。

【０１４３】１５０２は正規化ベクトル記憶部であり、
前記特徴ベクトルを正規化するための正規化ベクトルを
記憶するものである。

【０１４４】１５０３は特徴ベクトル正規化部であり、
前記特徴ベクトルを前記正規化ベクトルのより正規化す
るものである。

【０１４５】１５０４はコードブック記憶部であり、コ
ードベクトルをそれに付されたラベルによって検索可能
な形で記憶している。

【０１４６】１５０５はファジィベクトル量子化部であ
り、前記特徴ベクトル正規化部で正規化された正規化後
の特徴ベクトルｙ'_tと前記コードブック記憶部１５０４
に記憶されているコードベクトルとのベクトル間距離ｄ
^r(t,m)の最も近い順にＫ個のラベルと、正規化後の特徴
ベクトルｙ'_tの該ラベルの組で検索される各々のコード
ベクトルに対する正規化後の特徴ベクトルｙ'_tの帰属度
に置き換え、距離ベクトルｄ_t＝（ｄ_t1，ｄ_t2，…，ｄ
_tK）とラベルベクトルｏ_t＝（ｏ_t1，ｏ_t2，…，ｏ_tK）
と帰属度ベクトルｕ_t＝（ｕ_t1，ｕ_t2，…，ｕ_tK）に変
換し、前記正規化後の特徴ベクトルｙ'_tの系列Ｙ'を距
離ベクトル系列Ｄ＝ｄ₁，ｄ₂，…，ｄ_Tとラベルベクト
ル系列Ｏ＝ｏ₁，ｏ₂，…，ｏ_Tと帰属度ベクトル系列Ｕ
＝ｕ₁，ｕ₂，…，ｕ_Tに変換するものである。

【０１４７】１５０６はＨＭＭ記憶部であり、既に作成
されているＨＭＭλ^w（w=1〜W）を認識すべき各語彙毎
に前記状態遷移確率行列Ａと前記ラベル発生確率行列Ｂ
を語彙数Ｗだけ記憶しておく。従って、ｗ番目のＨＭＭ
は、λ^w＝｛Ａ^w，Ｂ^w｝w=1〜W と表される。

【０１４８】１５０７は特徴ベクトル系列発生度合算出
部であり前記ファジィベクトル量子化部１５０５で求め
られた前記ラベルベクトル系列Ｏと前記帰属度ベクトル
系列Ｕと前記ＨＭＭ記憶部１５０６に記憶されているｗ
番目の語彙のラベル発生確率行列Ｂ^wを用いて、ＨＭＭ
λ^wに対する正規化後の特徴ベクトル系列の発生度合行
列Ω^w＝{ω^w _it}を前記（数４)に従い算出するものであ
る。

【０１４９】ここで、ラベル発生確率ｂ_iｏ_tkは、時刻
ｔの特徴ベクトルｙ'_tをファジィベクトル量子化したと
きのｋ番目のラベルｏ_tkがＨＭＭの状態ｉから発生する
ラベル発生確率である。

【０１５０】１５０８は尤度算出部であり、前記特徴ベ
クトル系列発生度合算出部１５０７で算出されたＨＭＭ
λ^wに対する前記特徴ベクトル系列発生度合行列Ω^wと前
記ＨＭＭ記憶部１５０６に記憶されているＨＭＭλ^wの
状態遷移確率行列Ａ^wを用い、尤度Ｌ（Ｙ'｜λ^w）を算
出するものである。

【０１５１】１５０９は尤度記憶部であり、前記尤度算
出部１５０８で算出された特徴ベクトル系列Ｙに対する
各単語ＨＭＭλ^wの尤度Ｌ（Ｙ'｜λ^w）を比較のために
記憶する。

【０１５２】１５１０は比較判定部であり、前記尤度記
憶部１５０９に記憶されている各ＨＭＭの尤度のうち最
大値を与えるＨＭＭに対応する語彙を認識候補として判
定するものである。

【０１５３】前記１５０７から１５０９は各語彙のＨＭ
Ｍλ^wにつき一度ずつ行い、w=1〜Wまで繰り返され、そ
の結果を前記比較判定部１５１０で評価する。

【０１５４】１５１１は認識候補信頼性算出部であり、
前記比較判定部１５１０で選ばれた認識候補の信頼性を
前記尤度記憶部１５０９に記憶されている該認識候補の
尤度等を用いて算出するものである。

【０１５５】１５１２は正規化ベクトル調整実行判定部
であり、前記認識候補信頼度算出部１５１１より得られ
た前記認識候補の信頼性が、予め定められた閾値以上で
あれば正規化ベクトル調整信号を後述する正規化ベクト
ル調整部に送り、正規化ベクトルの調整を実行させる。

【０１５６】１５１３は正規化ベクトル調整部であり、
前記正規化ベクトル調整実行判定部からの前記正規化ベ
クトル調整信号を受けて、前記正規化ベクトル記憶部１
５０２に記憶されている前記正規化ベクトルと前記ファ
ジィベクトル量子化部１５０５で得られた前記距離ベク
トル系列Ｄと前記ラベルベクトル系列Ｏと前記帰属度ベ
クトル系列Ｕと前記認識候補に対応するＨＭＭとの前記
経路確率を用いて、正規化ベクトルの調整を行い、修正
後の正規化ベクトルを正規化ベクトル記憶部に送るもの
である。

【０１５７】

【発明の効果】

（１）本発明によれば、発声内容が既知の音声を用い、
該音声に対するＨＭＭを用いて算出された経路確率で重
み付けした、前記コードブックに対する量子化誤差の歪
を最小にするように求めた修正ベクトルを用いてコード
ブックを修正することにより、ＨＭＭ作成時と認識時に
おける環境の差異を修正し、環境の変化に強い音声認識
装置を構成することが可能となる。（２）本発明によれば、発声内容が既知の音声を用い、
該音声に対するＨＭＭを用いて算出された経路確率で重
み付けした、前記コードブックに対する量子化誤差の歪
を最小にするように求めた正規化ベクトルを用いて特徴
ベクトルを修正することにより、ＨＭＭ作成時と認識時
における環境の差異を修正し、環境の変化に強い音声認
識装置を構成することが可能となる。

【図面の簡単な説明】

【図１】Hidden Markov Model(ＨＭＭ)を説明するため
のＨＭＭの構成図

【図２】コードブックの構成を説明する図

【図３】音声認識装置の従来例を説明するブロック図

【図４】本発明のコードブック修正装置の概要の一実施
例を説明するブロック図

【図５】本発明のコードブック修正装置の主要部である
コードブック修正部の一実施例を説明するブロック図

【図６】本発明の動作を説明するフローチャート図

【図７】図６における発生度合の算出式が前記（数４）
で表される場合の動作を説明するフローチャート図

【図８】図６における修正ベクトルが各クラスタ毎に求
められる場合の修正ベクトル分母分子の算出の動作を説
明するフローチャート図

【図９】図６における修正ベクトルが各クラスタ毎に求
められる場合の動作を説明するフローチャート図

【図１０】図６における修正ベクトルが全クラスタ共通
に求められる場合の修正ベクトル分母分子の算出の動作
を説明するフローチャート図

【図１１】図６における修正ベクトルが全クラスタ共通
に求められる場合の動作を説明するフローチャート図

【図１２】本発明の特徴ベクトル正規化装置の概要の一
実施例を説明するブロック図

【図１３】本発明の特徴ベクトル正規化装置の主要部で
ある修正ベクトル修正部の一実施例を説明するブロック
図

【図１４】コードブック正規化手段を組み込んだ音声認
識装置の一実施例を説明するブロック図

【図１５】正規化ベクトル調整手段を組み込んだ音声認
識装置の一実施例を説明するブロック図

【符号の説明】

４０１修正用音声記憶部４０２特徴抽出部４０３修正用特徴ベクトル記憶部４０４データ制御部４０５ファジィベクトル量子化部４０６コードブック記憶部４０７ＨＭＭ記憶部４０８コードブック修正部４０９修正収束判定部５０１特徴ベクトル系列発生度合算出部５０２経路確率算出部５０３修正ベクトル分母分子算出部５０４修正ベクトル分母分子記憶部５０５目的関数値算出部５０６目的関数値記憶部５０７修正ベクトル算出部５０８修正コードベクトル算出部５０９平均目的関数値算出部

Claims

【特許請求の範囲】

【請求項１】特徴ベクトル空間の有限個の代表点（コー
ドベクトル）をそれに付されたラベルによって検索可能
な形で記憶するコードブック記憶手段と、該コードブッ
クによって特徴ベクトル系列の各ベクトルを各ラベルに
対応した帰属度の組（帰属度ベクトル）に変換し、前記
特徴ベクトル系列を帰属度ベクトル系列に変換するファ
ジィベクトル量子化手段と、前記ラベルの発生確率（ラ
ベル発生確率）と状態間の遷移確率が状態毎に定義され
たＨＭＭを記憶するＨＭＭ記憶手段と、前記ラベル発生
確率と前記帰属度ベクトルにより前記特徴ベクトル系列
の前記ＨＭＭからの発生度合を算出する特徴ベクトル系
列発生度合算出手段と、前記特徴ベクトル系列発声度合
と前記ＨＭＭの遷移確率からある時刻にある状態に存在
する確率（経路確率）を算出する経路確率算出手段と、
前記各コードベクトルを修正するコードブック修正手段
を備え、該コードブック修正手段は前記コードブックに
対する前記特徴ベクトル系列の前記経路確率で重み付け
した量子化誤差の歪を最小にするように前記コードベク
トルを修正する修正ベクトル算出手段を含み、前記コー
ドベクトルを修正するように構成されていることを特徴
とするコードブック修正装置。
【請求項２】修正ベクトル算出手段は、修正ベクトルの
値をコードブックのコードベクトル毎に個別に算出する
ことを特徴とする請求項１記載のコードブック修正装
置。
【請求項３】修正ベクトル算出手段は、修正ベクトルの
値をコードブックの全コードベクトルに共通に算出する
ことを特徴とする請求項１記載のコードブック修正装
置。
【請求項４】特徴ベクトル空間の有限個の代表点（コー
ドベクトル）をそれに付されたラベルによって検索可能
な形で記憶するコードブック記憶手段と、該コードブッ
クによって特徴ベクトル系列の各ベクトルを各ラベルに
対応した帰属度の組（帰属度ベクトル）に変換し、前記
特徴ベクトル系列を帰属度ベクトル系列に変換するファ
ジィベクトル量子化手段と、前記ラベルの発生確率（ラ
ベル発生確率）と状態間の遷移確率が状態毎に定義され
たＨＭＭを記憶するＨＭＭ記憶手段と、前記ラベル発生
確率と前記帰属度ベクトルにより前記特徴ベクトル系列
の前記ＨＭＭからの発生度合を算出する特徴ベクトル系
列発生度合算出手段と、前記特徴ベクトル系列発声度合
と前記ＨＭＭの遷移確率からある時刻にある状態に存在
する確率（経路確率）を算出する経路確率算出手段と、
前記特徴ベクトルを修正する特徴ベクトル修正手段と、
前記特徴ベクトルを修正するための正規化ベクトルを算
出する正規化ベクトル調整手段を備え、該正規化ベクト
ル調整手段は前記コードブックに対する前記特徴ベクト
ル系列の前記経路確率で重み付けした量子化誤差の歪を
最小にするように前記特徴ベクトルを修正する修正ベク
トル算出手段を含み、前記特徴ベクトルを修正するよう
に構成されていることを特徴とする特徴ベクトル正規化
装置。
【請求項５】請求項１記載のコードブック修正装置は特
徴ベクトル系列発生度合算出手段の算出の範囲を制限す
ることを特徴とするコードブック修正装置。
【請求項６】請求項４記載の特徴ベクトル正規化装置は
特徴ベクトル系列発生度合算出手段の算出の範囲を制限
することを特徴とする特徴ベクトル正規化装置。
【請求項７】特徴ベクトル空間の有限個の代表点（コー
ドベクトル）をそれに付されたラベルによって検索可能
な形で記憶するコードブック記憶手段と、該コードブッ
クによって特徴ベクトル系列の各ベクトルを各ラベルに
対応した帰属度の組（帰属度ベクトル）に変換し、前記
特徴ベクトル系列を帰属度ベクトル系列に変換するファ
ジィベクトル量子化手段と、前記ラベルの発生確率（ラ
ベル発生確率）と状態間の遷移確率が状態毎に定義され
たＨＭＭを記憶するＨＭＭ記憶手段と、前記ラベル発生
確率と前記帰属度ベクトルにより前記特徴ベクトル系列
の前記ＨＭＭからの発生度合を算出する特徴ベクトル系
列発生度合算出手段と、前記特徴ベクトル系列発声度合
と前記ＨＭＭの遷移確率からある時刻にある状態に存在
する確率（経路確率）を算出する経路確率算出手段と、
前記特徴ベクトル系列に対する前記各語彙のＨＭＭの尤
度を算出する尤度算出手段と、認識結果を判定する比較
判定手段と、前記比較判定手段から得られた認識候補の
信頼性を算出する認識候補信頼性算出手段と、前記認識
候補の信頼性が一定閾値を超えていればコードブックの
修正を実行する命令を出すコードブック修正実行判定手
段と、前記各コードベクトルを修正するコードブック修
正手段を備え、該コードブック修正手段は前記コードブ
ックに対する前記特徴ベクトル系列の前記認識候補に対
応するＨＭＭの前記経路確率で重み付けした量子化誤差
の歪を最小にするように前記コードベクトルを修正する
修正ベクトル算出手段を含み、発声内容が予め未知の場
合に認識候補を発声内容とすることにより前記コードベ
クトルを修正するように構成されていることを特徴とす
る音声認識装置。
【請求項８】特徴ベクトル空間の有限個の代表点（コー
ドベクトル）をそれに付されたラベルによって検索可能
な形で記憶するコードブック記憶手段と、該コードブッ
クによって特徴ベクトル系列の各ベクトルを各ラベルに
対応した帰属度の組（帰属度ベクトル）に変換し、前記
特徴ベクトル系列を帰属度ベクトル系列に変換するファ
ジィベクトル量子化手段と、前記ラベルの発生確率（ラ
ベル発生確率）と状態間の遷移確率が状態毎に定義され
たＨＭＭを記憶するＨＭＭ記憶手段と、前記ラベル発生
確率と前記帰属度ベクトルにより前記特徴ベクトル系列
の前記ＨＭＭからの発生度合を算出する特徴ベクトル系
列発生度合算出手段と、前記特徴ベクトル系列発声度合
と前記ＨＭＭの遷移確率からある時刻にある状態に存在
する確率（経路確率）を算出する経路確率算出手段と、
前記特徴ベクトル系列に対する前記各語彙のＨＭＭの尤
度を算出する尤度算出手段と、認識結果を判定する比較
判定手段と、前記比較判定手段から得られた認識候補の
信頼性を算出する認識候補信頼性算出手段と、前記認識
候補の信頼性が一定閾値を超えていればコードブックの
修正を実行する命令を出すコードブック修正実行判定手
段と、前記特徴ベクトルを修正する特徴ベクトル修正手
段と、前記特徴ベクトルを修正するための正規化ベクト
ルを算出する正規化ベクトル調整手段を備え、該正規化
ベクトル調整手段は前記コードブックに対する前記特徴
ベクトル系列の前記認識候補に対応するＨＭＭの前記経
路確率で重み付けした量子化誤差の歪を最小にするよう
に前記特徴ベクトルを修正する修正ベクトル算出手段を
含み、発声内容が予め未知の場合に認識候補を発声内容
とすることにより前記特徴ベクトルを修正するように構
成されていることを特徴とする音声認識装置。