JPH01159698A - パターン認識用モデル作成装置 - Google Patents
パターン認識用モデル作成装置Info
- Publication number
- JPH01159698A JPH01159698A JP62318141A JP31814187A JPH01159698A JP H01159698 A JPH01159698 A JP H01159698A JP 62318141 A JP62318141 A JP 62318141A JP 31814187 A JP31814187 A JP 31814187A JP H01159698 A JPH01159698 A JP H01159698A
- Authority
- JP
- Japan
- Prior art keywords
- hmm
- state
- transition
- probability
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は音声認識等のパターン認識に適用可能なパター
ン認識用モデル作成装置に間する。
ン認識用モデル作成装置に間する。
従来の技術
本発明は一般のパターン認識に適用可能なものであるが
、説明の便宜のために、以下、音声認識を例に説明する
。
、説明の便宜のために、以下、音声認識を例に説明する
。
音声認識装置について説明する。
第５図は、ＨＭＭを用いた音声認識装置のブロック図で
ある。
ある。
１’ １は音声分析部であって、人力音声信号をフィル
タバンク、フーリエ変換、ｒ、 ｐ ｃ分析等の周知の
方法により、一定時間間隔（フレームと呼ぶ）例えば１
０ｍ５ｅｃ毎に特徴ベクトルに変換する。従って、人力
音声信号は特徴ベクトルの系列Ｘ＋、Ｘ２、・・・、Ｘ
ｒに変換される。
タバンク、フーリエ変換、ｒ、 ｐ ｃ分析等の周知の
方法により、一定時間間隔（フレームと呼ぶ）例えば１
０ｍ５ｅｃ毎に特徴ベクトルに変換する。従って、人力
音声信号は特徴ベクトルの系列Ｘ＋、Ｘ２、・・・、Ｘ
ｒに変換される。
１４は旧ｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ （以下
ＨＭＭと略記する）作成部であって、訓練データから認
識語倹たる各単語に対応するＨＭＭを作成するものであ
る。即ち、惧語ｎに対応するＨＭＭを作るには、先ず、
ＨＭＭの構造（状態数やそれら状態の間に許される遷移
規則）を適当に定め、然る後に前記の如くして単Ｍｎを
多数回発声して得られた特徴ベクトルの系列から、それ
らベクトル系列の発声確率が出来るだけ高くなるように
、前記モデルニおける状態遷移確率や状態の遷移に伴っ
て発生するベクトルの発生確率を求めるものである。
ＨＭＭと略記する）作成部であって、訓練データから認
識語倹たる各単語に対応するＨＭＭを作成するものであ
る。即ち、惧語ｎに対応するＨＭＭを作るには、先ず、
ＨＭＭの構造（状態数やそれら状態の間に許される遷移
規則）を適当に定め、然る後に前記の如くして単Ｍｎを
多数回発声して得られた特徴ベクトルの系列から、それ
らベクトル系列の発声確率が出来るだけ高くなるように
、前記モデルニおける状態遷移確率や状態の遷移に伴っ
て発生するベクトルの発生確率を求めるものである。
１５はＨＭＭ記憶部であって、このようにして得られた
ＨＭＭを各単語毎に記憶するものである。
ＨＭＭを各単語毎に記憶するものである。
１６は頻度計算部であって、認識すべき未知人力音声の
特徴ベクトル系列に対し、前記ＨＭＭ記憶部１５に記憶
されているそれぞれのモデルからそのベクトル系列の発
生する頻度を計算するものである。
特徴ベクトル系列に対し、前記ＨＭＭ記憶部１５に記憶
されているそれぞれのモデルからそのベクトル系列の発
生する頻度を計算するものである。
１７は比較判定部であって頻度計算部１６で得られた前
記それぞれのモデルに対する頻度を比較し、その最大値
を与えるモデルに対応するＱＩＭを認識結果として判定
するものである。
記それぞれのモデルに対する頻度を比較し、その最大値
を与えるモデルに対応するＱＩＭを認識結果として判定
するものである。
ＨＭＭによる認識は次のようにして行われる。
即ち、未知入力に対して得られた特徴ベクトル系列をＸ
” ＸＩ 、Ｘ２ 、＋＋＋ ９ＸＴ ％ モデル
Ｍ（ｎ）ニよす発生されるＴの長さの任意の状態系列を
５＝ｓｌ。
” ＸＩ 、Ｘ２ 、＋＋＋ ９ＸＴ ％ モデル
Ｍ（ｎ）ニよす発生されるＴの長さの任意の状態系列を
５＝ｓｌ。
ｓ２．・・・、Ｓｒとするとき、 Ｍ（ｎ）からベクト
ル系列Ｘの発生する頻度は 〔厳密解〕 Ｌ（ｎ）＝Σ Ｐｒｏｂ（Ｘ 、 Ｓ ）〔近似解〕 １、（ｎ） ＝ ｍａｘ［Ｐｒｏｂ（Ｘ 、 Ｓ ）］
または、対数をとって Ｌ（ｎ） ＝ ｍａｙ［ｌｏｇ（Ｐｒｏｂ（Ｘ 、Ｓ
））］で与えられる。従って、 Ｆ＋ ＝ ａｒｇｍａｘ［Ｌ（ｎ）コとするとき、
５が認識結果となる。
ル系列Ｘの発生する頻度は 〔厳密解〕 Ｌ（ｎ）＝Σ Ｐｒｏｂ（Ｘ 、 Ｓ ）〔近似解〕 １、（ｎ） ＝ ｍａｘ［Ｐｒｏｂ（Ｘ 、 Ｓ ）］
または、対数をとって Ｌ（ｎ） ＝ ｍａｙ［ｌｏｇ（Ｐｒｏｂ（Ｘ 、Ｓ
））］で与えられる。従って、 Ｆ＋ ＝ ａｒｇｍａｘ［Ｌ（ｎ）コとするとき、
５が認識結果となる。
ここで、ａｒｇｍａｘ［Ｌ（ｎ）］はＬ（ｎ）を最大に
するｎのことである。
するｎのことである。
発明が解決しようとする問題点
従来、音声認識に用いられている典型的なＨＭＭは第６
図に示されるようなものである。図において、ｑｌ は
ｉ番目の状態、ａｔｊは状態ｑ、から状態ｑ、に遷移す
る遷移確率、ｂｔ（ｘ）はラベルあるいは特徴ベクトル
Ｘ（以後、特徴ベクトルで説明する）の状態ｑ１におい
て観測される確率である。
図に示されるようなものである。図において、ｑｌ は
ｉ番目の状態、ａｔｊは状態ｑ、から状態ｑ、に遷移す
る遷移確率、ｂｔ（ｘ）はラベルあるいは特徴ベクトル
Ｘ（以後、特徴ベクトルで説明する）の状態ｑ１におい
て観測される確率である。
このとき、ＨＭＭの”状態”ｑ＋ は、そのＨＭＭに対
応する音声の部分区閏（セグメント）ｉに対応している
と考えられる。従って、状態ｑ１ において特徴ベクト
ルＸの観測される確率ｂ＋ （ｘ）は、セグメントｉに
おいて特徴ベクトルＸが発生する確率であり、遷移確率
ａｔ＋は時刻ｔにおける特徴ベクトルｘｔがセグメント
ｉに含まれるとき、時刻１＋１におけるベクトルＸｔｈ
＋が再びセグメントｉに含まれる確率であると解される
。このような考えに立てば、従来のＨＭＭにおける問題
点として次の２点が指摘できる。
応する音声の部分区閏（セグメント）ｉに対応している
と考えられる。従って、状態ｑ１ において特徴ベクト
ルＸの観測される確率ｂ＋ （ｘ）は、セグメントｉに
おいて特徴ベクトルＸが発生する確率であり、遷移確率
ａｔ＋は時刻ｔにおける特徴ベクトルｘｔがセグメント
ｉに含まれるとき、時刻１＋１におけるベクトルＸｔｈ
＋が再びセグメントｉに含まれる確率であると解される
。このような考えに立てば、従来のＨＭＭにおける問題
点として次の２点が指摘できる。
（＋） ｂ；（ｘ）は状態ｑ、−に関して一定であると
しているので、それぞれのセグメントはその区問内にお
いては定常であるとみなしていることになる。
しているので、それぞれのセグメントはその区問内にお
いては定常であるとみなしていることになる。
従って、音韻によっては特徴ベクトルの時閉的な変化の
特徴（動的特徴）が重要であるにもかかわらず、従来の
モデルでは、その特徴が適切に表現できない。
特徴（動的特徴）が重要であるにもかかわらず、従来の
モデルでは、その特徴が適切に表現できない。
（２）セグメントｉの長さてはある確率分布に従ってい
るものと考えられるが、従来のモデルでは、遷移確率ａ
＋＋）ａｉｊは状態ｑ、に関して一定であるとしている
ので、セグメントｌの長さは指数分布に従うことになり
、その分布形状は現実を適切に表現するものとはなって
いない。
るものと考えられるが、従来のモデルでは、遷移確率ａ
＋＋）ａｉｊは状態ｑ、に関して一定であるとしている
ので、セグメントｌの長さは指数分布に従うことになり
、その分布形状は現実を適切に表現するものとはなって
いない。
本発明は、（２）の問題に着目し、状Ｂ Ｑｉ におい
てｑ、→ｑ、なる遷移に対する遷移確率がその回数に応
じて指数関数的に減少するようになしたＨＭＭを構成す
ることによって、その問題の解決を図る方法を提供する
ものである。
てｑ、→ｑ、なる遷移に対する遷移確率がその回数に応
じて指数関数的に減少するようになしたＨＭＭを構成す
ることによって、その問題の解決を図る方法を提供する
ものである。
このようにすることによって状態の連の長さの分布をよ
り現実に近くすることが出来る。
り現実に近くすることが出来る。
問題点を解決するための手段
人力信号を特徴ベクトルの系列に変換する特徴抽出手段
と、カテゴリＲ（ｎ）（ｎ：１，２．・・・、Ｎ）のそ
れぞれに対し、予めＲ（ｎ）に属することが分かってい
る、前記抽出された特徴ベクトルの系列から、１１ｉｄ
ｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ （ＨＭＭ）を作成
するＨＭＭ作成手段を備え、このＨＭＭ作成手段は、そ
のＨＭＭを構成するそれぞれの状態において同じ状態に
遷移する遷移確率が遷移回数に応じて指数関数的に減少
するようになしたものである。
と、カテゴリＲ（ｎ）（ｎ：１，２．・・・、Ｎ）のそ
れぞれに対し、予めＲ（ｎ）に属することが分かってい
る、前記抽出された特徴ベクトルの系列から、１１ｉｄ
ｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ （ＨＭＭ）を作成
するＨＭＭ作成手段を備え、このＨＭＭ作成手段は、そ
のＨＭＭを構成するそれぞれの状態において同じ状態に
遷移する遷移確率が遷移回数に応じて指数関数的に減少
するようになしたものである。
作用
特徴抽出手段により入力信号を特徴ベクトルの系列に変
換し、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ （Ｈ
ＭＭ）を作成するＨＭＭ作成手段により、カテゴリＲ（
ｎ）（ｎ＝Ｉ、２．・・・、Ｎ）のそれぞれに対し、予
めＲ（ｎ）に属することが分かっている、前記抽出され
た特徴ベクトルの系列からＨＭＭを作成し、このＨＭＭ
作成手段は、そのＨＭＭを構成するそれぞれの状態にお
いて同じ状態に遷移する遷移確率が遷移回数に応じて指
数間数的に減少するようになしたものである。
換し、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ （Ｈ
ＭＭ）を作成するＨＭＭ作成手段により、カテゴリＲ（
ｎ）（ｎ＝Ｉ、２．・・・、Ｎ）のそれぞれに対し、予
めＲ（ｎ）に属することが分かっている、前記抽出され
た特徴ベクトルの系列からＨＭＭを作成し、このＨＭＭ
作成手段は、そのＨＭＭを構成するそれぞれの状態にお
いて同じ状態に遷移する遷移確率が遷移回数に応じて指
数間数的に減少するようになしたものである。
実施例
第１図はここで提案するＨＭＭの概念を示す図である。
ａ＋ｊ（τ）は状態（Ｉがτ連続したとき次に状態ｑ、
になる遷移確率、ｂ ＋ （ｘ ｔτ）は状態ｑ１がτ
連続したとき発生する特徴ベクトルＸの確率密度関数で
ある。
になる遷移確率、ｂ ＋ （ｘ ｔτ）は状態ｑ１がτ
連続したとき発生する特徴ベクトルＸの確率密度関数で
ある。
これは第２図のように等価な一重のマルコフモデルに書
き替えることが出来る。即ち、状態ｑ１をｑ ｉ Ｈｑ
ｉ ＋・・・、ｑｌ、・・・に分け、状態ｑ、がτ１
２ で連続したとき、状
態Ｑ ＋ Ｔに至るとするものである。
き替えることが出来る。即ち、状態ｑ１をｑ ｉ Ｈｑ
ｉ ＋・・・、ｑｌ、・・・に分け、状態ｑ、がτ１
２ で連続したとき、状
態Ｑ ＋ Ｔに至るとするものである。
従って、（λ態Ｑ ｉ ｒから状態ｑ１□、１への遷移
確率ａ・、・７，１・伏Ｈｑｌｒにおいて発生する特徴
ベクトルＸの確率密度間数ｂ＋ （ｘ）はそれぞれａ＋
、ｔ、、、 ” ａ；ｔ（ｒ）、 ｂｉＸＸ） ” ｂ
＋（ｘｐｒ）となる。
確率ａ・、・７，１・伏Ｈｑｌｒにおいて発生する特徴
ベクトルＸの確率密度間数ｂ＋ （ｘ）はそれぞれａ＋
、ｔ、、、 ” ａ；ｔ（ｒ）、 ｂｉＸＸ） ” ｂ
＋（ｘｐｒ）となる。
第３図は、第２図に対応したＨＭＭのトレリス線図であ
る。ここで提案するモデルにおいては、確率密度間数ｂ
ｌ Ｔ （Ｘ ）の平均ベクトルはτに関する一次閏
数であって、τ＝１の場合はその方向ベクトルは不定と
なって定義できないから、どの状態においても、常にτ
≧２となるべきであるから、この線図においてもて＝１
の径路は省いである。
る。ここで提案するモデルにおいては、確率密度間数ｂ
ｌ Ｔ （Ｘ ）の平均ベクトルはτに関する一次閏
数であって、τ＝１の場合はその方向ベクトルは不定と
なって定義できないから、どの状態においても、常にτ
≧２となるべきであるから、この線図においてもて＝１
の径路は省いである。
ここで、以後の議論の便宜のために以後用いる記号の定
義をまとめておく。
義をまとめておく。
ｑ；： （ｑｔ ｔＱ； ｊ・・・）：第１番の状態（
ｉ＝１．・・・ｔｎ）ｑｉ：状態用においてｋの連が生
じたとき到達する状ｍ＜状態ｑｒの副状態） 遷移確率 Ａ ＝［ａｔ１］：遷移マトリクス ａ１：状態ｑ、から状態（Ｈへの遷移確率ｂ＋ （ｘｔ
戸ｂり＋、 （ｘｔ）：状態橿の特徴ベク）ルｘｔ″。
ｉ＝１．・・・ｔｎ）ｑｉ：状態用においてｋの連が生
じたとき到達する状ｍ＜状態ｑｒの副状態） 遷移確率 Ａ ＝［ａｔ１］：遷移マトリクス ａ１：状態ｑ、から状態（Ｈへの遷移確率ｂ＋ （ｘｔ
戸ｂり＋、 （ｘｔ）：状態橿の特徴ベク）ルｘｔ″。
の確率密度間数
治：時刻ｔにおいて観測される特徴ベクトルＸ ： Ｘ
１ｘ２・・・ｘＴ：時刻１・・・Ｔにおいて観測される
特徴ベクトル系列 λ＝（Ａ、（ｕ＋＞Ｔ ｏ（ｕｌ）Ｔ 、（Σ、ど
ｔ（７ｉ）’ ）：モデ＋ −１＋−１＋１
＋−１ルのパラメータ Ｐｒｏｂ（ＸＩλ）：特徴ベクトル系列Ｘがモデルλか
ら発生する確率 ｓＬ：時刻ｔにおける状態 ｑｒ：最終の状態（：５Ｔ−１） 通常のＨＭＭの場合と同様にして、モデル入から観測系
列Ｘの発生する確率Ｐｒｏｂ（ＸＩλ）は、前向きの累
積確率αｔ（ｉ）、あるいは後向きの累積確率β＝（ｉ
）から漸化的に計算できる。即ち、αｔ（ｉ） ＝ Ｐ
ｒｏｂ（ｘｙｘ２＝ｘｔ−＋、 ｓｔ ：ｑｔ Ｉλ
）Ｖａｑ１ｇ２ ｔＬ＋２（Ｘ２） ａ９２５３°”
ａ！ｔ−２”ｔ−１ｙｂｓ （Ｘｔ−１） ａｓｔ−
＋４１ｔ −＋ βｒ（ｉ） ＝ Ｐｒｏｂ（ｘｔｘｔ＋＋°”ＸＴ
Ｉ Ｓｔ ” ｑｉ ＋ λ）×ｋｌｓ （ｘｔ
−＋）ａｓ ｓ ｂ、 （Ｘｔ＋２）１＋
＋ １をＩｔ）２を争２ｘａｓｌ＋
２’ｔｉ°＝ ｂ９（ＸＴ） ａｓｙｑ。
１ｘ２・・・ｘＴ：時刻１・・・Ｔにおいて観測される
特徴ベクトル系列 λ＝（Ａ、（ｕ＋＞Ｔ ｏ（ｕｌ）Ｔ 、（Σ、ど
ｔ（７ｉ）’ ）：モデ＋ −１＋−１＋１
＋−１ルのパラメータ Ｐｒｏｂ（ＸＩλ）：特徴ベクトル系列Ｘがモデルλか
ら発生する確率 ｓＬ：時刻ｔにおける状態 ｑｒ：最終の状態（：５Ｔ−１） 通常のＨＭＭの場合と同様にして、モデル入から観測系
列Ｘの発生する確率Ｐｒｏｂ（ＸＩλ）は、前向きの累
積確率αｔ（ｉ）、あるいは後向きの累積確率β＝（ｉ
）から漸化的に計算できる。即ち、αｔ（ｉ） ＝ Ｐ
ｒｏｂ（ｘｙｘ２＝ｘｔ−＋、 ｓｔ ：ｑｔ Ｉλ
）Ｖａｑ１ｇ２ ｔＬ＋２（Ｘ２） ａ９２５３°”
ａ！ｔ−２”ｔ−１ｙｂｓ （Ｘｔ−１） ａｓｔ−
＋４１ｔ −＋ βｒ（ｉ） ＝ Ｐｒｏｂ（ｘｔｘｔ＋＋°”ＸＴ
Ｉ Ｓｔ ” ｑｉ ＋ λ）×ｋｌｓ （ｘｔ
−＋）ａｓ ｓ ｂ、 （Ｘｔ＋２）１＋
＋ １をＩｔ）２を争２ｘａｓｌ＋
２’ｔｉ°＝ ｂ９（ＸＴ） ａｓｙｑ。
とおけば、ａ＋＋”ｌ、α１（１）＝ｌ、ａ ＋ （ｉ
）＝αｔ（１）１ｌ ＝０ （ｆｏｒ ｉ≠ｌ、ｔ≠１）、βｒ、Ｉ（ｆ）：
ｌとしてゞ（＋−ａ・７・□、、）ａ・１ ｘｒＩ ｈ、（ｘｔ−□−＋＋ｋ） ・・・・・・・
・・・・・・・・・・・■に−１ｋ ｘ ｒＴ ｂ；、（ｘｔ−＋＋ｋ）βｔ−ｒ（ｊ）
−−＝■であるから、 Ｐｒｏｂ（ｘｙｘ２−ｘｙ、 ｓｔ−＋＝ｑ； ｌλ）
ｘ（ａ＋、β、（Ｊ） ＋ Ｐｒｏｂ（ｘｔｌｓｔ−＋＝ｑ：ｔ、λ） ａｉｊ
βｔ、＋（Ｊ）＋ Ｐｒｏｂ（ｘｔｘｔ、＋ １ｓｔ
−＋” Ｑ〒λ）ａ−」βｔ÷２（ｊ）＋ Ｐｒｏｂ（
ｘｔ−ｘｒ−ｔ １ｓｔ−＋” ｑｔ、、λ）ａｌ β
ｒ−＋＋＋’（ｊ）） に注意すれは、結局、任意のｔＥ［３，Ｔ］に対してＸ
Σ ｎａｔ： 、８７ ｋ＝、 ｋ−１し ×（１−ａ：＋ ）ａＩ」 ＩＩＩＩ會１ ×■ｂ＋ （ｘｔ ７−１＋、）β、−７□（ｊ）ｋ＝
＋ ｋ ・・・・・・・・・■ となる。特に Ｐｒｏｂ（ＸＩλ） ” ａｒ、＋（ｆ） ：Σ β１
（１）−二１ である。
）＝αｔ（１）１ｌ ＝０ （ｆｏｒ ｉ≠ｌ、ｔ≠１）、βｒ、Ｉ（ｆ）：
ｌとしてゞ（＋−ａ・７・□、、）ａ・１ ｘｒＩ ｈ、（ｘｔ−□−＋＋ｋ） ・・・・・・・
・・・・・・・・・・・■に−１ｋ ｘ ｒＴ ｂ；、（ｘｔ−＋＋ｋ）βｔ−ｒ（ｊ）
−−＝■であるから、 Ｐｒｏｂ（ｘｙｘ２−ｘｙ、 ｓｔ−＋＝ｑ； ｌλ）
ｘ（ａ＋、β、（Ｊ） ＋ Ｐｒｏｂ（ｘｔｌｓｔ−＋＝ｑ：ｔ、λ） ａｉｊ
βｔ、＋（Ｊ）＋ Ｐｒｏｂ（ｘｔｘｔ、＋ １ｓｔ
−＋” Ｑ〒λ）ａ−」βｔ÷２（ｊ）＋ Ｐｒｏｂ（
ｘｔ−ｘｒ−ｔ １ｓｔ−＋” ｑｔ、、λ）ａｌ β
ｒ−＋＋＋’（ｊ）） に注意すれは、結局、任意のｔＥ［３，Ｔ］に対してＸ
Σ ｎａｔ： 、８７ ｋ＝、 ｋ−１し ×（１−ａ：＋ ）ａＩ」 ＩＩＩＩ會１ ×■ｂ＋ （ｘｔ ７−１＋、）β、−７□（ｊ）ｋ＝
＋ ｋ ・・・・・・・・・■ となる。特に Ｐｒｏｂ（ＸＩλ） ” ａｒ、＋（ｆ） ：Σ β１
（１）−二１ である。
以後、表記の簡単化と、式の見通しを良くするために、
次のようにおく。
次のようにおく。
即ち、＾（１，τ）は状態ｑ１の連の長さがτである確
率、Ｂ （ｉ ＋ ｔ ＋ ｒ）は状態系列５Ｌ−ｒ”
’５Ｌ−１” ｑｉ ””ｑ； 、１ τ Ｓｔ”Ｑｊ （ｊ≠Ｉ）において、５ｔ−ｒ”・５ｔ−
１に対応してＸｔ−ｒ・・・ｘｔ−＋の観測される確率
、Ｃ（ｉ 、 ｔ、τ）はその同時確率である。
率、Ｂ （ｉ ＋ ｔ ＋ ｒ）は状態系列５Ｌ−ｒ”
’５Ｌ−１” ｑｉ ””ｑ； 、１ τ Ｓｔ”Ｑｊ （ｊ≠Ｉ）において、５ｔ−ｒ”・５ｔ−
１に対応してＸｔ−ｒ・・・ｘｔ−＋の観測される確率
、Ｃ（ｉ 、 ｔ、τ）はその同時確率である。
Ｌ工Ω１定
従来のモデルと同様に、遷移確率ａｉｉは状態ｑ。
を訪れる回数の期待値に対する状Ｂｑ、から状態ｑ、へ
の遷移回数の期待値であって、 となる。ただし、第１図〜第３図、第６図で示されるモ
デルの場合はａｔ ７”ｌ （ｊ＝＋ ＋ｌ）、ａＩ４
”０（Ｊ≠１＋１）である。
の遷移回数の期待値であって、 となる。ただし、第１図〜第３図、第６図で示されるモ
デルの場合はａｔ ７”ｌ （ｊ＝＋ ＋ｌ）、ａＩ４
”０（Ｊ≠１＋１）である。
、′べ 、・・
特徴ベクトルの分布を正規分布とし、状態ｑ、内におい
て、その平均値をμｍ、分散共分散行列をΣ、とする。
て、その平均値をμｍ、分散共分散行列をΣ、とする。
簡単のために、μｍは状態ｑ、内では時間に関わらず一
定であるとする。
定であるとする。
ユ」１淀
ば
Ｐｒｏｂ（ＸＩλ）：Σ Ｐｒｏｂ（Ｘ、Ｓｌλ）であ
って、弐〇は状態Ｑ＋を含む状態系列が対象になり、そ
れ以外の系列に対してはこの偏微分はＯとなるから、結
局、式■は次のようになる。
って、弐〇は状態Ｑ＋を含む状態系列が対象になり、そ
れ以外の系列に対してはこの偏微分はＯとなるから、結
局、式■は次のようになる。
故に、μｍの推定値ｌｉｔは式■（表）のようになる。
式■において、右辺の分子は状Ｂｑ＋ における観測ベ
クトルの総和の期待値、分母は状態ｑ、の連の長さの期
待値であって、その比がμｍの推定値となっている。従
って、 μｍは状態ｑ、における特徴ベクトルＸの期待
値に相当する。
クトルの総和の期待値、分母は状態ｑ、の連の長さの期
待値であって、その比がμｍの推定値となっている。従
って、 μｍは状態ｑ、における特徴ベクトルＸの期待
値に相当する。
１」ｍｌ定
μ、の推定式■において、ΣＸｔ−ｒ−１＋にのかねに
鵞Ｉ りに におきかえることにより、同様にして弐〇（表）が得ら
れる。
鵞Ｉ りに におきかえることにより、同様にして弐〇（表）が得ら
れる。
Ｌ８ ＠ ０
式■の右辺の分子は状態ｑ、における観測ベクトルの分
散共分散行列の期待値、分母は状態ｑ１の連の長さの期
待値であって、その比がΣ１の推定値となる。
散共分散行列の期待値、分母は状態ｑ１の連の長さの期
待値であって、その比がΣ１の推定値となる。
パ詮−−−ノ′定＝
ＨＭＭの改良として、状態の連の長さをＰｏｌｓｓｏｎ
分布で与える方法やｒ分布で与える方法等が提案されて
いる。ここでは、やや異なった観点から、状態の連の長
さを確率分布で表現する本発明方法について説明する。
分布で与える方法やｒ分布で与える方法等が提案されて
いる。ここでは、やや異なった観点から、状態の連の長
さを確率分布で表現する本発明方法について説明する。
第２図において、状態遷移確率ａ＋ ｔ は、状ｋｋ
◆１ 態ｑ＋を訪れる確率のうち、状態”Ｋｌを訪れる確率の
割合であって、これは、状態ｑ、の連の長さかに＋１以
上である確率のに以上である確率に対する割合のことで
あると解される。 従って、ｔの連続間数Ｆｉ（ｔ）を
状態ｑ＋の連の長さがｔ以下である確率□を表す分布関
数とすれば、であるから、状ｆＪｌｑ＋の連の長さがτ
（正整数）である確率Ａ（ｉ、τ）は、Ｆｉ（０）＝Ｏ
とすればＡ（ｉ？Ｔ）＝ｎ ａｔ ；（１−ａｔ
＋ ）、 ｋ−１ｋ ｆ ５に Ｆ１（τ＋１）−Ｆｉ（τ） ・・・・・・・・・・
・・・・・・・・■となる。従って、分布間数Ｆｉ（ｔ
）に対する確率密度関数をｆｉ（ｔ）とすれば、 Ａ（ｉ、τ）＝Ｆｉ（τ＋１）−Ｆｉ（τ）となる。
◆１ 態ｑ＋を訪れる確率のうち、状態”Ｋｌを訪れる確率の
割合であって、これは、状態ｑ、の連の長さかに＋１以
上である確率のに以上である確率に対する割合のことで
あると解される。 従って、ｔの連続間数Ｆｉ（ｔ）を
状態ｑ＋の連の長さがｔ以下である確率□を表す分布関
数とすれば、であるから、状ｆＪｌｑ＋の連の長さがτ
（正整数）である確率Ａ（ｉ、τ）は、Ｆｉ（０）＝Ｏ
とすればＡ（ｉ？Ｔ）＝ｎ ａｔ ；（１−ａｔ
＋ ）、 ｋ−１ｋ ｆ ５に Ｆ１（τ＋１）−Ｆｉ（τ） ・・・・・・・・・・
・・・・・・・・■となる。従って、分布間数Ｆｉ（ｔ
）に対する確率密度関数をｆｉ（ｔ）とすれば、 Ａ（ｉ、τ）＝Ｆｉ（τ＋１）−Ｆｉ（τ）となる。
ｆｉ（ｔ）はｔ≧０の実数値に対する確率密度関数であ
るから、状態ｑ１の連の長さτが離散値２以上の値を取
るときは、ｆｉ （ｔ）を正の方向に２移動させて、式
［相］に示す近似を行うことになる。
るから、状態ｑ１の連の長さτが離散値２以上の値を取
るときは、ｆｉ （ｔ）を正の方向に２移動させて、式
［相］に示す近似を行うことになる。
状態遷移確率が状態の連の長さに応じて指数間数的に減
少する場合を考える。
少する場合を考える。
この場合は、状態の連の長さτに対する確率密度関数は
、従来のような単調減少ではなく最大値が存在し、より
現実に忠実なモデルに近いと考えられる。
、従来のような単調減少ではなく最大値が存在し、より
現実に忠実なモデルに近いと考えられる。
この場合は状態遷移確率は次式のようになる。
両辺の自然対数をとって
ζ。＝ Ｊｏｇ ｃｔ −Ｆｔ（ｎ）］とおけば漸化式
％式％
が成立するから、この式をＦｉ（０） ＝ Ｏ，ｆｉ（
０） ＝０の条件で解けば、 となる。従って、τ≧２の場合は となる。
０） ＝０の条件で解けば、 となる。従って、τ≧２の場合は となる。
式０におけるγ１の推定は次のように行える。
ｘ ａ＋、 Ｂ（ｉ、Ｌ、ｒ）βｔ（ｊ）＝ ０におい
て であるから、γ、は式＠（表）により推定される。
て であるから、γ、は式＠（表）により推定される。
第４図は、本発明の一実施例である。本実施例において
は、ａ、”ｌ （ｆｏｒ ｊ＝ｉ＋１）、 ａｔ７＝ｏ
（ｆｏｒ ｊ≠１＋１）の場合について、以下図面に
従って説明する。
は、ａ、”ｌ （ｆｏｒ ｊ＝ｉ＋１）、 ａｔ７＝ｏ
（ｆｏｒ ｊ≠１＋１）の場合について、以下図面に
従って説明する。
１は特徴抽出部であって、フィルタバンク、ＬＰＣ分析
等周知の方法によって、人力音声信号を特徴ベクトルの
系列に変換するものである。
等周知の方法によって、人力音声信号を特徴ベクトルの
系列に変換するものである。
２は単語パターン記憶部であって、モデル入を作成すべ
き単語を特徴ベクトル系列の形で複数個記憶するもので
ある。
き単語を特徴ベクトル系列の形で複数個記憶するもので
ある。
３はバッファメモリであって、単語パターン記憶部２に
記憶されている単語パターンをｌｌ１語づつ取り出して
一時的に記憶するものである。
記憶されている単語パターンをｌｌ１語づつ取り出して
一時的に記憶するものである。
４．５は状Ｂｑ、におけるパラメータを推定する面詰式
■、■、■、■等の分母、分子をそれぞれ計算するもの
である。
■、■、■、■等の分母、分子をそれぞれ計算するもの
である。
６は累積和計算部であって、分母計算部４で計算された
値の累積和を計算するものである。
値の累積和を計算するものである。
７は累積和計算部であって、分子計算部５で計算された
イ１αの累積和を計算するものである。
イ１αの累積和を計算するものである。
８はパラメータ計算部であって、前記累積和計算部６．
７で計算されたそれぞれのパラメータの分子、分母の比
をとることにより、面詰それぞれのパラメータの推定値
を求めるものである。
７で計算されたそれぞれのパラメータの分子、分母の比
をとることにより、面詰それぞれのパラメータの推定値
を求めるものである。
９はパラメータ記憶部であって、前記推定されたパラメ
ータを記憶するものである。
ータを記憶するものである。
１０は制御部であフて、単語パターン記憶部２に記憶さ
れている単語を一つづつ順次読みだし、バッフ７メモリ
３に転送するための学習単語読み出し指令、バッフ７メ
モリ３に記憶された単語パターンに対して、状態ｑ１
に対応する候補区間の設定、累積和計算部６．７の出力
から、前記のパラメータを計算するパラメータ計算指令
、状態番号の設定等を行う。
れている単語を一つづつ順次読みだし、バッフ７メモリ
３に転送するための学習単語読み出し指令、バッフ７メ
モリ３に記憶された単語パターンに対して、状態ｑ１
に対応する候補区間の設定、累積和計算部６．７の出力
から、前記のパラメータを計算するパラメータ計算指令
、状態番号の設定等を行う。
例えば単語ｒに対応するモデルλの作成は次のごとく行
われる。
われる。
単語ｒをＷ回発声し、特徴抽出部１て特徴ベクトル系列
に変換されたＷ個のパターンが単語パターン記憶部２に
記憶される。単語パターン記憶部２から制御部ｌＯから
の学習単語読み出し指令によって、Ｗ番目（Ｗ＝１〜Ｗ
）の単語が読み出され、バッフ７メモリ３に記憶される
。前記式〇、■、■、＠等の計算におけるｔ、γが前記
制御部ｌＯからの区間設定信号としてバッフ７メモリ３
に供給され、それに対応するバッファメモリ３に記憶さ
れた単語パターンの区間に対し、分母計算部４、分子計
算部５により、前記式〇、■、■・＠等における分母、
分子がそれぞれ計算される。このとき、これら分母分子
に含まれるパラメータは、状態ｑ、における初明値とし
て適当な値λ、＝（μｍ、Ｕｌ、γ１．Σ１）が与えら
れている。累積和計算部６．７は前記学習単語ｗ＝１〜
−についての前記分母分子の累積和をそれぞれ計算する
。パラメータ計算部８はこのようにして求められた学習
単語讐＝１〜Ｖの状態Ｑ＋についての前記分母分子の累
積和からその比をとって状態ｑ１のパラメータの新たな
推定値を計算する。パラメータ記憶部９はこのようにし
て得られた状態ｑ、のパラメータの推定値λ１を記憶す
る。
に変換されたＷ個のパターンが単語パターン記憶部２に
記憶される。単語パターン記憶部２から制御部ｌＯから
の学習単語読み出し指令によって、Ｗ番目（Ｗ＝１〜Ｗ
）の単語が読み出され、バッフ７メモリ３に記憶される
。前記式〇、■、■、＠等の計算におけるｔ、γが前記
制御部ｌＯからの区間設定信号としてバッフ７メモリ３
に供給され、それに対応するバッファメモリ３に記憶さ
れた単語パターンの区間に対し、分母計算部４、分子計
算部５により、前記式〇、■、■・＠等における分母、
分子がそれぞれ計算される。このとき、これら分母分子
に含まれるパラメータは、状態ｑ、における初明値とし
て適当な値λ、＝（μｍ、Ｕｌ、γ１．Σ１）が与えら
れている。累積和計算部６．７は前記学習単語ｗ＝１〜
−についての前記分母分子の累積和をそれぞれ計算する
。パラメータ計算部８はこのようにして求められた学習
単語讐＝１〜Ｖの状態Ｑ＋についての前記分母分子の累
積和からその比をとって状態ｑ１のパラメータの新たな
推定値を計算する。パラメータ記憶部９はこのようにし
て得られた状態ｑ、のパラメータの推定値λ１を記憶す
る。
１＝１−ｎについて以上の計算を行い、λ１を新たなλ
、とじて同様な計算を繰り返すことによりλ、は一定の
値に収束し、それが求めるべきパラメータとなる。
、とじて同様な計算を繰り返すことによりλ、は一定の
値に収束し、それが求めるべきパラメータとなる。
発明の効果
以上のように本発明によれば、従来のＨＭＭにおける各
状態において、同じ状態に遷移する確率が遷移回数に応
じて指数間数的に減少するようになしたので、従来ＨＭ
Ｍにおける問題とされていた認識すべきパターンの吠態
の連の長さをより現実に近い確率分布で表されることと
なり、認識精度の向上が可能となったものである。
状態において、同じ状態に遷移する確率が遷移回数に応
じて指数間数的に減少するようになしたので、従来ＨＭ
Ｍにおける問題とされていた認識すべきパターンの吠態
の連の長さをより現実に近い確率分布で表されることと
なり、認識精度の向上が可能となったものである。
第１図は本発明の一実施例のパターン認識用モデル作成
装置におけるＨＭＭの概念を示す概念図、第２図は第１
図をそれと等価な一重のマルコフモデルで表したＨＭＭ
の概念図、第３図は第２図のＨＭＭに対応するトレリス
線図、第４図は本発明の一実施例のパターン認識用モデ
ル作成装置のブロック図、第５図はＨＭＭを用いた音声
認識装置のブロック図、第６図は従来の典型的なＨＭＭ
の概念を示す概念図である。 ｌ・・・・・・特徴抽出部、２・・・・・・単語パター
ン記憶部、３・・・・・・バッファメモ菖ハ ４・・・
・・・分母計算部、５・・・・・・分子計算部、６・・
・・・・累積和計算部、７・・・・・・累積和計算部、
８・・・・・・パラメータ計算部、９・・・・・・パラ
メータ記憶部、１０・・・・・・制御部。 代理人の氏名 弁理士 中尾敏男 はか１名第１図 （１＋＋（ｒ） （Ｉｌｌ（Ｄ （ｉｉｌ
（ＩＪ （Ｉｊｊ（Ｕ ＣＬｎＲ（τ２ｂ
ｒｅｃｘ＞ ｂ２ｅＸ、、”ｃ） ｂＬ（ｘ、
τ） ｂｊｔｘ、ｒ） ｂｎＲ，Ｔ）第２図 第３図 ｔ２ ３ ａｒ６ ７ Ｂ９ ノ。 ／／ ノ
２ ノＪ ／４フレーＡ 第４図
装置におけるＨＭＭの概念を示す概念図、第２図は第１
図をそれと等価な一重のマルコフモデルで表したＨＭＭ
の概念図、第３図は第２図のＨＭＭに対応するトレリス
線図、第４図は本発明の一実施例のパターン認識用モデ
ル作成装置のブロック図、第５図はＨＭＭを用いた音声
認識装置のブロック図、第６図は従来の典型的なＨＭＭ
の概念を示す概念図である。 ｌ・・・・・・特徴抽出部、２・・・・・・単語パター
ン記憶部、３・・・・・・バッファメモ菖ハ ４・・・
・・・分母計算部、５・・・・・・分子計算部、６・・
・・・・累積和計算部、７・・・・・・累積和計算部、
８・・・・・・パラメータ計算部、９・・・・・・パラ
メータ記憶部、１０・・・・・・制御部。 代理人の氏名 弁理士 中尾敏男 はか１名第１図 （１＋＋（ｒ） （Ｉｌｌ（Ｄ （ｉｉｌ
（ＩＪ （Ｉｊｊ（Ｕ ＣＬｎＲ（τ２ｂ
ｒｅｃｘ＞ ｂ２ｅＸ、、”ｃ） ｂＬ（ｘ、
τ） ｂｊｔｘ、ｒ） ｂｎＲ，Ｔ）第２図 第３図 ｔ２ ３ ａｒ６ ７ Ｂ９ ノ。 ／／ ノ
２ ノＪ ／４フレーＡ 第４図
Claims (1)
- 入力信号を特徴ベクトルの系列に変換する特徴抽出手段
と、カテゴリＲ（ｎ）（ｎ＝１、２、・・・、Ｎ）のそ
れぞれに対し、予めＲ（ｎ）に属することが分かってい
る、前記抽出された特徴ベクトルの系列から、Ｈｉｄｄ
ｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ）を作成する
ＨＭＭ作成手段を備え、このＨＭＭ作成手段は、そのＨ
ＭＭを構成するそれぞれの状態において同じ状態に遷移
する遷移確率が遷移回数に応じて指数関数的に減少する
ようになしたことを特徴とするパターン認識用モデル作
成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62318141A JPH01159698A (ja) | 1987-12-16 | 1987-12-16 | パターン認識用モデル作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62318141A JPH01159698A (ja) | 1987-12-16 | 1987-12-16 | パターン認識用モデル作成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH01159698A true JPH01159698A (ja) | 1989-06-22 |
Family
ID=18095957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62318141A Pending JPH01159698A (ja) | 1987-12-16 | 1987-12-16 | パターン認識用モデル作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH01159698A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04313034A (ja) * | 1990-10-16 | 1992-11-05 | Internatl Business Mach Corp <Ibm> | 合成音声生成方法及びテキスト音声合成装置 |
-
1987
- 1987-12-16 JP JP62318141A patent/JPH01159698A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04313034A (ja) * | 1990-10-16 | 1992-11-05 | Internatl Business Mach Corp <Ibm> | 合成音声生成方法及びテキスト音声合成装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100397402B1 (ko) | 음성인식방법,정보형성방법,음성인식장치및기록매체 | |
| JP2964507B2 (ja) | Ｈｍｍ装置 | |
| JP2986792B2 (ja) | 話者正規化処理装置及び音声認識装置 | |
| US8738381B2 (en) | Prosody generating devise, prosody generating method, and program | |
| US6041299A (en) | Apparatus for calculating a posterior probability of phoneme symbol, and speech recognition apparatus | |
| EP0706171A1 (en) | Speech recognition method and apparatus | |
| JP2005043666A (ja) | 音声認識装置 | |
| JPH07334184A (ja) | 音響カテゴリ平均値計算装置及び適応化装置 | |
| US4991216A (en) | Method for speech recognition | |
| EP1576580B1 (en) | Method of optimising the execution of a neural network in a speech recognition system through conditionally skipping a variable number of frames | |
| US6230126B1 (en) | Word-spotting speech recognition device and system | |
| CA2000033C (en) | Continuous speech recognition unit | |
| US8478595B2 (en) | Fundamental frequency pattern generation apparatus and fundamental frequency pattern generation method | |
| JPH01159698A (ja) | パターン認識用モデル作成装置 | |
| JP2982689B2 (ja) | 情報量基準を用いた標準パターン作成方式 | |
| JPH08123469A (ja) | 句境界確率計算装置および句境界確率利用連続音声認識装置 | |
| JP2600871B2 (ja) | Ｈｍｍ作成装置及びそれを用いた尤度計算装置、時系列パターン認識装置 | |
| JP3033322B2 (ja) | 連続音声認識方法 | |
| JP2976795B2 (ja) | 話者適応化方式 | |
| JP3583299B2 (ja) | 連続音声認識用の探索装置および連続音声認識用の探索方法 | |
| JPH08202384A (ja) | 音声認識方法及び装置 | |
| JP2001282273A (ja) | 音声情報処理装置とその方法と記憶媒体 | |
| JP2926784B2 (ja) | Ｈｍｍ作成装置 | |
| JP3576792B2 (ja) | 音声情報処理方法 | |
| Kim et al. | Deleted strategy for MMI-based HMM training |