JPS63291099A - パタ−ン認識用モデル記憶装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声認識等のパターン認識に適用可能なパター
ン認識用モデル記憶装置に関する。

従来の技術 Ｅ２コ 本発明は一般のパターン認識に適用可能なものであるが
、説明の便宜のために、以下、音声認識を例に説明する
。

Ｈ　Ｍ　Ｍ　（　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄ
ｅｌ　）を用いた音声認識装置は既に公知であるが、マ
ルコフモデルの性質からして、ある状態から次の状態へ
の状態遷移確率は、その状態のみによって定まり、過去
の経過とは無関係であるから、次ぎに例示するように必
ずしも現実の世界を表すモデルとして適当でない場合が
ある。

第２図は、ＨＭＭを用いた音声認識装置のブロック図で
ある。１は音声分析部であって、入力音声信号をフィル
タバンク、フーリエ変換、ＬＰＧ分析等の周知の方法に
より、一定時間間隔（フレームと呼ぶ）例えば１０ｍｓ
ｅｃ毎に特徴ベクトルに変換する。従って、入力音声信
号は特徴ベクトルの系列ｘ１＋ｘ２＋・・・、ｘＴに変
換される。Ｔはフレーム数である。２はコードブンクと
呼ばれるもので、ラベル付けされた代表ベクトルを保持
している。

３はベクトル量子化部であって、前記ベクトル系列Ｘｌ
＋ｘ２．・・・、ＸＴのそれぞれのベクトルをそれに最
も近い前記代表ベクＩ・ルのラベルに置き換えるもので
ある。４はマルコフモデル（以下ＨＭ’Ｍと略記する）
作成部であって、訓練データから認識語禦たる各単語に
対応するＨＭＭを作成するものである。即ち、単語ｎに
対応するＨＭＭを作るには、先ず、ＨＭＭの構造（状態
数やそれら状態の間に許される遷移規則）を適当に定め
、然る後に前記の如くして単語ｎを多数回発声して得ら
れたラベル系列から、それらラベル系列の発声確率が出
来るだけ高くなるように、前記モデルにおける状態遷移
確率や状態の遷移に伴って発生するラベルの発生確率を
求めるしのである。５はトＩ　Ｍ　Ｍ記憶部てあ−・て
、このようにして得られたトＩ　Ｍ　Ｍを各単語毎に記
憶するものである。６は尤度計算部であって、認識すべ
き未知入力音声のラベル系列に対し、前記ＨＭＭ記憶部
５に記憶されているそれぞれのモデルからそのラベル系
列の発生する尤度を計算するものである。７は比較判定
部であって光度計算部６で得られた前記それぞれのモデ
ルに対する光度を比較し、その最大値を与えるモデルに
対応する単語を認識結果として判定するものである。

ＨＭＭによる認識は次のようにして行われる。

即ち、未知入力に対して得られたラベル系列を０”　ｏ
ｌ　＋　０２　＋・・・＋ＯＴ、モデルモデｎ）により
発生されるＴの長さの任意の状態系列を　Ｓ　＝　８１
．８２．”’、Ｓ工とするとき、Ｍ（ｎ）からラベル系
列０の発生する光度は 〔厳密解〕 Ｌ（ｎ）　＝ΣＰｒｏｂ（０、Ｓ　） 〔近似解〕 Ｌ（ｎ）　＝　ｍａｘ［Ｐｒｏｂ（０、Ｓ　）］または
、対数をとって Ｌ（ｎ）　□　ｍａｘ［ＩｏｇｆＰｒｏｂ（０、Ｓ　）
ｌ］て与えられる。従って、 ６　＝　ａｒｇｍａｘ［Ｌ（ｎ）］ ［１ とするとき、０が認識結果となる。

発明が解決しようとする問題点 ＨＭＭとしては第３図のようなものが良く用いられる。

ａｉｊは状Ｒ９、から状態ｑＪへの遷移確率である。こ
のとき、ａｉｊは別・ｑ、のとき　Ｓｔ＋＋−Ｑｊとな
る確率であるが、明らかに、この値はｔ以前の経過には
無関係な量として定義されているものであり、状態ｑ、
が幾ら続こうとも変化しない。従って、Ｓｔ　＝　ｑ、
のとき、時刻ｔ＋１以後さらに状態ｑ、がｎ連続する確
率はｔに関わらずａｔｔｎ（１〜ａ８．）となる。これ
はｎ・１のとき最大であり、以後ｎの増加に従って幾何
級数的に減少することになる。

しかしながら、時刻を以後さらに状態ｑ、がｎ続く確率
がｔ以前に状態ｑ、が幾ら続いてきたかに無関係である
というこの仮定は、現実の世界を適切に表現していると
は言い難い。現実の世界においては、状態　Ｑｉがｎ連
続して発生する確率は、ある連の長さｎ（、のときが最
大てあって、それ以下でもそれ以上でもその長さがｎｏ
から離れるにつれて減少するはずである。言い替えれば
、時刻ｔの状態がｑ、であるとき、時刻ｔ＋１における
状態が再び状態ｑ、となる確率はｎく ｎ、）のときは状態９．（ｉ≠ｊ）になる確率よりも大
きく、ｎ＞ｎ、のときは状態　ｑＪになる確率よりも小
さくなるはずである。従って、前記従来例におけるよう
なモデルを用いた認識装置には自ずとその性能に限界が
ある。

本発明はかかる点に鑑み、前記ＨＭＭ記憶部に用いられ
得るもので、状態遷移確率をその状態の連の長さの関数
として構成したＨＭＭを認識単位毎に持つパターン認識
用モデル記憶装置を提供することを目ｎ勺とする。

問題点を解決するための手段 カテゴリＲ（ｎ）　（ｎ・１，２．・・・、Ｎ）のそれ
ぞれに対し、予めＲ（ｎ）に属することが分がっている
複数のパターンから、それを構成するそれぞれの状態に
お［７Ｊ ける状態遷移確率がその時点までの過去の履歴に関係し
た値として定められたマルコフモデルＭ（ｎ）を前記カ
テゴリＲ（ｎ）に対応するマルコフモデルとして記憶し
、前記モデルは、ある状態がｅ連続した後に再びその同
じ状態へ遷移する状態遷移確率を、その状態がｆｆ＋１
以上連続する確率のｅ以上連続する確率に対する割合と
することを特徴とするパターン認識用モデル記憶手段か
らなる。

作用 パターン認識用モデル記憶手段により、カテゴリＲ（ｎ
）　（ｎ・１，２．・・、Ｎ）のそれぞれに対し、予め
Ｒ（ｎ）に属することが分かっている複数のパターンか
ら、それを構成するそれぞれの状態における状態遷移確
率がその時点までの過去の履歴に関係した値として定め
られたマルコフモデルＭ（ｎ）を、前記カテゴリＲ（ｎ
）に対応するマルコフモデルとして記憶し、前記モデル
は、ある状態がｅ連続した後に再びその同じ状態へ遷移
する状態遷移確率を、その状態がｅ千１以上連続する確
率のｅ以上連続する確率に対する割合とする。

実施例 第１図（ａ）は本発明によるパターン認識装置に用いる
ＨＭＭの一実施例である。即ち、前記従来例　　　゛に
おいて状態ｑ１の次に再び状態ｑｉの生じる状態遷移確
率ａｉｉ、Ｑ、＋　（ｉ≠ｊ）の生じる状態遷移確率ａ
ｉｊをａｔ＋（’）、ａｉ、ｔ（ｉ！＞とするものであ
る。ここに、ｅはｑ、が連続して生じた回数であって、
前記遷移確率がｅの関数になることを意味している。

第１図（ｂ）は前記第１図（ａ）のモデルをそれと等化
な異なった表現方法で書き表したものである。

即ち、状Ｎ　ｑｔの運の長さに対応して状態ｑ、を状態
Ｑｉｌ＋　Ｑｉ２＋・・・＋Ｑｔ、ｔ＋★）に分解して
考えることが出来る。即ち、ｑ、−（（ｌｔｘ、　Ｑ＋
２＋・・＋Ｑｉ、　４１ｉｔ）であって、状態ｑ、が繰
り返し出現する度に状態Ｑｉｌから順次状態Ｑｉ２へ、
状態Ｑｔｚから状態Ｑｉ３へ、・・・というように遷移
し、各状態からは状態Ｑｊｌに遷移し得るものである。

以後、必要に応じて弔を主状態、ｑｉｌ＋　Ｑｉ２＋・
・・等を副状態と呼ぶことにする。前記定義に従えば、
状態ｑｉｋから［９］ 状態ｑｉ、ｌｃ＋１に遷移する状態遷移確率はａｉｉ（
ｋ）、状態Ｑｚｋから状態Ｑｊｌに遷移する状態遷移確
率はａｔＪ（ｋ）となる。この場合、入カバターンのフ
レーム数をＴ、モデルを構成する主状態の状態数をＪと
すれば、前記主状態Ｑ＋に含まれる副状態の状態数１！
　（ｉ）は高々Ｔ−Ｊ＋１となるから結局このモデルは
有限状態のマルコフモデルとなり、従来８ＭＭ対して用
いられているアルゴリズムがそのまま用いられ得る。即
ち、ＨＭＭの作成に当たってはＦｏｒｗａｒｄ−Ｂａｃ
ｋｗａｒｄのアルゴリズム（Ｂａｕｍ−Ｗｅｔ　ｃｈの
アルゴリズム）が、認識に当たっては、前記厳密解とし
てＦｏｒｗａｒｄ−Ｂａｃｋｗａｒｄアルゴリズムが、
また、前記近似解としてはＶｉｔｅｒｂｉのアルゴリズ
ムが適用できる。

本発明によるパターン認識用モデル記憶装置は、各状態
を実際の入カバターンの各部分と対応付けて先験的にそ
の作成を行うことが可能であるという長所がある。以下
、モデルの作成をこの先験的知識に基づいて行う場合を
説明する。

特徴ベクトルの系列は前記従来例で説明したよ［１０］ うにベクトル量子化を行い、ラベル系列に変換されてい
るものとする。ベクトル量子化の方法は周知の方法をそ
のまま用いることが出来るものであって本発明の本質的
な部分ではないので説明は省略する。

単語ｎのＨＭＭの作成を行う手順は次のようになる。

■　単語ｎを発声して得られる入カバターンをＪ（ｎ）
分割する。分割の仕方は、それぞれの区間内においては
パターンは定常であるとみなせるように分割する。これ
は例えば人間がスペクトロダラムを見て行うことが出来
る。この各々の分割区間が前記状態に対応するものであ
る。

■　■の操作を単語ｎの種々の発声パターンに対して行
い、前記各々の状態に含まれるラベル（特徴ベクトル）
の連の長さの分布（ヒス１へグラム）をラベル毎に求め
、状態ｑｓにおいて長さｅのラベルの連が生じる確率密
度ｐ＋（１’）を求める。

このとき、状ｊｌｑ、における連の最大値をｅ、。

ｍａｙとする。また、状態ｑ、におけるラベルにの［１
１１ 発生頻度を求め、状態ｑ、におけるラベルにの発生確率
す、（ｋ）を求める。

■　■、■の操作の後、前記状態遷移確率が次のように
して求められる。即ち、状態ｑ、の連がｅ生じた後、次
も状態ｑ８である確率、即ち、開状態Ｑｉ＋から開状態
ｑｉ、ｒ　＋１への遷移確率は、開状態９Ｎを訪れる回
数のうち、さらに、側杖ａ　９ｔ、　ｒ　＋ｔを訪れる
回数の割合であって、これは、状態９、の連がｇ＋１以
上生じる確率の、ｅ以上生ずる確率に対する比率である
と考えて、状態遷移確率を次のように決定する。

ｍ＝１ いま、 Ｐ、（ｆｆ）・　Σｐｔ（ｍ） ｍ＝１ とおき、第１図のモデルのように状！！ｉｑ＋がらは状
態Ｑｔ＋ｔ　（ｊ＝ｔ＋１）なる遷移のみ許されるとし
た場合は １−Ｐｔ（ｌ−１） となる。

■　以上の操作を単語ｎ・１．２．・・・、Ｎについて
実行することにより、認識語粟たる各単語に対するＨＭ
Ｍが出来る。

［１３］ 発明の効果 本発明によれば、ＨＭＭの各状態における遷移確率を等
測的にその状態の連の長さに応じて制御するものである
から、現実の物理現象のより良いモデルを与えることに
なり、パターン認識の性能を大幅に向上させることが可
能となる。また、モデルの作成も前記実施例にて説明し
たように、現実の物理現象に対する先験的な知識を用い
て作成することが可能となる。

なお、本発明においては入力の特徴ベクトルはベクトル
量子化によりラベル系列に変換する場合について説明し
たが、特徴ベクトルＸをそのままを扱うようにすること
も出来る。即ち、このときは状態の連の長さの頻度分布
はラベル付けを行う場合と同様になるが、状態ｑｌにお
けるラベルにの発生確率す、（ｋ）の代わりに確率密度
関数ｂｔ（Ｘ）を用いることになる。

【図面の簡単な説明】

第１図は本発明によるパターン認識用モデル記憶装置に
記憶されるマルコフモデルの一実施例を［１４１ 示す説明図、第２図はマルコフモデルに基づく音声認識
装置の従来例を示すブロック図、第３図はマルコフモデ
ルの従来例を説明する説明図である。 代理人の氏名　弁理士　中尾敏男はか１名第１図 （ａ−） （ｂ） ｐ、ｕノ 第２図 入力音声 家、織滲果

Claims (1)

【特許請求の範囲】
1. カテゴリＲ（ｎ）（ｎ＝１、２、・・・、Ｎ）のそれぞ
   れに対し、予めＲ（ｎ）に属することが分かっている複
   数のパターンから、それを構成するそれぞれの状態にお
   ける状態遷移確率がその時点までの過去の履歴に関係し
   た値として定められたマルコフモデルＭ（ｎ）を前記カ
   テゴリＲ（ｎ）に対応するマルコフモデルとして記憶し
   、前記モデルは、ある状態がｌ連続した後に再びその同
   じ状態へ遷移する状態遷移確率を、その状態がｌ＋１以
   上連続する確率のｌ以上連続する確率に対する割合とす
   ることを特徴とするパターン認識用モデル記憶装置。