JPH04165400A - パターン認識方式および標準パターン学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、音声信号などのように特徴ベクトルの時系列
として表されるパターンを認識するパターン認識方式、
およびその標準パターンを学習データから自動的に構成
する標準パターン学習方式〔従来の技術〕 時系列パターンの予測に基づくパターン認識方式として
、「ニューラル予測モデル」が知られている。この方式
に関しては特願平１−３４４２１４号明細書（以下文献
１と略記する）および日本音響学会講演論文集平成元年
１０月１７５〜１７６ページ（以下文献２と略記する）
に詳しく解説されている。ニューラル予測モデルでは、
入力パターンの時刻ｉにおける特徴ベクトルと有限状態
遷移網から構成される標準パターンモデルの第ｊ番目の
状態の間の局所距離として、入力パターンの時刻ｉにお
ける特徴ベクトルと、状態ｊに付随した予測器（多層パ
ーセプトロン）によって入力パターンの時刻ｉ−川用前
の複数の特徴ベクトルから算出された時刻ｉの特徴ベク
トルに対する予測ベクトルとの間の距離を用いている。

またニューラル予測モデルを規定するモデルパラメータ
を学習によって自動的に決定する学習法としては、モデ
ルパラメータの初期値を乱数などで適当に与えて、繰り
返しアルゴリズムによって最適な値に修正する方法が、
上記文献に開示されている。

〔発明が解決しようとする課Ｂ］ 上記のようにニューラル予測モデルでは、入力パターン
の時刻ｉにおける特徴ベクトルを予測する際に予測器は
入力パターンの時刻ｉ−１以前の特徴ベクトルだけを用
いて予測ベクトルを決定している。このため、ある時点
の特徴ベクトルがその時点より以前の特徴ベクトルと相
関が強い場合に特に予測が適切に行われる。

しかし、その逆の場合、すなわちある時点の特徴ベクト
ルがその時点より以後の特徴ベクトルと強い相関を持っ
ている場合には予測の精度が上がらないことがある。た
とえば破裂音の立ち上がりの部分は破裂前の無音部分と
の相関よりも、破裂後の後続母音の過渡部分との相関の
方が強いと考えられる。

また、モデルパラメータの学習法においてはその初期値
を設定する適切な方法が知られておらず、これまでは乱
数による初期化などが用いられていた。しかし上記文献
ｌおよび２で与えられている繰り返し学習法は、学習の
評価関数の極小点に収束するようなアルゴリズムである
ために、パラメータの初期値が乱数で与えられていると
評価関数の望ましくない極小点に収束したまま学習が終
了してしまうという場合が発生する。

本発明の目的は、ある時点の特徴ベクトルを予測する際
に、その時点より以前の特徴ベクトルとの相関だけでな
く、その時点以後の特徴ベクトルとの相関も取り入れた
、より精度の高い時系列パターン予測に基づくパターン
認識方式を提供することにある。

本発明の他の目的は、標準パターンモデルのパラメータ
を繰り返し学習で決定する際に、パラメータのより良い
推定を可能にする初期値を設定する標準パターン学習方
式を提供することにある。

〔課題を解決するための手段〕

第１の発明は、特徴ベクトルの時系列として表された入
力パターンを、有限状態遷移網から構成される標準パタ
ーンモデルを用いて認識するパターン認識方式において
、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ＋
１以降の複数の特徴ベクトルから時刻ｉの特徴ベクトル
に対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
状態遷移網の第ｊ番目の状態の間の局所距離ｄ　（ｉ、
ｊ）として、入力パターンの時刻ｉにおける特徴ベクト
ルａｉと、前記状態ｊの予測器による時刻ｉの特徴ベク
トルに対する予測ベクトルＡｗ（ｊ）との間の距離Ｄ　
（ａｔ、Ａｔ　（ｊ）　）を用いることを特徴とする。

第２の発明は、特徴ベクトルの時系列として表された入
力パターンを、有限状態遷移網から構成される標準パタ
ーンモデルを用いて認識するパターン認識方式において
、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
１以前の複数の特徴ベクトルと入カバクーンの時刻ｉ＋
１以降の複数の特徴ベクトルとから時刻ｉの特徴ベクト
ルに対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
状態遷移網の第ｊ番目の状態の間の局所距離ｄ（ｉ、ｊ
）として、入力パターンの時刻ｉにおける特徴ベクトル
ａｉと、前記状態ｊの予測器による時刻ｌの特徴ベクト
ルに対する予測ベクトルＡｉ（ｊ）との間の距離Ｄ　（
ａ　；、Ａｉ（ｊ））を用いることを特徴とする。

第３の発明は、特徴ベクトルの時系列として表された入
力パターンを、有限状態遷移網から構成される標準パタ
ーンモデルを用いて認識するパターン認識方式において
、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
１以前の複数の特徴ベクトルから時刻ｉの特徴ベクトル
に対する前方予測ベクトルを算出する前方予測器と、入
力パターンの時刻ｉ＋ｌ以降の複数の特徴ベクトルから
時刻ｉの特徴ベクトルに対する後方予測ベクトルを算出
する後方予測器とを有し、 入力パターンの時刻ｉにおける特徴ベクトルａ＝　と前
記状Ｂｊの前方予測器による時刻ｉの特徴ベクトルに対
する前方予測ベクトルＡｉ’（ｊ）との間の前方予測距
離ｄ、　（ａｔ、Ａｉ’　（ｊ　）　）と、入力パター
ンの時刻ｉにおける特徴ベクトルａｉと前記状態ｊの後
方予測器による時刻ｉの特徴ベクトルに対する後方予測
ベクトルＡ＝”（ｊ）との間の後方予測距離ｄａ　（ａ
ｉ、ＡＨ”　（ｊ　）　）とがら算出サレル量Ｄ　（ｄ
ｒ　（ａｉ、Ａ＝’　（Ｊ　）　）　。

ｄａ　（ａ；、Ａｉ”　（ｊ　）　）　）を、入力パタ
ーンノ時刻ｉにおける特徴ベクトルと前記有限状態遷移
網の第ｊ番目の状態の間の局所距離ｄ　（ｉ、ｊ）とし
て用いることを特徴とする。

第４の発明は、第１または２または３の発明のパターン
認識方式における有限状態遷移網の各状態に付随した予
測器として多層パーセプトロンを用いた場合に、そのパ
ラメータを学習データから自動的に決定する標準パター
ン学習方式であって、状態ｊに付随した多層パーセプト
ロンの出力層のユニットの閾値の初期値として、学習デ
ータから算出した代表ベクトルを用いることを特徴とす
る。

〔作用］ 本発明のパターン認識方式および標準パターン学習方式
においては、各認識対象カテゴリの標準パターンモデル
は始状態と終状態を有する有限状態遷移網で表され、有
限状態遷移網の各状態にはそれぞれ固有の予測器が付随
している。各予測器は時刻ｉ＋ｌ以降の入力パターンの
特徴ベクトル時系列から切り出された固定長の特徴ベク
トル列を入力として、時刻ｉに出現すべき特徴ベクトル
に対する予測ベクトルを出力する。この予測ベクトルと
実際に時刻ｉに入力された特徴ベクトルの間の距離を予
測誤差とする。入力パターンと標準パターンである有限
状態遷移網の間の距離としては、たとえば始状態と終状
態を結び、入力バター〉・時系列の時刻に同期して状態
遷移を行ったときの可能な状態遷移の中で、遷移に沿っ
た予測誤差の累積値が最少となる遷移を動的計画法で決
定し、得られた最適な遷移に沿った予測誤差の累積値を
距離とする。標準パターンを構成する予測器のパラメー
タの決定は、予測誤差を評価関数とした最惣暉下法を用
いた学習によって行う。

以下に本発明のパターン認識および標準パターン学習方
式についてより詳細に説明する。説明では音声パターン
を認識する場合を例に議論することにするが、本発明は
その他の時系列パターンに対しても音声パターンの部分
をパターンベクトル列に読み変えれば同様に適用するこ
とができる。

第１の発明に係る予測器は時刻１＋１以陣の入力音声の
特徴ベクトル系列ａ１゜＋−ａ＋−□１・・・から時刻
ｉに出現するべき特徴ベクトルａｉを時間軸後向きに予
測する。ｊ番目の状態にイリ随する予測器による予測ベ
クトルＡｒ（ｊ）を次式で表す。

Ａｉ　（Ｊ　）　＝Ｆ　（ＷＪ、ａ　ｒ−ｚ　ａ　；−
ｚ、・・・、ａ　ｉ４Ｊ・・・　（１） ここでＦ（・）はパラメータＷ、によって特徴づけられ
る状態ｊに付随した予測器の入出力関係を与える非線形
ベクトル値関数である。ここでＷＪは複数のパラメータ
を代表して表している。τは予測に用いる入力音声の特
徴ベクトルの数である。

このような時間軸後向きの予測を行う予測器を用いると
、ある時点の特徴ベクトルがその時点より以後の特徴ベ
クトルと強い相関を持っている場合の予測の精度が向上
し、ひいては認識性能が上がることが期待される。たと
えば音声の破裂音の立ち上がりの部分は破裂前の無音部
分との相関よりも、破裂後の後続母音の過渡部分との相
関の方が強いので、本方式が特に有効に機能すると考え
られる。

このような予測器として多層パーセプトロンを用いると
、式（１）の具体的な表式は次のように与えられる。

Ａ＋（ｊ） 十θ。（ｊ　）　　　　　　　　　　　　　　　（２）
ここでＴＪｏ　（ｊ）　、　　Ｕｌ　（ｊ）　、・・・
、ＵＴ（Ｊ）はパーセブトロンのユニット間の結合係数
行列、θ。（ｊ）、θ１（ｊ）は出力層、中間層のユニ
ットの閾値ベクトル、ｆ　（・）は引数のベクトルの各
成分にシグモイド関数を作用して得られるベクトルを表
している。この場合式（１）のパラメータＷＪは Ｗ、　＝　　ｉＵｏ　　（）　）、　　　Ｕｌ　　（ｊ
）　　、　　−、Ｕ　Ｔ　（ｊ）。

θ。（ｊ）、θ、（ｊ））　　　　　　　　（３）であ
る。なおここでは３Ｎのパーセプ（・ロンを用いた場合
の例を示しであるが、４層などその他の場合も同様であ
る。また多層パーセプトロンに関しては刊行物ｒＰＤＰ
モデル」　（産業図書、　１９８９年）に詳しく解説さ
れている。

人力音声の時刻ｉにおける特徴ベクトルａｉと、標準パ
ターンモデル（有限状態遷移′ｆＡ）の第ｊ番目の状態
の間の局所距離ｄ　（ｉ、ｊ）の具体的な表式は、上述
の予測ベクトルＡｉ（ｊ）を用いてたとえば次式のよう
に与えられる。

ｄ　（ｉ、ｊ）−Ｄ　（ａ；、Ａｉ（ｊ））　　　　（
４）＝　ＩＩ　ａｒ−Ａｉ　（ｊ）　　ｌｌ２（５）こ
こではベクトル間の距離として２乗距離を用いた場合を
示しているが、−船釣に用いられている他のベクトル間
の距離（マハラノビス距離など）を用いても、以下の議
論は同じように成立する。

ここまでの議論は第１の発明に係る予測器に関するもの
であるが、第２の発明に係る予測器は、上述の議論にお
いて予測器の人出力を表す式（１）を次式で１き換える
ことによって与えられる。

Ａｉ（ｊ） ”　Ｆ　（ＷＪＩ　ａ　１−１−　ａ　ｔ−２，”°、
ａ　”Ｔ、ｌ　　ａ　ｒ　＋１．ａ　、＋２゜・・・、
　　ａｉ。工）（６） ここで、τ１．τ２は予測に用いる時刻ｉの前後の人力
音声の特徴ベクトルの数を表している。この場合にも第
１の発明の場合と同様に非線形ベクトル値関数Ｆ（・）
は多層パーセブトロンを用いて構成することが可能であ
る。この方式によれば時間軸の前向きおよび後向きの両
方向に相関の強いパターンの予測精度を改善することが
できる。

次に第３の発明の方式について説明する。この場合には
有限状態遷移網の第ｊ＃ｒ冒の状態には前方予測器と後
方予測器の２種類の予測器が付随している。それぞれの
予測器が与える予測ベクトルは次式で表される。

Ａｉ’（ｊ） ＝Ｆ　（Ｗ、’、ａｉ−＋＋ａ＋−ｚ％”＋　　ａｉ　
　）　　　　（７）゛てｌ Ａｉ”（ｊ） ＝Ｆ　（ＷＪＩ、　　ａ；−＋、　ａｒ、ｚ、−、ａ；
＋７　）　　　　（８）前方予測器から得られる前方予
測ベクトルＡｉ’（ｊ）から次式のように前方予測器Ｍ
ｄｙ　（ａｉ、Ａｉ’　（ｊ））が定義される。

ｄｒ　（ａＨ，１’　（ｊ））＝ｌｌ　ａｉ−Ａｉ’　
（ｊ）ＩＩ”・・・（９） 後方予測距離ｄｉ　（ａｔ、Ａｉ”　（Ｊ））に関して
も同様である。

ｄ＋　（ａＨ，Ａｉ”　（ｊ　）　）　−ＩＩ　ａｉ−
Ａｉ”　（ｊ　）　　ＩＩ２・・・（１０） ここでも距離の例として２乗距離を用いているが、その
他の距離に関しても以下の議論は同様に行うことができ
る。

入力音声の時刻ｉにおける特徴ベクトルと、標準パター
ンモデル（有限状態遷移ｌ！４）の第ｊ番目の状態の間
の局所距離ｄ　（ｉ、ｊ）は次式で与えられる。

ｄ　　（ｉ、ｊ） −Ｄ　（ｄＦ　（ａｔ、Ａｉ’　（ｊ　）　）　。

ｄお（ａｉ、Ａｉ”　（ｊ　）　）　）　　　　　　　
　（１１）ここで局所距離を定める関数Ｄ（・）として
は、例えば前方予測距離と後方予測距離の小さい方の距
離を局所距離として選択するなどの方式が考えられる。

この方式によれば、先方予測と後方予測のより精度の高
い方を自動的に選択して用いることができるので、取り
扱う時系列が時間軸の前向きと後向きのどちら方向によ
り強い相関を持っているかをあらかじめ知らなくても、
精度の高い予測が実現できる。

以上のように第１．第２．第３の発明のいずれかの方式
によって局所距離が与えられると、入力パターンと標準
パターンである有限状態遷移網の間の全体としての距離
（累積距Ｍ）を定義することができる。この距離の定義
として既知のものとしては、たとえば状態遷移が確定的
な定義（ＤＰマツチング）と、確率的な定義（隠れマル
コフモデル）がある。ＦＤＰマツチング」および「隠れ
マルコフモデル」に関しては刊行物「確率モデルによる
音声認識」　（電子情報通信学会域、中用を一著、　１
９８８年、以下文献３と略記する）に詳しく解説されて
いる。たとえばＤＰマツチングによる定義を採用した場
合には、入力パターンと標準パターン（有限状態遷移Ｗ
Ｉ）の間の累積距離は、始状態と終状態を結び、入力パ
ターンの時刻に同期して状態遷移を行ったときの、可能
な状態遷移の中で、遷移に沿った予測誤差の累積値が最
小となる遷移を動的計画法で決定し、得られた最適な遷
移に沿った予測誤差の累積値で与えられる。その具体的
なアルゴリズムに関しては文献１および２に詳しく与え
られている。

次に標準パターンモデル（有限状態遷移網）を特徴づけ
るパラメータを学習データから自動的に決定する標準パ
ターン学習方式について述べる。

学習法としては文献１および２に与えられている方式が
、本発明の標準パターンモデルの学習にもそのまま適用
できる。この方式はモデルパラメータの初期値を乱数な
どで適当に与えて、学習データに対する予測誤差の累積
値を評価関数として、繰り返し修正アルゴリズムによっ
て最適な値に修正する方法である。しかしこの繰り返し
修正による学習法は、学習の評価関数の極小点に収束す
るようなアルゴリズムであるために、パラメータの初期
値が乱数で与えられていると評価関数の望ましくない極
小点に収束したまま学習が終了してしまうという場合が
発生する。本発明の標準パターン学習方式は、予測器と
して多層パーセプトロンを用いた場合にこの点を解消し
て乱数に比べてより良いモデルパラメータの推定を可能
にするようなパラメータ初期値設定法を与える。

この場合、推定すべきパラメータは式（２）のパラメー
タであるが、ここではこれらパラメータの初期値を以下
のように与える。

Ｕｏ　（ｊ）　’、、’　Ｏ（１２） Ｕ　＋　（Ｊ　）　”、ｊ　Ｏ（１３）・・・　　　　
　　　　　　　　　　　　　　　（１４）Ｕ□（ｊ）　
’、、”　Ｏ（１５） θ＋　（ｊ）　’−、＝　　Ｏ（１６）θ。（ｊ）−１
，、、（１７） ここで６．は後述の方法によって学習データから算出さ
れた代表ベクトルである。また記号″−！、Ｉ０は６、
に比べて絶対値の十分小さい乱数で初期値を与えること
を表している。このような初期化を行うと繰り返し修正
学習の初期には式（２）は次のように近似できる。

Ａｉ（ｊ）〜Ｅ、　　　　　　　　　　　　（１８）こ
の近似によって予測ベクトルは入力音声の特徴ベクトル
によらず一定値となる。このとき式（４）の局所距離は
次式のようになる。

ｄ　（ｉ、Ｊ　）　＝　ＩＩ　ａｔ　　ｂ＝ｌｌ”　　
　　　　（１９）こｈは通常のＤＰマツチングによる音
声認識で用いられている入力パターンの時刻ｉの特徴ベ
クトルと標準パターンの時刻ｊの特徴ベクトルの間の距
離とみなすことができる。そこでθ。（ｊ）の初期値と
しての６３に、学習データから作成された標準パターン
の特徴ベクトル（代表ベクトル）を用いることができる
。具体的な６．の設定法の例を以下に示す。認識対象カ
テゴリＳの第ｍ番目の学習データ（ｍ＝１．・・・１Ｍ
、）の第ｊ番目のフレームの特徴ベクトルをｂ、（ｓ、
ｍ）、　　（ｊ＝１．・・・、Ｊ）とする。ここで学習
データの個々の発声の長さの違いはＤＰマンチングなど
を用いて正規化されているものとする。このときカテゴ
リＳの標準パターンモデルの状態ｊの予測器の初期値θ
。（ｊ）を次のように設定する。

θ。（ｊ）＝６Ｊ　　　　　　　　　　　　（２０）こ
のように初期値を設定すると、学習の初期には予測器は
入力パターンの特徴ベクトルによらず代表的な標準パタ
ーンを出力するので、第Ｏ近（以として通常のパターン
マツチングから出発したことになり、乱数でモデルを初
期化するのに比べて望ましくない極小点に収束してしま
う可能性が大幅に少なくなる。

［実施例］ 第１〜５図は本発明のパターン認識方式による認識のフ
ローチャートを示すもので、長さＩの入力パターン特徴
ベクトル時系列ａ＋＋・・・、ａ３、および標準パター
ンモデルのパラメータは外部から与えられているとする
。このフローチャートは作用の項の中で説明した認識方
式を具体化したものであり、変数などの表記はそこで与
えたものに従うことにする。ただし変数の添字Ｓは認識
対象のカテゴリ（ｓ＝１．・・・、Ｓ）を表している。

以下流れに沿って説明する。

第１図のステップ１０１では変数の初期化を行う。

その詳細は第２図に示されている。第２図のステップ２
０１〜２０３でカウンタの初期設定を行っている。ステ
ップ２０４では局所距離ｄｓ（ｉ、ｊ）と、累積予測誤
差ｇ、（ｉ、ｊ）の格納域を初期化している。ステップ
２０５〜２１０でカウンタのインクリメントおよび条件
判断を行って、すべてのＳ。

ｉ、ｊに関してステップ２０４の初期化を行っている。

ステップ２１２は各カテゴリＳの累積予測誤差の始端点
での値を設定している。

第１図に戻って、ステップ１０２〜１０４ではカウンタ
の初期設定を行っている。ステップ１０５では局所距離
を計算する。これは、第１４第２．第３の発明に対応す
る部分である。第１の発明の場合には第３図のステップ
３０１〜３０２で局所距離を計算する。ステップ３０１
の計算は作用の項で説明した式（２）に対応しており、
予測器を３層構造のパーセブトロンで実現したものであ
る。ステップ３０２は局所距離として式（４）の２乗距
離を用いた場合である。

第２の発明の場合には第４図のステップ４０１゜４０２
で局所距離を計算する。ステップ４０１の計算は弐（６
）の予測器を３層パーセプトロンで実現したものである
。式中のＵｏ”、ｉＪ　ｋｌｌ　、　Ｖ　、　ｆ％１、
θ。（ｓ）（ｊ）、θ　（ｓｌ（ｊ）は３層パーセプト
ロンを特徴づけるパラメータである。また関数ｆ　　（
・）はシグモイド”関数（ｓｉｇｍｏｉｄ　ｆｕｎｃｔ
ｉｏｎ）である。ステップ４０２は局所距離として式（
４）の２乗距離を用いた場合である。

第３の発明の場合には第５図のステップ５０１〜５０７
で局所距離を計算する。ステップ５０１の計算は式（７
）の前方予測器を３層パーセプトロンで実現したもので
ある。ステップ５０２の計算は式（８）の後方予測器を
３層パーセプトロンで実現したものである。ステップ５
０３は前方予測距離として式（９）の２乗距離を用いた
場合、ステップ５０４は後方予測距離として式（１０）
の２乗距離を用いた場合である。ステップ５０５で前方
予測距離と後方予測距離の小さい方を選び、ステップ５
０６．５０７でその値を局所距離に設定している。

ふたたび第１図に戻る。ステップ１０６〜１１５ではス
テップ１０５で与えられた局所距離を用いて、文献１〜
３に与えられている動的計画法に基づいて、入力パター
ンと標準パターンモデルの間の距離（累積予測誤差）を
計算している。ステップ１０６〜１０８は動的計画法の
漸化式計算を行っている。

ステップ１０９〜１１４でカウンタのインクリメントと
条件判断を行って、すべてのフレーム、カテゴリ、状態
に関して計算を行っている。ステップ１１５は終端点で
の累積予測誤差最少のカテゴリを認識結果＆として選出
している。

本発明の標準パターン学習方式は、標準パターンモデル
（有限状態遷移網）を特徴づけるパラメータを学習デー
タから自動的に決定する標準パターン学習方式における
パラメータの初期値設定法を提供する。第６．７図は作
用の項で説明した式（１２）〜（２１）に与えられた初
期値設定法の処理の流れを示したものである。第６図ス
テップ６０３は式（２１）に従って、複数の学習データ
の特徴ベクトルの平均値として、予測器（多層パーセプ
トロン）のパラメータ（出力層のユニントの閾値ベクト
ル）の初期値を設定している。第７図は式（１２）に従
って各カテゴリの各状態の閾値ベクトル（ステップ７０
３）およびユニット間結合係数行列（ステップ７０４）
を、乱数で初期化している。ステップ７０３および７０
４において、ＲＮＤ（ｍａｇ）は絶対値が＋ｎａｇ未満
の一様乱数を表している。ｗａｇとしては作用の項で述
べたように、θ。”　（ｊ）の初期値の絶対値に比べて
十分小さい値を用いる。

〔発明の効果〕

以上述べたように本発明によれば、ある時点の特徴ベク
トルを予測する際に、その時点より以前の特徴ベクトル
との相関だけでなく、その時点以降の特徴ベクトルとの
相関も取り入れた、より精度の高い時系列パターン予測
に基づくパターン認識方式と、標準パターンモデルのパ
ラメータを繰り返し学習で決定する際に、パラメータの
より良い推定を可能にする初期値を設定する標準パター
ン学習方式を提供することができる。

【図面の簡単な説明】

第１図は本発明のパターン認識方式において、累積予測
誤差の定義としてＤＰマツチングを採用した場合のフロ
ーチャートを示す図、 第２図は第１図のフローチャートにおける初期化のアル
ゴリズムを示すフローチャートを示す図、第３図は第１
の発明の予測器を用いた場合の局所距離の計算のフロー
チャートを示す図、第４図は第２の発明の予測器を用い
た場合の局所距離の計算のフローチャートを示す図、第
５図は第３の発明の予測器を用いた場合の局所距離の計
算のフローチャートを示す図、第６図、第７図は本発明
の標準パターン学習方式によって、モデルパラメータの
初期値を設定するフローチャートを示す図である。 第３図 第４図 第５図 第６図

Claims (4)

【特許請求の範囲】
1. （１）特徴ベクトルの時系列として表された入力パター
   ンを、有限状態遷移網から構成される標準パターンモデ
   ルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ＋
   １以降の複数の特徴ベクトルから時刻ｉの特徴ベクトル
   に対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
   状態遷移網の第ｊ番目の状態の間の局所距離ｄ（ｉ、ｊ
   ）として、入力パターンの時刻ｉにおける特徴ベクトル
   ａ＿ｉと、前記状態ｊの予測器による時刻ｉの特徴ベク
   トルに対する予測ベクトルＡ＿ｉ（ｊ）との間の距離Ｄ
   （ａ＿ｉ、Ａ＿ｉ（ｊ））を用いることを特徴とするパ
   ターン認識方式。
2. （２）特徴ベクトルの時系列として表された入力パター
   ンを、有限状態遷移網から構成される標準パターンモデ
   ルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
   １以前の複数の特徴ベクトルと入力パターンの時刻ｉ＋
   １以降の複数の特徴ベクトルとから時刻ｉの特徴ベクト
   ルに対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
   状態遷移網の第ｊ番目の状態の間の局所距離ｄ（ｉ、ｊ
   ）として、入力パターンの時刻ｉにおける特徴ベクトル
   ａ＿ｉと、前記状態ｊの予測器による時刻ｉの特徴ベク
   トルに対する予測ベクトルＡ＿ｉ（ｊ）との間の距離Ｄ
   （ａ＿ｉ、Ａ＿ｉ（ｊ））を用いることを特徴とするパ
   ターン認識方式。
3. （３）特徴ベクトルの時系列として表された入力パター
   ンを、有限状態遷移網から構成される標準パターンモデ
   ルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
   １以前の複数の特徴ベクトルから時刻ｉの特徴ベクトル
   に対する前方予測ベクトルを算出する前方予測器と、入
   力パターンの時刻ｉ＋１以降の複数の特徴ベクトルから
   時刻ｉの特徴ベクトルに対する後方予測ベクトルを算出
   する後方予測器とを有し、 入力パターンの時刻ｉにおける特徴ベクトルａ＿ｉと前
   記状態ｊの前方予測器による時刻ｉの特徴ベクトルに対
   する前方予測ベクトルＡ＿ｉ＾Ｆ（ｊ）との間の前方予
   測距離ｄ＿Ｆ（ａ＿ｉ、Ａ＿ｉ＾Ｆ、（ｊ））と、入力
   パターンの時刻ｉにおける特徴ベクトルａ＿ｉと前記状
   態ｊの後方予測器による時刻ｉの特徴ベクトルに対する
   後方予測ベクトルＡ＿ｉ＾Ｂ（ｊ）との間の後方予測距
   離ｄ＿Ｂ（ａ＿ｉ、Ａ＿ｉ＾Ｂ（ｊ））とから算出され
   る量Ｄ（ｄ＿Ｆ（ａ＿ｉ、Ａ＿ｉ＾Ｆ（ｊ））、ｄ＿Ｂ
   （ａ＿ｉ、Ａ＿ｉ＾Ｂ（ｊ）））を、入力パターンの時
   刻ｉにおける特徴ベクトルと前記有限状態遷移網の第ｊ
   番目の状態の間の局所距離ｄ（ｉ、ｊ）として用いるこ
   とを特徴とするパターン認識方式。
4. （４）請求項１〜３のいずれかに記載のパターン認識方
   式における有限状態遷移網の各状態に付随した予測器と
   して多層パーセプトロンを用いた場合に、そのパラメー
   タを学習データから自動的に決定する標準パターン学習
   方式であって、 状態ｊに付随した多層パーセプトロンの出力層のユニッ
   トの閾値の初期値として、学習データから算出した代表
   ベクトルを用いることを特徴とする標準パターン学習方
   式。