JP3000642B2 - パターン認識方式および標準パターン学習方式 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声信号などのように特徴ベクトルの時系
列として表されるパターンを認識するパターン認識方
式、およびその標準パターンを学習データから自動的に
構成する標準パターン学習方式に関する。

〔従来の技術〕

時系列パターンの予測に基づくパターン認識方式とし
て、「ニューラル予測モデル」が知られている。この方
式に関しては特願平１−344214号明細書（以下文献１と
略記する）および日本音響学会講演論文集平成元年10月
175〜176ページ（以下文献２と略記する）に詳しく解説
されている。ニューラル予測モデルでは、入力パターン
の時刻ｉにおける特徴ベクトルと有限状態遷移網から構
成される標準パターンモデルの第ｊ番目の状態の間の局
所距離として、入力パターンの時刻ｉにおける特徴ベク
トルと、状態ｊに付随した予測器（多層パーセプトロ
ン）によって入力パターンの時刻ｉ−１以前の複数の特
徴ベクトルから算出された時刻ｉの特徴ベクトルに対す
る予測ベクトルとの間の距離を用いている。

またニューラル予測モデルを規定するモデルパラメー
タを学習によって自動的に決定する学習法としては、モ
デルパラメータの初期値を乱数などで適当に与えて、繰
り返しアルゴリズムによって最適な値に修正する方法
が、上記文献に開示されている。

〔発明が解決しようとする課題〕

上記のようにニューラル予測モデルでは、入力パター
ンの時刻ｉにおける特徴ベクトルを予測する際に予測器
は入力パターンの時刻ｉ−１以前の特徴ベクトルだけを
用いて予測ベクトルを決定している。このため、ある時
点の特徴ベクトルがその時点より以前の特徴ベクトルと
相関が強い場合に特に予測が適切に行われる。

しかし、その逆の場合、すなわちある時点の特徴ベク
トルがその時点より以後の特徴ベクトルと強い相関を持
っている場合には予測の精度が上がらないことがある。
たとえば破裂音の立ち上がりの部分は破裂前の無音部分
との相関よりも、破裂後の後続母音の過渡部分との相関
の方が強いと考えられる。

また、モデルパラメータの学習法においてはその初期
値を設定する適切な方法が知られておらず、これまでは
乱数による初期化などが用いられていた。しかし上記文
献１および２で与えられている繰り返し学習法は、学習
の評価関数の極小点に収束するようなアルゴリズムであ
るために、パラメータの初期値が乱数で与えられている
と評価関数の望ましくない極小点に収束したまま学習が
終了してしまうという場合が発生する。

本発明の目的は、ある時点の特徴ベクトルを予測する
際に、その時点より以前の特徴ベクトルとの相関だけで
なく、その時点以後の特徴ベクトルとの相関も取り入れ
た、より精度の高い時系列パターン予測に基づくパター
ン認識方式を提供することにある。

本発明の他の目的は、標準パターンモデルのパラメー
タを繰り返し学習で決定する際に、パラメータのより良
い推定を可能にする初期値を設定する標準パターン学習
方式を提供することにある。

〔課題を解決するための手段〕

第１の発明は、特徴ベクトルの時系列として表された
入力パターンを、有限状態遷移網から構成される標準パ
ターンモデルを用いて認識するパターン認識方式におい
て、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ
＋１以降の複数の特徴ベクトルから時刻ｉの特徴ベクト
ルに対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有
限状態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,
j）として、入力パターンの時刻ｉにおける特徴ベクト
ルa_iと、前記状態ｊの予測器による時刻ｉの特徴ベクト
ルに対する予測ベクトルA_i（ｊ）との間の距離Ｄ（a_i,A
_i（ｊ））を用いることを特徴とする。

第２の発明は、特徴ベクトルの時系列として表された
入力パターンを、有限状態遷移網から構成される標準パ
ターンモデルを用いて認識するパターン認識方式におい
て、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ
−１以前の複数の特徴ベクトルと入力パターンの時刻ｉ
＋１以降の複数の特徴ベクトルとから時刻ｉの特徴ベク
トルに対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有
限状態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,
j）として、入力パターンの時刻ｉにおける特徴ベクト
ルa_iと、前記状態ｊの予測器による時刻ｉの特徴ベクト
ルに対する予測ベクトルA_i（ｊ）との間の距離Ｄ（a_i,A
_i（ｊ））を用いることを特徴とする。

第３の発明は、特徴ベクトルの時系列として表された
入力パターンを、有限状態遷移網から構成される標準パ
ターンモデルを用いて認識するパターン認識方式におい
て、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ
−１以前の複数の特徴ベクトルから時刻ｉの特徴ベクト
ルに対する前方予測ベクトルを算出する前方予測器と、
入力パターンの時刻ｉ＋１以降の複数の特徴ベクトルか
ら時刻ｉの特徴ベクトルに対する後方予測ベクトルを算
出する後方予測器とを有し、 入力パターンの時刻ｉにおける特徴ベクトルa_iと前記
状態ｊの前方予測器による時刻ｉの特徴ベクトルに対す
る前方予測ベクトルA_i ^F（ｊ）との間の前方予測距離d_F
（a_i,A_i ^F（ｊ））と、入力パターンの時刻ｉにおける特
徴ベクトルa_iと前記状態ｊの後方予測器による時刻ｉの
特徴ベクトルに対する後方予測ベクトルA_i ^B（ｊ）との
間の後方予測距離d_B（a_i,A_i ^B（ｊ））とから算出される
量Ｄ（d_F（a_i,A_i ^F（ｊ））,d_B（a_i,A_i ^B（ｊ）））を、
入力パターンの時刻ｉにおける特徴ベクトルと前記有限
状態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,j）
として用いることを特徴とする。

第４の発明は、第１または２または３の発明のパター
ン認識方式における有限状態遷移網の各状態に付随した
予測器として多層パーセプトロンを用いた場合に、その
パラメータを学習データから自動的に決定する標準パタ
ーン学習方式であって、 状態ｊに付随した多層パーセプトロンの出力層のユニ
ットの閾値の初期値として、学習データから算出した代
表ベクトルを用いることを特徴とする。

〔作用〕

本発明のパターン認識方式および標準パターン学習方
式においては、各認識対象カテゴリの標準パターンモデ
ルは始状態と終状態を有する有限状態遷移網で表され、
有限状態遷移網の各状態にはそれぞれ固有の予測器が付
随している。各予測器は時刻ｉ＋１以降の入力パターン
の特徴ベクトル時系列から切り出された固定長の特徴ベ
クトル列を入力として、時刻ｉに出現すべき特徴ベクト
ルに対する予測ベクトルを出力する。この予測ベクトル
と実際に時刻ｉに入力された特徴ベクトルの間の距離を
予測誤差とする。入力パターンと標準パターンである有
限状態遷移網の間の距離としては、たとえば始状態と終
状態を結び、入力パターン時系列の時刻に同期して状態
遷移を行ったときの可能な状態遷移の中で、遷移に沿っ
た予測誤差の累積値が最少となる遷移を動的計画法で決
定し、得られた最適な遷移に沿った予測誤差の累積値を
距離とする。標準パターンを構成する予測器のパラメー
タの決定は、予測誤差を評価関数とした最急降下法を用
いた学習によって行う。

以下に本発明のパターン認識および標準パターン学習
方式についてより詳細に説明する。説明では音声パター
ンを認識する場合を例に論議することにするが、本発明
はその他の時系列パターンに対しても音声パターンの部
分をパターンベクトル列に読み変えれば同様に適用する
ことができる。

第１の発明に係る予測器は時刻ｉ＋１以降の入力音声
の特徴ベクトル系列a_i+1,a_i+2,…から時刻ｉに出現する
べき特徴ベクトルa_iを時間軸後向きに予測する。ｊ番目
の状態に付随する予測器による予測ベクトルA_i（ｊ）を
次式で表す。

A_i（ｊ）＝Ｆ（W_j,a_i+1,a_i+2,…,a_ｉ＋τ） ・・・（１） ここでＦ（・）はパラメータW_jによって特徴づけられ
る状態ｊに付随した予測器の入出力関係を与える非線形
ベクトル値関数である。ここでW_jは複数のパラメータを
代表して表している。τは予測に用いる入力音声の特徴
ベクトルの数である。このような時間軸後向きの予測を
行う予測器を用いると、ある時点の特徴ベクトルがその
時点より以後の特徴ベクトルと強い相関を持っている場
合の予測の精度が向上し、ひいては認識性能が上がるこ
とが期待される。たとえば音声の破裂音の立ち上がりの
部分は破裂前の無音部分との相関よりも、破裂後の後続
母音の過渡部分との相関の方が強いので、本方式が特に
有効に機能すると考えられる。

このような予測器として多層パーセプトロンを用いる
と、式（１）の具体的な表式は次のように与えられる。

ここでU₀（ｊ）,U₁（ｊ），…,U_τ（ｊ）はパーセプ
トロンのユニット間の結合係数行列、θ_０（ｊ），θ_１
（ｊ）は出力層，中間層のユニットの閾値ベクトル、ｆ
（・）は引数のベクトルの各成分にシグモイド関数を作
用して得られるベクトルを表している。この場合式
（１）のパラメータW_jは W_j＝｛U₀（ｊ）,U₁（ｊ），…,U_τ（ｊ）， θ_０（ｊ），θ_１（ｊ）｝ （３） である。なおここでは３層のパーセプトロンを用いた場
合の例を示してあるが、４層などその他の場合も同様で
ある。また多層パーセプトロンに関しては刊行物「PDP
モデル」（産業図書,1989年）に詳しく解説されてい
る。

入力音声の時刻ｉにおける特徴ベクトルa_iと、標準パ
ターンモデル（有限状態遷移網）の第ｊ番目の状態の間
の局所距離ｄ（i,j）の具体的な表式は、上述の予測ベ
クトルA_i（ｊ）を用いてたとえば次式のように与えられ
る。

ｄ（i,j）＝Ｄ（a_i,A_i（ｊ）） （４） ＝‖a_i−A_i（ｊ）‖^２ （５） ここではベクトル間の距離として２乗距離を用いた場
合を示しているが、一般的に用いられている他のベクト
ル間の距離（マハラノビス距離など）を用いても、以下
の議論は同じように成立する。

ここまでの議論は第１の発明に係る予測器に関するも
のであるが、第２の発明に係る予測器は、上述の議論に
おいて予測器の入出力を表す式（１）を次式で置き換え
ることによって与えられる。

A_i（ｊ） ＝Ｆ（W_j,a_i-1,a_i-2,…,a_ｉ＋τ１,a_i+1,a_i+2,…,a
_ｉ＋τ２） （６） ここで、τ₁,τ_２は予測に用いる時刻ｉの前後の入力
音声の特徴ベクトルの数を表している。この場合にも第
１の発明の場合と同様に非線形ベクトル値関数Ｆ（・）
は多層パーセプトロンを用いて構成することが可能であ
る。この方式によれば時間軸の前向きおよび後向きの両
方向に相関の強いパターンの予測精度を改善することが
できる。

次に第３の発明の方式について説明する。この場合に
は有限状態遷移網の第ｊ番目の状態には前方予測器と後
方予測器の２種類の予測器が付随している。それぞれの
予測器が与える予測ベクトルは次式で表される。

A_i ^F（ｊ） ＝Ｆ（W_i ^F,a_i-1,a_i-2,…,a_ｉ＋τ１） （７） A_i ^B（ｊ） ＝Ｆ（W_j ^B,a_i+1,a_i+2,…,a_ｉ＋τ２） （８） 前方予測器から得られる前方予測ベクトルA_i ^F（ｊ）
から次式のように前方予測距離d_F（a_i,A_i ^F（ｊ））が定
義される。

d_F（a_i,A_i ^F（ｊ））＝‖a_i−A_i ^F（ｊ）‖^２ ・・・（９） 後方予測距離d_B（a_i,A_i ^B（ｊ））に関しても同様であ
る。

d_B（a_i,A_i ^B（ｊ））＝‖a_i−A_i ^B（ｊ）‖^２ ・・・（10） ここでも距離の例として２乗距離を用いているが、そ
の他の距離に関しても以下の議論は同様に行うことがで
きる。

入力音声の時刻ｉにおける特徴ベクトルと、標準パタ
ーンモデル（有限状態遷移網）の第ｊ番目の状態の間の
局所距離ｄ（i,j）は次式で与えられる。

ｄ（i,j） ＝Ｄ（d_F（a_i,A_i ^F（ｊ））， d_B（a_i,A_i ^B（ｊ））） （11） ここで局所距離を定める関数Ｄ（・）としては、例え
ば前方予測距離と後方予測距離の小さい方の距離を局所
距離として選択するなどの方式が考えられる。この方式
によれば、先方予測と後方予測のより精度の高い方を自
動的に選択して用いることができるので、取り扱う時系
列が時間軸の前向きと後向きのどちら方向により強い相
関を持っているかをあらかじめ知らなくても、精度の高
い予測が実現できる。

以上のように第1,第2,第３の発明のいずれかの方式に
よって局所距離が与えられると、入力パターンと標準パ
ターンである有限状態遷移網の間の全体としての距離
（累積距離）を定義することができる。この距離の定義
として既知のものとしては、たとえば状態遷移が確定的
な定義（DPマッチング）と、確率的な定義（隠れマルコ
フモデ）がある。「DPマッチング」および「隠れマルコ
フモデル」に関しては刊行物「確率モデルによる音声認
識」（電子情報通信学会編，中川聖一著,1988年，以下
文献３と略記する）に詳しく解説されている。たとえば
DPマッチングによる定義を採用した場合には、入力パタ
ーンと標準パターン（有限状態遷移網）の間の累積距離
は、始状態と終状態を結び、入力パターンの時刻に同期
して状態遷移を行ったときの、可能な状態遷移の中で、
遷移に沿った予測誤差の累積値が最小となる遷移を動的
計画法で決定し、得られた最適な遷移に沿った予測誤差
の累積値で与えられる。その具体的なアルゴリズムに関
しては文献１および２に詳しく与えられている。

次に標準パターンモデル（有限状態遷移網）を特徴づ
けるパラメータを学習データから自動的に決定する標準
パターン学習方式について述べる。学習法としては文献
１および２に与えられている方式が、本発明の標準パタ
ーンモデルの学習にもそのまま適用できる。この方式は
モデルパラメータの初期値を乱数などで適当に与えて、
学習データに対する予測誤差の累積値を評価関数とし
て、繰り返し修正アルゴリズムによって最適な値に修正
する方法である。しかしこの繰り返し修正による学習法
は、学習の評価関数の極小点に収束するようなアルゴリ
ズムであるために、パラメータの初期値が乱数で与えら
れていると評価関数の望ましくない極小点に収束したま
ま学習が終了してしまうという場合が発生する。本発明
の標準パターン学習方式は、予測器として多層パーセプ
トロンを用いた場合にこの点を解消して乱数に比べてよ
り良いモデルパラメータの推定を可能にするようなパラ
メータ初期値設定法を与える。

この場合、推定すべきパラメータは式（２）のパラメ
ータであるが、ここではこれらパラメータの初期値を以
下のように与える。

ここで_ｊは後述の方法によって学習データから算出
された代表ベクトルである。また記号 は_ｊに比べて絶対値の十分小さい乱数で初期値を与え
ることを表している。このような初期化を行うと繰り返
し修正学習の初期には式（２）は次のように近似でき
る。

A_i（ｊ）〜_ｊ （18） この近似によって予測ベクトルは入力音声の特徴ベク
トルによらず一定値となる。このとき式（４）の局所距
離は次式のようになる。

ｄ（i,j）＝‖a_i−_ｊ‖^２ （19） これは通常のDPマッチングによる音声認識で用いられ
ている入力パターンの時刻ｉの特徴ベクトルと標準パタ
ーンの時刻ｊの特徴ベクトルの間の距離とみなすことが
できる。そこでθ_０（ｊ）の初期値としての_ｊに、学
習データから作成された標準パターンの特徴ベクトル
（代表ベクトル）を用いることができる。具体的な_ｊ
の設定法の例を以下に示す。認識対象カテゴリｓの第ｍ
番目の学習データ（ｍ＝1,…,M_s）の第ｊ番目のフレー
ムの特徴ベクトルをb_j（s,m），（ｊ＝1,…,J）とす
る。ここで学習データの個々の発生の長さの違いはDPマ
ッチングなどを用いて正規化されているものとする。こ
のときカテゴリｓの標準パターンモデルの状態ｊの予測
器の初期値θ_０（ｊ）を次のように設定する。

このように初期値を設定すると、学習の初期には予測
器は入力パターンの特徴ベクトルによらず代表的な標準
パターンを出力するので、第０近似として通常のパター
ンマッチングから出発したことになり、乱数でモデルを
初期化するのに比べて望ましくない極小点に収束してし
まう可能性が大幅に少なくなる。

〔実施例〕

第１〜５図は本発明のパターン認識方式による認識の
フローチャートを示すもので、長さＩの入力パターン特
徴ベクトル時系列a₁,…,a_I、および標準パターンモデル
のパラメータは外部から与えられているとする。このフ
ローチャートは作用の項の中で説明した認識方式を具体
化したものであり、変数などの表記はそこで与えたもの
に従うことにする。ただし変数の添字ｓは認識対象のカ
テゴリ（ｓ＝1,…,S）を表している。以下流れに沿って
説明する。

第１図のステップ101では変数の初期化を行う。その
詳細は第２図に示されている。第２図のステップ201〜2
03でカウンタの初期設定を行っている。ステップ204で
は局所距離d_s（i,j）と、累積予測誤差g_s（i,j）の格納
域を初期化している。ステップ205〜210でカウンタのイ
ンクリメントおよび条件判断を行って、すべてのs,i,j
に関してステップ204の初期化を行っている。ステップ2
12は各カテゴリｓの累積予測誤差の始端点での値を設定
している。

第１図に戻って、ステップ102〜104ではカウンタの初
期設定を行っている。ステップ105では局所距離を計算
する。これは、第1,第2,第３の発明に対応する部分であ
る。第１の発明の場合には第３図のステップ301〜302で
局所距離を計算する。ステップ301の計算は作用の項で
説明した式（２）に対応しており、予測器を３層構造の
パーセプトロンで実現したものである。ステップ302は
局所距離として式（４）の２乗距離を用いた場合であ
る。

第２の発明の場合には第４図のステップ401,402で局
所距離を計算する。ステップ401の計算は式（６）の予
測器を３層パーセプトロンで実現したものである。式中
のU₀ ^(s)、U_k ^(s)、V_k ^(s)、θ₀ ^(s)（ｊ）、θ₁ ^(s)（Ｊ）
は３層パーセプトロンを特徴づけるパラメータである。
また関数ｆ（・）はシグモイド関数（sigmoid functio
n）である。ステップ402は局所距離として式（４）の２
乗距離を用いた場合である。

第３の発明の場合には第５図のステップ501〜507で局
所距離を計算する。ステップ501の計算は式（７）の前
方予測器を３層パーセプトロンで実現したものである。
ステップ502の計算は式（８）の後方予測器を３層パー
セプトロンで実現したものである。ステップ503は前方
予測距離として式（９）の２乗距離を用いた場合、ステ
ップ504は後方予測距離として式（10）の２乗距離を用
いた場合である。ステップ505で前方予測距離と後方予
測距離の小さい方を選び、ステップ506,507でその値を
局所距離に設定している。

ふたたび第１図に戻る。ステップ106〜115ではステッ
プ105で与えられた局所距離を用いて、文献１〜３に与
えられている動的計画法に基づいて、入力パターンと標
準パターンモデルの間の距離（累積予測誤差）を計算し
ている。ステップ106〜108は動的計画法の漸化式計算を
行っている。ステップ109〜114でカウンタのインクリメ
ントと条件判断を行って、すべてのフレーム，カテゴ
リ，状態に関して計算を行っている。ステップ115は終
端点での累積予測誤差最少のカテゴリを認識結果とし
て選出している。

本発明の標準パターン学習方式は、標準パターンモデ
ル（有限状態遷移網）を特徴づけるパラメータを学習デ
ータから自動的に決定する標準パターン学習方式におけ
るパラメータの初期値設定法を提供する。第6,7図は作
用の項で説明した式（12）〜（21）に与えられた初期値
設定法の処理の流れを示したものである。第６図ステッ
プ603は式（21）に従って、複数の学習データの特徴ベ
クトルの平均値として、予測器（多層パーセプトロン）
のパラメータ（出力層のユニットの閾値ベクトル）の初
期値を設定している。第７図は式（12）に従って各カテ
ゴリの各状態の閾値ベクトル（ステップ703）およびユ
ニット間結合係数行列（ステップ704）を、乱数で初期
化している。ステップ703および704において、RND（ma
g）は絶対値がmag未満の一様乱数を表している。magと
しては作用の項で述べたように、θ₀ ^s（ｊ）の初期値の
絶対値に比べて十分小さい値を用いる。

〔発明の効果〕

以上述べたように本発明によれば、ある時点の特徴ベ
クトルを予測する際に、その時点より以前の特徴ベクト
ルとの相関だけでなく、その時点以降の特徴ベクトルと
の相関も取り入れた、より精度の高い時系列パターン予
測に基づくパターン認識方式と、標準パターンモデルの
パラメータを繰り返し学習で決定する際に、パラメータ
のより良い推定を可能にする初期値を設定する標準パタ
ーン学習方式を提供することができる。

【図面の簡単な説明】

第１図は本発明のパターン認識方式において、累積予測
誤差の定義としてDPマッチングを採用した場合のフロー
チャートを示す図、 第２図は第１図のフローチャートにおける初期化のアル
ゴリズムを示すフローチャートを示す図、 第３図は第１の発明の予測器を用いた場合の局所距離の
計算のフローチャートを示す図、 第４図は第２の発明の予測器を用いた場合の局所距離の
計算のフローチャートを示す図、 第５図は第３の発明の予測器を用いた場合の局所距離の
計算のフローチャートを示す図、 第６図，第７図は本発明の標準パターン学習方式によっ
て、モデルパラメータの初期値を設定するフローチャー
トを示す図である。

フロントページの続き (56)参考文献 特開 平４−324500（ＪＰ，Ａ) 日本音響学会平成２年度秋季研究発表 会講演論文集▲Ｉ▼，２−Ｐ−17，「半 音節ニューラル予測モデルによる音声認 識」，ｐ．163−164，（平成２年９月20 日発表) 日本音響学会平成２年度秋季研究発表 会講演論文集▲Ｉ▼，１−８−22，「ニ ューラルネット予測型ＨＭＭによる音声 認識」，ｐ．43−44，（平成２年９月19 日発表) 電子情報通信学会論文誌 Ｖｏｌ．Ｊ 73−Ｄ−▲ＩＩ▼，Ｎｏ．８，Ａｕｇｕ ｓｔ1990，「ニューラル予測モデルを用 いた不特定話者音声認識」，ｐ．1315− 1321，（1990年８月25日発行) 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．91，Ｎｏ．95，ＳＰ91− 14，「時系列処理機能をもつ階層型ニュ ーラルネットワーク」，ｐ．63−70, （1991年６月20日発行) 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．89，Ｎｏ．90，ＳＰ89− 23，「ニューラルネットワークによる予 測モデルを用いた音声認識」，ｐ．81− 87，（1989年６月22日発行) 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．89，Ｎｏ．340，ＳＰ89− 83，「ニューラルネット駆動型ＨＭ Ｍ」，ｐ．55−62，（1989年12月14日発 行) Ｐｒｏｃｅｅｄｉｎｇｓ ｏｎ 1990 ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａ ｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃ ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎ ｇ，Ｖｏｌ．１，“Ｓ８．８ Ｓｐｅａ ｋｅｒ−Ｉｎｄｅｐｅｎｄｅｎｔ Ｗｏ ｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉ ｎｇ ａ Ｎｅｕｒａｌ Ｐｒｅｄｉｃ ｔｉｏｎ Ｍｏｄｅｌ”，ｐ．441− 444，（３−６，Ａｐｒｉｌ 1990) (58)調査した分野(Int.Cl.⁷，ＤＢ名) C10L 3/00 535 C10L 3/00 521 C10L 3/00 539 C10L 9/10 301 G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ) ＩＮＳＰＥＣ

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】特徴ベクトルの時系列として表された入力
   パターンを、有限状態遷移網から構成される標準パター
   ンモデルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ＋
   １以降の複数の特徴ベクトルから時刻ｉの特徴ベクトル
   に対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
   状態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,j）
   として、入力パターンの時刻ｉにおける特徴ベクトルa_i
   と、前記状態ｊの予測器による時刻ｉの特徴ベクトルに
   対する予測ベクトルA_i（ｊ）との間の距離Ｄ（a_i,A
   _i（ｊ））を用いることを特徴とするパターン認識方
   式。
2. 【請求項２】特徴ベクトルの時系列として表された入力
   パターンを、有限状態遷移網から構成される標準パター
   ンモデルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
   １以前の複数の特徴ベクトルと入力パターンの時刻ｉ＋
   １以降の複数の特徴ベクトルとから時刻ｉの特徴ベクト
   ルに対する予測ベクトルを算出する予測器を有し、 入力パターンの時刻ｉにおける特徴ベクトルと前記有限
   状態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,j）
   として、入力パターンの時刻ｉにおける特徴ベクトルa_i
   と、前記状態ｊの予測器による時刻ｉの特徴ベクトルに
   対する予測ベクトルA_i（ｊ）との間の距離Ｄ（a_i,A
   _i（ｊ））を用いることを特徴とするパターン認識方
   式。
3. 【請求項３】特徴ベクトルの時系列として表された入力
   パターンを、有限状態遷移網から構成される標準パター
   ンモデルを用いて認識するパターン認識方式において、 前記有限状態遷移網の各状態が入力パターンの時刻ｉ−
   １以前の複数の特徴ベクトルから時刻ｉの特徴ベクトル
   に対する前方予測ベクトルを算出する前方予測器と、入
   力パターンの時刻ｉ＋１以降の複数の特徴ベクトルから
   時刻ｉの特徴ベクトルに対する後方予測ベクトルを算出
   する後方予測器とを有し、 入力パターンの時刻ｉにおける特徴ベクトルa_iと前記状
   態ｊの前方予測器による時刻ｉの特徴ベクトルに対する
   前方予測ベクトルA_i ^F（ｊ）との間の前方予測距離d_F（a
   _i,A_i ^F（ｊ））と、入力パターンの時刻ｉにおける特徴
   ベクトルa_iと前記状態ｊの後方予測器による時刻ｉの特
   徴ベクトルに対する後方予測ベクトルA_i ^B（ｊ）との間
   の後方予測距離d_B（a_i,A_i ^B（ｊ））とから算出される量
   Ｄ（d_F（a_i,A_i ^F（ｊ））,d_B（a_i,A_i ^B（ｊ）））を、入
   力パターンの時刻ｉにおける特徴ベクトルと前記有限状
   態遷移網の第ｊ番目の状態の間の局所距離ｄ（i,j）と
   して用いることを特徴とするパターン認識方式。
4. 【請求項４】請求項１〜３のいずれかに記載のパターン
   認識方式における有限状態遷移網の各状態に付随した予
   測器として多層パーセプトロンを用いた場合に、そのパ
   ラメータを学習データから自動的に決定する標準パター
   ン学習方式であって、 状態ｊに付随した多層パーセプトロンの出力層のユニッ
   トの閾値の初期値として、学習データから算出した代表
   ベクトルを用いることを特徴とする標準パターン学習方
   式。