JPH0247760B2

JPH0247760B2 -

Info

Publication number: JPH0247760B2
Application number: JP58048600A
Authority: JP
Inventors: Seiichi Nakagawa
Original assignee: Individual
Current assignee: Individual
Priority date: 1983-03-22
Filing date: 1983-03-22
Publication date: 1990-10-22
Also published as: US4910783A; JPS59172700A

Description

【発明の詳細な説明】産業上の利用分野本発明はパターン比較装置に関し、より詳細に
は連続する音声等のパターンを一連のパターンと
して自動的に認識する装置に関する。

従来例の構成とその問題点パターンマツチングによる音声認識装置の一般
的な構成は次のようなものである。

入力音声信号を、フイルタバンク、周波数分
析、LPC分析等によつて特徴ベクトルの系列に
変換する特徴抽出手段と、予め発声され、その特
徴抽出手段により抽出されたグリコールの系列を
認識単語全部について標準パターンとして登録し
ておく標準パターン記憶手段と、認識させるべく
発声され、前記特徴抽出手段により抽出された入
力パターンと前記標準パターン記憶手段に記憶さ
れている標準パターンの全てと特徴ベクトルとの
系列としての類似度あるいは距離を計算するパタ
ーン比較手段と、パターン比較の結果、最も類似
度の高かつた（距離の小さかつた）標準パターン
に対応する単語を認識結果として判定出力する判
定出段からなる。

このとき、同一話者が同一の単語を発声して
も、発声の都度、その発声時間長が異なるので、
前記パターン比較手段で標準パターンと入力パタ
ーンの比較を行う際には、両者の時間軸を伸縮さ
せ、両者のパターン長を揃えて比較する必要があ
る。その際、発声時間長の変化は、発声単語の各
部で一様に生じているわけではないので、各部を
不均一に伸縮する必要がある。その伸縮は、比較
すべき両者のパターンの類似度が最大になる（距
離が最小になる、以下距離で説明する）ように行
われるのが最も良い結果が得られている。このよ
うなマツチングを効率的に行うのに動的計画法を
用いる装置が一般的である（以下このマツチング
をDPマツチングと称する）。

DPマツチングの方法は格子グラフによつて説
明できる。第１図は格子グラフであつて、横軸は
入力パターンＴ＝a₁，a₂…aIに対応するｉ座標、
縦軸は標準パターンRⁿ＝bⁿ ₁，bⁿ ₂…bⁿ _Joに対応する
ｊ座標を表わす。入力パターンＴと標準パターン
Rⁿを時間軸を非線形に伸縮してマツチングする
とは、この格子グラフ上において、両パターンの
各特徴ベクトルの対応関係を示す径路１を何らか
の標価基準によつて決定し、この径路に関して両
パターンの距離を評価することである。この径路
を決定する際には音声の性質を考慮して制限条件
を設ける。第２図ａは径路選択の制限条件の一例
である。即ち、この例では点（ｉ，ｊ）へ至る径
路は、点（ｉ−２，ｊ−１）から点（ｉ−１，
ｊ）を通る径路２か、点（ｉ−１，ｊ−１）から
来る径路３か、点（ｉ−１，ｊ−２）から点
（ｉ，ｊ−１）を通る径路４かの何れかしか取り
得ないということを意味している。このとき、入
力パターンと標準パターンの始端と終端は必ず対
応させるという条件をつければ、前記マツチング
の径路は第１図の斜線の部分に制限される。この
制限は、いかに時間軸が伸縮するといつても、同
一単語に対してはそれ程極端に伸縮するはずはな
いという事実からあまり極端な対応づけが生じな
いようにするためである。

a_iとbⁿ _jのベクトル間距離をdⁿ（ｉ，ｊ）とすれ
ば、入力パターンＴと標準パターンRⁿのパター
ン間の前記径路に沿う距離は、その径路に沿うdⁿ
（ｉ，ｊ）の荷重平均として定義される。第２図
の径路上のａ，ｂ，ｃ，ｄ，ｅはそれに対応する
径路が選ばれたときの荷重である。DPマツチン
グが適用できるためには、この荷重の決め方は、
格子グラフ上で前記制限条件の下でいかなる径路
が選ばれようともその径路に沿う荷重の和が一定
になるように決めれば良い。ａ＝ｃ＝ｅ＝２，ｂ
＝ｄ＝１とすれば、この荷重の和は１＋Jⁿ，ａ＝
ｂ＝ｃ＝１，ｄ＝ｅ＝0.5とすれば、この荷重の
和はＩ，ａ＝ｂ＝0.5，ｃ＝ｄ＝ｅ＝１とすれば、
この荷重の和はJⁿとなり、径路の選ばれ方によれ
ず一定となる。これらは共によく用いられる。ま
た、前記荷重の和一定という条件の下で、この荷
重をｊに関する関数とすることにより、より重視
してマツチングしたい径路上の部分の荷重を重く
する等の操作も可能である。

入力パターンＴと標準パターンRⁿの距離は前
記制限条件の下で前記荷重平均の最小値として定
義される。即ち、次の漸化式を解くことによつて
前記荷重平均の最小値とその最小値を与える径路
が決定され得る。

gⁿ（ｉ，ｊ）＝mingⁿ（ｉ−２，ｊ−１）＋a
dⁿ（ｉ−１，ｊ）＋bdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ＋１）＋cdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ＋１）＋cdⁿ（ｉ，ｊ） gⁿ（ｉ−１，ｊ−２）＋edⁿ（ｉ，ｊ−１）＋ddⁿ（ｉ，
ｊ）…(1) 初期条件gⁿ（１，１）＝dⁿ（１，１），Ｄ（Ｔ，Rⁿ）＝gⁿ（Ｉ，Jⁿ）／荷重の和ここにＤ（Ｔ，Rⁿ）は入力パターンＴと標準パ
ターンRⁿの距離である。

径路選択の条件としては他にも種々考えられ
る。第２図ｂ〜ｊ等は他の例である。この他にも
さらに種々の変形が考えられ得る。これら径路の
選択条件に伴つて前記漸化式は対応するものに書
き換えられるのは勿論である。

また、孤立して発声された単語を認識する場合
は勿論、連続して発声された（単語と単語の間に
切れ目なく発声された）音声を認識する場合も
DPマツチングは良好な成績をおさめている。

連続単語音声認識の問題は次のように定式化さ
れる。

入力パターンのフレーム数をＩ、第ｉフレーム
の特徴ベクトルをa_i、単語ｎの標準パターンのフ
レーム数をJⁿ、第ｊフレームの特徴ベクトルをbⁿ _j
とするとき、単語ｎの標準パターンRⁿは次のよ
うに表わされる。

Rⁿ＝bⁿ ₁，bⁿ ₂…bⁿ _j…bⁿ _Jo そこでＸ個の単語列に対応する標準パターンの
結合Ｒ＝R^q(1)R^q(2)…R^q(X) ＝b^q(1) ₁，b^q(1) ₂…b^q(1) _Jq(1)，b^q(2) ₁，b^q(2) ₂…
b^q(1) _Jq(2) …b^q(X) ₁，b^q(X) ₂…b^q(X) _Jq(X) ……(2) と入力パターンＴ＝a₁，a₂＝a_i…a_Iとのベクトル
系列間の距離が最小になる単語列ｑ(1)ｑ(2)…ｑ
（ｘ）を求める。

以上の計算を前記孤立単語の場合と同様にして
そのままDPマツチングで解こうとすれば、例え
ば10数字の単語を標準パターンとしてもつている
とき、３数字の連続発声された音声を認識するに
は10³＝1000種類の標準パターンとマツチングし
なければならない。標準パターンの数が増せば、
たちまちその組合せの数は禁止的な量になる。

そこで、連続単語の認識にもDPマツチングを
適用するために、マツチングの累積距離の正規化
係数（前記荷重の和のこと）は入力のフレーム数
にのみ依存するように径路の選択の条件を設定す
れば、以下に示すように標準パターンの単語の組
合せにも動的計画法が適用でき計算量を大幅に減
らし得る。

径路の選択条件としては一般に第３図ａ〜ｅに
示すものがあるが、以後の説明は簡単化のために
第３図ａを用いる。径路上に示した数値はその径
路が選ばれたときの荷重係数である。

入力パターンＴの第ｉフレームの特徴ベクトル
（以後フレームとのみ称する）a₁とｘ個の標準パ
ターンの連結からなる連続標準パターンＲの第ｊ
フレームb^R _jのフレーム間距離（ベクトル間距離）
をd_R（ｉ，ｊ）とし、入力パターンと連続標準パ
ターンとの対応づけする時間関数（前記マツチン
グの径路）をｕ(i)として、この時間関数に沿つて
求められる次の累積距離（フレーム間距離の荷重
の和）Ｄ（Ｔ，Ｒ）を最小化するＲ（以下R^と記
す）が求めるものであるとする。即ちＤ（Ｔ，Ｒ）＝min ｕ（ｉ）〔_I 〓ⁱ⁼¹ d_R（ｉ，ｕ(i)）〕 ……(3) R^＝argmin Ｒ〔Ｄ（Ｔ，Ｒ）〕ここで、第３図ａの径路のときは、０ｕ(i)−ｕ（ｉ−１）２，ｕ(1)＝１，ｕ
（）＝J^R である。また、min ｚ〔ｆ（ｚ）〕はｚに関して最小
化されたｆ（ｚ）、argmin ｚ〔ｆ（ｚ）〕はｆ（ｚ）を
最小にするｚの値を意味する。

式(3)は次の漸化式を解くことで求められる。た
だし、D_x(i)は入力が第ｉフレームで終端すると
仮定したｘ単語列に対する最小累積距離、N_x(i)
はD_x(i)に対応する単語列の最後尾単語名、B_x(i)
はN_x(i)の始点位置マイナス１（N_x(i)の一つ前の
単語の最終フレーム、バツクポインタと称する）、
Dⁿ（ｓ：ｔ）は入力のｓ〜ｔフレームと単語ｎと
の最小累積距離、Dⁿ _x（ｉ，ｊ）はD_x-1（ｍ）と、
入力のｍ＋１〜ｉフレームと単語ｎの１〜ｊフレ
ームとの最小累積距離の和のｍについての最小値
である。

初期条件Ｄ（０）＝０，Ｂ（０）＝０として D_x(i)＝min ｎ，ｍ｛D_x-1（ｍ）＋Dⁿ（ｍ＋１：ｉ）｝ ……(4) ＝min ｎDⁿ _x（ｉ，Jⁿ）をｘ＝１，２，…，Ｘについて求め、この式を満
たすn^，m^をn^，m^とするとき、 N_x(i)＝n^，B_x(i)＝m^ とする。ｉ＝までこの計算を行えば、次のよう
にして最後尾の単語から逆順に単語が求まる。即
ち最後尾の単語：N_x（）最後から２番目の単語：N_x-1（B_x（））最後から３番目の単語：N_x-2（B_x-1（B_x
（）））〓最初の単語：N₁（B₂（B₃（…B_x（））…）））でB₁（B₂（B₃（…（B_x（））…）））＝０となつて終
了する。第４図はN_x(i)，B_x(i)から上の単語列を
求めるフローチヤートである。

Ｘについても最適化する場合は、次のようにな
る。ここで、Ｄ(i)は入力のｉフレームで終端する
と仮定したときの単語列の最小累積距離Ｄ(i)＝min ｘD_x(i)），Ｎ(i)はＤ(i)に対応する単語列の最後尾
単語名、Ｂ(i)はＮ(i)の始点位置マイナス１（Ｎ(i)
の一つ前の単語の最終フレーム）、Dⁿ（ｉ，ｊ）
はＤ（ｍ）と入力のｍ＋１〜ｉフレームと単語ｎ
の１〜ｊフレームとの最小累積距離の和のｍにつ
いての最小値である。

初期条件Ｄ（０）＝０，Ｂ（０）＝０としてＤ(i)＝min ｘD_x(i)＝min ｎ，ｍ，ｘ〔D_x-1（ｍ）＋Dⁿ（ｍ＋１：ｉ）〕＝min ｎ，ｍ〔Ｄ（ｍ）＋Dⁿ（ｍ＋１：ｉ）〕＝min ｎ〔Dⁿ（ｉ，Jⁿ）〕 …(5) を求め、この式を満たすｍ，ｎをn^，m^とすると
き、Ｎ(i)＝n^ ，Ｂ(i)＝m^ とする。認識結果は次のようにＸが既知の場合と
同様に求まる。

最後の単語：Ｎ（）最後から２番目の単語：Ｎ（Ｂ（））最後から３番目の単語：Ｎ（Ｂ（Ｂ（）））〓最初の単語：Ｎ（Ｂ（Ｂ（…（Ｂ（））…）））でＢ（Ｂ（Ｂ（…（Ｂ（））…）））＝０となつたと
き
終了する。第５図はＮ(i)，Ｂ(i)から上の単語列を
求めるフローチヤートである。

なおDⁿ（ｍ＋１：ｉ）は次式で定義され、前記
の孤立単語のDPマツチングと同じ方法で求めら
れる。

Dⁿ（ｍ＋１：ｉ）＝min ｕ（ｉ）_i 〓ｋ＝ｍ＋１dⁿ（ｋ，ｕ(k)）……(6) ０ｕ(k)−ｕ（ｋ−１）２，ｕ（ｍ＋１）＝１，ｕ(i)＝Jⁿ ところで、例えば０〜９までの数字の他にジユ
ー、ヒヤク、ビヤク等の単語を標準パターンとし
て持つておれば、235をニヒヤクサンジユーゴと
発声した場合連続単語認識を行えば二百三十五と
認識されることになるが、前記の方法では二十三
百五等と誤認識されるかも知れない。我々が実際
に単語を連続して発生する場合は、それらの単語
の許される順序が決つている場合が多い。従つて
入力パターン（入力文）は、有限状態オートマト
ンαと等価な正規文法によつて生成された文であ
るとし、オートマトンαで受理されるあらゆる単
語列のうち、式(3)を最小にする単語列（ｑ(1)，ｑ
(2)，…，ｑ（ｘ））を求めるというようにすること
によつて認識率を向上させることができる。ここ
で単語列（ｑ(1)，ｑ(2)，…，ｑ（ｘ））がオートマ
トンαで受理されるとはΔ（q₀，ｑ(1)）＝q_i⊂Ｓ，
Δ（q_i，ｑ(2)＝q_i⊂Ｓ，…，Δ（q_k，q_(x-1)）＝q_l⊂
Ｓ，Δ（q_l，q_(x)＝q_f⊂Ｆ⊂Ｓとなるような状態遷
移が存在する場合である。各記号の意味は、Ｓは
状態ｑの有限集合｛ｑ∈q₀，q₁，…，q|_s|_-1｝、
Σは入力単語ｎの有限集合｛ｎ∈１，２，…，
Ｎ｝、Δは状態遷移関数で、Ｓ×Σ→Ｓ，｛Δ（q₁，
ｎ）＝q_j｝、q₀は初期状態でq₀∈Ｓ，Ｆは最終状態
の集合Ｆ⊂Ｓである。ここで、ｑ(1)，…，ｑ（ｘ）
∈−｛１，２，…，Ｎ｝である。

通常のオートマトンの認識問題と異なる点は、
時間を表わすフレーム番号も変数として入つてい
る点であり、しかも単に受理、拒否の出力でな
く、受理可能な度合（累積距離）が出力される点
である。

Dq_j(i)を状態q_jで入力のｉフレームで終端する
と仮定したあらゆる単語列のうちの最小累積距
離、Nq_j(i)をDq_j(i)に対応する単語列の最後尾単
語名、Bq_j(i)をNq_j(i)の始点位置マイナス１（Nq_j
(i)の一つ前の単語の最終フレーム、バツクポイン
タと称する）、Qq_j(i)をq_jへ状態遷移によつてDq_j
(i)を満たした状態名即ちΔ（Qq_j(i)，Nq_j(i)＝q_jと
するとき、次に漸化式を解くことで、オートマト
ン制御による式(3)の解が得られる。即ち式(4)のｘ
を状態ｑと読み代えることによつて、Dq_j(i)を求
める漸化式が得られる。

初期条件 Dq₀（０）＝０，Bq₀（０）＝０として Dq(i)＝min ｍ，ｎ，qk〔Dq_k（ｍ）＋D_o（ｍ＋１：ｉ），ｑ＝Δ（q_k，ｎ） …(7) をｑ＝q₁，q₂，…，q|_s|_-1について求め、この
式を満たすｎ，ｍ，q_kをn^，m^，q^_kとするとき、 Nq(i)＝n^，Bq(i)＝m^，Qq(i)＝q^_k とする。ｉ＝Ｉまでこの計算を行えば、次のよう
にして最後尾の単語から逆順に単語が求まる。即
ちｉ＝Ｉ，ｑ＝minDq_f(i)，q_f∈Ｆとして n^＝Nq(i) Bq(i)≠０なら、ｉ＝Bq(i)，ｑ＝Qq(i)として
へ、Bq(i)＝０なら終了する。

第６図はフローチヤートである。

以上、(イ)単語数未知の場合、(ロ)単語数既知の場
合、(ハ)オートマトン制御を導入した場合を比較す
れば次のようになる。

(イ)は計算量、記憶量共に最小で済むが、例えば
三桁の整数を連続発声して入力した場合、四桁あ
るいは二桁の数字としてのマツチング結果の方が
良かつた場合は、そのまま、四桁あるいは二桁の
数字として認識してしまう。(ロ)は入力音声が予め
三桁とわかつているから、入力が三桁とした場合
におけるマツチング結果の中で最適のものを認識
結果とするから(イ)よりも認識の精度は向上する。
(ハ)は構文情報を導入することにより、さらに認識
の精度を上げることができる。

式(4)(5)(7)を解く具体的な方法がこれまでにも
種々提案され、式(2)で表わされる標準パターンと
そのまま直接マツチングするよりは大幅に計算量
が減り、それらの方法を用いたパターン比較装置
が実現されている。しかし、前記(イ)(ロ)(ハ)の何れも
可能なパターン比較装置は、それでも計算量記憶
量はかなり多く、計算量の最も少ないパターン比
較装置では、(イ)の場合しか実現できないのが現状
である。

発明の目的本発明は、単語数未知の場合は勿論、単語数の
指定やオートマトン制御の可能な連続単語音声の
認識が最小の計算量で可能なパターン比較装置を
実現することを目的とする。

発明の構成入力単語数既知の連続単語音声認識の解法の漸
化式（(4)式）、入力単語数未知の連続単語音声認
識の解法の漸化式（(5)式）、オートマトン制御の
連続単語音声認識の解法の漸化式（(7)式）の何れ
もDⁿ（ｍ＋１：ｉ）の計算を必要としている。

本発明は、このDⁿ（ｍ＋１：ｉ）の求め方に特
徴があるパターン比較装置であつて、これを求め
るための計算量が大幅に削減できたものである。
入力パターンの部分パターンa_n，a_n+1…a_iと標準
パターンa_n，a_n+1…a_iと標準パターンｎ＝bⁿ ₁，bⁿ ₂
…bⁿ _Jｎの部分パターンbⁿ ₁，bⁿ ₂…bⁿ _jとの、最小累積
距離のｍについての最小値ⁿ（ｉ，ｊ）を、DP
マツチングの径路が標準パターン側の軸を基本軸
とする径路（正規化係数が標準パターン長にのみ
依存する径路）で求め、 Dⁿ（ｍ＋１：ｉ）≒ⁿ（ｉ，Jⁿ） ×ｉ−ｍ／Jⁿ ……(8) とするものである。即ち、Dⁿ（ｍ＋１：ｉ）の正
規化係数はｉ−ｍであり、ⁿ（ｉ，Jⁿ）の正規
化係数はJⁿであるから、正規化係数が入力パター
ン長にのみ依存するように変換するのである。こ
のとき、ⁿ（ｉ，ｊ）を満たす前記入力パター
ンの部分パターンの始点位置をⁿ（ｉ，ｊ）と
すればｍ＋１＝ⁿ（ｉ，Jⁿ）となる。

ここで、入力パターンのⁿ（ｉ，jⁿ）〜ｉフレ
ームは、ｉを終端フレームと仮定したとき標準パ
ターンｎの最も信頼できる存在候補区間である
が、(4)，(5)，(7)式では様々なｍについてDⁿ（ｍ＋
１：ｉ）を必要としている。そこで、上述のｍ以
外についてもDⁿ（ｍ＋１：ｉ）の値を次のように
近似的に推定する。

ここでｒはDⁿ（ｍ＋１：ｉ）の推定の範囲
（窓）であり、結局｛ⁿ（ｉ，Jⁿ）−ｒｍ＋１ ⁿ（ｉ，Jⁿ）＋ｒ｝ ……(10) の任意の点を始点、ｉを終点とするDⁿ（ｍ＋１：
ｉ）を近似的に指定できたことになる。勿論ｒ＝
０とすることも可能であるが、認識精度の上から
妥当なｒが選ばれるべきである。

次に、このようにすれば計算量が減る理由につ
いて述べる。DPマツチングの径路の拘束条件は
第７図ａ〜ｅ等が考えられる。各径路上の数値は
その径路が選ばれたときの荷重係数である。この
ようにすることによつて、正規化係数（荷重係数
の和）は標準パターンの長さにのみ依存するよう
になる。

入力パターンの第ｓフレームから第ｔフレーム
までの部分パターンをＴ（ｓ：ｔ）として、第８
図において、Ｔ（m₁＋１：ｉ）とＴ（m₂＋１：
ｉ）の何れが標準パターンｎに近いかを計算する
とき、最適の径路がＴ（m₂＋１：ｉ）に対しては
５、Ｔ（m₁＋１：ｉ）に対しては６が選ばれたと
する（m₂＜m₁）。このとき、前記したように、
動的計画法が適用できるためには、いかなるマツ
チング径路が選ばれようとも、その径路に沿う荷
重の和は不変でなければならないが、これが入力
パターン長に依存する場合は第８図から径路５と
径路６では明らかに異る。ところが、正規化係数
が標準パターン長にのみ依存する場合は、明らか
に入力パターン長に関係なく両径路に沿う荷重の
和は一定になるので、入力パターン側を端点自由
として動的計画法によりマツチングを行うことが
できる。ゆえに、正規化係数が標準パターン長に
のみ依存するようにしなければならない。

マツチング径路の拘束条件を第７図ａとすれ
ば、ⁿ（ｉ，Jⁿ）ⁿ（ｉ，Jⁿ）は次の漸化式で
計算できる。

ⁿ（ｉ，ｊ）＝minDⁿ（ｉ−２，ｊ−１） Dⁿ（ｉ−１，ｊ−１） Dⁿ（ｉ，ｊ−１）〕＋dⁿ（ｉ，ｊ） ……(11) また、この式を満足するｉ座標値をi^とすれば
（i^はｉ，ｉ−１，ｉ−２のいずれかである）、 ⁿ（ｉ，ｊ）＝ⁿ（ｉ，ｊ） ……(12) となる。第９図はこの間の事情を図解したもので
あつて、格子点７へ至る一つ前の格子点は８，
９，１０のうちその格子点までの累積距離が最小
のものである。同様にして格子点８，９，１０の
それぞれの一つ前の格子点は格子点８については
１１，１２，１３、格子点９については１２，１
３，１４、格子点１０については１３，１４，１
５のうちそれぞれの点までの累積距離が最小のも
のである。従つて、格子点（ｉ，Jⁿ）に至る径路
は第１０図ａの斜線部の内部に限定される。１６
は傾斜1/2の直線である。横軸は入力パターン、
縦軸は標準パターンｎである。従つてまた、入力
の第ｉフレームを終端と仮定して、標準パターン
ｎとマツチングしたときの累積距離ⁿ（ｉ，Jⁿ）
は、入力パターンに対する始端候補点i′〜ｉのう
ちⁿ（ｉ，Jⁿ）が最小になるという意味で最適
な点が標準パターンｎに対応する始端点として自
動的に選択された結果として計算される。その点
がⁿ（ｉ，Jⁿ）である。ここでi′は直線１６とｉ
軸の交点である。

また、明らかに第ｉフレームにおけるフレーム
間距離dⁿ（ｉ，ｊ）、累積距離ⁿ（ｉ，Jⁿ）はｉが
変る度に対応する前記斜線部のすべての格子点に
ついて累積距離を求め直す必要はなく、各格子点
について１回計算するのみで良い。

マツチング径路の拘束条件を第７図ｂ〜ｅとす
れば、取り得る径路は第１０図ｂの斜線部とな
る。１７は傾斜1/2の直線、１８は傾斜２の直線
である。始端点は直線１７，１８とｉ軸の交点
i′，i″に対しi′〜i″の中から自動的に最適点が選ば
れる。

以上のような本発明の原理によれば、１つの標
準パターンに対し、各格子点におけるフレーム間
距離、累積距離は１回計算するのみであり、計算
量が非常に少くて済み、前記(イ)，(ロ)，(ハ)何れの場
合にも適用可能なパターン比較装置を実現し得る
ものである。

実施例の説明第１１図は以上の原理に基づく本発明の一実施
例である。入力単語数既知の場合について本発明
の実施例を説明する。１００は音声信号の入力端
子である。１０１はフイルタバンク等で構成され
た特徴抽出部であつて、入力音声信号を特徴ベク
トルの系列a₁，…a_i，…a_Iに変換する。１０２は
単語標準パターン記憶部であつて、認識語彙であ
るＮ個の単語のそれぞれが特徴ベクトルの系列と
して予め登録されている。１０３はフレーム間距
離計算部であつて、入力の第ｉフレームにおける
特徴ベクトルa_iとｎ番目の単語標準パターンRⁿ＝
bⁿ ₁，bⁿ ₂…bⁿ _Jｎのそれぞれの特徴ベクトルとの距離
dⁿ（ｉ，ｊ）を１ｎＮ，１ｊJⁿについて
求める。dⁿ（ｉ，ｊ）は例えばa_iとb_iの市街地距離
として定義できる。即ち、ベクトルの次元をｌと
し、a_i＝（a_i1，a_i2，…，a_il），bⁿ _j＝（bⁿ _j1，bⁿ _j2，
…，
bⁿ _jl）とするとき、 dⁿ（ｉ，ｊ）＝_l 〓^k=1 ｜a_ik−bⁿ _jk｜とすることができる。１０４はこのフレーム間距
離を必要がなくなるまで記憶するフレーム間距離
記憶部である。１０５は部分累積距離計算部であ
つて、例えば、径路の拘束条件を第７図ａとする
式(11)，(12)の漸化式を計算し、式(9)により１ｎ
Ｎについて部分累積距離Dⁿ（ｍ：ｉ）を式(10)のｍ
の範囲で求める。１０６はこの部分累積距離を必
要がなくなるまで記憶する。１０７は終端累積距
離計算部であつて、部分累積距離記憶部１０６の
内容と終端累積距離記憶部１０８の内容から、漸
化式(4)に従つて、D_x(i)，N_x(i)，B_x(i)を計算す
る。終端累積距離記憶部１０８は、終端累積距離
計算部１０７で計算された終端累積距離D_x(i)を
必要がなくなるまで記憶する。このD_x(i)は終端
累積距離計算部１０７における漸化式(4)の計算に
用いられる。１０９はバツクポインタ記憶部であ
つて、終端累積距離計算部１０７で計算されたバ
ツクポインタB_x(i)を記憶する。１１０は最後尾
単語記憶部で、終端累積距離記憶部１０７で求め
られた第ｉフレームにおける最後尾単語を記憶す
る。１１１は音声区間検出部であつて、入力信号
の大きさ等から音声区間を判定するもので、この
音声区間検出部１１１が音声入力が開始されたこ
とを検出すると、フレーム数計数部１１２はフレ
ーム毎に計数を始める。前記の処理は第ｉフレー
ムについての処理であつたが、このフレーム数計
数部１１２の計数値がこのｉを設定している。従
つて、前記と同様の処理がフレームが１進む毎に
行われることになる。フレーム数計数部１１２は
音声区間が検出されると計数を始め、音声区間が
終了するとリセツトされる。最後尾単語記憶部１
１０、バツクポインタ記憶部１０９には、N_x(i)，
B_x(i)がｉ＝１，２，…，について記憶される
ことになる。セグメンテーシヨン部１１３はバツ
クポインタ記憶部１０９に対し、所定のバツクポ
インタを読出すべき命令を発するものである。即
ち、セグメンテーシヨン部１１３がｉなる値をバ
ツクポインタ記憶部１０９に発すると、バツクポ
インタ記憶部１０９からはバツクポインタB_x(i)
が読出される。セグメンテーシヨン部１１３はバ
ツクポインタ記憶部１０９からB_x(i)なる値を受
け取ると、その同じ値をバツクポインタ記憶部１
０９に発する。従つて、音声区間検出部１１１が
音声入力の終了を検知すると、フレーム数計数部
１１２の最終値がセグメンテーシヨン部１１３
に供給され、セグメンテーシヨン部１１３は先ず
なる値をバツクポインタ記憶部１０９に発す
る。以後、前記説明の動作に従つて、バツクポイ
ンタ記憶部１６からB_x（），B_x-1（B_x（））…，
０なる出力が順次得られることになる。これらの
値は、最後から２番目の単語の終りのフレーム、
同３番目の終りのフレーム、同４番目のフレー
ム、…というものであり、N_x(i)はｉフレームで
終る単語であつたから、この値をそのまま最後尾
単語記憶部１１０に力えると、最後の単語から逆
の順序で認識結果が得られることになる。この順
序を逆に（あたりまえの順序に）するには、順序
の変換をバツクポインタ記憶部１０９の出力か、
最後尾単語記憶部１１０の出力に対して行えばよ
い。

第１２図は、以上の実施例の動作をプログラム
で表現したものであり、ソフトウエアで実現する
場合もこれに従えばよい。なお第１２図におい
て、 DOWHiLEＡＢ ENDDO なる記法は、条件Ａが成立する間Ｂを行うという
ことを意味する。また、 DOUNTiLＡＢ ENDDO なる記法は、条件Ａが成立するまでＢを行うとい
うことを意味する。

ステツプ２００，２０１は累積距離D_x(i)ⁿ
（ｉ，ｊ）バツクポインタB_x(i)，ⁿ（ｉ，ｊ）の
初期化を行う部分である。

ステツプ２０３はｉフレームにおける処理を示
しており、大きくわけて部分累積距離を求める部
分２０４と終端累積距離を求める部分２０５に分
かれる。

ステツプ２０４はｎ＝１，２，…，Ｎについて
部分累積距離Dⁿ（ｍ：ｉ）を求める部分であつ
て、第１１図１０３〜１０６で行う動作に対応す
る。ステツプ２０６はステツプ２０７における計
算の初期値を与える部分、ステツプ２０７は格子
点（ｉ，ｊ）における累積距離ⁿ（ｉ，ｊ）、バ
ツクポインタⁿ（ｉ，ｊ）を求めている。本実
施例では第７図ａの径路の拘束条件の場合を示し
ている。ステツプ２０８は前記式(9)の計算を行つ
ている。

ステツプ２０５は第１１図の終端累積距離計算
部１０７で行う動作に対応しており、漸化式(5)を
解いて、D_x(i)，N_x(i)，B_x(i)を求める部分であ
る。

ステツプ２０９，２１０は、ステツプ２０３で
得られたｉ＝１，２，…，についてのB_x(i)，
N_x(i)から認識単語列を得る判定処理部であつて、
第１１図のバツクポインタ記憶部１０９、セグメ
ンテーシヨン部１１３最後尾単語記憶部１１０で
行う動作に対応した処理を行つている。

本パターン比較装置における計算量は、標準パ
ターンの平均のフレーム長をＪとすれば、フレー
ム間距離dⁿ（ｉ，ｊ）、累積距離ⁿ（ｉ，ｊ）（ｎ
＝１，２，…，Ｎ）の何れもNIJとなる。従来の
２段DP法のNI3/4J²と比べると計算量は１／
（3/4Ｊ）になる。いま、フレーム長が10msecで
単語長が0.5秒であつたとすれば、Ｊ＝50である
からこの値は1/37.5になる。

第１３図は、本実施例において、標準パターン
ｎとのマツチングを行なつてDⁿ（ｓ：ｔ）を求め
る場合の始端の選ばれ方を示している。ｓと示し
た部分が始端として選ばれる範囲である。ｓはも
ともと最適と思われる始端の前後数フレームの範
囲であつて、これで十分とも考えられるが、より
広い範囲に対して始端として採用される可能性を
もたせることにより、より精度の高いパターン比
較装置の実現が可能である。それは、最適と思わ
れる始端点ｓを複数個求めることにより実現でき
る。

ⁿ（ｉ，ｊ，ｋ）を入力パターンのｍ〜ｉフ
レームと標準パターンｎの１〜ｊフレームとの最
小累積距離のｍについてのｋ番目の最小値、ⁿ
（ｉ，ｊ，ｋ）をⁿ（ｉ，ｊ，ｋ）を満たす入力
パターンの始点位置とする。ここでⁿ （ｉ，ｊ）＝ⁿ（ｉ，ｊ，ｋ），ⁿ（ｉ，ｊ）
＝ⁿ（ｉ，ｊ，１） ⁿ（ｉ，ｊ，１）ⁿ（ｉ，ｊ，２）…
ⁿ（ｉ，ｊ，Ｋ） ⁿ（ｉ，ｊ，ｋ）≠ⁿ（ｉ，ｊ，ｈ）for
ｋ≠ｈである。

そこで、ⁿ（ｉ，Jⁿｋ），ⁿ（ｉ，Jⁿｋ）をⁿ
（ｉ，ｊ，ｋ）≠ⁿ（ｉ，ｊ，ｈ）for ｋ≠ｈと
いう条件のもとでｋ＝１，２，…Ｋについて求
め、それぞれの始端点ⁿ（ｉ，Jⁿ，ｋ）の前後
ｒフレームの幅を可能な始端点とするものであ
る。

第１４図はそのようにして求めた始端点の範囲
を示すものであつて、本例ではＫ＝３の場合であ
る。

このようにして求めたⁿ（ｉ，ｊ，ｋ）から
ｋ＝１，２，…，Ｋ；r′＝０，１，２，…，ｒに
ついて次の計算によりDⁿ（ｓ：ｔ）を計算する。

ｍ＋１＝ⁿ（ｉ，Jⁿ，ｋ）ここでⁿ（ｉ，ｊ，ｋ）≠ⁿ（ｉ，ｊ，ｈ）
fof ｋ≠ｈとしたのは、同じ始端点が選ばれては
意味がないからである。また、式（13）の計算に
おいて、求められた複数の区間に重なりを生じる
ときは、部分累積距離の小さくなる方を選ぶと
か、１ｈｋに対してⁿ（ｉ，ｊ，ｋ）＜ⁿ
（ｉ，ｊ，ｈ）−ｒあるいはⁿ（ｉ，ｊ，ｋ）＞ⁿ
（ｉ，ｊ，ｈ）＋ｒとすることによつて、重なりを
生じないようにすればよい。

第１１図の実施例に対し、部分累積距離計算部
１０５の動作を以上のように変更し、終端累積距
離計算部１０７における累積距離の計算において
始端点ｍ＋１の範囲をｋ＝１，２，…，Ｋに対
し、〔ⁿ（ｉ，Jⁿ，ｋ）〕−ｒｍ＋１〔ⁿ（ｉ，Jⁿ，ｋ）〕＋ｒと変更することにより、他は全く同じ構成、動作
で、第１１図の実施例の改良装置が実現できる。
第１１図の実施例はＫ＝１の場合である。

第１５図はこの改良された装置の動作をプログ
ラムで表現したものである。第１２図と同一の番
号を付したステツプは、全く同じ処理をしている
部分である。ステツプ３０６はステツプ２０６に
相当する部分であり、ｋ＝１，２，…，Ｋについ
てステツプ３０７で行う計算の初期値を与える。
ステツプ３０７はステツプ２０７に相当する部分
であり、格子点（ｉ，ｊ）における累積距離ⁿ
（ｉ，ｊ，ｋ）、バツクポインタⁿ（ｉ，ｊ，ｋ）
を求める部分である。ここでarg−ｋ−th−min
〔ｆ（ｚ）〕はｆ（ｚ）をｋ番目に最小にするｚのこ
とを意味する。ステツプ３０８はステツプ２０８
に相当する部分で、拡大された始端点の範囲で部
分累積距離Dⁿ（ｓ：ｔ）を求める部分である。ス
テツプ３０５はステツプ２０５に相当する部分
で、拡大された始端点の範囲で終端累積距離D_x
(i)を求める部分である。

以上、実施例では入力単語数既知の場合につい
てのみ実施例を説明したが、入力単語数未知の場
合にもオートマトン制御による場合にも本発明を
適用できることは今までの説明から明らかであ
る。

また、マツチング径路の拘束条件として、本実
施例では第７図ａを用いて説明したが、実用的に
は第７図ｂが用いられる。この場合、格子点
（ｉ，ｊ）における累積距離ⁿ（ｉ，ｊ，ｋ）、
バツクポインタⁿ（ｉ，ｊ，ｋ）は次のように
して求められる。

ⁿ(i,j,k)＝min1k₁，k₂，k₃ｋDⁿ(i‐2,j‐1,k₁)
＋dⁿ(i,j) Dⁿ(i‐1,j‐1,k₂)＋dⁿ(i,j) Dⁿ(i‐1,j‐2,k₃)＋dⁿ(i,j‐1)＋dⁿ(i,j)ⁿ (i,j,k)＝Bⁿ（ｉ−２，ｊ−１，k^₁）Dⁿ(i,j,k)＝Dⁿ（ｉ−２，ｊ−１，k^₁）＋dⁿ(i,j)のときⁿ (i,j,k)＝Bⁿ（ｉ−２，ｊ−１，k^₁）Dⁿ(i,j,k)＝Dⁿ（ｉ−２，ｊ−１，k^₁）＋dⁿ(i,j)のとき Bⁿ（ｉ−１，ｊ−１，k^₂）Dⁿ(i,j,k)＝Dⁿ（ｉ−１，ｊ
−１，k^₂）＋dⁿ(i,j)のときⁿ (i,j,k)＝Bⁿ（ｉ−２，ｊ−１，k^₁）Dⁿ(i,j,k)＝Dⁿ（ｉ−２，ｊ−１，k^₁）＋dⁿ(i,j)のとき Bⁿ（ｉ−１，ｊ−１，k^₂）Dⁿ(i,j,k)＝Dⁿ（ｉ−１，ｊ
−１，k^₂）＋dⁿ(i,j)のとき Bⁿ（−１，ｊ−２，k^₃）Dⁿ（ｉ，ｊ，ｋ）＝Dⁿ（ｉ−
１，ｊ−２，k^₃）＋dⁿ（ｉ，ｊ−１）＋dⁿ（ｉ，ｊ）のときなお、実施例では音声を認識する場合を例にと
つたが、音声に限らず、本発明は特徴ベクトルの
系列で表わされた他の連続パターンの認識にも応
用可能である。

発明の効果本発明によれば、単語数未知の場合は勿論、単
語数の指定やオートマトン制御の可能な連続単語
音声の認識が従来の装置と比べて非常に少ない計
算量で行えるパターン比較装置の実現が可能とな
つたものである。

【図面の簡単な説明】

第１図はDPマツチングを説明するための格子
グラフ、第２図ａ〜ｊは径路選択の制限条件の例
を示す図、第３図ａ〜ｅは径路の選択条件と荷重
係数の例を示す図、第４図〜第６図は最後尾の単
語から逆順に最初の単語までを求めるための方法
を示すフローチヤート、第７図ａ〜ｅ、第８図、
第９図および第１０図ａ，ｂは本発明の原理を説
明するための図、第１１図は本発明の一実施例に
おけるパターン比較装置の構成を示すブロツク
図、第１２図、第１３図および第１４図は同実施
例の動作を説明するための図、第１５図は他の実
施例における動作を説明するためのフローチヤー
トである。１０１…特徴抽出部、１０２…単語標準パター
ン記憶部、１０３…フレーム間距離計算部、１０
５…部分累積距離記憶部、１０７…終端累積距離
計算部、１０９…バツクポインタ記憶部、１１０
…最後尾単語記憶部。

Claims

【特許請求の範囲】

１入力信号を特徴ベクトルの系列Ｔ＝a₁，a₂…
aIに変換する特徴抽出手段と、特徴ベクトルの系
列bⁿ ₁bⁿ ₂…bⁿ _Jｎから成る標準パターンRⁿ（ただしｎ
＝１，２，…，Ｎ）を記憶する標準パターン記憶
手段と、Ｘ個の標準パターンの結合R^q(1)R^q(2)
…R^q(X)＝b^q(1) ₁，b^q(1) ₂…b^q(1) _Jq(1)b^q(2) ₁，b^q(2) ₂…b^q(2) _Jq(2)…
b^q(X) ₁，b^q(X) ₂…b^q(X) _Jq(X)と入力パターンＡとの累積
照合
距離が最小になる標準パターン列R^q(1)R^q(2)…R^q(X)
を動的計画法で求めるに際し、入力パターンの第
ｉフレームの特徴ベクトルa_iと標準パターンRⁿの
第ｊフレームの特徴ベクトルbⁿ _j（ｎ＝１，２，…，
Ｎ；ｊ＝１，２，…Jⁿ）とのベクトル間距離dⁿ
（ｉ，ｊ）を計算するフレーム間距離計算手段と、
入力パターンの部分パターンa_n+1a_n+2…a_iと標準
パターンRⁿ（ｎ＝１，２，…，Ｎ）のパターン間
の距離を、ｉ−ｊ平面における径路で、それに沿
う荷重の和がその径路の選ばれ方如何にかかわら
ず常に標準パターンの長さにのみ依存するような
マツチング径路を、前記ｍについてその径路に沿
う前記フレーム間距離の荷重和が最小になるもの
からＫ番目に最小になるものまでのＫ種類につい
て、動的計画法によつて見出し、得られたＫ種類
の各々の径路のｉ軸上の始端点S₁＜S₂＜…＜S_K
のそれぞれから前後ｒフレームを始端点としたと
きの前記パターン間の距離を推定し、そのパター
ン間の距離を入力パターンのフレーム長にのみ依
存するように変換することによつて、前記それぞ
れの始端点ｍ＋１（S₁−ｒｍ＋１S₁＋ｒ，S₂
−ｒｍ＋１S₂＋ｒ，……，S_K−ｒｍ＋１
S_K＋ｒ）から座標（ｉ，Jⁿ）に至るまでの入力
パターンの部分パターンと標準パターンRⁿの累
積照合距離Dⁿ（ｍ＋１：ｉ）を求める部分累積距
離計算手段と、入力パターンの第１フレームから
前記第ｍフレームまでの入力パターンの部分パタ
ーンと標準パターンの最適の結合パターンとの累
積照合距離と、前記始端点ｍ＋１フレームから第
ｉフレームまでの入力の部分パターンDⁿ（ｍ＋
１：ｉ）との和をｎ（１ｎ＜Ｎ）と前記範囲の
ｍについて最小化したものを、入力パターンの第
１フレームから前記第ｉフレームまでの入力パタ
ーンの部分パターンと標準パターンの最適の結合
パターンとの累積照合距離となす終端累積距離計
算手段と、そのときの標準パターンRⁿを入力フ
レームｉが最終フレームであるとしたときの最後
尾パターンとして記憶する最後尾パターン記憶手
段と、そのときのｍをバツクポインタとして記憶
するバツクポインタ記憶手段とを備え、入力が終
了したとき、前記最後尾パターン記憶手段とバツ
クポインタ記憶手段の内容から入力とは逆の順序
で、入力された個々のパターンを決定してゆくこ
とを特徴とするパターン比較装置。