JPH0199098A - パターン比較装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 従来の技術 以下、単語音声の認識を行う場合について説明する。ま
た、ベクトル間あるいはパターン間の相違は、類似度、
距離、誤差等の言葉が用いられ、それぞれの尺度の種々
存在するものであるが、本発明にとっては本質的なもの
ではないので、ここでは距離と言う言葉をそれ等を代表
させて用いることにする。即ち、例えば、距離が近い、
距離が小さいと言うことは、類似度が高い、類似度が大
きいと言うことに対応し、距離が遠い、距離が大きいと
言うことは類似度が低い、類似度が小さいと言うことに
対応する等である。

音声認識等の特徴ベクトルの系列からなるパターンを認
３Ａ−７ 識する方法として、所謂ＤＰマツチング法がよく用いら
れる。これは認識すべき単語音声を代表する、特徴ベク
トルの系列からなるパターンを標準パターンとして、そ
れぞれの前記単語音声について予め登録しておき、認識
時には、同じく特徴ベク）／しの系列からなる認識され
るべき入カバターンと前記標準パターンのそれぞれと照
合を取り、最も距離的に近い標準パターンを検索し、そ
の標準パターンに対応する単語を入カバターンの認識結
果とするものである。このとき、時間長の異なるパター
ン同志を時間軸を非線形に伸縮させる必要があるが、こ
れを効率よく行うために動的計画法を用いるのがＤＰマ
ッチンク見呼ばれる方法であシ、今のところ最もよい結
果の得られる方法の一つである。

ところがこの方法は、時間軸の伸縮は比較すべき両パタ
ーンが最も距離的に近くなるように時間軸の伸縮が行な
われるものであって、時間軸に対する傾斜等の特徴ベク
トルの時間的変化に関する特徴（以後、動的特徴と呼ぶ
ことにする）が適切に反映されないきらいがある。従っ
て、スペクトルの変化の仕方に特徴のある音韻に対して
は、この方法のみでは認識精度の点で不十分である。

また、単語辞書を音韻や音節（以後、音声素片と呼ぶこ
とにする）を表わす記号系列の形でもち、予めそれぞれ
の音声素片に対応する標準パターンを準備しておき、認
識すべき入カバターンを前記標準パターンを基にして音
声素片系列、即ち、各音声素片を表わす記号の系列に変
換し、前記単語辞書のそれぞれの単語と記号レベルのマ
ツチングを行ない、最も距離的に近い単語を認識結果と
するものがある。このとき、前記入カバターンから変換
された音声素片系列は、音声素片の認識を完全にするこ
とは不可能であるから、挿入、脱落。

置換等の多少の間違いを含んでいる。従って、前記記号
レベルのマツチングにおいては、予め計算し、準備され
た音声素片間距離を基に、ＤＰマツチングにより音声素
片系列間の距離を求めることになる。この場合も、前記
入カバターンに対して音声素片認識を行う場合や音声素
片間距離を求めるに際して、前記動的特徴を反映させる
ことが認５　／、−。

識精度を上げる上で重要な問題となる。

発明が解決しようとする問題点 本発明は、上記従来例の欠点に鑑み、時間的動的特徴を
加味した音声等のパターンの認識に適用可能なパターン
比較装置の実現にある。

問題点を解決するだめの手段 特徴ベクトルの系列からなる第１のパターンをｉ＝１〜
■の部分区間に分割し、それぞれの部分区間のパターン
を近似したベクトル値をとる時間関数のパラメータを計
算する標準パターン作成手段と、そのパラメータを前記
ｉに連速して記憶する標準パターン記憶手段と、特徴ベ
クトルの系列からなる第２のパターンの第ｉ部分区間の
候補区間を設定する部分区間設定手段と、この設定され
た第２のパターンの第ｉ部分区間の候補区間の特徴ベク
トル系列と、前記標準パターンの第ｉ部分区間のパラメ
ータに対応する前記時間関数との部分距離（部分類似度
）を求める部分距離（部分類似度）計算手段と、該部分
距離（部分類似度）を該部分区間のフレーム数に関連し
た量で正規化す６．２ る部分距離（部分類似度）正規化手段と、該出力たる正
規化部分距離（正規化部分類似度）のｉ−１〜Ｉについ
ての合計を求める最小累積距離（最大累積類似度）計算
手段とを備え、との最小累積距離（最大累積類似度）計
算手段は、前記分割における分割点を最適に定めること
により、前記部分距離（部分類似度）のｉ＝１〜Ｉにつ
いての合計の最小（最大）値として最小累積距離（最大
累積類似度）を求めるものである。

作　　用 特徴ベクトルの系列からなる第１のパターンをｉ　＝　
１〜Ｉの部分区間に分割し、標準パターン作成手段によ
り、それぞれの部分区間のパターンを近似したベクトル
値をとる時間関数のパラメータを計算し、標準パターン
記憶手段により、そのパラメータを前記ｉに関連して記
憶し、部分区間設定手段によシ、特徴ベクトルの系列か
らなる第２のパターンの第ｉ部分区間の候補区間を設定
し、部分距離（部分類似度）計算手段により、この設定
された第２のパターンの第ｉ部分区間の候補区７・＼−
７ 間の特徴ベクトル系列と、前記標準パターンの第１部分
区間のパラメータに対応する前記時間関数との部分距離
（部分類似度）を求め、部分距離（部分類似度）正規化
手段により前記部分距離（部分類似度）を該部分区間に
関連した量で正規化し、最小累積距離（最大累積類似度
）計算手段により、前記部分距離（部分類似度）正規化
手段の出力たる正規化部分距離（部分類似度）のｉ＝１
〜Ｉについての合計を求めるものであって、この最小累
積距＃（最大累積類似度）計算手段は、前記分割におけ
る分割点を最適に定めることにより、前記部分距離（部
分類似度）のｉ−１〜Ｉについての合計の最小（最大）
値として最小累積距離（最大累積類似度）を求めるもの
である。

実施例 前記時間関数としては、ｎ次（ｎ＝１．２．・・・・・
・）多項式やスプライン関数等が用いられ得る。

ここでは簡単のためと十分実用に耐え得るという理由か
ら、１次関数を用いる場合について本発明の一実施例を
説明する。また、前記曲線とそれに対応する実際の特徴
ベクトルとの相違を表す量として、前記特徴ベクトルと
それに対応する前記曲線上のベクトルのユークリッド距
離の２乗和を用いることにする。この場合は前記曲線は
所謂最小２乗近似直線となり、前記距離に対応する量は
残差平方和と呼ばれるものになる。

第１図は本発明の一実施例である。

先ず、第１のパターンを標準パターンとして登録する。

標準パターンの作成方法の概略は次の通りである。

１は特徴抽出部であって、入力音声信号をフィルタバン
ク、フーリエ変換、ＬＰＣ分析等の周知の方法によって
、数ｍ５ｅｃ〜士数ｍ５ｅＣ毎（フレームと称する）に
数次元〜士数次元の特徴ベクトルの系列に変換するもの
である。

６は標準パターン作成部であって、特徴ベクトルの系列
から々る第１のパターンをｉ　＝　１〜Ｉの部分区間に
分割し、それぞれの部分区間のパターンを、ベクトル値
をとる時間関数で近似し、その時間関数を決定するパラ
メータを算出するもので９・＼−ノ ある。本実施例では最小２乗近似直線を用いているから
、このパラメータは各部分区間の特徴ベクトルの平均ベ
クトルとそこを通る最小２乗近似直線の傾き（方向）ベ
クトルとすることが出来る。

次にその作成方法について述べる。ここで、前記第１の
パターンを（ｘ（ｔ）　）　＝　（Ｘ（１）、　！（２
）　Ｉ・・・・・・。

ｘ（ｔ）　、　・−・・−・、　Ｘ　（Ｔ１））とする
。ｘ　（ｔ）は時刻ｔにおける特徴ベクトルである。こ
の第１のパターンを、例えばランニングスペクトルやサ
ウンドスペクトロ・ダラム等によシ、最も適切であると
思われる部分区間に分割する。この時、部分区間の総数
を工、部分区間の番号をｉ　＝　１〜Ｉとする。第１−
１部分区問および第ｉ部分区間の最終フレームをそれぞ
れｒ、ｔとすれば第ｉ部分区間における最小２乗近似直
線は次のように求られる。

前記第ｉ部分区間として設定されたτ−ｔ　−ｒフレー
ムの区間に含まれる特徴ベクトルの平均値をｍ（１）と
すれば、 １０７、−１ となり、ｕ　（ｉ）をその方向ベクトルとすれば、前記
部分区間ｉに対して求めるべき最小２乗近似直線Ｑ（ｋ
、１）（ｋ＝１〜τ）は とおける。このとき、ｘ（ｔ−ｒ＋ｋ）とＱ（ｋ、ｉ）
とのに＝１〜τの残差平方和（部分距離）ｖ（を−丁＋
１：ｔ）はｖ（を−τ＋１：ｔ）（ｘ（ｔ−ｒ＋ｋ）−
Ｑ（ｋ、ｉ）） で表される。従って、求めるべき最小２乗近似直線は、
式（２）におけるｕ（ｉ）を部分圧＠　ｖ　（ｔ−ｒ＋
１　：　ｔ　）が最小になるように定めることによって
得られる。

即ち、ｖ（ｔ−τ＋１：ｔ）をｕ　（ｉ）で偏微分した
ものが０に等しいとおいて、ｕ（ｉ）に関する方程式を
解くことによって得られるものであって、（ｘ　（ｔ−
ｒ十ｋ　）　−Ｑ　（ｋ　、　ｉ　）　）＝０・・・・
・・・・・・・・（３） よシ、 となる。ここで、ｍ（ｉ）、　ｕ（ｉ）、Ｑ（ｋ　、　
ｉ　）　。

ｘ（ｔ−τ＋１）等は縦ベクトルであって、°は転置を
意味する。また、ベクトルによる微分はその要素毎に別
々に微分することを意味している。

以上のようにして、第１のパターンは、部分区間ｉ　＝
　１〜Ｉのそれぞれに対するｍ（ｉ）　、　ｕ　（ｉ）
なる一対のベクトルによって表現出来ることになる。

７は標準パターン記憶部であって、以上のようにして求
められた平均ベクトルｍ（ｉ）、方向ペクト／Ｌ／　ｕ
　（ｉ）を部分区間番号ｉに関連して標準パターン記憶
するものである。

次に、以上のようにして登録された第１のパターンと第
２のパターンとの本発明による比較方法について説明す
る。第２のパターンも特徴抽出部１で前記標準パターン
と同様に特徴ベクトルの系列に変換される。これを（ｙ
（ｉ）Ｊ−（ｙ（１）、　ｙ（２）、・・・・・。

ｙ（１２月とする。ｙ　（ｔ）は第２のパターンの時刻
ｔにおける特徴ベクトルである。

２は入カバソファメモリであって、特徴抽出部１で前記
第２のパターンたる特徴ベクトルの系列に変換された入
力音声を一時的に記憶するものである。

５は音声区間検出部であって、入力信号のレベル等から
周知の方法によって入力音声信号の開始・終了フレーム
の検出を行うものである。

４はフレームカウンタであって、前記開始フレームから
終了フレーム丑でをフレーム毎に計数するものである。

従って、フレームカウンタ４は現在処理中のフレーム番
号を指示している。

１３／、−７ ３は部分区間設定部であって、前記入カバターンに対し
て部分区間を設定するものである。いま、フレームカウ
ンタ４の内容をｔとするとき、部分区間設定部３は、ｒ
　＝＝　ｔ　−ｓ　”−ｔ　−ｅなるフレームを第ｉ部
分区間の始端候補フレームとして順次設定するものであ
る。ここで、ｓ、ｅは部分区間として許される範囲を制
限するために、予め与えられる定数である。

８．９．１０はそれぞれ部分距離計算部、部分距離正規
化部、最小累積距離計算部であって、前記第２のパター
ンの１〜Ｔ２フレームを工の部分区間に分割し、前記第
２のパターンの第ｉ部分区間と、第１のパターンの第ｉ
部分区間との正規化部分距離Ｖ’（ｆ　（ｉ−１）＋１
　：　ｆ（ｉ）／ｉｔ　２のｉ　＝　１〜Ｉについての
総和Ｖ’（１：　ｆ（１））／Ｔ１’＋Ｖ　’　（ｆ（
１）　＋１　”　（２））／　τ２’　十・・・・・・
十ｖ’（ｆ　（１−１）＋１：ｆ（１）　）／τ１′が
最小になるように工分割しく以後、最適に１分割すると
言うことにする）、その総和（以後、最小累積距離と呼
ぶことにする）　Ｖ’　（Ｔ２．　Ｉ　）を求めるもの
である。ここで、ｆ（ｉ）（ｉ＝１〜Ｉ）は分割された
第ｉ部分区間の最終フレーム、τ１は第ｉ部分区間のフ
レーム数である。ｖ’（ｆ（ｉ−１）＋１　：　ｆｐ）
　）は第ｉ部分区間の部分距離であって、部分距離計算
部８で計算されるものである。部分距離正規化部９は、
部分距離計算部で計算される部分距離をその部分区間の
フレーム数に関連した量で正規化するものであって、本
実施例の場合はベクトル間距離の２乗和を部分距離とし
ているから、正規化係数はオーダー的に釣合をとるため
に、その部分区間のフレーム数の２乗、即ち、τ１′と
している。もし、部分距離をいわゆる絶対値距離（市街
地距離）で定義するなら、この正規化係数はτ□とする
のが妥当である。乙の正規化をする意味は、各部分区間
は種々の長さからなるが、その長さに関連する量によっ
て正規化することにより、それらの部分区間の長さに関
わらず各部分区間の全体に与える寄与の度合を同等にす
ることが出来る。即ち、もし、正規化を行わないならば
、長い部分区間の全体の結果に及ぼす影響は短い部分区
間のそれに比べて大きくなることになる。前１５、、−
７ 記憶２のパターンの第ｉ部分区間と、第１のパターンの
第ｉ部分区間との部分距離は、前記第２のパターンの第
ｉ部分区間の特徴ベクトルのそれぞれと、前記第１のパ
ターンの第ｉ部分区間に対して標準パターンとして登録
されている最小２乗近似直線との誤差の２乗和である。

最小累積距離Ｖ’（Ｔ２．　Ｉ　）は動的計画法によっ
て効率的に計算出来る。即ち、漸化式 ％式％）） ｉ　＝　１〜Ｉについて順次計算すればよい。この式の
意味するところは、１〜ｔフレームをｉ分割したときの
前記最小累積距離Ｖ’（ｔ、ｉ）は、１〜ｒ　（ｔ−ｓ
≦ｒ≦ｔ　−ｅ　）フレームをｉ−１分割したときの最
小累積距離Ｖ’（ｒ、１−１）と、第ｉ部分区間の部分
距離ｖ’（ｒ：ｔ）との和のｒに関する最小値として求
まるということである。これは、第（５）式を満足する
ｒをｒ。ｐｔ　とすれば、１〜ｔフレームを最適にｉ分
割したとき、１〜ｒｏｐｔフレームにおける各部分区間
の分割点は、１〜ｒｏｐｔフレームを最適にｉ−１分割
したときの各部分区間の分割点に一致する、最適過程の
部分過程はその部分でもまた最適過程になっているとい
う、所謂最適性の原理に基づくものである。

式（５）において、前記第１のパターンの部分区間ｉに
対する最小２乗近似直線Ｑ（ｋ、１）（ｋ−１〜τ、τ
＝　ｔ　−ｒ　）は であるから、前記第２のパターンの第ｉ部分区間に含ま
れる特徴ベクトルｙ（ｔ−τ十ｋ）とＱ（ｌｃ、ｉ）と
のに＝１〜τの部分距離ｖ／　（ｔ−τ＋１：ｔ）＝ｖ
’（ｒ＋１　：ｔ）はｖ’（を−τ＋１：ｔ） ＝　　３　　（ｙ（ｔ−τ十ｋ）−Ｑ（ｋ、ｉ））’に
＝１ （ｙ（ｔ−τ十ｋ）−Ｑ（ｋ、ｉ））　　・・・・・・
（７）で表される。

１７、。

第２図ａ、ｂは以上の実施例の概念を具体的に説明する
ために、１次元で表わされたパターンを想定して、前記
マツチングの様子を図示するものである。横軸はフレー
ム、縦軸は前記ベクトルを構成する特徴量、・は各時点
における特徴ベクトルの座標位置を表す。ａは標準パタ
ーンたる第１のパターンとそれから求められる最小２乗
近似直線Ｑ（ｋｌｉ）（ｉ＝１１２１３に対応する線分
は１００，１０１，１０２）を示し、本例では３分割の
場合である。ｂは前記最小２乗近似直線Ｑ（ｋ、ｉ）に
対する前記第２のパターンの誤差が最も小さくなるよう
に分割した場合の前記近似直線Ｑ’（ｋｌｉ）（ｉ＝１
．２．３に対応する線分は１００’、１０１’、１０２
’）を示し一’（イる。Ｑ′（ｋ、ｉ）の平均値と傾き
はＱ（ｋ、ｉ）と等しい。

１１は最小累積距離記憶部であって、最小累積距離計′
算部コ０の結果、−即ち、’１．＝ｔフレームを最適に
ｉ分割したときの最小累積距離Ｖ’（ｔ、ｉ）ヲｉ　＝
　１〜■について記憶する。Ｖ’（ｔ、ｉ）は１８　、 最小累積距離計算部１ｏにおける以後の漸化式の計算に
用いられる。

１２は分割数指定部であって、第ｔフレームまでの分割
数１〜Ｉを最小累積距離計算部１ｏに順次与えるもので
あって、最小累積距離計算部１０はこの指令に従って前
記漸化式を毎を毎にｉ＝１〜Ｉについて計算することに
なる。工は標準パターン記憶部から与えられる。

以上の計算をｉ＝１〜Ｔ２　、１　＝１〜Ｉについて計
算し、音声区間検出部５が音声区間の終了を検知すると
、その時点のフレームカウンタ４の値工と音声区間終了
の信号が最小累積距離記憶部１０に入力され、Ｖ’（Ｔ
２．　Ｉ　）が読み出される。この値が求めるべき前記
第１．第２のパターンの間の距離を与えることになる。

以上のようにして求められた前記第１．第２のパターン
の間の距離は、第１のパターンを工分割し、それぞれの
部分区間に対して求められた最小２乗近似直線に第２の
パターンを最適に適合させるべく同じく工分割したとき
の第２のパターンの１９、、、。

それら直線に対する非適合度と解釈される。

以上のようにして第１のパターンと第２のパターンの距
離が得られる。もし、標準パターンが前記平均値と方向
ベク）／しの形でいくつか準備されていて、入カバター
ンがその何れに最も近いかを計算するときは、前記最小
累積距離を当該標準パターンの分割数で割ったもの同志
を比較すれば良い。

発明の効果 本発明によれば、前記部分区間の直線の傾きがその部分
区間の動的特徴を、平均ベク）　／ｌ／が静的特徴を表
現することになる。本発明はこれらを標準パターンとし
て持つことによシその動的特徴が反映されることになシ
、前述の従来例の持つ欠点を除去することが出来たもの
である。

また、本発明は、標準パターンとして記憶すべきパラメ
ータは、それぞれの部分区間に対するその平均値を表す
ベクトルと、そこを通る最小２乗近似直線の傾き（方向
）を表すベクトルのみでよいから、特徴抽出部の出力の
特徴ベクトルの系列そのものを標準パターンとして持つ
場合の必要記憶容量を多く必要とするという欠点も除去
されることとなる。

さらに、本発明は、不特定話者を対象とする場合は、前
記最小２乗近似値線上の点をそれに対応する時点の特徴
ベクトルの平均値として分布形（具体的には正規分布等
の分布の種類と分散）を与えることによって実現できる
等、前記従来例にはない特徴を有するものである。

なお、実施例では前記近似曲線は直線の場合について説
明したが、実施例の説明の冒頭でも述べたように、同様
な方法により、種々の曲線で近似することもでき、よシ
精密に認識単位の動的特徴を表現することが可能である
ばかシでなく、パターンも音声パターンに限るものでは
ないことは言うまでもない。本実施例においては最小２
乗近似直線を用いたから、その曲線（直線）を決定する
パラメータは２つであったが、近似する曲線によっては
パラメータの数がさらに多くなる場合も有り得る。その
ときは、入カバターンに最適に適合２１、、− させるべく自由に出来るパラメータは１つに限らず複数
にすることもできる。

さらに、ベク）　／Ｌ／間の差の尺度として、各成分の
差の絶対値和、即ち、市街地距離の他、種々の距離また
は類似度を用いることができる。

本発明を用いれば、前記処理にしたがって標準パターン
記憶部７に認識語たる単語に対応する標準パターンを記
憶しておき、それぞれの標準パターンと入カバターンと
の間の距離を算出することによシ、その最小値を与える
前記標準パターンに対応する単語を認識結果とすること
等が可能となる。

また、同様に、前記標準パターンを音声素片に対して持
っておけば、前記従来例の後半で述べた音声素片を認識
する方法に適用することが出来る。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
本発明の詳細な説明する概念図である。 １・・・・・特徴抽出部、２・・・・・・入力バッファ
メモリ、３・・・・・・部分区間設定部、４・・・・・
・フレームカウンタ、２２７、−１ ５・・・・・・音声区間検出部、６・・・・・・標準パ
ターン作成部、７・・・・・・標準パターン記憶部、８
・・・・部分距離計算部、９・・・・・・正規化部分距
離計算部、１０・・・・・・最小累積距離計算部、１１
・・・・・・最小累積距離記憶部、１２・・・・・・分
割数指定部。

Claims (1)

【特許請求の範囲】
1. 特徴ベクトルの系列からなる第１のパターンをｉ＝１〜
   Ｉの部分区間に分割し、それぞれの部分区間のパターン
   を近似したベクトル値をとる時間関数のパラメータを計
   算する標準パターン作成手段と、そのパラメータを前記
   ｉに関連して記憶する標準パターン記憶手段と、特徴ベ
   クトルの系列からなる第２のパターンの第ｉ部分区間の
   候補区間を設定する部分区間設定手段と、この設定され
   た第２のパターンの第ｉ部分区間の候補区間の特徴ベク
   トル系列と、前記標準パターンの第ｉ部分区間のパラメ
   ータに対応する前記時間関数との部分距離（部分類似度
   ）を求める部分距離（部分類似度）計算手段と、該部分
   距離（部分類似度）を該部分区間のフレーム数に関連し
   た量で正規化する部分距離（部分類似度）正規化手段と
   、該出力たる正規化部分距離（正規化部分類似度）のｉ
   ＝１〜Ｉについての合計を求める最小累積距離（最大累
   積類似度）計算手段とを備え、この最小累積距離（最大
   累積類似度）計算手段は、前記分割における分割点を最
   適に定めることにより、前記部分距離（部分類似度）の
   ｉ＝１〜Ｉについての合計の最小（最大）値として最小
   累積距離（最大累積類似度）を求めることを特徴とする
   パターン比較装置。