JPH0199096A - パターン作成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、音声認識等における標準パターンを作成する
装置に関する。

従来の技術 以下、単語音声の認識を行う場合について説明する。ま
た、ベクトル間あるいはパターン間の相違は、類似度、
距離、誤差等の言葉が用いられ、それぞれの尺度も種々
存在するものであるが、本発明にとっては本質的なもの
ではないので、ここでは距離と言う言葉をそれ等を代表
させて用いることにする。即ち、例えば、距離が近い、
距離が小さいと言うことは、類似度が高い、類似度が大
きいと言うことに対応し、距離が遠い、距離が大きいと
言うことは類似度が低い、類似度が小さいと言うことに
対応する等である。

音声認識等の特徴ベクトルの系列からなるパターンを認
識する方法として、所謂ＤＰマツチング法がよく用いら
れる。これは認識すべき単語音声３　・・− を代表する、特徴ベクトルの系列からなるパターンを標
準パターンとして、それぞれの前記単語音声について予
め登録しておき、認識時には、同じく特徴ベクトルの系
列からなる認識されるべき入カバターンと前記標準パタ
ーンのそれぞれと照合を取シ、最も距離的に近い標準パ
ターンを探索し、その標準パターンに対応する単語を入
カバターンの認識結果とするものである。このとき、時
間長の異なるパターン同志を時間軸を非線形に伸縮させ
る必要があるが、これを効率よく行うために動的計画法
を用いるのがＤＰマツチングと呼ばれる方法であり、今
のところ最もよい結果の得られる方法の一つである。

ところがこの方法は、時間軸の伸縮は比較すべき両パタ
ーンが最も距離的に近くなるように時間軸の伸縮が行な
われるものであって、時間軸に対する傾斜等の特徴ベク
トルの時間的変化に関する特徴（以後、動的特徴と呼ぶ
ことにする）が適切に反映されないきらいがある。従っ
て、スペクトルの変化の仕方に特徴のある音韻に対して
は、この方法のみでは認識精度の点で不十分である。

また、単語辞書を音韻や音節（以後、音声素片と呼ぶこ
とにする）を表わす記号系列の形でもち、予めそれぞれ
の音声素片に対応する標準パターンを準備しておき、認
識すべき入カバターンを前記標準パターンを基にして音
声素片系列、即ち、各音声素片を表わす記号の系列に変
換し、前記単語辞書のそれぞれの単語と記号レベルのマ
ツチングを行ない、最も距離的に近い単語を認識結果と
するものがある０このとき、前記入カバターンから変換
された音声素片系列は、音声素片の認識を完全にするこ
とは不可能であるから、挿入、脱落。

置換等の多少の間違いを含んでいる。従って、前記記号
レベルのマツチングにおいては、予め計算し、準備され
た音声素片間距離を基に、ＤＰマツチングによシ音声素
片系列間の距離を求めることになる。この場合も、前記
入カバターンに対して音声素片認識を行う場合や音声素
片間距離を求めるに際して、前記動的特徴を反映させる
ことが認識精度を上げる上で重要な問題となる。

６　′＼−・ 発明が解決しようとする問題点 本発明は、上記従来例の欠点に鑑み、時間的動的特徴を
加味した標準パターンの適切な表現方法とそれに基づく
標準パターンを作成するパターン作成装置の実現にある
。

問題点を解決するだめの手段 特徴ヘク）／しの系列からなるパターンの第ｉ部分区間
の候補区間を設定する部分区間設定手段と、この設定さ
れた前記パターンの第ｉ区間の候補区間の特徴ベクｌ−
）Ｉ／系列と、ペクト／Ｌ／値をとる時間関数で与えら
れる曲線上のペクト）ｖ系列との前記区間の長さに関連
して正規化された正規化部分距離（正規化部分類似度）
が最小（最大）になるように前記時間関数のパラメータ
を算出する最適パラメータ算出手段と、前記部分区間の
区間数および分割位置を最適に定めるととにより、前記
正規化部分距離（正規化部分類似度）の合計の最小（最
大）値を求める最小累積距離（最大累積類似度）算出手
段と、前記最適に定められた各部分区間ｉに対応して算
出された前記時間関数のパラメ−タを前記区間番号ｉに
関連して記憶する標準パターン記憶手段とを構成要件と
するものである。

作　　用 部分区間設定手段によシ、特徴ベクＩ−／しの系列から
なるパターンの第ｉ部分区間の候補区間を設定し、最適
パラメータ算出手段によシ、この設定された前記パター
ンの第ｉ区間の候補区間の特徴ベクトル系列と、ベクト
ル値をとる時間関数で与えられる曲線上のベクトル系列
との前記区間の長さに関連して正規化された正規化部分
距離（正規化部分類似度）が最小（最大）になるように
前記時間関数のパラメータを算出し、最小累積距離（最
大累積類似度）算出手段により、前記正規化部分距離（
正規化部分類似度）の合計の最小（最大）値を求めるべ
く前記部分区間の区間数および分割位置を最適に定め、
標準パターン記憶手段に、前記最適に定められた各部分
区間ｉに対応して算出された前記時間関数のパラメータ
を前記区間番号ｉに関連して記憶し、このパラメータ列
を前記パターンの新たな標準パターンとするものである
。

７　へ−７ 実施例 前記時間関数としては、ｎ次（ｎ＝１．２．・・・）多
項式やスプライン関数等が用いられ得る。ここでは簡単
のためと十分実用に耐え得るという理由から、１次関数
を用いる場合について本発明の一実施例を説明する。ま
だ、前記曲線とそれに対応する実際の特徴ベクトルとの
相違を表す量として、前記特徴ベクトルとそれに対応す
る前記曲線上のベクトルのユークリッド距離の２乗和を
用いることにする。この場合は前記曲線は所謂最小２乗
近似直線となり、前記距離に対応する量は残差平方和と
呼ばれるものになる。

第１図は本発明の一実施例であって、音声信号に対して
前記標準パターンの作成を行う場合について説明してい
る。

１は特徴抽出部であって、標準パターンとして登録すべ
き入力音声信号をフィルタバンク、フーリエ変換、ＬＰ
Ｃ分析等の周知の方法によって数ｍ５ｅｃ〜士数ｍ５ｅ
ｃ毎（フレームと称する）に数次光〜士数次元の特徴ベ
クトルの系列１ｘ（ｔｌ　＝　１ｘ（１）、　Ｘ（２）
、　＝−、ｄｌに変換するものである。ｘ　（ｔ）は時
刻ｔにおける特徴ベクトルである。

２は入力バッファメモリであって、特徴面出部１で得ら
れる特徴ベクトルの系列を一時記憶するものである。

４はフレームカウンタであって音声入力がないときリセ
ットされ、１フレーム毎にカウントアツプする。即ち、
その内容は現在処理中のフレームを示すことになる。

３は部分区間設定部であって、前記入カバターンに対し
て部分区間を設定するものである。いま、フレームカウ
ンタ４の内容をｔとするとき、部分区間設定部３は、ｒ
　＝　ｔ　−ｓ〜ｔ　−ｅなるフレームを第ｉ部分区間
の始端候補フレームとして順次設定するものである。こ
こで、ｓ、ｅは部分区間として許される範囲を制限する
ために、予め与えられる定数である。

５は平均値計算部であって、前記部分区間として設定さ
れだτ−ｔ　−ｒフレームの区間に含まれる特徴ベクト
ルを入力バッファメモリ２から読み　′９　ベーン 出し、その平均値を求めるものである。即ち、部分区間
ｔ−τ＋１〜ｔがｉ番目の部分区間であるとし、その平
均値をｍ（ｔ、ｉ）　　とすれば、を求めることになる
。

６は最小２乗近似直線計算部（部分距離計算部）であっ
て、前記部分区間における特徴ベクトルの最小２乗近似
直線とこの部分区間に含まれる特徴ベクトルの残差平方
和（部分距離）を求めるものである。即ち、前記部分区
間ｉにおける特徴ベクトルに対する最小２乗近似直線お
よび部分残差平方和（部分距離）は次のようにして求ま
る。

前記部分区間ｉに対して求めるべき最小２乗近似直線Ｑ
（ｋ、　ｉ　）（ｋ＝１−ｒ　）はｕ（ｔ、ｉ）　をそ
の方向ベクトルとすれば とおける。このとき、ｘ（ｔ−ｒ＋ｋ）とＱ（ｋ、ｉ）
とのに−１〜τの部分残差平方和ｖ（ｔ−τ＋１：ｔ）
は１０　・＼−／ ｖ（を−τ＋１：ｔ） で表される。従って、最小２乗近似直線は式（２）にお
けるｕ（ｔ、ｉ）を部分距離（部分残差平方和）ｖ（を
−τ＋１：ｔ）が最小になるように定めることによって
得られる。

即ち、ｖ（を−τ＋１：ｔ）をｕ（ｔ　、　ｉ　）で偏
微分したものが０に等しいとおいて、ｕ（ｔ、ｉ）に関
する方程式を解くことによって得られるものであって、
１ｘ（ｔ−ｒ＋ｋ　）　−Ｑ　（ｋ、　ｉ）　ｌ＝ｏ　
・＝−（ａ）より、 １１　Ａ−ッ となる。ただし、ｍ（ｔ、ｉ）、ｕ（ｔ、ｉ）、Ｑ（ｋ
、ｉ）。

ｘ（＋−τ千１）等は縦ベクトルであって、′は転置を
意味する。また、ベクトルによる微分はその要素毎に別
々に微分することを意味している。

以上のように、平均値計算部５、最小２乗近似直線計算
部６は最適パラメータ算出手段を形成するものであって
、部分区間設定部３で設定された区間に対する最適パラ
メータ、即ち、該区間の特徴ベクトル系列を最もよく近
似する最小２乗近似直線のパラメータとして平均値と方
向ベクトル、およびその直線に対する部分残差平方和が
算出される。

１５は部分残差平方和正規化部であって、前記部分残差
平方和を当該部分区間のフレーム数の関数で正規化する
ものである。ここでの正規化の目的は、正規化をしない
場合はフレーム数の多い部分区間の効果がフレーム数の
少ない部分区間の効果に比べて大きく分割の結果に影響
するのに対しにある。正規化計数としては、当該部分区
間のフレーム数をτとするとき、例えば、τ、τ　等を
用いることが出来る。このように正規化することによっ
て同一区間の異なった分割数の分割の仕方に対して、何
れがより最適であるかを比較することが可能となる。も
し、本実施例のように、部分距離としてベクトル間距離
の２乗和を採用するときは、部分区間のフレーム数τの
影響を除くためには、τ　に比例する量で正規化するの
が望ましく、ベクトル間距離として絶対値距離（市街地
距離）を採用するときは、部分区間のフレーム数τの影
響を除くためには、τに比例する量で正規化するのが望
ましいと考えられる。

７は累積残差平方和計算部（累積距離計算部）である。

先ず、第ｉ部分区間のフレーム数をτ１、正規化計数を
τ　とすれば、１〜Ｔフレームを第１〜第１部分区間に
おける正規化残差平方和（正規化部分距離）の総和ｖ（
１：ｆ（１））／　ｒ　＋ｖ（ｆ（１）＋１　：ｆ（２
））／τ２＋−・−＋ｖ（ｆ　（Ｉ−１）＋１　：　ｆ
　（Ｉ　））／ｒ１が最小になるよ１３パ−・ うに工分割しく以後、最適にＩ分割すると言うととにす
る）、その総和（以後、最小累積距離と呼ぶことにする
）Ｖ（Ｔ、Ｉ）　　を求めることを考える。

ここで、ｆ（ｉ）（ｉ＝１〜工）は分割された第ｉ部分
区間の最終フレームである。この計算は動的計画法を用
いることによって効率的に行うことかできる。即ち、τ
１＝ｔ−ｒであるから漸化式％式％） （ｔ≠０）としテｔ　＝１〜Ｔ　、　ｉ　＝１〜Ｉ　に
ツイテ順次計算すれば、Ｖ（Ｔ、Ｉ）が求めるものであ
る。

漸化式（５）の意味するところは、１〜ｔフレームをｉ
分割したときの前記最小累積距離Ｖ（ｔ：ｉ）は、１〜
ｒ（ｔ−ｓ≦ｒ≦ｔ−ｅ）　フレームを１−１分割した
ときの最小累積距離Ｖ（ｒ、１−１）と、第ｉ区間の正
規化部分路＠ｖ（ｒ：ｔ）／ｒ　＝ｖ（ｒ：ｔ）／（ｔ
−ｒ）２との和のｒに関する最小値として求まるという
ととである。これは、式（６）を満足するＴをｒ。ｐ、
とすれば、１〜ｔフレームを最適にｉ分割したとき、１
〜’ｏｐｔ　フレームにおける各区間の分割点は、１〜
ｒｏｐｔ　フレームを最適にｉ−１分割したときの各区
間の分割点に一致する、最適過程の部分過程はその部分
でもまた最適過程になっているという、所謂最適性の原
理に基づくものである。

本発明は式（６）の計算において、分割数工についても
最適化することを特徴とする。このときは、漸化式（５
）を ノヨうに変更すれば、初期値Ｖ（ｏ）−ｏ、Ｖ（ｔ）＝
”（ｔ−４！Ｏ）としてこの漸化式を解いて最終的に得
られるＶ（Ｔ）は求めるべき最小累積残差平方和であっ
て、分割数工についても最適化されたものとなっている
。

結局、最小累積残差平方和計算部７はとの■（ｔ）をｔ
＝１〜Ｔについて計算すると共にＶ　（ｔ）に対応す求
めるものである。ここで、Ｂ（ｔ）は（Ｘ（１）、・・
・・・、ｘ（ｔ））を分割数および分割点について最適
に分割したと１５　′・−・ きの最後から２番目の部分区間の最終フレームであって
、Ｂ（ｔ）の初期値はＢに）−〇とする。

また、Ｎ　（ｔ）は（Ｘ（１）　、　＝−９ｘ（ｔ）　
）　　を最適に分割したときの分割数であって、Ｎ　（
ｔ）の初期値はＮ（ｏ）＝　。

である。

８は最小累積残差平方和記憶部であって、最小累積残差
平方和計算部γの結果、即ち、１〜ｔフレームを最適に
分割したときの最小累積残差平方和■（ｔ）を記憶する
。Ｖ［）は最小累積残差平方和計算部７における以後の
漸化式の計算に用いられる。

１０はバンクポインタ記憶部であって、最小累積残差平
方和計算部７で計算された前記Ｂ　（＋）　（以後、第
ｔフレームのバックポインタと呼ぶことにする。）をｔ
＝１〜丁について記憶する０Ｂ（ｔ）はｔ−１〜Ｔにつ
いて以上の処理を行った後、バックトラックにより、最
適分割点の最終結果を後述のようにして見出すのに用い
られる。

９は分割区間番号記憶部であって、最小累積残差平方和
計算部７で計算された前記Ｎ　（ｔ）をｔ＝１〜Ｔにつ
いて記憶する。Ｎ　（ｔ）はｔ＝１〜Ｔについて以上の
処理を行った後、バックトランクにょシ、最適分割点の
最終結果を後述のようにして見出す際にそれぞれの部分
区間の区間番号を見出すのに用いられる。

１３は平均・方向ベクトル記憶部であって最小累積残差
平方和計算部７で求めた前記ｖ　（ｇに対応する最終区
間の最小２乗近似直線の平均ベクトルｍ（ｔ）と方向ベ
クレレｕ　（ｔ）とをｔ＝１〜Ｔについ記憶するもので
ある。ここで、ｍ（ｔ）　、　ｕ　（ｔ）は、それぞれ
前記Ｖ　（ｔ）に対応したｍ（ｔ　、ｉ　）、ｕ（ｔ、
ｉ）である。

１４は音声区間検出部であって特徴抽出部１の出力から
周知の方法にょシ、久方音声のレベル等を検知すること
によって、音声区間を検出するものである。前記フレー
ムカウンタ４はこの音声区間検出部１４の出力によって
制御され、音声の存在区間を１フレームから順次計数す
る・１１はバンクポインタ読出制御部であって、バック
ポインタ記憶部１０に対してフレーム番号ｔを与えるも
のであって、音声区間終了直後はその１７　　＼−７ 時のフレームカウンタ４の値Ｔをバックポインタ記憶部
１０に出力し、以後は、そのバックポインタの値が０に
なるまでバックポインタ記憶部１０の出力をバックポイ
ンタ記憶部１ｏにフィードバックするものである。バッ
クポインタ記憶部１゜は、与えられたフレーム番号ｔに
対して、１つ前の部分区間の最終フレームＢ　（ｔ）を
出力する。故に、バンクポインタ読出制御部１１は、先
ず、音声区間検出部１４により音声区間の終了が検出さ
れると、その時のフレームカウンタ４の値Ｔをバックポ
インタ記憶部１０に出力し、以後、バックポインタ記憶
部１ｏから読み出されるバンクポインタＢ　（ｔ）が○
になるまでそれを新たなフレーム番号としてバックポイ
ンタ記憶部１ｏにフィードバックする。このことによシ
、バックポインタ読出制御部１１はＴフレームを最適に
分割したときの各分割区間の最終フレームをＴから逆の
順序で出力することになる。また、フレーム１〜ｔを最
適に分割したときの最後尾分割区間における既に計算済
みの前記平均ベク）　／Ｌ／　ｍ　（ｔ）および方向ベ
ク）／し１８　・・− ｕ　（ｔ）、分割数Ｎ　（ｔ）を読み出すために、この
ようにして得られるバンクポインタ読出制御部１１の出
力であるフレーム番号ｔは、平均・方向ペクト／ｌ／記
憶部１３、分割区間番号記憶部９に供給される。

１２は標準パターン記憶部であって、以上のようにして
与えられる、バックポインタ読出制御部１１の前記出力
ｔと、それに伴う平均・方向ベクトル記憶部１３の出力
と、分割区間番号記憶部９の出力を記憶するものである
。

以上のようにして、特徴ベクトルの系列からなる音声パ
ターンを、前述の意味で分割数と分割位置について、最
適に分割したときの各部分区間における最小２乗近似直
線が得られる。

第２図（ａ）は、１次元の特徴ベク）　ｙＶ系列で表さ
れたパターンを想定して、本発明における分割方法の概
念を説明するものである。

縦軸は特徴ベクトルの特徴量、横軸はフレーム、・は各
時点における特徴ベクトルの座標位置を表している。本
例では３分割の場合を示しておシ、線分１００〜１０２
は各区間の最小２乗近似直線１９　”−／ である。同図（ｂ）は、同様に、最小２乗近似直線の方
向ベク）／しが常にＱのときを示すものであって、これ
は各区間の平均ベクトルに対するその区間に含まれるベ
クトルの誤差の２乗和を最小にすべく分割した場合に相
当し、それぞれの区間はそこに含まれる特徴ベクトルの
平均値という１つの代表ベク）　／Ｌ／で表現されるこ
とになる。

以上の説明からも明らかなように、本発明においては、
入カバターンを最適の分割数と最適の分割点によって分
割し、それぞれの分割区間における最小２乗近似直線を
求め、その平均値を表すベクトルと、そこを通る最小２
乗近似直線の傾き（方向）を表すベクトルを標準パター
ンとして持つことになる。

発明の効果 本発明によれば、前記部分区間の直線の傾きがその部分
区間の動的特徴を、平均ベクトルが静的特徴を表現する
ことになる。本発明はこれらを標準パターンとして持つ
ことによりその動的特徴が反映されることになシ、前述
の従来例の持つ欠点を除去することが出来たものである
。

まだ、本発明は、標準パターンとして記憶すべきパラメ
ータは、それぞれの部分区間に対するその平均値を表す
ベクトルと、そこを通る最小２乗近似直線の傾き（方向
）を表すベクトルのみでよいから、特徴抽出部の出力の
特徴ベクトルの系列そのものを標準パターンとして持つ
場合の必要記憶容量を多く必要とするという欠点も除去
されることとなる。

さらに、本発明は、不特定話者を対象とする場合は、前
記最小２乗近似直線上の点をそれに対応する時点の特徴
ベクトルの平均値として分布形（具体的には正規分布等
の分布の種類と分散）を与えることによって実現できる
等、前記従来例にはない特徴を有するものである。

なお、本実施例では前記近似曲線は直線の場合について
説明したが、本実施例の説明の冒頭でも述べたように、
同様な方法により、種々の曲線で近似することもでき、
よシ精密に認識単位の動的特徴を表現することが可能で
あるばかりでなく、２１　・＼−、 パターンも音声パターンに限るものではないことは言う
までもない。

さらに、ベクトル間の差の尺度として、各成分の差の絶
対値和、即ち、市街地距離の他種々の距離または類似度
を用いることができるＯまた、実施例においては音声区
間の検出を自動的に行う場合について説明したが、音声
の分析出力を眺めることにより人手によって音節や音韻
等の前記音声素片に相当する区間を抽出し、それを本発
明で述べた方法により、さらに細かい区間に分け、それ
ら区間に対応する前記近似曲線のパラメータによってそ
れぞれの区間のパターンを表現し、その連結によって前
記音声素片の標準パターンとすることもできるのは勿論
であシ、前記従来例の後半で述べた音声素片を認識する
方法に適用することが出力る。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
本発明の詳細な説明する概念図である０１・・・・・・
特徴抽出部、２・・・・・・入カバソファメモリ、２２
　　・ ３・・・・・・部分区間設定部、４・・・・・・フレー
ムカウンタ、５・・・・・・平均値計算部、６・・・・
・・最小２乗近似直線計算部、７・・・・・・最小累積
残差平方和計算部、８・・・・・・最小累積残差平方和
記憶部、９・・・・・・分割区間番号記憶部、１ｏ・・
・・・・バックポインタ記憶部、１１・・・・・バンク
ポインタ読出制御部、１２・・・・・・標準パターン記
憶部、１３・・・・・・平均・方向ベク）／Ｌ／記憶部
、１４・・・・・・音声区間検出部、１５・・・・・・
部分残差平方和記憶部。

Claims (1)

【特許請求の範囲】
1. 特徴ベクトルの系列からなるパターンの第ｉ部分区間の
   候補区間を設定する部分区間設定手段と、この設定され
   た前記パターンの第ｉ区間の候補区間の特徴ベクトル系
   列と、ベクトル値をとる時間関数で与えられる曲線上の
   ベクトル系列との前記区間の長さに関連して正規化され
   た正規化部分距離（正規化部分類似度）が最小（最大）
   になるように前記時間関数のパラメータを算出する最適
   パラメータ算出手段と、前記部分区間の区間数および分
   割位置を最適に定めることにより、前記正規化部分距離
   （正規化部分類似度）の合計の最小（最大）値を求める
   最小累積距離（最大累積類似度）算出手段と、前記最適
   に定められた各部分区間ｉに対応して算出された前記時
   間関数のパラメータを前記区間番号ｉに関連して記憶す
   る標準パターン記憶手段とを備えたことを特徴とするパ
   ターン作成装置。