JPS6237794B2

JPS6237794B2 -

Info

Publication number: JPS6237794B2
Application number: JP55103293A
Authority: JP
Inventors: Yasuhiro Nara; Juji Kijima
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1980-07-28
Filing date: 1980-07-28
Publication date: 1987-08-14
Also published as: JPS5727299A

Description

【発明の詳細な説明】本発明は、特徴ベクトル時系列間距離計算装
置、特に音声抽出特徴ベクトル時系列と標準音声
特徴ベクトル時系列との時間軸歪を音声の始端お
よび終端のいづれ側から評価しても入力音声パタ
ーンと標準音声パターンとの特徴ベクトル時系列
間距離ｇ（Ｉ、Ｊ）の計算結果が同一であり、か
つ対称性を有する最適パスが得られる特徴ベクト
ル時系列間距離装置に関するものである。

音声認識を行なうに当つて入力音声パターンと
標準（辞書）音声パターンとを直接整合（マツチ
ング）させる直接法は時間的伸縮に対する歪が非
常に大きいから音声認識について良好な結果が得
られない。そこで時間的伸縮に対する歪を整合さ
せる手法として動的計画法（以下DP法と略す）
が提案され時間軸歪を除去するようにしている。

しかし時間軸の歪を整合させるDP法において
は後に説明する如く時間の伸縮により入力音声パ
ターンと標準音声パターンとの距離の値が異なる
こと、及び入力音声特徴ベクトル時系列と標準音
声特徴ベクトル時系列との距離計算に当つて特徴
ベクトルの始端から距離計算を開始しても、終端
から開始しても等価な結果が得られるという対称
性を有しない欠点がある。殊に当該対称性は特徴
ベクトルの中間からDP計算を開始したり、例え
ばまた２つの特徴ベクトルが結合した複合ベクト
ルの始端及び終端から別々に標準音声特徴ベクト
ルとのDP計算を行ない当該２つの特徴ベクトル
を分離する場合等に必要な性質のものであつて、
従来のDP計算法ではこれらの欠点について克服
されていない。

本発明は上記欠点を解決することを目的として
おり、入力音声特徴ベクトル時系列と標準音声特
徴ベクトル時系列との距離計算に当つて、特徴ベ
クトル時系列間距離に当該比較対象となつている
特徴ベクトル時系列のエレメントの前後の距離の
重みを加算する項を附加して、始端側から計算し
た場合と終端側から計算した場合とで漸化式の値
が同一値になるようにならしめ、上記欠点の解決
をはかることを目的としている。そしてそのため
本発明の特徴ベクトル時系列間距離計算装置は抽
出された音声信号の音声抽出特徴ベクトル時系列
情報と標準音声信号の標準音声特徴ベクトル時系
列情報とを整合して音声認識を行なう音声認識装
置において、入力音声パターン情報を格納する入
力音声パターン格納部と標準音声パターン情報を
格納する標準音声パターン格納部とをそなえると
共に、入力音声パターンと標準音声パターンとの
比較対象となる特徴ベクトル時系列のエレメント
の相互間距離ｄ（ｉ、ｊ）を計算するベクトル距
離計算部と、或る時刻（ｉ、ｊ）について点（ｉ
−１、ｊ）、（ｉ、ｊ−１）、（ｉ−１、ｊ−１）に
対するまでのそれぞれの距離ｇ（ｉ−１、ｊ）、
ｇ（ｉ、ｊ−１）、ｇ（ｉ−１、ｊ−１）と上記
点（ｉ−１、ｊ）、（ｉ、ｊ−１）、（ｉ−１、ｊ−
１）における入力音声パターンと標準音声パター
ンとの比較対象となつている特徴ベクトル時系列
のエレメントの相互間距離ｄ（ｉ−１、ｊ）、ｄ
（ｉ、ｊ−１）、ｄ（ｉ−１、ｊ−１）とを加算す
ると共に相互関距離ｄ（ｉ、ｊ）を加算してｄ
（ｉ、ｊ）＋ｇ（ｉ−１、ｊ）＋ｄ（ｉ−１、ｊ）、
ｄ（ｉ、ｊ）＋ｇ（ｉ、ｊ−１）＋ｄ（ｉ、ｊ−
１）、ｄ（ｉ、ｊ）＋ｇ（ｉ−１、ｊ−１）＋2d
（ｉ−１、ｊ−１）＋ｄ（ｉ、ｊ）を得る加算部群
と、該加算部群から得られる上記ｄ（ｉ、ｊ）＋
ｇ（ｉ−１、ｊ）＋ｄ（ｉ−１、ｊ）、ｄ（ｉ、
ｊ）＋ｇ（ｉ、ｊ−１）＋ｄ（ｉ、ｊ−１）、ｄ
（ｉ、ｊ）＋ｇ（ｉ−１、ｊ−１）＋2d（ｉ−１、
ｊ−１）＋ｄ（ｉ、ｊ）の少なくとも上記３つの
パスの中から最小値のパスを選択する最小値パス
抽出部とを有し、当該最小値パス抽出部によつて
選択された結果と上記加算部群から得られたパス
とを格納するｇ・ｄ格納部をもうけ、入力音声パ
ターンの音声抽出特徴ベクトル時系列情報と標準
音声パターンの標準音声特徴ベクトル時系列情報
との時間軸歪の正規化を行ない距離を抽出するよ
うにしたことを特徴としている。以下図面を参照
しつつ説明する。

第１図はベクトル間距離の重みを表わした１
例、第２図Ａ，Ｂ，Ｃ，Ｄは第１図のベクトル間
距離の重みを用いて時間軸歪の整合を説明する説
明図、第３図は最も簡単なDP計算法を説明する
説明図、第４図Ａ，Ｂ，Ｃはベクトル間距離の重
みを表わした他の１例、第５図Ｍ１ないしＭ６お
よび第６図Ｍ１ないしＭ６は夫々従来のDP計算
法による特徴ベクトル時系列間の距離計算を説明
する説明図、第７図Ｍ１ないしＭ６は本発明の特
徴ベクトル時系列間距離計算装置による特徴ベク
トル時系列間の距離計算を説明する説明図、第８
図は本発明の特徴ベクトル時系列間距離計算装置
の一実施例構成を示している。

第１図において〓，〓，〓，〓，〓，〓、は基本特
徴ベクトル時系列〓_１＝〓〓〓〓〓〓〓に対し〓
_２＝〓〓〓〓〓〓〓、〓_３＝〓〓〓〓〓〓〓、〓
_４＝〓〓〓〓〓〓〓などの特徴ベクトル時系列が
存在するときのエレメント（ベクトル）を表わし
ており、表内の数字は比較対象エレメントに対す
る重みを意味する。第１図の各エレメントに対す
る重みを用いて上記基本特徴ベクトル時系列〓_１
に対する各特徴ベクトル時系列〓_２，〓_３，〓_４
とのベクトル間距離を直接マツチング法で計算し
たものが第２図Ａ，Ｂ，Ｃに示されている。又第
２図ＤはDPマツチングの原理を示している。第
２図から判る如く一般的に直接マツチング法にお
ける時間軸伸縮に対する歪が非常に大きくなるの
で時間軸歪を除去するためDP法が提案されるよ
うになつた。その最も簡単なDP計算法を第３図
により説明すると、ベクトル間最適（最小）距離
を与える漸化式は次の如く表わされる。

ここでｄ（ｉ、ｊ）は特徴ベクトル時系列〓_１
および〓_３の比較対象エレメント〓^１ _ｉおよび〓^３ _ｊと
の間の距離ｄ（ｉ、ｊ）＝｜｜〓^１ _ｉ−〓^３ _ｊ｜｜を表
わす。第３図において１つの桝への最小（最適）
累積距離ｇ（ｉ、ｊ）は当該桝に対応する上記ベ
クトル間距離ｄ（ｉ、ｊ）と、始点から当該桝の
左の桝までの最小累積距離ｇ（ｉ−１、ｊ）、始
点から当該桝の左斜め下の桝までの最小累積距離
ｇ（ｉ−１、ｊ−１）、始点から当該桝の下の桝
までの最小累積距離ｇ（ｉ、ｊ−１）の３者のう
ち最小の累積距離のものを加えることにより得ら
れる。式(1)の漸化式に初期条件ｇ（１、１）＝ｄ
（１、１）を与え、第３図図示の桝の数例につい
てその計算の仕方を説明する。ｇ（１、１）は上
記初期条件ｄ（１、１）で与えられるから、まず
ｄ（１、１）を求める。特徴ベクトル時系列〓_１
および〓_３の比較対象となつているエレメントは
〓^１ _１＝〓と〓^３ _１＝〓であるから、それらのベクトル
間距離の重みを与えている第４図Ａを見ると
「１」であり、従がつてｄ（１、１）＝１即ちｇ
（１、１）＝１である。第３図の桝ｇ（１、１）に
示す丸内の数値はｇ（ｉ、ｊ）の１を示し、
左上肩の「１」はｄ（ｉ、ｊ）の１を示してい
る。次にｇ（１、２）を求めると特徴ベクトル時
系列〓_１および〓_３の比較対象となつているエレ
メントは〓^１ _１＝〓と〓^３ _２＝〓であるから、第４図Ａ
より「１」が得られｄ（１、２）＝１が求まる。
漸化式(1)に適用してｇ（１、２）＝ｄ（１、２）＋
ｇ（１、１）＝１＋１＝２を得る。なおこのとき
ｇ（０、２）、ｇ（０、０）は存在しないからｇ
（ｉ、ｊ−１）だけが適用される。同様にしてｇ
（２、１）＝ｄ（２、１）＋ｇ（１、１）＝１＋１＝
２が求められる。

ｇ（２、２）を求めると上記と同様にして第４
図Ａからｄ（２、２）＝１が求められる。一方ｇ
（ｉ、ｊ−１）、ｇ（ｉ−１、ｊ）、ｇ（ｉ−１、
ｊ−１）はｇ（２、１）＝２、ｇ（１、２）＝２、
ｇ（１、１）＝１であるから、上記３者のうち最
小のものはｇ（１、１）＝１であり、漸化式(1)に
代入してｇ（２、２）＝ｄ（２、２）＋ｇ（１、１）＝１＋１＝２の如く第３図図示のｇ（２、２）＝２が求められ
る。

このようにしてｉ＝Ｉ、ｊ＝Ｊになるまで計算
すれば全体の最小距離即ち特徴ベクトル時系列〓
_１と〓_３の最適距離ｇ（Ｉ、Ｊ）が求まる。なお
漸化式(1)の適用範囲は時間軸歪の伸縮限度内に対
応して、必要以上の整合を防ぐと共に、計算量を
低減させるため例えば整合窓内に限定されてい
る。

第５図Ｍ１ないしＭ６は上記漸化式１を用いた
DP計算法により第４図Ａ，Ｂ，Ｃのベクトル間
距離の重み付け表を基に６通りの特徴ベクトル時
系列の対を計算したもので、同図Ｍ１とＭ２の組
み合わせは特徴ベクトル時系列の時間軸の伸縮が
計算結果に与える影響を調べるために示したもの
である。同図Ｍ３とＭ４の組み合わせは特徴ベク
トル時系列の先頭と末尾とを入れ換えパターンを
逆さにしたものを示し、漸化式(1)についてのDP
計算の対称性を調べるためのものである。また同
図Ｍ５とＭ６の組み合わせは同図Ｍ３とＭ４と同
様その対称性を調べると同時に少し複雑なものの
例を示している。第５図中に示されている矢印
（〓）は漸化式(1)における最小（min）の項を計
算時選んだことを示す最適（最小）パスの道すじ
を表わしている。第４図ＡはＭ１，Ｍ２、第４図
ＢはＭ３，Ｍ４、第４図ＣはＭ５，Ｍ６で用い
る。

第５図から判ることは次の２点である。第１
は、時間軸の伸縮により特徴ベクトル時系列間距
離の値が異なること即ち同図Ｍ１ではｇ（７、
７）＝７に対しＭ２ではｇ（７、７）＝８を示して
いる。その第２は、上記説明した対称性を有する
こと即ち同図Ｍ３とＭ４及びＭ５とＭ６において
特徴ベクトル時系列の先頭と末尾とを入れ変えて
も特徴ベクトル時系列間の距離の値ｇ（ｉ、ｊ）
はｇ（７、７）＝９、ｇ（８、８）＝21をそれぞれ
示し最適パスについても等価的な結果が得られて
いる。しかし一般には同図Ｍ１とＭ２との如く時
間軸の伸縮による影響が存在している。

第６図Ｍ１ないしＭ６は上記時間軸の伸縮によ
る特徴ベクトル時系列間距離の値の差をなくすた
めの漸化式を用いて第４図Ａ，Ｂ，Ｃのベクトル間距離の重
み付け表を基に第５図Ｍ１ないしＭ６に対応する
６通りについてDP計算をしたものである。即
ち、漸化式(2)の場合、斜めに進むルートに負担を
与えて、垂直方向と水平方向とをとるルートに対
する不均衡をなくするように考慮している。

第６図から判ることは次の２点である。その第
１は時間軸の伸縮により特徴ベクトル時系列間距
離の値が同一となつたこと、即ち同図Ｍ１，Ｍ２
が示す如く共にｇ（７、７）＝14である。その第
２はそのために今度の場合には対称性が失なわれ
ることになつたこと、即ち同図Ｍ３，Ｍ４につい
ての特徴ベクトル時系列間距離の計算値ｇ（７、
７）がＭ３ではｇ（７、７）＝15、Ｍ４ではｇ
（７、７）＝16を示し異なることを表わしている。
また同図Ｍ５，Ｍ６において、Ｍ５の時間軸につ
いての順方向における最適パスがＭ６の時間軸に
ついての逆方向における最適パスになつていない
ことを表わしている。

第７図Ｍ１ないしＭ６は本発明の特徴ベクトル
時系列間距離計算装置による特徴ベクトル時系列
間の距離計算を説明する説明図で、漸化式(2)の有
する非対称性及び漸化式(1)の時間軸の伸縮による
特徴ベクトル時系列間距離の不一致性を排斥した
漸化式を用いて第４図Ａ，Ｂ，Ｃのベクトル間距離の重
み付け表を基に第５図、第６図のＭ１ないしＭ６
に対応する６通りについてDP計算したものであ
る。

第６図Ｍ１，Ｍ２から時間軸の伸縮による特徴
ベクトル時系列間距離について影響を受けること
がないこと、同図Ｍ３とＭ４，Ｍ５とＭ６から対
称性を保持していることが示されている。

漸化式(3)を用いることにより上記時間軸の伸縮
に対し特徴ベクトル時系列間距離ｇ（Ｉ、Ｊ）が
同一になること、及び対称性が保持される理由
は、漸化式(3)から判る如く特徴ベクトル時系列間
距離に当該比較対象となつている特徴ベクトル時
系列のエレメントの前後の距離の重みを加算する
項を附加し、（終端側から計算する場合には後の
距離の重みを加えたこととなる）始端側から計算
する場合と終端側から計算する場合とで漸化式ｇ
の値が同一値をとるようにしていることに基づく
ものであり、これに対し漸化式(2)においては当該
比較対象となつている特徴ベクトル時系列のエレ
メントの距離の重みが始端側から計算する場合と
終端側から計算する場合とでは異なることのある
ものであり、ベクトル時系列間距離ｇ（Ｉ、Ｊ）
の不一致を招来しているのである。

即ち漸化式(3)の例えばｇ（ｉ、ｊ）＝ｄ（ｉ、
ｊ）＋ｇ（ｉ、ｊ−１）＋ｄ（ｉ、ｊ−１）につい
て考察すると第７図Ｍ３においてｇ（３、４）を
計算するとき、ｄ（ｉ、ｊ）＋ｄ（ｉ、ｊ−１）＝
ｄ（３、４）＋ｄ（３、３）＝２＋１＝３をｇ
（ｉ、ｊ−１）＝ｇ（３、３）＝10に加算すること
になる。これに対応する同図Ｍ４のｇ（５、５）
を計算するとき、ｄ（ｉ、ｊ）＋ｄ（ｉ、ｊ−
１）＝ｄ（５、５）＋ｄ（５、４）＝１＋２＝３と
なり上記比較対象となつている特徴ベクトル時系
列のエレメント間の距離の重み付けは等しい。

このことは漸化式(3)のすべての式についても適
用されるから特徴ベクトル時系列間距離について
非対称及び時間軸の伸縮による特徴ベクトル時系
列間距離の不一致性が排斥される理由となつてい
るのである。

なお漸化式(3)のｇ（ｉ、ｊ）＝ｄ（ｉ、ｊ）＋ｇ
（ｉ−１、ｊ−１）＋2d（ｉ−１、ｊ−１）＋ｄ
（ｉ、ｊ）については最適パスが右斜め上の桝に
移り、他の右横の桝或は上の桝へ移る最適パスと
の重み付けを衡平に保つため2d（ｉ−１、ｊ−
１）を加えることにし、これにより生ずる非対称
性を補償するｄ（ｉ、ｊ）を加算することにした
ものである。

第８図は本発明の特徴ベクトル時系列間距離計
算装置の一実施例構成を示しており、符号１は入
力音声パターン格納部、２は標準音声パターン格
納部、３はベクトル距離計算部、４は最小値決定
部、５はｇ・ｄ格納部、６ないし１２は加算部を
表わしている。なお、図示の最小値決定部４と加
算部６とは、本願発明にいう最小値パス抽出部を
構成している。

入力音声パターン格納部１から音声抽出特徴ベ
クトル〓（ｉ）と標準音声特徴ベクトル〓′
（ｉ）とがそれぞれ読出されベクトル距離計算部
３に入力される。当該ベクトル距離計算部３では
上記音声抽出特徴ベクトル〓（ｉ）と標準音声特
徴ベクトル〓′（ｊ）との間の距離ｄ（ｉ、ｊ）
すなわち｜｜〓（ｉ）−〓′（ｊ）｜｜を計算し、
その出力ｄ（ｉ、ｊ）がｇ・ｄ格納部５、加算部
６，９ないし１２に入力される。ｇ・ｄ格納部５
は計算されたｇ（ｋ、ｌ）やｄ（ｋ、ｌ）〔ただ
し１≦ｋ≦Ｉ、１≦ｌ≦Ｊ〕を順次蓄積してゆく
メモリで、ｇ（ｉ、ｊ）を計算するときすでに入
力されているｇ（ｉ−１、ｊ）、ｄ（ｉ−１、
ｊ）を加算部７に、ｇ（ｉ、ｊ−１）、ｄ（ｉ、
ｊ−１）を加算部８に、ｇ（ｉ−１、ｊ−１）、
ｄ（ｉ−１、ｊ−１）を加算部９に供給する。こ
れら加算部７ないし９から最小値決定部４に向け
てｇ（ｉ−１、ｊ）＋ｄ（ｉ−１、ｊ）、ｇ（ｉ、
ｊ−１）＋ｄ（ｉ、ｊ−１）、ｇ（ｉ−１、ｊ−
１）＋2d（ｉ−１、ｊ−１）＋ｄ（ｉ、ｊ）をそ
れぞれ出力し、当該最小値決定部４はその中から
最小となるものを加算部６へ出力する。加算部６
では最小値決定部４から供給される出力とベクト
ル距離計算部３から入力されるｄ（ｉ、ｊ）を加
算し、その結果のｇ（ｉ、ｊ）をｇ・ｄ格納部５
に入力する。また加算部７ないし９の出力は加算
部１０ないし１２にそれぞれ入力され、ベクトル
距離計算部３からの入力ｄ（ｉ、ｊ）をそれぞれ
加算し、それぞれの結果をg.d格納部５に入力す
る。このようにして上記ｇ（ｋ、ｌ）やｄ（ｋ、
ｌ）蓄積する。かくして漸化式(3)の計算ｇ（ｉ、
ｊ）が求まる。

ｇ（ｉ、ｊ）に初期条件ｇ（１、１）＝ｄ
（１、１）を与え、ｇ（１、１）から順次計算
し、ｉ＝Ｉ、ｊ＝Ｊのｇ（Ｉ、Ｊ）が求められた
ときｇ・ｄ格納部５から出力される。

なお加算部１０ないし１２では計算量を低減さ
せるため整合窓内ｇ＋ｄの範囲内で計算されｇ・
ｄ格納部５に格納されるようになつている。

以上説明した如く、本発明によれば入力音声特
徴ベクトル時系列と標準音声特徴ベクトル時系列
との距離について対称性を有するようになると共
に、時間軸の伸縮による入力音声特徴ベクトル時
系列と標準音声特徴ベクトル時系列間距離の不一
致が排斥され、良好な時間正規化類似度が得られ
る。

【図面の簡単な説明】

第１図はベクトル間距離の重みを表わした１
例、第２図Ａ，Ｂ，Ｃ，Ｄは第１図のベクトル間
距離の重みを用いて時間軸歪の整合を説明する説
明図、第３図は最も簡単なDP計算法を説明する
説明図、第４図Ａ，Ｂ，Ｃはベクトル間距離の重
みを表わした他の１例、第５図Ｍ１ないしＭ６、
第６図Ｍ１ないしＭ６は従来のDP計算法による
特徴ベクトル時系列間の距離計算を説明する説明
図、第７図Ｍ１ないしＭ６は本発明の特徴ベクト
ル時系列間距離計算装置による特徴ベクトル時系
列間の距離計算を説明する説明図、第８図は本発
明の特徴ベクトル時系列間距離計算装置の一実施
例構成を示している。図中、１は入力音声パターン格納部、２は標準
音声パターン格納部、３はベクトル距離計算部、
４は最小値決定部、５はｇ・ｄ格納部、６ないし
１２は加算部を表わしている。

Claims

【特許請求の範囲】

１抽出された音声信号の音声抽出特徴ベクトル
時系列情報と標準音声信号の標準音声特徴ベクト
ル時系列情報とを整合して音声認識を行なう音声
認識装置において、入力音声パターン情報を格納
する入力音声パターン格納部と標準音声パターン
情報を格納する標準音声パターン格納部とをそな
えると共に、入力音声パターンと標準音声パター
ンとの比較対象となる特徴ベクトル時系列のエレ
メントの相互間距離ｄ（ｉ、ｊ）を計算するベク
トル距離計算部と、或る時刻（ｉ、ｊ）について
点（ｉ−１、ｊ）、（ｉ、ｊ−１）、（ｉ−１、ｊ−
１）に対するまでのそれぞれの距離ｇ（ｉ−１、
ｊ）、ｇ（ｉ、ｊ−１）、ｇ（ｉ−１、ｊ−１）と
上記点（ｉ−１、ｊ）、（ｉ、ｊ−１）、（ｉ−１、
ｊ−１）における入力音声パターンと標準音声パ
ターンとの比較対象となつている特徴ベクトル時
系列のエレメントの相互間距離ｄ（ｉ−１、
ｊ）、ｄ（ｉ、ｊ−１）、ｄ（ｉ−１、ｊ−１）と
を加算すると共に相互間距離ｄ（ｉ、ｊ）を加算
してｄ（ｉ、ｊ）＋ｇ（ｉ−１、ｊ）＋ｄ（ｉ−
１、ｊ）、ｄ（ｉ、ｊ）＋ｇ（ｉ、ｊ−１）＋ｄ
（ｉ、ｊ−１）、ｄ（ｉ、ｊ）＋ｇ（ｉ−１、ｊ−
１）＋2d（ｉ−１、ｊ−１）＋ｄ（ｉ、ｊ）を得
る加算部群と、該加算部群から得られる上記ｄ
（ｉ、ｊ）＋ｇ（ｉ−１、ｊ）＋ｄ（ｉ−１、ｊ）、
ｄ（ｉ、ｊ）＋ｇ（ｉ、ｊ−１）＋ｄ（ｉ、ｊ−
１）、ｄ（ｉ、ｊ）＋ｇ（ｉ−１、ｊ−１）＋2d
（ｉ−１、ｊ−１）＋ｄ（ｉ、ｊ）の少なくとも上
記３つのパスの中から最小値のパスを選択する最
小値パス抽出部とを有し、当該最小値パス抽出部
によつて選択された結果と上記加算部群から得ら
れたパスとを格納するｇ・ｄ格納部をもうけ、入
力音声パターンの音声抽出特徴ベクトル時系列情
報と標準音声パターンの標準音声特徴ベクトル時
系列情報との時間軸歪の正規化を行ない距離を抽
出するようにしたことを特徴とする特徴ベクトル
時系列間距離計算装置。