JPH0342480B2 - - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は２次元面上の特徴量として表現される
音声パターンを比較し、パターン間の類似度を求
めるパターン比較方法に関する。

従来技術 近年、音声認識装置のようにパターンの類似度
又はそれに準ずるものを計算し、それによつて認
識結果を選出する装置が種々考えられている。と
ころで音声を取り扱う場合、このようなパターン
の類似度を計算する上で二つの問題点がある。一
つは発音速度の相違から同じ単語音声パターンで
も時間長が異なり、そのままパターンの比較をし
て類似度の計算ができないこと、他は話者が変る
とホルマント周波数が変化するため話者間の差が
大きくなつてしまうことである。現在前者に対し
て最も広く使われている方法として動的計画法
（DP：Dynamic Programming）によるパター
ンマツチングがある。第１図によりDPマツチン
グについて簡単に説明する。パターンｆ（ｔ）と
ｇ（ｔ）の始端、終端を一致させ、かつ非線形な
時間軸方向の伸縮をゆるしてマツチングを行ない
類似度を求める場合である。ｆ（ｔ），ｇ（ｔ）は
一定間隔でサンプリングされたデイスクリートな
量となつており、各々のサンプル点をm₁，m₂，
…m_N，n₁，n₂，…n_Nとすると、二つのパターン
はｆ（m₁），ｆ（m₂），…ｆ（m_N），ｇ（n₁），ｇ
（n₂），…ｇ（n_N）で表わされる。パターンの始端
ｆ（m₁）とｇ（n₁）、及び終端ｆ（m_N）とｇ（n_N）
が対応づけられるものとし、他の点は両パターン
間の距離が最小になるように対応づける。そのた
めにはｆ（ｍ）の中の一点（mi）はｇ（ni）近傍
の全ての点に対応づけてみてその中から距離を最
小にするような点を選んで対応づける。その結果
第１図にＡにて示すような傾斜が求まり、これに
従つてｆ（ｔ）をｇ（ｔ）に写影して類似度が計算
できる。ところがこの方法は、演算量が非常に多
く、またパターンの時間長の変動は吸収すること
ができるが周波数上の変動を吸収することができ
ないという欠点がある。

このように、周波数軸と時間軸が形成する２次
元面上の音声パターンが両軸に対する変動を有す
るような場合、従来少ない計算量でこれを吸収で
きる方法がない。また、パターンのわずかな歪を
吸収して比較する方法として特開昭56−116185号
公報がある。この方法では、プリント基板等のパ
ターンチエツクを行なう事を目的に、基準となる
パターンとテストパターンの一致度を比較するも
のである。まず、基準となるパターンを一定の距
離だけ移動させ、移動前後のパターン間の論理和
と論理積をとることで、それぞれ大きなパターン
と小さなパターンを作つておく。このときの移動
距離はチエツクすべきパターンの形とパターンの
論理積および論理和をとり、基板のパターンの正
常、異常をきめるものである。しかしながら、こ
の方法では基板パターンのようなわずかな歪にた
いしては有効であるが、音声認識のパターン照合
には、次のような理由から不適当である。

(1) 音声認識では基板のパターン等に比べ変動範
囲が大きい。したがつて、論理和、積でパター
ンの内部の形が違つてしまう。上記公報に述べ
られている方法でパターン内部の形が変ると歪
等の吸収効果が無いだけでなくパターンの比較
ができなくなつてしまう。

(2) 上記公報に述べられている方法は、基板のよ
うなパターンがあるか無かの２値の図形処理に
向いているため、音声認識のパターンも２値化
処理しなければつかえない。したがつて、２値
にした音声パターンは情報量が減るため認識語
数の制限が小語彙となつてしまう。

(3) 仮に、上記公報に述べられている方法で、多
値のパターンが入力された時には決められた値
以上と以下で２値として扱うという規則をつけ
て補正したとしても、第１３図のような場合、
(ア)のパターンは(イ)、(ウ)どちらにも同じだけの類
似度を持つ事になつて区別できなくなる。つま
り、述べられている方法は正常か異常かのチエ
ツクはできても、いくつかある標準パターンの
中のどれと一番よく似ているかというような細
かい判定には向いていない。

(4) 論理和、積によつてパターンに変形を加える
と、音声パターンの時間方向だけでなくそれに
直角の方向まで、多くの場合は周波数軸のデー
タの数まで変つてしまい取扱いができない。

このように、上記公報に述べられた従来の方法
は、音声パターンの照合には適用できないもので
あつた。

目 的 本発明は斯かる事情に鑑みてなされたもので、
周波数軸と時間軸が形成する２次元面上の音声パ
ターンの両軸に対する変動を吸収して、少ない計
算量で音声パターンの比較を行なうことのできる
音声パターン比較方法を提供しようとするもので
ある。

構 成 本発明の構成について、以下、実施例に基づい
て説明する。

ある話者が発声した単語“size”のパターンを
第２図に示す。この図は横軸に周波数、縦軸に時
間をとつて“size”と発生した時のスペクトル分
布を濃淡で表わしたものであり黒く見える程レベ
ルが大きい。周波数は左側から右へ高くなり、
250Hz〜6.3kHzを対数等間隔で15等分してある。
同じ話者が同じ単語を別の機会に発声した例を第
３図に示す。図から明らかなように両者は時間軸
方向への長さが異なつている。

我々が発する音声を特徴づけるものにホルマン
トがある。或いはスペクトルのローカルピークと
いう概念〔音響学会誌第32巻１号（1976）第12〜
23頁〕を用いても良いが、いずれにしても言語を
発声するために我々は音道の形態を変化させ、そ
の影響が音声スペクトル上にローカルピークとし
て現われる。従つて、このようなローカルピーク
の時間変化には発せられた言語の特徴が現われて
いる。そこでローカルピークの時間変化を表わす
時間−周波数パターン（以下time−spectrum
pattern、略してT.S.Pと称する）の比較によつ
て発せられた言語を認識することを考える。第２
図、第３図に示したどちらのT.S.Pも冒険の10〜
15ｍｓが／ｓ／、次の100ｍｓ位が／ａ／、続く
10ｍｓ弱が／ｉ／でその後の数ｍｓが／Ｚ／、最
後が短く／ｕ／を表わすパターンである。ところ
で図に示されたような時間長の変化の他に発生者
の差がピークの周波数変化として現われるが、そ
のどちらも極端なものではない。そこで二つのパ
ターンを照合する場合に、周波数変動と時間変動
の幅を考慮して、一方のパターンの幅は広くとつ
ておき、他方のパターンは、幅のある線図形から
線の特徴を取り出す手法の一つである細線化法に
よつて幅のほぼ中央近傍の点又は中心線を取り出
してから照合を行なう。この際、時間軸方向も幅
を狭めておくことが望ましい。この場合のパター
ン幅という意味は、パターン中の図形、若くはパ
ターン中の模様のことを意味するもので、パター
ン全体の大きさを変えることを意味するものでは
ない。こうすることによつて、一方のパターンの
時間、周波数の両端が変動しても細線化した細い
線パターンは幅の広いパターンからはみ出すこと
なくマツチングがとれる。すなわち、音声の標準
パターンと入力音声パターンとを、時系列とその
時系列に対応する音響的特徴列（音声波の周波数
列）との２次元平面で形成し、前記パターンに生
成される言語的情報を担う言語情報の列（音声波
の短時間スペクトル分析に基づくスペクトル包絡
に現われるローカルピーク列）に沿つて形成され
る、かつ、各時系列に対応して前記特徴列の方向
に前記言語情報を含んで形成される特徴幅及び／
又は各特徴列に対応して前記時系列の方向に形成
される時間幅を前記標準パターンと音声パターン
とで互に異ならしめ、これら両パターンが重畳さ
れて生成されるパターンの重なり部分の大きさよ
り音声パターンの類似度を求めるものである。

第４図は、本発明のハード構成図、第５図は、
第４図に示した構成図の動作説明をするためのフ
ローチヤートで、図示のように、２次元パターン
生成処理部１１に取り込まれたデータ（step1）
は該２次元パターン生成処理部１１によつて２次
元パターンに生成される。２次元パターン記憶部
１３に記憶されている２次元パターンは、データ
の２次元パターンとの類似度を比較するためのパ
ターンで、これを標準パターンということにす
る。この標準パターンはあらかじめ用意して記憶
しておいたものでもよいし、データの２次元パタ
ーンを取り込んで、これを標準パターンに形成し
てもよい。これらデータの２次元パターンと標準
の２次元パターンはこれらを照合するに先立つ
て、パターン幅変換処理部１２において、必要に
応じたパターン幅変換処理が行なわれる。なお、
パターン幅変換処理とはデータの２次元パターン
と標準の２次元パターンとにおいて、両２次元パ
ターンと対応する各次元軸方向のパターン幅を異
なるしめる（Step2）ことである。このような処
理を行なうことによつて、一方のパターンにおい
てその各次元軸上に現われるパターン幅と、他方
のパターンにおいてその各次元軸上に現われるパ
ターン幅とに幅の差を生ずることになる。照合処
理部１４は、上述のようにして形成されるパター
ン幅の互いに異なる両パターンを重ね合わせて
（step3）、その重なりの大きさを求め（step4）、
これを類似度として出力する。

次に、本発明のパターン比較装置の一実施例を
第６図に示す。

第６図において、マイク１から入力された音声
信号はフイルターバンク２を通り、周波数−時間
パターンとなる。その中から音声区間切り出し部
３で音声部を切り出し、ある閾値を設定すること
により２値化部４で２値化する。この２値化は情
報量低減のためであつて、勿論２値化をしなくて
も良い。これを細線化部５によつてほぼ中央らし
い点又は中心線として辞書部６に格納しておく。
次に、スイツチ７を照合部８側にし、入力音声の
周波数−時間パターンを２値化した後、辞書部６
に格納してある各単語と照合した時すなわち二つ
のパターンを重ねた時、細線化パターンがどの程
度重なるかを求め類似度を計算する。この照合を
辞書部に格納された各パターンに対し行ない、最
も類似度の大きい単語を認識結果９とする。な
お、例として第３図に示すパターンを細線化した
ものを第７図に、第２図に示すパターンを２値化
したものを第８図に示す。ここでの細線化処理は
いろいろ考えられるが（例えば電子通信学会研究
会資料PRL−75−66、第49〜56頁参照）基本的
には２値図形の境界に接している点を図形の連結
性を保つたまま１点ずつ消していつてほぼ中央近
傍の点、又は中心線を取り出す。

なお、以上の説明において一方のパターンを細
線化したが、これは二つのパターンの比較におい
てはみ出すことなくマツチングをとるためである
から、一方を線図形の特徴を保持して太線化して
もよく、或いは一方を細線化し、他方を太線化し
ても良い。

第９図は、二つのパターンの一方を太線化して
他方に重ねる本発明の他の実施例を示す図で、第
６図の場合とは逆にここでは辞書登録するパター
ンには処理を加えず、認識すべきパターンに太線
化部１０で太線切処理を行なつている。

第１０図は、細線化と太線化の両方を行なう本
発明の他の実施例を示す図で、辞書登録用パター
ンを細線化し、認識用パターンを太線化している
が、勿論これを逆にしても良い。なお、以上に音
声パターンを例にとつて説明したが、本発明は音
声パターンに限定されるものでなく、他の２次元
パターンでも良いことは明らかである。。

第１１図は、本発明の一実施例を説明するため
のフローチヤートで、この実施例は、図示のよう
にデータの２次元パターンを取り込んで（step1
→２→３）これを標準の２次元パターンとして形
成する（step4）の場合のものである。一般には、
データの２次元パターンは形成された標準の２次
パターンと比較されながら（step6）、前者の各次
元軸方向のパターン幅が後者の各対応次元軸方向
のパターンに対して異なるように決められてゆく
（step1→２→３→５）。しかし、データパターン
の各次元軸方向の幅の変換の傾向が、標準パター
ンの対応幅より常に細線化又は太線化するいずれ
か一方向にあるような変換の仕上をすれば、両パ
ターンの当該幅が異なるかどうかの比較判断
（step6）は不要となる。

第１２図は、本発明の他の実施例を説明するた
めのフローチヤートで、この実施例も、図示のよ
うに、データの２次元パターンを取り込み、
（step1→２→３）これを標準パターンとして形成
する（step6）場合であり、この点は、第１１図
に示したフローチヤートと同じである第１１図に
示したフローチヤートと異なるのは、標準２次元
パターンを形成する際に、これとデータとして取
り込んだ２次元パターン（自己自身）との比較を
しながら（step5）前者の各次元軸方向のパター
ン幅が後者の各対応次元軸方向のパターンとに対
して異なるように決められてゆく（step1→２→
３→４→５→６→３）点である。しかし、この場
合にも形成される標準パターンの各次元軸方向の
幅の変換の傾向がデータパターンの対応幅より常
に細線化又は太線化するいずれか一方向にあるよ
うな変換の仕方をすれば両パターンの当該幅から
異なるかどうかの比較判断（step5）は不要とな
る。

効 果 以上のように本発明によれば、例えば発声時に
おける単語長の時間軸の変動並びに発声者による
周波数変動のような２次元パターンの各軸に対す
る変動を吸収してパターンの比較を行なうことが
可能である。

【図面の簡単な説明】

第１図はDPマツチングの説明図、第２図、第
３図は時間−周波数パターンを示す図、第４図
は、本発明のハード構成図、第５図は、第４図の
構成図の動作説明をするためのフローチヤート、
第６図は、本発明によるパターン比較装置の一実
施例を示す図、第７図は、第３図のパターンを細
線化した図、第８図は、第２図のパターンを２値
化した図、第９図、第１０図は、本発明によるパ
ターン比較装置の他の実施例を示す図、第１１図
及び第１２図は、それぞれ本発明の実施例を説明
するためのフローチヤート、第１３図は、従来例
を説明するための図である。 １……マイク、２……フイルターバンク、３…
…音声区間切り出し部、４……２値化部、５……
細線化部、６……辞書部、７……スイツチ、８…
…照合部、１０……太線化部、１１……２次元パ
ターン生成処理部、１２……パターン幅変換処理
部、１３……標準の２次元パターン記憶部、１４
……照合処理部。

Claims (1)

1. 【特許請求の範囲】 １ 音声の標準パターンと入力音声パターンと
   を、時系列とその時系列に対応する音響的特徴列
   との２次元平面で形成し、前記パターンに生成さ
   れる言語的情報を担う言語情報の列に沿つて形成
   され、かつ、各時系列に対応して前記特徴列の方
   向に前記言語情報を含んで形成される特徴幅及
   び／又は各特徴列に対応して前記時系列の方向に
   形成される時間幅について前記標準パターンと音
   声パターンのいずれか一方のものを細線化又は太
   線化して他方のパターン上へ重畳させて生成され
   るパターンの重なり部分の大きさより音声パター
   ンの類似度を求めることを特徴とする音声パター
   ン比較方法。 ２ 前記標準パターンと音声パターンのいずれか
   一方の前記特徴幅及び／又は時間幅を細線化し、
   他方のパターンの特徴幅及び／又は時間幅を太線
   化し、これら両パターンを重畳させることを特徴
   とする特許請求の範囲第１項に記載の音声パター
   ン比較方法。 ３ 前記音響的特徴列は、音声波の周波数列であ
   り、前記言語的情報を担う言語情報の列は音声波
   の短時間スペクトル分析に基づくスペクトル包絡
   に現われるローカルピーク列であることを特徴と
   する特許請求の範囲第１項又は第２項に記載の音
   声パターン比較方法。 ４ 前記短時間スペクトル分析は、帯域フイルタ
   群による分析であることを特徴とする特許請求の
   範囲第３項に記載の音声パターン比較方法。