JPH0451039B2 - - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声認識装置における音素判別方法に
関するものである。

従来例の構成とその問題点 近年、不特定話者・多数語を対象とした音声認
識の研究が活発になりつつある。この場合、まず
音声を音素に分解して音素認識を行ない、次に音
素系列として音声を認識する方法が用いられる。
この方法において最も重要なことは音素認識を精
度よく行なうことである。特に単語数が多くなる
と子音の認識率がシステムの性能に大きく関係す
る。

子音には鼻音の／ｍ／と／ｎ／，無声破裂音
の／ｐ／と／ｔ／と／ｋ／，有声破裂音の／ｂ／
と／ｄ／のように相互に物理的な性質がよく似て
いて、判別が難しいものがある。このような音素
を判別する方法として、LPCケプストラム係数
の時間パターンをパラメータとし、統計的距離尺
度を用いて標準パターンとの比較を行なう方法が
有効であることを示した、（二矢田・星見：「破裂
子音の認識方法」音響講論，昭和59年３月）。こ
の方法によると／ｐ／，／ｔ／，／ｋ／，／ｃ／
の平均判別率が88.1％，／ｂ／，／ｄ／，／ｇ／
の平均判別率が86.4％という高い値を得ることが
できる。しかし、そのためには音声中から該当す
る子音を正確に抽出し、基準点（音素を判別する
ための、時間的な基準となる部分）を見出さなく
てはならない。

上記の結果は基準点が正確であると仮定した場
合の値である。基準点としては音素を相互に判別
するための特徴がある部分たとえば破裂子音では
破裂時点に、鼻音では後続母音への遷移部分に設
定する。

従来例においてはパワーデイツプを用いて基準
点の抽出を行なつていた。これは、一般的に母音
よりも子音の方がパワーが小さいため、子音部分
でパワーデイツプ（パワーの凹み）が生ずること
を利用した方法である。すなわち第１図に示すよ
うにパワーデイツプの立上り部分で変曲点が生ず
るところＡを基準点の候補とする。これは、パワ
ーデイツプの立上り部が子音から母音へ遷移する
部分に当たるので、変曲点付近に基準点が存在す
るという考え方に基いている。

第２図に従来例の構成を示す。音声信号をAD
変換部１で12KHzでサンプリングしてデイジタル
信号に変換する。パワー計算部２では１フレーム
（10msec）ごとに信号のパワーを計算し、対数を
とつてdB値にする。パワー値バツフア部３では
対数パワーを時系列情報として蓄積し、基準点検
出部４で時系列パワーから立上り部の変曲点を検
出して基準点（基準フレーム）として類似度計算
部７へ供給する。一方、特徴パラメータ抽出部５
はAD変換部１の出力信号をLPC分析し（15次）、
LPCケプストラム係数を特徴パラメータとして
抽出する。パラメータバツフア部６は特徴パラメ
ータを時系列に蓄える。類似度計算部７は、基準
点検出部４で検出された基準点における特徴パラ
メータと、音素標準パターン格納部８の中の各音
素標準パターンとの間の類似度を計算する。音素
判別部９は最大類似度を与える音素を認識結果と
して出力する。

従来の方法における問題点は、パワーデイツプ
を用いて子音を検出し、基準点を検出する部分に
ある。パワーデイツプは破裂性子音や無声子音で
は確実に生じるが、鼻音や流音では生じない場合
があり、そのため基準点も正確に求められないこ
とがある。たとえば例として第４図と第５図を参
照する。第４図ａは／ooasma／（王様）と発声
した場合のパワーの時間的な動きを示したもので
ある。同図ｃは目視によつてフレームごとに音素
ラベルを記したものである。ａとｃを比較する
と、／ｓ／の部分ではパワーデイツプが生じてお
り、立上り時点もはつきりと検出できるが、／
ｍ／の部分ではパワーデイツプが検出できない。
また第５図の／inaho／（稲穂）と発声した場合
においても／ｎ／ではパワーデイツプが検出され
ない。／ｈ／はわずかに検出できるが、この程度
では基準点を決めるのは難しい。

発明の目的 本発明は従来技術のもつ以上のような欠点を解
消するもので、鼻音を含めあらゆる種類の音素の
検出を行なうことができ、基準点を精度よく検出
し、精度の高い音素判別方法を提供するものであ
る。

発明の構成 上記の目的を達成するために、本発明は特徴パ
ラメータと時間的な定常性を表現する標準パター
ン（以下定常性パターンと記す）との類似度をフ
レームごとに計算し、類似度の時間変化をとらえ
ることによつて子音の検出と基準点の検出を行な
い、基準点付近において特徴パラメータと音素標
準パターンとの類似度を計算し、音素を判別する
方法を提供するものである。

実施例の説明 以下本発明の一実施例について説明する。まず
子音の検出と基準点の検出を行なうために用いる
定常性パターンの作成方法を説明する。

定常性パターンは音声信号中で時間的に定常な
部分、例えば母音やはつ音の中心部の複数フレー
ム（ｍフレーム、本実施例ではｍ＝３）を使用し
て多くのサンプルによつて作成する。１フレーム
あたりの特徴パラメータの数をｎとする。本実施
例ではLPCケプストラム係数の低次のパラメー
タ（C₀〜C₄）を特徴パラメータとして使用して
いる。したがつて特徴パラメータの数ｎ＝５であ
る。

ｍ×ｎ（15）個のパラメータを次のように並べ
て特徴パラメータベクトルＣを作成する。

Ｃ＝（C¹ ₀，C¹ ₁…C¹ ₄，C² ₀，C² ₁…C² ₄，C³ ₀，C³ ₁…C³
₄）
（式１） ただし、C^j _iにおいてｉは次数ナンバー、ｊはフ
レームナンバーである。便宜的にＣを次のように
表記する。

Ｃ＝（C¹，C²，C³，……C¹⁵） （式２） 多くのサンプルを使用してＣの平均値〓と分散
共分散行列〓を計算する。〓の要素をμ_i，〓の要
素をW_i,jとする。サンプル数をＮとすると、 μ_i＝１／Ｎ_N 〓^K=1 Cⁱ _k （式３） W_i,j＝１／Ｎ−１_N 〓^K=1 （Cⁱ _k−〓_i）（Cⁱ _k−〓_j） （式４） で定常性パターン（標準パターン）を作成でき
る。

次に入力特徴パラメータと定常性パターンとの
類似度の計算方法を説明する。

入力音声の特徴パラメータ（LPCケプストラ
係数）を（式１）と同じように時系列に並べ、こ
れを〓とする。

〓＝（x₁，x₂，x₃，……x₁₅） （式５） 〓の定常性パターンに対する確率密度Ｐは次式
で表わされる。

Ｐ＝（2π）〓・｜〓｜〓・exp｛−１／２（〓−〓）^T ・〓^-1・（ｘ−〓）｝ （式６） ただし、Ｔは転置を表わす。

（式６）の対数をとり、これを２倍してＬとす
ると、 Ｌ＝−（〓−〓）^T・〓^-1・（〓−〓）＋Ａ
（式７） Ａは定数であり Ａ＝２・log｛（2π）〓・｜〓｜〓｝ （式８） である。

音声区間に対して、１フレームずつシフトしな
がら〓を求め、これによつて（式７）で類似度を
求めると、定常部では（式７）の値（類似度）は
大きくなり、スペクトルの変化またはパワーの変
化がある場合は（式７）の値は小さくなる。類似
度が小さい部分は音素の境界や単語の境界に相当
するので、これをとらえることによつて子音区間
を検出することができる。第３図は上に述べた方
法を図で表わしたものである。母音から子音へ遷
移する部分または子音から母音へ遷移する部分で
値が小さくなる。本実施例では子音から母音へ遷
移する部分で値が極小となる部分Ｂを基準点候補
として検出する。なぜならばこの部分はスペクト
ル変化が最も著しいところであり、破裂子音の破
裂時点、鼻音の後続母音への遷移部などの真の基
準点（目視によつて設定した基準点）によく一致
するからである。

第４図ｂには例として／oosama／と発声した
ときの類似度の時間変化を示す。ａは従来のパワ
ーデイツプによる時間変化、ｃは目視による音素
ラベルを示す。／ｓ／のみでなく／ｍ／に対して
もはつきりと音素境界Ｃ及びＤが検出されている
ことがわかる。（前にも述べたようにパワー情報
ａでは／ｍ／の検出はできない。）また基準点候
補も明確に検出されている。同様に第５図ｂは／
inaho／（稲穂）と発声したときの定常性パター
ンとの類似度の時系列を示している。この場合も
ａの従来法では検出できなかつた／ｎ／と母音の
境界Ｅ，／ｈ／と母音の境界Ｆがはつきりと検出
され、基準点候補が明確に検出されている。

次に基準点候補において、入力音声の特徴パラ
メータと音素標準パターンとの類似度を計算する
ことになるが、その前に音素標準パターンの作成
方法を有声子音（／ｍ／，／ｎ／，／〓／，／
ｂ／，／ｄ／，／ｒ／，／ｚ／）を例として述べ
る。

音素標準パターンは音素ごとに目視によつて正
確に基準点を検出し、基準点（基準フレーム）の
前８フレーム〜基準フレームの後３フレームの合
計12フレームを使用する。各フレームの特徴パラ
メータの個数は９個（LPCケプストラム係数の
０次から８次まで）とし、全体で９×12＝108個
のパラメータを用いる。作成方法は定常性標準パ
ターンと全く同様であり、（式３），（式４）を使
用する。音素ｋの標準パターンとして、平均値ベ
クトルを〓ｋ、分散共分散行列を〓′_kと書くこと
にする。〓′_kを各音素について要素ごとに平均し
これを〓′とする。〓′は全対象音素に共通の分散
共分散行列である。

このようにして作成した音素標準パターンを用
いて未知入力音声の音素判別を行なう。未知入力
音声に対して前述した方法で検出した前記基準点
候補を用い、その前８フレーム〜後３フレームの
特徴パラメータを（式５）と同様にして時系列に
ならべてこれを 〓′＝（x₁，x₂，x₃，……x₁₀₈） （式９） とする。x′と音素ｋの標準パターンとの距離D_k
は（式10）で計算される。

D_k＝（〓′−〓′_k）^T・W′^-1・（〓′−〓′_k）
（式10） （式10）を展開して不要な項を取りのぞき、こ
れをd_kとすると（式11）のように簡略化できる。

d_k＝b_k−a^T _k・〓′ （式11） ただし a_k＝２・′′^-1・〓′_k （式12） b_k＝〓^T _k・〓′^-1・〓′_k （式13） （式11）は線形判別式なので、パラメータの数が
多くても計算書はあまり増大しない。

各音素標準パターンに対する距離を（式11）に
よつて計算し、距離が最小となる音素を判別結果
とする。

なお（式11）のかわりに（式７）などその他の
距離尺度を用いることもできる。（式７）を用い
た場合は最大値をとる音素を判別結果とする。

第６図は本発明を実施する方法の例をブロツク
図として示したものである。第２図と同じ番号の
ブロツクは、同じ機能を有する。入力音声は第２
図と同様にAD変換部１でデイジタル信号に変換
され、特徴パラメータ抽出部５によつて、フレー
ムごとに９個のLPCケプストラム係数（C₀〜C₈）
が求められる。定常性類似度計算部１１では、フ
レームあたり５個（C₀〜C₄）のパラメータを３
フレーム分だけ用いて、定常性パターン格納部１
２に格納されている定常性パターンとの間で類似
度を計算する。基準点検出部１３では、類似度の
極小値を求め、第３図によつて説明した方法で基
準点候補を抽出する。

一方特徴パラメータ抽出部５の出力はパラメー
タバツフア１４で時系列情報として蓄積される。
類似度計算部１５は基準点検出部１３で検出され
た前記基準点候補を用い、その前８フレーム〜後
３フレームの情報をパラメータバツフア１４から
取出して音素標準パターン格納部１６に格納され
ている各音素の標準パターンとの間で類似度を計
算する。音素判別部１７は類似度が最大となる
（距離が最小となる）音素を求め、認識結果とし
て出力する。

かかる方法を用いて男女各10名がそれぞれ発声
した212単語中の子音、／ｍ／，／ｎ／，／
〓／，／ｂ／，／ｄ／，／ｒ／，／ｚ／に対して
行なつた結果を述べ、本実施例の効果を説明す
る。

まず基準点検出部１３の検出精度を述べる。本
実施例による方法で検出した基準点と、目視によ
つて正確に検出した基準点とを比較すると、デー
タの52％は完全に一致する。±１フレーム以内の
誤差まで許容すると85％が入り、±２フレーム以
内まで許容すると93％が入る。従来法では完全に
一致するのは28％程度であり、±１フレームまで
許容しても42％程度しかカバーできない。

本実施例による方法で基準点を検出し、その基
準点を用いて音素の判別を行なうと、上記７音素
の平均認識率として77.5％を得る。これらの音素
は判別が難しい音素であるので、この結果は非常
に良い。従来例では72％程度であることを考えれ
ば、本実施例の効果は明らかである。

なお本発明の特徴パラメータとしては、LPC
ケプストラム係数、帯域スペクトルパワー、
PARCOR係数、自己相関係数のいずれであつて
も良い。

また統計的距離尺度としては、確率密度、対数
尤度、マハラノビス距離のいずれであつても良
い。

発明の効果 本発明は特徴パラメータと定常性パターンとの
類似度をフレームごとに計算し、類似度の時間情
報の変化をとらえることによつて子音を検出する
と同時に音素判別に用いる時間的な基準点を検出
し、基準点付近において、特徴パラメータの時系
列パターンと音素標準パターンとの間で類似度を
計算して音素を判別する方法を提供するもので、
鼻音など従来の方法では正確に検出することがで
きなかつたり、基準点が正確に求められなかつた
音素に対しても十分に対処できるとともに、類似
度情報の相対値を用いて子音区間と基準点を検出
するのでノイズや調音結合の違いなどの変動要因
の影響を受けにくいという利点を有する。さらに
類似度計算は全て積和演算であるので、ハードウ
エア化が容易であるという利点も有する。

【図面の簡単な説明】

第１図は従来例における子音区間と基準点を検
出する方法を説明した図、第２図は従来例による
音素認識のブロツク図、第３図は本発明の一実施
例における子音区間と基準点を検出する方法を説
明した図、第４図および第５図は従来例と本発明
による方法との差異を具体例で示した図、第６図
は本発明の一実施方法のブロツク図である。

Claims (1)

1. 【特許請求の範囲】 １ 入力音声を分析区間（フレーム）ごとに分析
   して特徴パラメータを求め、前記特徴パラメータ
   の時間パターンと、時間的な定常性を表現する標
   準パターンとの類似度を統計的な距離尺度によつ
   て計算して類似度の時系列を作成し、前記類似度
   の時系列から音素の境界と基準点を求め、前記基
   準点付近において、前記特徴パラメータの時間パ
   ターンと音素標準パターンとの類似度を統計的な
   距離尺度によつて計算し、前記類似度の大きさを
   比較することによつて音素の判別を行なう音素判
   別方法。 ２ 時間的な定常性を表現する標準パターンが、
   多数のサンプルの複数フレームの特徴パラメータ
   を用いて、平均値と分散共分散行列で構成される
   ことを特徴とする特許請求の範囲第１項記載の音
   素判別方法。 ３ 特徴パラメータがLPCケプストラム係数、
   帯域スペクトルパワー、PARCOR係数、自己相
   関係数から選ばれたいずれかである特許請求の範
   囲第１項記載の音素判別方法。 ４ 統計的距離尺度が、確率密度、対数尤度また
   はマハラノビス距離のいずれかである特許請求の
   範囲第１項記載の音素判別方法。 ５ 基準点が子音から母音への遷移時点付近であ
   ることを特徴とする特許請求の範囲第１項記載の
   音素判別方法。