JPH0455520B2 - - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音素認識を行うことを特徴とする音声
認識方法における音素認識方法に関するものであ
る。

従来例の構成とその問題点 入力音声を音素単位に分けて音素の組合せとし
て認識し（音素認識とよぶ）音素単位で表記され
た単記辞書との類似度を求めて認識結果を出力す
る従来の単語認識システムのブロツク図を第１図
に示す。

まず、あらかじめ多数話者の音声を10msの分
析区間毎に音響分析部１によつてフイルタバンク
を用いて分析し、得られたスペクトル情報をもと
に特徴抽出部２によつて特徴パラメータを求め
る。この特徴パラメータから／ａ／、／ｏ／等の
母音や、／ｍ／、／ｂ／等の子音に代表される音
素毎又は音素グループ毎に標準パターンを作成し
て標準パターン登録部５に登録しておく。次に、
入力された不特定話者の音声を、同様に分析区間
毎に音響分析部１によつて分析し、特徴抽出部２
によつて特徴パラメータを求める。この特徴パラ
メータと標準パターン登録部５の標準パターンを
用いてセグメンテーシヨン部３において母音と子
音の区切り作業（以下セグメンテーシヨンと呼
ぶ）を行なう。この結果をもとに、音素判別部４
において、標準パターン登録部５の標準パターン
と照合することによつて、最も類似度の高い標準
パターンに該当する音素をその区間における音素
と決定する。最後に、この結果作成した音素の時
系列（以下音素系列と呼ぶ）を単語認識部６に送
り、同様に音素系列で表現された単語辞書７と最
も類似度の大きい項目に該当する単語を認識結果
として出力する。

本構成において音素判別部４で音素の判別を行
う場合、従来では、子音区間と判定された区間に
ついてフレーム毎に音素の特徴を示す特徴パラメ
ータを求めあらかじめ用意されている各音素また
は音素群の標準パターンと比較してフレーム毎に
子音分類を行なう。この結果を子音分類ツリーに
適用して条件の一致したものを認識された子音と
する しかし、この場合語頭子音は明確な判定を行な
わずに音素群の判定にとどまつている。たとえ
ぱ／ｂ／、／ｄ／、／ｇ／を有声破裂音群として
いる。

有声破裂音群の判別については、たとえば「日
本語有声破裂音の分析」細谷、藤崎、日本音響学
会音声研究会（S80−67）などで報告されてい
る。しかし、これらの方法は分析時間、アルゴリ
ズムの複雑さのために、実際の単語認識システム
に使用された例は報告されていない。

以上述べたように、従来の方法では、語頭子音
については音素群の判別にとどまつており認識対
象単語によつては問題が生じる。また、音素群内
での判別方法も報告されているが、まだ、分析時
間、アルゴリズムの複雑さなどの問題があり実際
のシステムに使用されていない。

発明の目的 本発明は、以上のような従来の問題点を解決す
るためになれたもので、語頭子音の認識を分析時
間、アルゴリズムを考慮して実際のシステムで使
用出来るようにした音素認識方法を提供すること
を目的とする 本発の構成 本発明は上記目的を達成するもので、入力音声
の語頭子音のセグメンテーシヨンを、有声無声判
定による方法、母音鼻音判定による方法、パワー
変化による方法、ケプストラム距離による方法の
４つの方法を任意に適用して行い、どの方法でセ
グメンテーシヨンされたかによつて語頭子音を無
声子音群、有声子音群、パワー変化に特徴がある
子音群、持続時間の短かい子音群などの複数個の
音素群として認識し、次に前記音素区間中で特徴
部（音素の判別に有効な部分）を自動的に検出
し、前記特徴部に対して前に認識された音素群に
属する個々の音素の標準パターンとの類似度計算
を行なつて音素を判別することを特徴とする語頭
子音認識方法を提供するものである。

実施例の説明 本実施例の概要は、以下の通りである。

イ ４つのセグメンテーシヨン法による結果を利
用して、語頭子音の無声子音群、有声子音群、
パワー変化に特徴がある子音群、持続時間の短
かい子音群の４つに大分類する。

ロ 多音素群ごとに特徴部を設定し、その特徴部
に対して多音素の標準パターンを、あらかじめ
作成しておく、音素標準パターンは、目視によ
つて正確にラベル付けした多くのデータを使用
して作成する。また、音素標準パターンの他
に、各音素群に対して、特徴部の周囲情報の標
準パターンを１種類作成しておく。

ハ 音素の判別 入力音声の語頭子音セグメンテーシヨンを行な
い、子音区間を求める。そして子音区間の一部
（たとえば端点）を基準点として設定する。一方、
この子音区間が上記イにおける大分類のうち、ど
の音素群に属するかを決定する。次に、この決定
された音素群に属する標準パターンを音素区間に
おける特徴部に対して適用して音素の判別を行な
う。ところで、特徴部を自動的にしかも正確に求
めることは一般には困難であるため、次のように
する。すなわち上記の基準点を参照して、多少の
幅を持つて特徴部の候補区間を求めておき、候補
区間の全範囲に対して周囲情報標準パターンを適
用して各音素との類似度を計算する。各音素との
類似度計算に当つては、音素標準パターンと未知
人力との類似度から、上記イに述べた音素群の周
囲情報の標準パターンとの類似度を除去する。こ
のようにすることによつて、特徴部の候補区間の
うち特徴部に相当しない部分（すなわち特徴部の
周囲に相当する部分）の情報を除去することがで
き、正確な特徴部をとらえて音素の判別を行なう
ことができる。

以下、子音認識を例として、本発明の一実施例
を図面を参照しながら詳細に説明する。

本実施例は次に示す４つのセグメンテーシヨン
法の結果を利用して語頭子音を(1)無声子音群、(2)
有声子音群、(3)パワー変化に特徴がある子音群、
(4)持続時間の短かい子音群の４つに大分類する。

フレーム毎（本実施例では１フレームは10m
sec）の有声・無声判定による方法 フレーム毎の母音・鼻音判定による方法 パワーの時間的変化をとらえる方法 ケプストラム距離による方法 〜までの方法を併用し、語頭子音が検出さ
れた時には、以後の方法を適用せず、検出結果に
基づいてセグメンテーシヨンを行なう。以下に
〜までの方法について説明する。

最初にの方法である有声・無声判定による方
法について述べる。

語頭の無声子音のセグメンテーシヨンは、各フ
レーム毎に行なう有声・無声判定結果を利用する
ことによつて、正確に行なうことが出来る。

有声・無声判定の方法は零交差波、スペクトル
の傾き、第１次の自己相関係数の値等を利用する
方法があるが、どの方法を用いてもよい。本実施
例では、有声・無声判定の標準パターンと比較す
ることによつて判定している。

ここで、語頭から無声の判定があるフレーム数
以上連続する時（例えば４フレーム以上）この区
間を子音区間と判定する。この方法は、すべての
無声子音に対して有効である。

次に、の方法である母音・鼻音判定による方
法について説明する。

フレーム毎の音素認識は本実施例ではLPCケ
プストラム係数を用いて、あらかじめ用意してあ
る各音素の標準パターンとの比較によつて行な
う。標準パターンとしては５母音（／ａ／／
ｉ／、／ｕ／、／ｅ／、／ｏ／）・鼻音（／Ｎ／
で表わす）と無声子音（／ｓ／で表わす）を用い
た。このようにして、各フレーム毎に類似度の最
も大きい音素（第１候補音素）と２番目に類似度
の大きい音素（第２候補音素）を求める。フレー
ム毎の第１候補音素と第２候補音素をそれぞれフ
レーム番号の順に並べた系列を第１候補音素時系
列、第２候補音素系列とする。上記音素系列を語
頭から順に見た時／Ｎ／が第１候補または第２候
補音素系列を含めてあるフレーム数以上（例えば
４フレーム以上）連続した時この区間を子音区間
であると判定する。

この方法は、特に鼻音を中心とする有声子音に
対して有効である。

次に、の方法であるパワーの時間的変化によ
る方法について説明する。

語頭が主に破裂性の子音で始まる時、パワー値
の時間的変化をプロツトすると第２図のａのよう
になる。これは破裂性のためにパワーが急激に立
上がり、後続の母音との渡りの部分においてａの
ように凹状になるからである。

ｂはａのパワーの時間的変化の値を微分したも
のである。P₁〜P₃はａの変曲点のフレーム番号
を示している。ここでは有声区間の始まるフレー
ム番号を１にしている。ここで、ａ，ｂのように
P₁，P₃の微分値が正、P₂の微分値が負、かつP₃
＜ｍ（ｍはフレーム番号を示すいき値）を満足す
る時、語頭からP₃までを語頭子音区間として判
定する。

最後に、の方法であるケプストラム距離によ
る方法について説明する。

ケプストラム距離の使い方としては、ある基準
フレームのスペクトル・パターンと語頭から基準
フレームまでの各フレームのスペクトル・パター
ンとを比較する方法を用いる。

本実施例において、スペクトル・パターンの特
徴を表わすパラメータとしてLPCケプストラム
係数C₁〜C_o（ただし、ｎは正の整数）を用いる。
スペクトルが安定して現われる基準フレームの選
び方として、語頭からｍフレーム目（本実施例で
はｍ＝７）と固定する。これは、比較的持続時間
の長い子音（持続時間がｍフレーム以上）は〜
の方法で検出できるからである。

ある２フレーム間のスペクトル・パターンを比
較する方法として、式１を用いる。

〓（ｉ，ｊ）＝_o 〓^l=1 （C_l(i)−C_l(j)）² …式１ 式１においてC_l(i)は語頭からｉフレーム目におけ
るｌ番目のLPCケプストラム係数を表わしてい
る。同様にC_l(j)はｊフレーム目におけるｌ番目の
LPCケプストラム係数を表わしている。〓（ｉ，
ｊ）が大きいほど２つのフレームのスペクトル・
パターンが異なつていることになる。

この式１を用いて基準フレームと語頭から基準
フレームまでの各フレームとの〓（ｉ，ｍ）（た
だし１≦ｉ≦ｍ−１）を計算し、最大値を〓_nax
とする。この〓_naxの値があるいき値より大きい
か小さいかによつて語頭子音の有無を判定する。
この方法で検出された場合、語頭子音区間として
は〓（ｉ，ｍ）の値の変化が一番大きいフレーム
までを子音区間とする。この方法は、持続時間の
短かい子音を検出するのに有効である。

以上説明した〜までの方法によつて語頭子
音のセグメンテーシヨンを行ないの方法で検出
された子音を無声子音群（／ｚ／、／ｈ／、／
ｓ／、／ｃ／、／ｐ／、／ｔ／、／ｋ／）の方
法によつて検出された子音を有声子音群（／
ｍ／、／ｎ／、／ｂ／、／ｄ／、／ｇ／、／
ｒ／、／ｚ／）の方法で検出された子音をパワ
ー変化に特徴がある子音群（／ｂ／、／ｄ／、／
ｇ／、／ｚ／、／ｐ／、／ｔ／、／ｋ／）の方
法で検出された子音を持続時間の短かい子音群
（／ｍ／、／ｎ／、／ｂ／、／ｄ／、／ｇ／、／
ｒ／、／ｚ／、／ｈ／、／ｐ／、／ｔ／、／
ｋ／）というような４つの子音群に大分類を行な
う。

このようにして大分類によつて候補を絞つた
後、各子音群内で細分類を行なう。細分類の方法
としては、音素標準パターンとの類似度を求め、
各音素に対する類似度を比較することによつて子
音を判別する。

無声破裂音、有声破裂音は破裂点から後続母音
へ遷移する部分に特徴がある。したがつて無声破
裂音群内または有声破裂音群内で細分類を行なう
には破裂点付近の時間的な動きを考慮した類似度
計算を行なうことが必要である。鼻音は母音への
わたりの部分に特徴があり、この部分の時間的動
きを考慮した類似度計算が必要である。流音／
ｒ／は区間全体のスペクトル変化と持続時間に特
徴がある。／ｚ／はバズ部とそれに続く摩擦部を
有することに特徴がある。

このように各子音群によつて特徴部には差異が
あるが、特徴点を基準とした時間的な動きが重要
な情報であることは共通している。特徴点を自動
検出する方法としては、無声子音群は音素の始端
である語頭フレーム、有声子音群は鼻音判定から
母音判定へ変わるフレーム・パワー変化に特徴が
ある子音群はパワーの立上りフレーム、持続時間
の短かい子音群は音素の終端とする。しかし、正
確に特徴フレームを自動検出することは容易では
ない。そこで、自動検出の誤差による誤認識を減
少させるために自動検出した特徴フレームの前後
数フレームにわたつて類似度を計算し、類似度が
最大となるフレームの値をその音素に対する類似
度とする。

次に類似度の計算に関しては、下記式２または
式３ ベイズ判定に基づく距離： P_i＝１／（2π）ｄ／２・｜Σ｜１／２・exp｛−１／
２（〓−〓_i）^T・Σ^-1・（〓−〓_i）｝…式２ マハラノビス距離： L_i＝（〓−〓_i）^T・Σ^-1・（〓−〓_i） …式３ を使用して、時間的な動きを考慮した類似度を計
算する。すなわち、類似度計算に使用するデータ
として単一フレームの特徴パラメータでなく、複
数フレーム（いまｌフレームとする）の特徴パラ
メータを使用する。式１または式２で 入力特徴パラメータ 〓＝（x₁ ⁽¹⁾，x₂ ⁽¹⁾…x_d ⁽¹⁾，x₁ ⁽²⁾，x₂ ⁽²⁾…x_d ⁽²⁾…
，
x₁(l)，x₂(l)，…x_d(l)） 標準パターンの平均値 μ＝（μ₁ ⁽¹⁾，μ₂ ⁽¹⁾，…μ_d ⁽¹⁾，μ₁ ⁽²⁾，μ₂ ⁽²⁾，
…μ_d ⁽²⁾，
…，μ₁(l)，μ₂(l)，…μ_d(l)） のようにｄ×ｌ次元のデータを用いる。共分散行
列Σも同様にｄ×ｌ次元とする（複雑になるので
記さない）。このように複数フレームのデータを
用いることによつて、パラメータが持つスペクト
ルの特徴とその時間的な変動の特徴を同時に音素
標準パターンと比較することができる。

次に標準パターンの作成法を述べる。標準パタ
ーンは目視によつて音声中から正確に切出した多
くのデータを使用して作成する。

音素標準パターンは、同一音素の多くのデータ
に対し、特徴部に相当するｌフレームのデータを
切り出してｄ×ｌ次元の特徴ベクトルを求め、多
くのデータの平均値と共分散行列を求めることに
よつて音素ごとに作成しておく。

周囲情報の標準パターンは音素群ごとに１種類
ずつ作成する。これは音素群内においては、周囲
情報が各音素に対して共通していることによる。
周囲情報の標準パターンは、このようにその音素
群に対して普遍的な周囲の情報を標準パターン化
したものである。第３図にその作成方法を示す。
特徴部（図の斜線部）の近傍に対し、特徴部に比
較して時間的に十分に長い区間を周囲情報区間Ｌ
として設定する。この中間に対し、図に示すよう
に、ｌフレームの特徴パラメータ（ｄ×ｌ次元）
を１フレームずつシフトさせながら全区間にわた
つて取り出す。このような手続を同一音素群に属
する多くのデータに対して適用し、平均値ベクト
ルと共分散行列を求め、これを周囲情報の標準パ
ターンとする。このように周囲情報の標準パター
ンには特徴部のデータも含まれているが、それよ
りも特徴部の近傍のデータの比重が格段に大きい
ものになつている。

次に、上記の方法で作成した標準パターンを使
用して、大分類されたデータを細分類する具体的
な方法を述べる。

なお、今後の説明では簡単のために式２の距離
尺度を使用し、１つの音素群が２音素（音素１，
音素２）で構成される場合を取りあげる。音素数
が増しても考え方は同様である。

特徴部は前に述べた方法で特徴フレームを検出
し、そのフレームを基準にして大まかな候補区間
を求める。この区間を時間的にt₁〜t₂とする。い
ま時間ｔにおける未知入力ベクトル（細分類され
るべきデータ）を 〓_t（ｔ＝t₁〜t₂） 音素１の標準パターン（平均値）を〓₁ 音素２の標準パターン（平均値）を〓₂ 周囲情報の標準パターン（平均値）を〓_e とし、音素１、音素２および周囲情報の全てに共
通な共分散行列をΣとする。Σは各々の共分散行
列を平均することによつて作成する。

時間ｔにおける未知入力の音素１との類似度
（距離）をL₁・ｔとすると L₁・ｔ＝（〓_t−〓₁）^T・Σ^-1・（〓_t−〓₁）−（
〓_t−〓_e）^T・Σ^-1・（〓_t−〓_e）…式４ 同様に音素２との距離をL₂・ｔとすると L₂・ｔ＝（〓_t−〓₂）^T・Σ^-1・（〓_t−〓₂）−（
〓_t−〓_e）^T・Σ^-1・（X_t−U_e）…式５ とする。これらの式の意味するところは、時間ｔ
における未知入力と音素標準パターンとの類似度
から周囲情報に対する類似度を減じたものを新た
に音素との類似度とすることである。そして式４
および式５の計算をt₁〜t₂の期間を対象として行
ない、L₁・ｔ、L₂・ｔのうち、この期間に最小
となつた方の音素の認識音素とする。

実際には式４、式５は次のように簡単な式に展
開できる（導出は略す）。

L₁・ｔ＝〓₁・〓_t−B₁ 式4′ L₂・ｔ＝〓₂・〓_t−B₂ 式5′ 〓₁、〓₂、B₁、B₂が周囲情報を含んだ標準パタ
ーンである。

上記の方法の意味を第４図によつて概念的に説
明する。

音素区間が第４図ａに示す状況において、子音
の判別を行なう場合を考える。この子音の真の特
徴部（斜線部）に対し、特徴部候補区間Ｔが時間
t₁〜t₂として求められたものとする。ｂは式３に
よつて求めた。音素１（実線）、音素２（斜線）
に対する類似度の時間的変動を示したものであ
る。Ａ，Ｂ，Ｃは類似度が極小となる位置を示
す。真の特徴部（Ｂ点）においては音素１の方が
音素２よりも小さく、この子音は音素１として判
別されるべきである。しかるに、セグメンテーシ
ヨンパラメータによつて自動的に求めた特徴部候
補区間内においては、音素２がＡ点において最小
となるため、このままでは音素２に誤判別されて
しまう。第６図ｃは未知入力の周囲情報の標準パ
ターンと距離を示したものであり、真の特徴部付
近で値が大きくなる。これは、標準パターンが主
に周辺の情報によつて作成されているためであ
る。第６図ｄは周囲情報を含んだ音素標準パター
ンとの距離であり、ｂからｃを減じたものと等価
である。ｄではＡ点よりもＢ点の値が小さくなつ
ており、この子音は正しく音素１として判別され
ることになる。

このように、本実施例の方法を用いることによ
つて、セグメンテーシヨンパラメータで求めた大
まかな特徴部候補区間から、正確に真の特徴部を
自動的に抽出して音素を判別することができる。

なお、上記においては式３を基本とするマハラ
ノビス距離で説明したが、その他の距離において
も同様な方法が使用できる。

また、上記では子音によつて説明したが、時間
的に変動する音素、たとえば半母音に対しても同
様な方法が適用できる。

このように、大分類によつて候補数を絞り、細
分類には自動的に抽出した特徴部を基本として時
間的な動きを考慮した統計的距離尺度で音素を判
別する方法は、音素（特に子音や半母音）の音声
学的な性質を利用した合理的な認識法である。

本実施例によつて、〜の方法でセグメンテ
ーシヨンすることが出来た全語頭子音（／
ｐ／、／ｔ／、／ｋ／、／ｃ／、／ｂ／、／
ｄ／、／ｇ／、／ｍ／、／ｎ／、／ｒ／、／
ｚ／、／ｓ／、／ｈ／）を対象として、平均で約
70.3％の認識率を得た。データは男女計20名がそ
れぞれ発声した212単セツトを使用しており、十
分な信頼性がある。また従来法では子音群内での
細分化が行われていないことを考慮すれば、本発
明による実施例の効果が大きいことがわかる。

発明の効果 以上要約すると、本発明は入力単語の語頭子音
のセグメンテーシヨンを４つの方法を併用して行
ない、これら４つの方法のどの方法によつてセグ
メンテーシヨンされたかによつて語頭子音を無声
子音群、有声子音群、パワー変化に特徴がある子
音群、持続時間の短かい子音群などの複数個の音
素群として認識し、次に前記音素区間中で特徴部
（音素の判別に有効な部分）を自動的に検出し、
前記特徴部に対して前に認識された音素群に属す
る個々の音素の標準パターンとの類似度計算を行
なつて音素を判別することを特徴とする語頭子音
認識方法を提供するもので、 イ 語頭子音の自動セグメンテーシヨンを行つて
高い精度で音素を認識することができる。

ロ 音素判別に対して有効な部分（特徴部）を自
動的にしかも正確に抽出し、マツチングを行な
うことができる。

ハ 従来、判別が難しいとされていた有声破裂音
群内、無声破裂音群内、鼻音群内の細分類を自
動セグメンテーシヨンと組合わせて行なうこと
ができる。

ニ ４つの語頭子音セグメンテーシヨン法の結果
を利用して子音の大分類を行なうためにアルゴ
リズムを簡単にすることが出来る。

等の利点がある。

【図面の簡単な説明】

第１図は従来の音声認識システムの機能ブロツ
ク図、第２図は本発明の一実施例における語頭子
音をパワー変化によつて検出する方法の説明図、
第３図は同実施例の周囲情報標準パターンの作成
法を説明する図、第４図は同実施例の特徴部の検
出及び音素判別を行う方法を説明する図である。 １……音響分析部、２……特徴抽出部、３……
セグメンテーシヨン部、４……音素判別部、５…
…標準パターン登録部、６……単語認識部、７…
…単語辞書。

Claims (1)

1. 【特許請求の範囲】 １ 音声無声判定により語頭子音を検出する第１
   の方法と、母音鼻音判定により語頭子音を検出す
   る第２の方法と、パワーの時間的変化を捕らえて
   語頭子音を検出する第３の方法と、ケプストラム
   距離により語頭子音を検出する第４の方法とを任
   意の順序で適用して入力音声のセグメンテーシヨ
   ンを行うことにより語頭子音を無声子音群、有声
   子音群、パワー変化に特徴がある子音群、持続時
   間の短かい子音群の４つの音素区間として認識
   し、前記音素区間中で特徴部（音素の判別に有効
   な部分）を自動的に抽出し、前記特徴部に対して
   前に認識された音素群に属する個々の音素の標準
   パターンとの類似度計算を行なつて音素を判別す
   ることを特徴とする音素認識方法。 ２ 先ずセグメンテーシヨン用パラメータを使つ
   て特徴部の候補区間を決め、次にその候補区間に
   対して、音素群の周囲情報を含む音素標準パター
   ンを適用することによつて、特徴部の抽出と音素
   の判別を行なうことを特徴とする特許請求の範囲
   第１項記載の音素認識方法。 ３ 標準パターンの類似度計算を、統計的な距離
   尺度を用い、音素の時間的な動きを含む標準パタ
   ーンを使用することを特徴とする特許請求の範囲
   第１項記載の音素認識方法。