JPS6310440B2 - - Google Patents

Description

【発明の詳細な説明】

本発明は、始めに設定した音声区間を対象とし
た音声認識によつて認識不能の結果を得た場合、
新たに音声区間を設定し直して再度音声認識する
ようにした音声認識方法に関する。 音声認識では、一般に単語発声等における音声
区間を検出し、この音声区間の音声を認識単位と
して、特徴行列で表現された標準パターンとの類
似度計算或いは音韻記号系列への変換を経た後の
音韻単語辞書による判定によつて認識される。音
声区間の検出では一般に、音声パワーをあらかじ
め定められた閾値と比較して音声区間の検出を行
う。 第１図は、ある発声語の音声パワーの時間軸変
化を示している。第１図において、ｔは時間、
thrは閾値であり、図のように正しい音声区間が
時点t₁からt₂までであつても、発声音の近くの時
点t₃からt₄において雑音があると、時点t₁からt₄
までが音声区間として検出される。音声区間が誤
つて検出されると認識率は低下する。 一般的には、時点t₂から時点t₃までの無音区間
で区切られた時点t₃から時点t₄までの有音区間が
雑音であるか否かを判定することは困難である。 本発明者らは、種々のシユミレーシヨンを行
い、ある限定された状況の下では、母音性を雑音
であるか否かの尺度とすることができ、この尺度
に基づいて新しい音声区間を設定し直すことによ
つて認識率を向上させ得ることを知つた。 本発明は、この知見に基づき、初めに設定した
音声区間を対象とした認識では認識不能の結果を
得た場合で、且つ無音区間で区切られた有音区間
が最初の音声区間の両端に位置する場合におい
て、その有音区間の母音性を検出し、且つ適当な
基準で判定することによつて雑音であるか否かを
推測し、新しく音声区間を設定し直して再認識さ
せるようにしたものであり、以下詳細に説明す
る。 第２図は、本発明の一実施例を示すブロツク図
であり、この実施例は音韻記号系列へ変換した
後、音韻単語辞書による判定によつて音声を識別
する形式に適用したものである。第２図におい
て、マイク１により電気信号に変換された音声信
号は周波数分析部２に送出され短区間パワースペ
クトル情報の検出が行われる。周波数分析部２は
前置増幅器、各中心周波数が対数目盛で等間隔に
設定されたバンドパスフイルタ群、全波整流器
群、ローパスフイルタ群、アナログマルチプレク
サ回路、AD変換器、リードオンメモリで構成さ
れた対数変換部からなり、10msの標本化周期で、
又周波数・振幅共に対数目盛で、音声信号のスペ
クトルデータを検出し、スペクトルデータ正規化
部３へ送る。スペクトルデータ正規化部３へのス
ペクトルデータをxi（ｉはフイルタ番号で、ｉ＝
１，２…，ｎ）とする。スペクトルデータ正規化
部３では、標本化周期でスペクトルデータxiを受
取る毎に、声帯音源特性を一次関数でモデル化し
た正規化スペクトルデータx^*を作成すると共に、
スペクトルデータxiの平均値及び正規化スペク
トルデータx^*ｉの加算値ｓを作成する。 声帯音源特性の一次関数を(1)式で示す。 yi＝ａ・ｉ＋ｂ ……(1) 声帯音源特性を表わすyiをスペクトルデータxi
の最小二乗近似直線とすると、(1)式の係数ａ，ｂ
は(2)式を最小とする係数である。 ｅ＝_o 〓ⁱ⁼¹ （xi−yi）²＝_o 〓ⁱ⁼¹ ｛xi−（ａ・ｉ＋ｂ）｝² ……(2) すなわち∂e／∂a＝０，∂e／∂b＝０として(3)式
の如く、ａ，ｂを計算する。 正規化後の正規化スペクトルデータx^*ｉは次
の(5)式によつて作成する。 x^*ｉ＝xi−yi ……(5) 但し、yi＜０の場合はyi＝０とする。 なお、声帯音源特性の一次関数モデル化による
スペクトル正規化については、電子通信学会、信
学技報vo1，79No.141「非線形スペクトルマツチン
グによる単語音声認識の一方式」を参照された
い。 スペクトルデータxiの平均値は次の(6)式によ
つて、又正規化スペクトルデータx^*ｉの加算値
ｓは次の(7)式によつて作成する。 ＝（_o 〓ⁱ⁼¹ xi）／ｎ ……(6) ｓ＝_o 〓ⁱ⁼¹ ｜x^*ｉ｜ ……(7) スペクトルデータ正規化部３は(3)，(5)，(6)，(7)
式のx^*ｉ，ａ，，ｓを標本化周期毎に計算し
て、特徴レジスタ４へ送る。特徴レジスタ４は、
入力されるx^*ｉ，ａ，，ｓを順次格納する。
これらの系列を、ｋを標本化番号（時間変数）と
して、x^*ｉ(k)，ａ(k)，(k)，ｓ(k)とする。音声
区間検出部５は、特徴レジスタ４から平均値系列
ｘ(k)を読み出し、ある閾値以上の区間を求め、発
声された音声の時間軸上の始端と終端を決定す
る。音韻分類部６は、音韻識別における大分類的
情報として用いるため、及び新しい音声区間設定
における母音性判定に用いるため、音声区間の各
スペクトルデータxiを無音部、子音部、母音部に
分類する。音韻分類部６はまず無音部決定のた
め、平均値系列(k)に対し、音声区間検出部５で
検出された始端から時系列方向に終端まで(8)式の
計算を行い、Δ(k)が最初にΔ(k)＜cx（定数）
を満足する標本化番号ｋをksとし、最後にΔ
(k)＞cxを満足するｋをkeとする。 Δ(k)＝（ｋ＋１）−(k) ……(8) 次に再び平均値系列(k)に対してksからkeま
で順次参照して平均直系列(k)における最小値
Vmin＝｛（ks），（ks＋１），…，（ke）｝
を求める。VminCmin（定数）の場合は無音部
（無音とはイチ等の発声でイ→チの間で音声の一
瞬とぎれる部分をいう）は無しと判定するが、
Vmin＜Cminの場合は、(9)式の如く無音閾値
Cthvを決定する。 Cthv＝Vmin＋α（定数） ……(9) 但し、Cthvβ（定数）の場合、Cthv＝βある
いはCthγ（定数）の場合はCthv＝γとする。 （γαβである）。このようにして決めた
閾値Cthvを用いてもう一度平均値系列(k)をｋ
＝ksからkeまで読み出し、(10)式を計算する。 (k)Cthv ……(10) (10)式を満足する標本化番号ｋのスペクトルデータ
xi(k)が無音部である。 次に子音部の検出を行う。子音部はその周辺で
パワーが小さくなることに着目して平均値系列
(k)の始端から終端まで読み出して(11)，(12)式を計算
する。 Δｆ(k)＝（ｋ＋Δk）−(k) ……(11) Δｂ(k)＝（ｋ−Δk）−(k) ……(12) Δｆ(k)Cthv且つΔｂ(k)Cthv且つ(k)
＞Cthvを満足するｋが子音部である。但し、Δk
１の定数。Δkは標本化周期で異なるが、あま
り時間軸の精度を上げると細かい凹凸を検出する
ので30〜80ms程度に合わせるのが良い。 又、摩擦音等ではスペクトルの傾きが正の極性
を示すことに着目してａ(k)Ca（定数）でかつ無
音部でない場合、標本化番号ｋのものを子音部と
する処理を補助的に設ける。 鼻音等は子音のホルマントが強く出ない点に着
目してｓ(k)Cb（定数）で、且つ無音部でない場
合、標本化番号ｋのものを子音部とする処理を補
助的に設ける。 無音部、子音部と判定された標本化番号ｋのも
のを除いた部分を母音部と判定する。これら無音
部、子音部、母音部の判定データ系列ｚ(k)は標本
化番号対応で特徴レジススタ４に記憶される。 識別部７は、特徴レジスタ４から正規化スペク
トルデータ系列x^*ｉ，判定データ系列ｚ(k)等を
読み出し、又、音声区間検出部５から音声区間の
始端と終端の情報を受け取り、識別動作を実行す
るが、認識結果が認識不能（対象無し）となつた
場合、音声区間変更部８では音声区間の細区分を
行う。音韻分類部６にて検出され、且つ特徴レジ
スタ４に記憶されている判定データ系列ｚ(k)を読
み出し、連続する無音部、又は有音部（無音部以
外）を一つの区間とする。 第３図は、ある発声音の平均値系列(k)を示し
たものであり、無声区間閾値Cthvよりも小さい
第２，４区間が無音区間であり、その他の第１，
３，５区間が有音区間である。もし無音部の区分
が存在しなければ雑音は無しとして認識の再試行
は行わないが、無音部が存在する場合、時間軸上
の最初と最後の有音区分について検査する。第３
図の場合は第１区間と第５区間である。各々の区
間内で母音部と判定された標本点の個数を計算
し、各区間の標本点個数で正規化する。すなわ
ち、第１，５区間の標本点個数をP₁，P₂，母音
部の個数をr₁，r₂とすると正規化個数r^* ₁，r^* ₂を
次の（13）式で求める。 r^* ₁＝r₁／P₁ r^* ₂＝r₂／P₂ ……(13) 正規化個数r^* ₁，r^* ₂を定数Ｒと比較して、次表
に従つて新しい音声区間を設定し、識別部７に再
度認識動作を行わせる。

【表】 すなわち、無声区間で区切られ、且つもとの音
声区間の両端に位置する有音区間が一定値Ｒ以上
の母音性を示す場合には雑音でないと判定して、
そのまま認識不能とし、一方のみ一定値Ｒ以下の
母音性を示す場合には、その有音区間及びそれに
隣接する無音区間を除いたものを新しい音声区間
として再度認識動作を行わせ、両方共に一定値Ｒ
以下の母音性を示した場合にはその値が小さい方
の有音区間及びそれに隣接する無音区間を除いた
ものを新しい音声区間として再度認識動作を行わ
せるものである。 第４，５図はスペクトルデータ正規化部３の詳
細ブロツク図である。第４図にて３００は入力端
子、３０１はバツフアメモリ、３０２はカウン
タ、３０３，３０６，３１１は乗算器、３０４，
３０９は加算器、３０８は減算器、３０５，３１
０，３１４，３１５はレジスタ、３０７，３１
２，３２１はマルチプレクサ、３１３，３１４は
除算器、３１６，３１７，３１９，３２０は出力
端子である。 前記の(3)，(4)式にてｎ及び分子の_o 〓ⁱ⁼¹ ｉ，_o 〓ⁱ⁼¹ i²及
び分母は全て定数である。従つて、まず(3)式の計
算で、分子の計算はバツフアメモリ３０１に一標
本点のｎ個のデータが格納された時点で実行され
る。バツフアメモリ３０１を順次読み出して第１
項の_o 〓ⁱ⁼¹ （ｉ・xi）の演算がカウンタ３０２、加算
器３０４，減算器３０５の部分で実行されると共
に、第２項_o 〓ⁱ⁼¹ xiの演算が加算器３０９，減算器３
１０で実行され、マルチプレクサ３０７及び３１
２で定数ｎ及びΣiが各々選択されて乗算器３０
６，３１１で乗算が、さらに減算器３０８にて第
１項と第２項の減算が実行される。次に定数C₁
がマルチプレクサ３２１で選択され除算器３１３
の除数入力となり除算が実行され、係数ａがレジ
スタ３１４に格納される。(4)式の係数ｂも同じ演
算であり、マルチプレクサ３０７，３１２，３２
１で選択される定数が各々Σi，Σi₂，C₂となる点
が異なり、係数ｂはレジスタ３１５に格納され
る。 但し、 C₁＝ｎ_o 〓ⁱ⁼¹ i²−（_o 〓ⁱ⁼¹ ｉ）² C₂＝−｛ｎ_o 〓ⁱ⁼¹ i²−（_o 〓ⁱ⁼¹ ｉ）²｝ 係数ａ，ｂが求まると、次に第５図の構成にて
(5)式の演算が実行される。第５図にて３５０はカ
ウンタ、３５１は乗算器、３５２，３５７は加算
器、３５３はマルチプレクサ、３５４は制御線、
３５５は減算器、３５６は絶対値回路、３５８は
レジスタ、３５９は出力端子であり、端子３１６
に係数ａが、端子３１７に係数ｂが出力される
と、第４図のバツフアメモリ３０１を順次読み出
し、(5)式及び(7)式の演算を行う。但し、加算器３
５２の出力（ａ・ｉ＋ｂ）の極性がマルチプレク
サ３５３の制御線３５４となつていて極性が負の
場合にマルチプレクサの入力０が出力される。
又、平均値は第４図にて除算器３１８で計算さ
れる。 第６図は、音韻分類部６のブロツク図を示すも
のである。第６図において、(k)，ａ(k)，ｓ(k)は
特徴レジスタに格納したデータ系列、４０３，４
１１はマルチプレクサ、４０４はレジスタ、４０
５は減算器、４０６，４０９，４１２は比較器、
４０７は音韻分類制御部、４０８，４１３は制御
部からの信号線、４０９は比較器４０６の出力信
号線、４１０は加算器である。 まず、音韻分類制御部４０７が平均値系列(k)
を順次読み出し、レジスタ４０４の出力と減算を
行い、結果を比較器４０６にて、音韻分類制御部
４０７からの信号線４０８にて送られた定数Cx
と比較を行う。レジスタ４０４の出力は平均値系
列(k)が読み出された時点で（ｋ−１）の値が
格納されていて(8)式の計算を行つている。比較器
４０６の出力は信号線４０９を通して音韻分類制
御部４０７に送出され、その制御部４０７にて
ks，keが検出される。次に音韻制御部４０７は
平均値系列(k)をksからkeまで順次読み出し、
同じ回路系でVminを検出する。但し、音韻分類
制御部４０７から信号線４０８には“０”が送出
され、最小値検出が実行され、レジスタ４０５に
は最終的にVminが格納される。最小値が検出さ
れると音韻分類制御部４０７はデータ線４０８を
介して閾値Cminを送出してVminとの比較が実
行される。Vmin＜Cminの場合、レジスタ４０
４の出力と定数αの加算結果と定数β及びγとの
比較が加算器４１０、マルチプレクサ４１１、比
較器４１２で実行され、結果が音韻分類制御部４
０７に送出され、音韻分類制御部４０７ではその
結果からCthvを決定し、データ線４１３を通し
てCthvが送出され、平均値系列(k)をksからke
まで順次読み出し比較器４１４で比較して無音部
の決定を行う。 次に、子音部の決定は音韻分類制御部４０７に
て、平均値系列(k)を始端から順次(11)，(12)式の演
算を行うように読み出し、Δｆ(k)あるいはΔ
ｂ(k)を順次レジスタ４０５に格納しつつ、信号線
４０８を介して定数Cthvを送出して比較し、同
時に信号線４１３にてCthvを送出し、比較器４
１４にて(k)との比較を行い子音部の決定を行
う。又、同様に、バツフアメモリ４０１，４０２
を順次読み出し信号線４１３にて各々定数Ca，
Cbを送出して比較器４１４で比較することによ
り子音部が完全に決定される。 無音部、子音部を除いた標本点を母音部とす
る。無音部、子音部、母音部の判定データｚ(k)は
音韻分類制御部４０７を介して特徴レジスタ４へ
送られ、記憶される。 以上説明したように、この実施例では母音性の
含まれている割合で雑音性を判断して雑音部分を
取り除くことができるので、認識不能が雑音によ
り生じた場合、取り除いて認識することにより認
識を可能とする利点がある。 なお、前記実施例ではスペクトルの最小二乗近
似値線を用いて母音性を判定しているが、高域と
低域の周波数成分を比較しても十分効果が生じ
る。この場合、低減のパワーPl、高域のパワー
Phとすると、 Ｐ_n 〓ⁱ⁼¹ xi Ph_n 〓^i=m+1 xi 但し、１＜ｍ＜ｎである。 Ph／ＰTHP（但しTHP１の定数）の場
合子音部とする。

【図面の簡単な説明】

第１図は、ある発声語の音声パワーの時間軸変
化を示す図、第２図は、本発明の一実施例を示す
ブロツク図、第３図は、ある発声語の平均値系列
を示す図、第４図と第５図は、第２図におけるス
ペクトルデータ正規化部の詳細なブロツク図、第
６図は、第２図における音韻分類部の詳細なブロ
ツク図である。 １……マイク、２……周波数分析部、３……ス
ペクトルデータ正規化部、４……特徴レジスタ、
５……音声区間検出部、６……音韻分類部、７…
…識別部、８……音声区間変更部、３００……入
力端子、３０１……バツフアメモリ、３０２……
カウンタ、３０３，３０６，３１１……乗算器、
３０４，３０９………加算器、３０８……減算
器、３０５，３１０，３１４，３１５……レジス
タ、３０７，３１２，３２１……マルチプレク
サ、３１３，３１４……除算器、３１６，３１
７，３１９，３２０……出力端子、３５０……カ
ウンタ、３５１……乗算器、３５２，３５７……
加算器、３５３……マルチプレクサ、３５４……
制御線、３５５……減算器、３５６……絶対値回
路、３５８……レジスタ、３５９……出力端子、
ｘ(k)，ａ(k)，ｓ(k)……データ系列、４０３，４１
１……ヤルチプレクサ、４０４……レジスタ、４
０５……減算器、４０６，４０９，４１２……比
較器、４０７……音韻分類制御部、４０８，４１
３………信号線、４０９……出力信号線、４１０
……加算器、４１３……データ線、４１４……比
較器。

Claims (1)

【特許請求の範囲】
1. １ 音声区間を検出する段階と、当該音声区間で
   切り出された音声を対象として認識する過程と、
   当該過程で認識不能であつた場合、前記音声区間
   を変更して再度認識する再認識過程とを有する音
   声認識方法において、前記音声区間に存在する無
   音区間を検出する過程と、無音区間に隣接した区
   間であつて前記音声区間の両端に位置する各有音
   区間の音声を対象として、その母音性を検出する
   過程と、当該母音性検出量が一定の形式を満足し
   たことを判定して前記有音区間の一方と、それに
   隣接した前記無音区間とを前記音声区間から除い
   たものを新しい音声区間として設定する過程と、
   この新しい音声区間の音声を対象として認識する
   前記再認識過程とを備えていることを特徴とした
   音声認識方法。