JPS6295597A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、例えば特定話者の連続に発声された音声木
刀を認識するのに適用される連続音声認識装置に関する
。

〔発明の（既要］ この発明は、連続音声認識装置において、連続に発声さ
れた音声中の無声区間、有声区間及びパワー区間に基づ
いてセグメンテーションし、固有の音韻的特徴が保存さ
れた区分語区間単位で認識処理を行うことにより、前車
でかつ認識率の高い連続音声認識を可能にしたものであ
る。

〔従来の技術〕

従来の連続音声認識装置においては、連続に発声された
連続スペクトルにおいて、各フレームまたは？Ｍ数フレ
ームの平均化したフレームを個々に音声素片として抽出
し、素片華位で標準パターンメモリに登録し、素片単位
でマツチング等にて類似性を判定する。そして、得られ
た素片列を記号化し、連続スペクトルに対応した素片列
記号及びこの素片列から単音節を推定することにより得
られる単音節記号列等から構文解析的手法によって連続
単語または文を判定するものが知られている。

また、他の連続音声認識装置として、連続音声の定常部
分を母音素として抽出し、他の過渡的部分を種々の子音
性音素として抽出し、この定常部及び過渡部と予め登録
された母音素及び子音素との間においてマツチング等に
て類似度を求め、子音及び母音を判定し、これらの子音
と母音の組み合わせ等により構成される単音節及び単語
及び文等を規約または構文的解析手法により判定するも
のが知られている。

〔発明が解決しようとする問題点〕

しかし、連続に発声される音声は、音声器官が連１倚的
になめらかに動かされて調音されるため音素と音素の中
間部において音響的性質が連続的に推移する。このため
、前述した素片単（ヴでの抽出に基づく方式では、前の
素片や音節の影響等によよて極めて様々にスペクトルが
変形され、素片の判定は極めて難しい。まγこ、連続音
声中では音節の脱落やスペルトルの変形が著しく、音素
及び音節単位での抽出に基づく方法では、実用化できる
程認識率を高めることが容易にできなかった。

従って、この発明の目的は、連続に発声された音声の音
韻的特徴が保存された形で、連続音声を区分語区間に分
割し、区分語区間華位で認識処理することにより、簡単
でかつ容易に連続音声を認。

識することができる連続音声認識装置を提供することに
ある。

〔問題点を解決するための手段］ この発明は、話者により連続に発生された入力音声信号
を周波数スペクトルに変換し、スペクトルデータの時系
列フレームデータを得ると共に、入力音声信号中のパワ
ー区間、有声区間及び無声区間を夫々検出し、パワー区
間に含まれる有声区間及び無声区間に基づいて時系列フ
レームデータを分割して区分語区間の区分語を形成し、
区分語区間から区分語特敬パターンを抽出し、区分語特
散パターンを用いて人力音声信号を認識するようにした
ことを特徴とする連続音声認識装置である。

〔作用〕

区間検出回路６において、話者により連続に発声された
音声信号のパワー区間、有声区間及び無声区間が検出さ
れ、夫々の区間に対応する判別データが発生され、この
判別データが区分語セグメンテーション回路７に供給さ
れる。音響分析器５からの時系列フレームデータが区分
語セグメンテーション回路７において区間検出回路６か
らの判別データに基づいてパワー区間に含まれる無声区
間及び有声区間の組み合わせ区間に分割され、時系列フ
レームデータが固有の音韻的特徴が保存された形の区分
語区間単位とされ、区分語パターン抽出器８に供給され
る。区分語特徴パターン抽出器８において、区分語区間
を構成するフレームデータ中の特徴的なフレームデータ
の抽出処理がなされる。無声区間においては、所定時間
間隔でフレームデータが抽出され、有声区間においては
ベクトル軌跡に沿ってフレームデータが抽出され、それ
ら抽出されたフレームデータにより区分語特徴パターン
が形成され、この区分語特徴パターンが用いられてパタ
ーンマツチングがなされる。

〔実施例］ 以下、この発明の一実施例を図面を参照して説明する。

第１図は、この発明の一実施例を示すもので、第１図に
おいて１が音声入力部としてのマイクロホンを示してい
る。

話者により連続に発声される音声がマイクロホン１に入
力され、マイクロホン１からのアナログ音声信号がフィ
ルタ２に供給される。フィルタ２は、例えばカットオフ
周波数７．５Ｋ）Ｉｚのローパスフィルタであり、音声
信号がフィルタ２において、音声認識に必要とされる７
、５Ｋｌ（ｚ以下の帯域に制限され、この音声信号がア
ンプ３を介してＡ／Ｄ変換器４に１共給される。

Ａ／Ｄ変換器４は、例えば、サンプリング周波ｖｊ１２
．５　ＫＨｚ、（Ｄ　８　ヒツトＡ／　Ｄ変換！テアリ
、音声信号がＡ／Ｄ変換器４において、アナログ−ディ
ジタル変換されて８ビツトのディジタル信号とされ、音
響分析器５に供給されると共に、区間検出回路６に供給
される。

音響分析器５は、音声信号を周波数スペクトルに変換し
て、例えばＮチャンネルのスペクトルデータ列を発生す
るものである。音響分析器５において、音声信号が演算
処理により周波数スペクトルに変換され、例えば、対数
軸上で一定間隔となるＮ個の周波数を代表値とするスペ
クトルデータ列が得られる。従って、音声信号がＮチャ
ンネルの離散的な周波数スペクトルの大きさによって表
現される。そして、単位時間（フレーム周期）毎にＮチ
ャンネルのスペクトルデータ列が一つのフレームデータ
として出力される。即ち、フレーム周期毎に音声信号が
Ｎ次元ヘクトルにより表現されるパラメータとして切り
出され、区分語セグメンテーション回路７に供給される
と共に、区間検出回路６に供給される。

区間検出回路６において、入力音声信号中のパワー区間
、有声区間及び無声区間の検出が行われる。パワー区間
の検出が音声信号のバワーレヘルに対してｊｍｌ囲ノ１
′ズ等の混入を考慮した所定レヘルのしきい値でもって
なされる。また、有声区間及び無声区間の検出がピッチ
波の有無によってなされる。つまり、音声中の有声音は
、肺から送り出される呼気が声帯の振動によって脈流的
に断続されたものであるためピッチ波が含まれ、無声音
は、調音器官、とくに舌先、歯、唇などによって形づく
られる狭い空間を肺から送り出される呼気が通り抜ける
ときに住する空気の乱流によって発生するため、ピッチ
波が含まれない。このため、例えば、音響分析器５から
順次供給される時系列フレームデータの周波数の低いチ
ャンネルに関する相関が求められることにより、ピッチ
波の有無が検出され、ピッチ波を含む区間が有声区間と
され、ピッチ波を含まない区間が無声区間とされる。

パワー区間、有声区間及び無声区間が検出されることに
より、区間検出回路６において夫々の区間に対応する判
別データが発生され、この判別データが区分語セグメン
テーション回路７に供給される。

区分語セグメンテーション回路７には、例えば、連続音
声の終端に対応するフレームを［−１とした場合、第２
図に示すように、各々がチャンネル０〜チャンネルＮ−
１のデータにより構成されるフレームデータがＯフレー
ムからＩ−１フレームまで供給される。区分語セグメン
テーション回路７において、０フレーム〜Ｉ−１フレー
ムまでの時系列フレームデータが区間検出回路６からの
判別データに基づいて、固有の音韻的特徴が保存された
区分語区間単位に分割される。まず、パワー区間単位で
時系列フレームデータが分割され、パワー区間の全てが
有声または無声区間の場合には、そのパワー区間が区分
語区間とされる。また、パワー区間内において有声区間
の前部に無声区間がある場合には、その無声区間と有声
区間とが区分語区間とされ、無声区間と有声区間との組
み合わせ区間がパワー区間内に複数個存在する場合には
、夫々の組み合わせ区間が区分語区間とされる。

連続音声の時系列フレームデータが区分語区間単位に分
割されると共に、夫々゛のフレームデータに有声／無声
の判別データが付加された形で、区分語特徴パターン抽
出器８にフレームデータが供給される。

区分語特徴パターン抽出器８において、有声／無声の判
別データに基づいて区分語区間を構成するフレームデー
タ中の特徴的なフレームデータの抽出処理がなされ、時
系列フレームデータが圧縮される。

各区分語区間中の無声区間においては、適当に設定され
た所定時間間１鳴でフレームデータが抽出される。また
、有声区間においては、有声区間を構成するフレームデ
ータの隣り合うフレーム間の距離が計算される。例えば
各チャンネルに関してのスペクトルデータの差の絶対値
の総和がフレーム闇路Ｚ＃とされる。更に、フレーム間
距離の総和が求められ、有声区間の始端となるフレーム
から終端となるフレームまでのＮ次元ベクトルの軌跡長
が求められる。求められた軌跡長が所定の分割幅でもっ
て分割され、その分割点に対応したフレームデータのみ
が抽出される。この処理により、有声区間が話者の発声
速度変動に影響されることがないように時間軸が正規化
される。

つまり、区分語区間が全て無声区間である場合には、所
定時間間隔で抽出されたフレームにより区分語特融パタ
ーンが形成され、区分語区間が全て有声区間である場合
には、ベクトル軌跡に沿って抽出されたフレームにより
区分語特徴パターンが形成される。また、区分語区間が
無声区間と有声区間とから成っている場合には、無声区
間から所定時間間隔で抽出されたフレームとを声区間か
らベクトル軌跡に沿って抽出されたフレームとにより区
分語特徴パターンが形成される。

これらの区分語特徴パターンが登録時においては、モー
ド切替回路９を介して標準区分語パターンメモリ１０に
供給され、＋Ｂ準区分語パターンとして記１ｇされる。

また、この時図示せずも、連続音声に対応した音韻を表
すローマ字等の記号が入力され、区分語単位の区分語記
号列データとされ、標単区分語パターンの夫々に対応し
た形でこの区分語記号列データが標準区分語パターンメ
モリ１０に記イ意され、登録がなされる。

また、認識時においては、入力連続音声信号が前述した
処理を経て、複数の区分語特徴パターンとされモード切
替回路９を介して区分語パターンマツチング判定ＲＷＩ
Ｉに供給され、入力区分語パターンとされる。入力区分
語パターンと標゛準区分語パターンメモリ１０に登録さ
れている標小区分語パターンとの間においてパターンマ
ツチングが行われる。

区分語パターンマツチング判定器１）において、入力区
分語パターンと比較の対象とすべき標準区分語パターン
の予備選択がなされる。例えば、入力区分語パターンを
構成するフレームが全て無声音データと判断される場合
には、登録されている標準区分語パターン中の無声音デ
ータのみにより構成される区分語パターンが比較の対象
とされる。

また、入力区分語パターンを構成するフレームが全て有
声音データと判断される場合には、登録されている標準
区分語パターン中の有声音データのみにより構成される
区分語パターンが比較の対象とされる。ま１こ、無声音
データと有声音データとにより人力区分語パターンが構
成されている場合には、登録されている標準区分語パタ
ーン中の無声音データ及び有声音データにより構成され
る区分語パターンが比較の対象とされる。

人力区分語パターンを構成するフレームと比較の対象と
される標準区分語パターンを構成するフレームとの間に
おいで、フレーム間距離が求められ、その総和がマツチ
ング距離として算出される。

また、無声音データと有声音データとにより構成される
区分語パターンの場合には、例えば互いの無声音データ
若しくは有声音データのどちらが一方の部分的なマツチ
ング距離が先に算出され、求められたマツチング距離に
基づいて更に比較の対象とすべき標準区分語バクーンの
選択がなされ、その選択された標準区分語パターンにつ
いてのみ、全体的なマツチング距離が算出される。

夫々比較の対象とされる標単区分語パターンに関して求
められたマツチング距離のうちで最小で　　・かつ十分
に距離が近いものと判断される標準区分語パターンに対
応する区分語記号列データが連続音声生成回路１２に供
給される。また、マツチング距離が最小でも距離が十分
に近いと判断できない場合には、マツチング距離の近い
もの順で複数の区分語記号列データが連続音声生成回路
１２に供給される。

連続音声生成回路１２において、区分語パターンマツチ
ング判定器１）から順次供給される区分語記号列データ
が時系列上に連結される。複数の区分語記号列データが
供給された場合には、構文的手法、例えば木探索により
、前後の区分語の関係において、複数の区分語候補中の
信卸度の高いものが！！訳され、それら区分語が連結さ
れることにより形成された連続音声記号が認識結果とし
て出力される。

上述のこの発明の一実施例の動作を更に詳しく説明する
。例えば、第３図Ａに示す連続音声波「はなしがわかる
ｊがマイクロホン１に入力されたとする。

区間検出回路６において、パワー区間の検出がなされる
。この場合においては、第３図Ｂに示すように、連続音
声中の音声パワーレベルが低下する「な」「シ」の間及
び「わヨ　「か」の間以外の区間がパワー区間とされる
。

また、区間検出回路６において宵宮／無声区間の検出が
なされ、有声区間が第３図Ｃに示すように「はな」中の
ｒＡＮＡｊ区間「しがね」中の口ＩＧＡＷＡｊ及び「か
る」中のｒＡＲＵｊが有声区間とされる。無声区間が第
３図りに示すように「はｊ中のｒ　Ｈ４の区間、ｒ　Ｌ
　ｊ中の「Ｓ」の区間及び「か」中の「Ｋ」の区間が無
声区間とされる。

音響分析器５において、連続音声［はなしがわかるヨに
対応して形成された時系列フレームデータが、区分語セ
グメンテーション回路７において、第３図Ｅに示す夕・
イミングで分割され、「はな」。

「しがわ」及び「かる」の３　（ＩＩＩの区分語区間に
分割される。

得られた夫々の区分語区間を構成するフレームデータは
、各チャンネルを基底とするヘクトル空間上で時系列的
に例えば第４図Ａ、第４図Ｂ及び第４図Ｃに示す如く原
点（図中墨点）を始点として軌跡を描くものである。第
４図Ａが田よな」の区分語区間のベクトル軌跡を示し、
第４図Ｂが「しがわ」の区分語区間のベクトル軌跡を示
し、第４図Ｃが［かる」の区分語区間のベクトル軌跡を
示すもので、図中破線が無声区間とされ、実線部が有声
区間とされている。

区分語特徴パターン抽出器８において、特（孜データの
抽出処理がなされる。第４図Ａ、Ｍ４図Ｂ及び第４図Ｃ
に示す破線の区間においては、所定時間間隔でフレーム
データが抽出され、実線の区間においては、ベクトル軌
跡上で等間隔となる点（図中、短実録で示す）に対応す
るフレームデータが抽出される。つまり、「はな」の区
分語区間の「Ｈ」、・−しがね」の区分語区間の「Ｓ」
。

「かる」の区分語区間のｒＫＪの夫々の区間において、
所定時間間隔でフレームデータが抽出され、「はな」の
区分語区間の「Ａ　Ｎ　Ａ　Ｊ　、　　ｒ　シかね」の
区分語区間のｒｌＧＡＷＡｊ、ｒかる」の区分語区間の
ｒＡＲｕ；の夫々の区間において、ベクトル軌跡に沿っ
てフレームデータが抽出される。

これら所定時間間隔で抽出されたフレームデータと、ベ
クトル軌跡に沿って抽出されたフレームデータとにより
「はな」、「シがわ」及び「かる」に対応した区分語特
（孜パターンが夫々形成され、これらの区分語特徴パタ
ーンに基ついてパターンマツチングが行われる。

尚、この発明は、ハードワイヤードの構成に限らず、マ
イクロコンピュータ又はマイクロプログラム方式を用い
てソフトウェアにより処理を行うようにしても良い。

〔発明の効果〕

この発明では、連続に発声された音声信号中のパワー区
間５有声区間及び無声区間が検出され、時系列フレーム
データがパワー区間に含まれる無声区間及び有声区間の
組み合わせ区間に分割されて区分語区間華泣とされ、こ
の区分語区間の無声区間においては、所定時間間隔でフ
レームデータが抽出され、有声区間においては、ベクト
ル軌跡に沿ってフレームデータが抽出され、抽出された
フレームデータにより区分語特徴パターンが形成され、
この区分語特徴パターンが用いられてパターンマツチン
グがなされる。

従って、この発明に依れば、区間全体として固有の音韻
的特徴が保存された有声区間と１！続音声中においても
殆どスペクトル的特（攻が変形しない無声区間のフレー
ムデータにより形成される区分語パターンの両者に基づ
いて認識処理がなされるので、容易に正確に連続音声を
認識することがでる。

【図面の簡単な説明】

第１図はこの発明の一実施例の全体の構成のブロック図
、第２図はこの発明の一実施例における時系列フレーム
データのデータ構成の説明に用いる路線図、第３図はこ
の発明の一実施例におけるセグメンテーションの説明に
用いる波形図、第４図はこの発明の一実施例における特
徴データ抽出処理の説明に用いる路線図である。 図面における主要な符号の説明 にマイクロホン、　５：音響分析器、 ６：区間検出回路、　７二区分語セグメンテーション回
路、　　８：区分語特徴パターン抽出器、９：モード切
替回路、　　ｌＯ：標（セ区分語パターンメモリ、　　
１）；区分語パターンマツチング判定器、　　１２：連
続音声生成回路。 代理人　　　　弁理士　杉　浦　正　知昨東ｊ］７シー
ムテーータ 第２図

Claims (2)

【特許請求の範囲】
1. （１）話者により連続に発生された入力音声信号を周波
   数スペクトルに変換し、スペクトルデータの時系列フレ
   ームデータを得ると共に、上記入力音声信号中のパワー
   区間、有声区間及び無声区間を夫々検出し、上記パワー
   区間に含まれる上記有声区間及び上記無声区間に基づい
   て上記時系列フレームデータを分割して区分語区間の区
   分語を形成し、上記区分語区間から区分語特徴パターン
   を抽出し、上記区分語特徴パターンを用いて上記入力音
   声信号を認識するようにしたことを特徴とする連続音声
   認識装置。
2. （２）上記区分語特徴パターンは、上記有声区間のみを
   軌跡に沿って時間軸正規化して抽出された上記有声区間
   のフレームデータ及び又は上記無声区間のみを所定の時
   間間隔で抽出された上記無声区間のフレームデータとか
   らなることを特徴とする特許請求の範囲第１項記載の連
   続音声認識装置。