JPH0568717B2

JPH0568717B2 -

Info

Publication number: JPH0568717B2
Application number: JP5843784A
Authority: JP
Inventors: Makoto Morito; Yukio Tabei; Masao Takeuchi; Akihiko Fujisawa
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1984-03-28
Filing date: 1984-03-28
Publication date: 1993-09-29
Also published as: JPS60203993A

Description

【発明の詳細な説明】（技術分野）本発明は音声認識方法に関し、具体的には単語
入力音声の終端の確認を待たないで、入力音声の
始端検出から認識動作を開始するようにした音声
認識方法に関する。

（背景技術）音声認識方法の一形式として、各標準音声に対
応して周波数成分のフレーム時系列として標準パ
ターンを記憶しておき、入力音声から同じく周波
数成分のフレーム時系列として入力パターンを抽
出し、入力パターンと各標準パターンとの非類似
度を計算し、その非類似度に基づいて入力音声を
識別する方法が知られている。

一例として、沖研究開発第118号第53頁、昭和
57年12月、に開示されている。このような方法に
おける標準又は入力の音声パターンは、通常、規
則的にフレームを設定して周波数分析し、対数変
換と最小自乗近似直線を用いた声帯振動特性等の
正規化とを経て、周波数成分のフレーム時系列と
して表現したものを用いる。

また、入力パターンと各標準パターンとの非類
似度を計算するためにマツチングパスを設定する
方法としては、動的計画法を用いたDPマツチン
グ法と前記文献に見られるような本質的に線形な
マツチング法とが知られている。構成の簡易化の
観点からは、線形マツチング法が有利であるが、
第１図に例示した如く、単語の発声速度は変動が
きわめて大きく、個人差があると共に心理状態や
状況によつても変動し、標準という感覚のもとで
すら20％〜40％の発声長のばらつきが見られ、何
等かの工夫が必要である。線形マツチング法には
種々の形式が提案されているが、前記文献に限ら
ず、そこでは入力音声の終端を検出したのち、マ
ツチングパスを設定していて、認識応答の面では
問題があり、入力パターンも始端から終端を確認
するまで記憶しておく必要がある。

（発明の目的）本発明の目的は、入力音声の始端を検出して直
ちにマツチング動作を開始させることによつて認
識速度を高め、且つ発声速度変動を予想してマツ
チングパスを設定することによつて発声速度の変
動を吸収することにある。

（発明の概要）本発明の第１の特徴は、入力パターンの各フレ
ーム毎にマツチング処理を行ない、各フレーム毎
に各標準パターンの各マツチングパスに対応した
非類似度を更新記憶するようにしたことにある。

まず、音声の有音状態の検出は音声パワーを用
いる方法を用いることができる。この場合音声の
始端検出はフレーム電力Ｐ(j)（但しｊは入力パタ
ーンのフレーム番号）があらかじめ定められた閾
値を越えた時点を始端と考える。但し外部からの
雑音などにより音声入力が行なわれていなくとも
電力Ｐ(j)が閾値を越えてしまい、誤つた始端とす
る場合がある。そのため、ともかくフレーム電力
Ｐ(j)が閾値を越えたフレームを始端と考え認識処
理を開始するものの連続して３フレーム以上フレ
ーム電力が閾値を越えなければその入力フレーム
を音声の始端とは考えず認識処理を中断し始端検
出のための処理へともどる。但し、フレーム長を
16ｍsecとしている。ここで音声の始端からフレ
ーム電力が閾値を越えたフレームの番号付けを定
義しｈ番目の音声フレームと称し、単なる入力フ
レーム番号とは区別する。すなわち、音声フレー
ム番号ｈの音声フレームは、有音区間でｈ番目の
入力フレームに対応する。

発声速度の正規化を行なうマツチング処理を音
声の始端から開始し、音声分析部出力が得られる
周期（フレーム周期）ごとに行なえれば音声分析
部のデータを始端からすべて格納しておく必要も
なく、また、反応時間も速くなる。

本発明の第２の特徴は発声がおそく行なわれた
場合、標準的に行なわれた場合、はやく行なわれ
た場合を想定したマツチングパスを設定しそれぞ
れのマツチングパス上でのマツチング処理を行な
うことにある。音声の始端検出時点では今から入
力される単語の発声速度は不明である。そこで発
声がおそく行なわれた場合、標準的に行なわれた
場合、はやく行なわれた場合を想定したマツチン
グパスを設定し、それぞれのマツチングパス上で
マツチング処理を行なえば終端検出前からでもマ
ツチング処理が開始可能となる。もちろん、この
場合、入力の終端と標準パターンの終端が一致す
るパスが存在する可能性は少ないが、入力の終端
と標準パターンの終端が最も一致しているパス上
での非類似度が最小となることが予想される。

一方、単語には「イチ」の「イ」と「チ」の間
のように単語内にフレーム電力が閾値に満たない
部分すなわち無音状態のフレームを持つ単語があ
る。のような部分を「パワーデイツプ」と称す
る。このパワーデイツプの長さは単語によつて異
なるが通常30フレーム長を越えることはほとんど
ない。音声の始端を検出後、あるフレーム時間点
においてそのフレーム電力が閾値未満すなわち無
音状態となつた場合、そのフレーム時間点はパワ
ーデイツプの始まりなのか、音声の終端なのかは
判断がつかない。この判定は通常、その時点から
30フレームの間に音声の始端条件（３フレーム以
上連続してフレーム電力が閾値以上）を満足する
フレームが存在するかしないかによつて行なうた
め最大30フレーム後でなければ判断が下されな
い。従つて、フレーム電力が閾値未満となつた場
合のマツチング結果は何らかの形で保留されなけ
ればならない。本発明では、音声フレーム番号の
更新を停止して、フレーム電力が閾値未満すなわ
ち無音状態となつたフレームに対してはマツチン
グ処理を停止することによりこの問題を解決す
る。

第２図ａは本発明による音声認識方法における
入力パターンと標準パターンとのマツチングを行
なう複数のマツチングパス例を示した図、第２図
ｂは入力パターンのフレーム電力例を示した図、
第２図ｃは入力パターンと標準パターンとの各マ
ツチングパスにおける非類似度Dn(j)、D′n(j)、
D″n(j)の例を示した図である。

第２図ａにおいては発声速度の範囲を例えば±
20％と考え、マツチングパスを３本設定した場合
を示している。第２図ａにおいて、横軸は入力パ
ターンのフレーム番号を表わす。また、縦軸は標
準パターンのフレーム番号を表わし、ｎ番目の標
準パターンSnを例として考え、そのフレーム長
をSL(n)とする。１０１は発声を20％遅く発声し
た場合を想定したパス、１０２は標準的な発声を
想定したパス、１０３は発声を20％速く想定した
場合のパスを示す。ｊ番目の入力フレームの電力
が閾値以上の場合、３本のパス上での標準パター
ンSnとの距離を次式によつて与える。但し、ｈ
はｊ番目の入力フレーム番号に対応した音声フレ
ーム番号であり、Ｗ（ｉ、ｊ）は入力フレーム番
号がｊでチヤンネル番号がｉ（但し、ｉ＝１〜８）
の入力パターンの成分であり、Sn（ｉ、ｋ）はフ
レーム番号がｋでチヤンネル番号がｉの標準パタ
ーンの成分である。

パス１０１に対する距離 dn(j)＝₈ 〓ⁱ⁼¹ ｜Ｗ（ｉ、ｊ）−Sn（ｉ、ｋ）｜
…第１式但しｋ＝〔１／1.2ｈ〕〔１／1.2ｈ〕≦SL(n) SL(n) 〔１／1.2ｈ〕＞SL(n) パス１０２に対する距離 d′n(j)＝₈ 〓ⁱ⁼¹ ｜Ｗ（ｉ、ｊ）−Sn（ｉ、k′）｜
…第２式但し k′＝ｈ SL(n) ｈ≦SL(n) ｈ＞SL(n) パス１０３に対する距離 d″n(j)＝₈ 〓ⁱ⁼¹ ｜Ｗ（ｉ、ｊ）−Sn（ｉ、k″）｜
…第３式但し k″＝〔１／0.8ｈ〕〔１／0.8ｈ〕≦SL(n) SL(n) 〔１／0.8ｈ〕＞SL(n) 尚、〔〕はガウス記号を示す。

前記の式によればパス１０１においては入力パ
ターンのｊ番目の入力音声フレームと標準パター
ンのｋ番目のフレームの間の距離計算を行なう。
パス１０２においては入力パターンｊ番目の入力
フレームと標準パターンのk′番目のフレームの間
の距離計算を行ない、パス１０３においては入力
パターンのｊ番目の入力フレームと標準パターン
のk″番目のフレームの間の距離計算が行なわれ
る。但し、標準パターンのフレーム番号を示す
ｋ、k′、k″はその標準パターンの長さSL(n)より
大きくなる場合にはSL(n)に制限される。

一方、ｊ番目の入力フレームの電力が閾値未満
の場合、それぞれのパス上での距離dn(j)、d′n
(j)、d″n(j)を強制的に dn(j)＝０ …第４式 d′n(j)＝０ …第５式 d″n(j)＝０ …第６式とすることによりフレーム電力が閾値以下の場合
の非類似度計算を事実上加算しない処理を行な
う。またこのために、標準パターンもパワーデイ
ツプ対応のフレームすなわち無音状態に対応する
フレームを除いた形で蓄積する。

このように、パワーデイツプや標準パターンの
終端以後でのマツチングのように、非類似度とし
て重要でないフレームでは距離を０としているけ
れども、本発明では本質的に線形なマツチングで
ある。

次に入力パターンのｊ番目の入力フレームまで
の非類似度Dn(j)、D′n(j)、D″n(j)が計算される。

パス１０１の非類似度 Dn(j)＝dn(j)＋Dn（ｊ−１） …第７式パス１０２の非類似度 D′n(j)＝d′n(j)＋D′n（ｊ−１） …第８式パス１０３の非類似度 D″n(j)＝d″n(j)＋D″n（ｊ−１） …第９式すなわち、それぞれのパス上でのｊ番目のフレ
ームの非類似度の算出は各チヤンネルごとの距離
（例えば｜Ｗ（ｉ、ｊ）−Sn（ｉ、ｋ）｜）をチヤン
ネル分、ｊ−１番目のフレームに対する非類似度
値（たとえばDn（ｊ−１））に加えることによつ
て得られる。これらの演算はｊ番目のフレームの
入力がなされた時点で行なわれる。ｊ番目の入力
フレームに対する非類似度の算出にあたつてはｊ
番目のフレームの入力パターンデータとそれぞれ
のパスに相当する標準パターンのデータおよび１
フレーム前のｊ−１番目の入力フレームの非類似
度データのみが必要であつて２フレーム以上前の
入力パターンデータは不必要である。そのため、
終端を検出するまでの入力パターンを格納してお
かなければならない線形伸縮マツチング法に比較
しても記憶領域が小さくなる効果が生じる。

第２図ｃは入力パターンと標準パターンとの各
マツチングパターンでの非類似度Dn(j)、D′n(j)、
D″n(j)を示したものであるが、第２図ｃに見られ
るようにフレーム電力が閾値以下となつたとき距
離値を強制的に０にすることにより非類似度Dn
(j)、D′n(j)、D″n(j)は保持される。従つて、終端
における非類似度と終端から30フレームへだてた
入力フレーム（この時点で初めて終端が検出され
る）における非類似度は等しい。

次に、音声の終端を検出した時点（音声の終端
から30フレーム後）から各標準パターンごとに得
られた非類似度によつてカテゴリーの判定が行な
われる。終端検出時点の入力フレーム番号をＪ、
音声フレーム番号をＨとするとｎ番目の標準パタ
ーンに対する各パスの非類似度Dn(J)、D′n(J)、
D″n(J)で与えられる。これらの非類似度の組が標
準パターンの数（Ｎとする）だけ存在する。これ
らの非類似度を用いてカテゴリー判定を行なう。
すなわち、各標準パターンごとに求められた各非
類似度Dn(J)、D′n(J)、D″n(J)全てに対して最小値
を求める。この最小値を与える標準パターンに付
加されたカテゴリが認識結果となる。

（実施例）第３図は本発明におけるマツチング処理と判定
処理を行なう回路構成を示した一実施例である。
以下、その動作について詳細に説明する。

第３図において、５２は始端からの音声フレー
ム数をカウントする音声フレームカウンタで始端
検出時はリセツトパルス５０によつてその内容は
０となり以後入力フレームの電力が閾値を越えた
ときに入力されるカウントパルス５１によつてカ
ウントアツプ動作を行なう。入力フレームの電力
が閾値未満の場合にはカウントパルス５１は付加
されず、音声フレームカウンタ５２の出力は保持
される。音声フレームカウンタ５２の出力である
音声フレーム番号をｈとする。５３はマツチング
の際の数本のパスの種類を表わす信号でパスの数
は３本なので０〜２の値をとる。５４はｈ番目の
音声フレームにおいて各パス上で対応する標準パ
ターンのフレーム番号を与えるROMである。
ROM５４には〔１／0.8ｈ〕、ｈ、〔１／1.2ｈ〕に相当する値が格納されている。ROM５４の出力をｌ
とする。５５は標準パターンの番号を与える標準
パターン番号信号であつてｎとする。標準パター
ンの総数がＮのとき０〜Ｎ−１の値をとる。５６
はｎ番目の標準パターンに対してその標準パター
ンの長さSL(n)を格納するROMである。５７は標
準パターンフレーム番号ｌを出力するROM５４
の出力と標準パターンの長さSL(n)を出力する
ROM５６の内容を比較してｌ≦SL(n)ならば
“１”を、ｌ＞SL(n)ならば“０”を出力するコン
パレータである。５８はコンパレータ５７の出力
が“１”のときはROM５４の出力を、コンパレ
ータ５７の出力が“０”のときはROM５６の出
力を選択するセレクタである。コンパレータ５７
とセレクタ５８によつて１≦SL(n)ならばｌが、
ｌ＞SL(n)ならばSL(n)がセレクタ５８より出力さ
れる動作が行なわれる。セレクタ５８の出力をｋ
とする。５９はチヤンネル番号ｉを与える信号で
ある。６０はチヤンネル番号ｉとセレクタ５８の
出力例えばｋと標準パターン番号信号ｎによつて
アドレツシングされ標準パターンの各成分Sn
（ｉ、ｋ）を出力する標準パターンのメモリであ
る。６１はスペクトル正規化を行なつた１フレー
ム分の入力パターンの各成分Ｗ（ｉ、ｊ）を格納
しておくメモリでチヤンネル番号信号５９によつ
てアドレスが与えられる。６２はメモリ６１の入
力端子であり、図示しないスペクトル正規化部で
スペクトル正規化された入力データＷ（ｉ、ｊ）
が入力される。６３はメモリ６１の出力Ｗ（ｉ、
ｊ）と標準パターンROM６０の出力Sn（ｉ、ｋ）
の間でコントロール信号CONTによつて以下の
値を出力する演算器である。

CONT＝１のとき CONT＝０のとき｜Ｗ（ｉ、ｊ）−Sn（ｉ、ｋ）｜０ …第13式 CONT信号はフレーム電力が閾値以上のとき
は“１”を、閾値未満のときは“０”となる信号
である。６４は加算器、６５はパス信号５３と標
準パターン番号信号５５の値をアドレスとする
RAMであり非類似度Dn(j)、D′n(j)、D″n(j)が格
納されている。７０はRAM６５の出力である非
類似度と後で述べるレジスタ７１の出力を比較し
て２つの信号を出力する最小値選択回路である。
１つは比較した結果のうち小さい方の値を与える
信号であり、この信号はレジスタ７１に格納され
る。もう一方の信号は比較の結果RAM６５の出
力の方が小さければ発するクロツクでありレジス
タ７２の入力クロツクとなる。レジスタ７１は非
類似度の最小値を与えるレジスタであり、フレー
ム周期の始めに非類似度の最大値がセツトされ
る。レジスタ７２は、最小値選択回路７０の出力
パルスによつて標準パターン番号信号を格納する
レジスタで、非類似度最小値を与える標準パター
ンの番号が格納されている。７３は出力端子であ
る。

第３図は以上のごとく構成されており、以下動
作について説明する。

各処理はフレーム電力ｐ(j)が閾値以上となつた
時点から開始されるが、３フレーム以上連続して
フレーム電力Ｐ(j)が閾値以上でなければ処理はリ
セツトされる。音声の始端フレーム前はカウンタ
５２はリセツトパルス５０によつてリセツト状態
にある。また、メモリ６５の値はすべてリセツト
されている。以後、始端検出後の１フレーム周期
内の処理を順次説明する。但し、説明のため入力
フレーム番号はｊとする。ｊ番目の入力フレーム
のフレーム電力が閾値を越えた場合、カウントパ
ルス５１がカウンタ５２に印加され、カウンタ５
２はカウントアツプし音声フレーム番号ｈを出力
する。音声フレーム番号に対応する標準パターン
のフレーム番号はROM５４とROM５６とコン
パレータ５７とセレクタ５８によつて出力され
る。ｎ番目の標準パターンのｋ番目のフレームの
ｉチヤンネルのデータSn（ｉ、ｋ）はROM６０
によつて出力される。一方、メモリ６１には前段
のスペクトル正規化部（図示せず）より出力され
るｊ番目の入力フレームのスペクトル正規化後の
入力データＷ（ｉ、ｊ）が入力端子６２より入力
され格納されている。ROM６０の出力Sn（ｉ、
ｋ）とメモリ６１の出力Ｗ（ｉ、ｊ）はチヤンネ
ル番号信号５９に同期して出力され演算器６３に
おいて第13式に与えられる演算を行なう。演算器
６３の出力とメモリ６５の間で第１式〜第９式に
相当する演算が実行される。実際は第１式〜第９
式の演算は統合された次の形式で行なわれる。

（メモリ６５）←（メモリ６５）＋｜Ｗ（ｉ、ｊ）−Sn（ｉ、ｋ）｜０次に最小値選択回路７０によつてレジスタ７１
に格納されている非類似度とRAM６５より出力
される非類似度のうち小さい方がレジスタ７１に
格納される。と同時にRAM６５の出力の方が小
さければパルスがレジスタ７２に加えられそのと
きの標準パターン番号がレジスタ７２に格納され
る。この処理をすべての標準パターンについて行
なえばそのときの最小非類似度を与える標準パタ
ーン番号がレジスタ７２に格納されることにな
る。

以上の処理は１フレーム周期ごとに行なわれ終
端が検出された時点におけるレジスタ７２の結果
が最終的な認識結果となり、出力端子７３を通し
て出力される。

なお標準パターン番号が同じ時でもパス信号が
違えば、パスの各々に対応する非類似度が異なる
ので、前と同じ標準パターン番号がレジスタ７２
にセツトされることは超り得る。

（発明の効果）本発明は以上説明したように、入力フレームご
とに距離計算、非類似度計算を行なうため終端検
出後、１フレーム以内に認識結果が出る利点があ
る。また、非類似度計算のためには前の入力フレ
ームに対する非類似度値を現入力フレームに対す
る距離値との累算を行なうだけでよく、始端から
終端までの入力データを格納する必要がない。

さらに、回路構成の簡易化を目的とした方式で
あるためLSI化が容易であり、ゲート数の少ない
安価な音声認識用LSIチツプを供給すると同時に
汎用マイクロプロセツサのソフト処理によつても
実現され得るものである。

【図面の簡単な説明】

第１図は発声長変動を説明するための図、第２
図は本発明のマツチングパスの概要を説明するた
めに示した図、第３図は本発明の一実施例を示す
ブロツク図、５２……音声フレーム番号ｈのカウンタ、５４
……標準パターンのフレーム番号相当のものを発
生させるためのROM、５６……標準パターンの
長さを記憶しているROM、５７……コンパレー
タ、５８……セレクタ、６０……標準パターンの
メモリ、６１……入力パターンのメモリ、６３…
…距離の演算器、６４……加算器、６５……非類
似度格納用RAM、７０……最小値選択回路、７
１……最小非類似度のメモリ、７２……認識結果
としての標準パターン番号のメモリ。

Claims

【特許請求の範囲】１各標準音声に対応して周波数成分のフレーム
時系列として表現され且つ無音状態に対応するフ
レームを除去した形で表現された標準パターンを
記憶しておき、 (a) 入力音声から周波数成分のフレーム時系列と
して入力パターンを抽出し、 (b) 入力音声の始端を検出して入力パターンのフ
レームの計数を開始し、有音状態を検出してい
る間は音声フレーム番号を順次更新し、一方無
音状態を検出している間は音声フレーム番号の
更新を停止し、入力音声の終端を確認する以前
に再び有音状態を検出すると当該音声フレーム
番号の更新を再開し、 (c) 音声フレーム番号の更新毎に、その音声フレ
ーム番号に本質的に線形な関係で標準パターン
の複数のフレーム番号を発生させることによつ
て入力パターンと各標準パターンとの間に複数
のマツチングパスを設定し、 (d) 音声フレーム番号の更新毎に、前記各マツチ
ングパスで対応づけられたフレーム間で入力パ
ターンと各標準パターンとの距離を計算し、 (e) 入力音声の始端から任意の音声フレーム番号
までの前記マツチングパスに沿つた前記距離の
累算値を非類似度として、音声フレーム番号の
更新毎に、直前の非類似度と当該フレーム番号
での距離とを加算して一旦記憶することによつ
て、各標準パターン毎の各マツチングパスに対
応した非類似度を更新記憶し、 (f) 全ての前記非類似度のうちで最小値を示す非
類似度に対応した標準パターンのコードを前記
音声フレーム番号の更新毎に更新記憶し、 (g) 入力音声の終端を確認した時点で、入力音声
の終端の音声フレーム番号に対応して記憶され
ている最小値を示す非類似度に対応した前記標
準パターンのコードを入力音声のカテゴリとし
て認識することを特徴とした音声認識方法。