JPH0567037B2

JPH0567037B2 -

Info

Publication number: JPH0567037B2
Application number: JP60093813A
Authority: JP
Inventors: Makoto Morito
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1985-05-02
Filing date: 1985-05-02
Publication date: 1993-09-24
Also published as: JPS61252593A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は音声認識装置に関し、特に単語入力音
声の終端の確認を持たないで、入力音声の始端検
出時点から認識動作をリアルタイムに開始するよ
うにした音声認識装置に関する。

（従来の技術）一般に、音声は発声されるたびに発声長が変わ
り、その長さも特に母音の長さが伸縮し、全体と
して線形には変化しない。

第１１図は種々の単語の発声長の変動を示した
図である。同図において、発声した単語の種類
は、英語では“オン（ON）”、“オフ（OFF）”、
“スタート（START）”及び“ストツプ
（STOP）”であり、日本語では“ハイ”、“ウエ”
及び“シタ”である。同図から明らかなように、
単語の発声長は変動がきわめて大きく、個人差が
あると共に話者の心理状態や状況によつても変動
し、標準という感覚のもとですら20％〜40％の発
声長のばらつきが見られる。従つて、この発声長
の変動に対応し、良好な音声認識を行うには何ら
かな工夫が必要である。

上述の如き発声長の変動に対応するための音声
認識方法の一形式として、各標準音声に対応して
周波数成分のフレーム時系列として標準パターン
を記憶しておき、入力音声から同じく周波数成分
のフレーム時系列として入力パターンを抽出し、
入力パターンと各標準パターンとの累積距離（以
下、これを非類似度と称す）を計算し、その非類
似度に基づいて入力音声を識別する方法が知られ
ている。このような方法における標準又は入力の
音声パターンは、通常、規則的にフレームを設定
して周波数分析し、対数変換と最小自乗近似直線
を用いた声道長等の正規化とを経て、周波数成分
のフレーム時系列として表現したものを用いる。

また、入力パターンと各標準パターンとの非類
似度を計算するためにマツチングパスを設定する
方法としては、動的計画法を用いたDPマツチン
グ法と線形マツチング法とが知られている。

（発明が解決しようとする問題点）しかしながら、DPマツチング法はマツチング
精度が上がる反面計算量が多く、ハードウエアで
実現するとしてもゲート数が多くなるという欠点
があつた。

一方、線形マツチング法は、短い音節数の単語
には比較的有効であり、DPマツチングに比べて
演算量も少ないが、少なくとも音声の始端から終
端までの情報を畜えておくメモリが必要であり、
回路規模の限られた装置で実現するのは困難であ
つた。

したがつて、本発明は上記問題点を解決し、入
力音声の始端を検出して直ちに認識動作を開始す
るようにして速い認識速度と入力音声のデータを
格納するためのメモリ容量の低減とを可能とする
とともに、入力音声の発声長の変動を予想して本
質的に線形なマツチングパスを複数個設けること
によつて、発声長の変動に対応することを可能と
した音声認識装置を提供することを目的とする。

（問題点を解決するための手段）本発明は、入力音声を周波数分析し、複数チヤ
ネルの周波数成分のフレーム時系列情報である入
力パターンを抽出する手段（手段(a)）と、前記入
力パターンの各フレームの各チヤネルのデータを
スペクトル正規化してスペクトル正規化データＷ
（ｉ，ｊ）を作成する手段（手段(b)）と、前記ス
ペクトル正規化データに基づいて入力音声の始
端、終端及び有音状態を検出する手段（手段(c)）
と、距離計算及び判定のための距離計算及び判定
手段（手段(d)）とを具備する。

本発明によれば、上記手段(d)は以下のとおり手
段（d₁）〜（d₈）から構成される。

手段（d₁）は、予め複数の標準音声を周波数分
析し、スペクトル正規化することにより作成され
た各々複数フレーム、複数チヤネルのスペクトル
正規化データSn（ｉ，kp）（但し、ｉはチヤネル
番号、kpはフレーム番号）からなる複数の標準
パターンを格納する標準パターンメモリである。

手段（d₂）は、前記スペクトル正規化手段から
送られる入力パターンの１フレーム分の全チヤネ
ルのスペクトル正規化データＷ（ｉ，ｊ）を格納
する入力メモリである。

手段（d₃）は、入力音声の始端検出後、入力パ
ターンのフレーム計数を開始して入力音声が有音
状態であるか無音状態であるかにかかわらず、音
声フレーム番号を順次更新するものである。

手段（d₄）は、前記音声フレーム番号の更新毎
に、各標準パターンと前記入力パターンとの間に
複数のマツチングパスを設定するために、前記音
声フレーム番号と本質的に線形な関係で標準パタ
ーンの複数のフレーム番号kpを発生するもので
ある。

手段（d₅）は、前記音声フレーム番号の更新毎
に、前記マツチングパスで対応づけられるフレー
ム間で各チヤネルにわたつて前記入力パターンの
スペクトル正規データＷ（ｉ，ｊ）と前記標準パ
ターンのスペクトル正規化データSn（ｉ，kp）と
の距離を算出するものである。

手段（d₆）は、入力音声の始端から、任意の前
記音声フレーム番号の前記マツチングパスに沿つ
た前記距離の累算値を非類似度として音声フレー
ム番号の更新毎に直前の非類似度と当該フレーム
番号での距離を加算して、一時的に格納すること
によつて各標準パターン毎の各マツチングパスに
対応した非類似度を算出するものである。

手段（d₇）は、標準パターンのカテゴリーの単
語発声長の分布範囲により分布の多い部分を表現
する各標準パターン毎の所定の判定対象区間に関
して、前記音声フレーム番号が任意の標準パター
ンの前記所定の判定対象区間内にある場合にの
み、当該音声フレーム番号と当該標準パターンに
対して選択する１つもしくは２つの前記非類似度
を選択するための１つもしくは２つのパス選択情
報を格納し、音声フレーム番号の更新毎に前記標
準パターンに対応して１つもしくは２つの前記パ
ス選択情報を出力する。

手段（d₈）は、選択された前記非類似度のうち
で最小の非類似度を検出し、当該最小の非類似度
に対応する標準パターンの番号を格納するもので
ある。

（作用）入力音声は上記手段(a)により周波数分析され、
複数チヤネルの周波数成分のフレーム時系列情報
である入力パターンが抽出される。この入力パタ
ーンの各フレームの各チヤネルのデータは、上記
手段(b)によりスペクトル正規化され、スペクトル
正規化データＷ（ｉ，ｊ）が得られる。このスペ
クトル正規化データに基づき、手段(c)により入力
音声の始端、終端及び有音状態が検出される。

前記スペクトル正規化手段から送られる入力パ
ターンの１フレーム分の全チヤネルのスペクトル
正規化データＷ（ｉ，ｊ）は上記（d₂）の手段に
格納される。また、上記手段(c)による入力音声の
始端検出後、入力パターンのフレーム計数を開始
して入力音声が有音状態であるか無音状態である
かにかかわらず、音声フレーム番号は上記手段
（d₃）により順次更新される。更に、この音声フ
レーム番号の更新毎に、各標準パターンと入力パ
ターンとの間に複数のマツチングパスを設定する
ために、この音声フレーム番号と本質的に線形な
関係で標準パターンの複数のフレーム番号kpが
上記手段（d₄）により形成される。

そして、前記音声フレーム番号の更新毎に、前
記マツチングパスで対応づけられるフレーム間で
各チヤンネルにわたつて前記入力パターンのスペ
クトル正規化データＷ（ｉ，ｊ）と前記標準パタ
ーンのスペクトル正規化データSn（ｉ，kp）との
距離が、上記手段（d₅）により計算される。尚、
標準パターンは上記手段（d₁）に格納されてい
る。そして、上記手段（d₆）により、各標準パタ
ーン毎の各マツチングパスに対応した非類似度
が、入力音声の始端から、任意の前記音声フレー
ム番号の前記マツチングパスに沿つた前記距離の
累算値を非類似度として音声フレーム番号の更新
毎に直前の非類似度と当該フレーム番号での距離
を加算して、一時的に格納することによつて得ら
れる。この際、マツチングパスは手段（d₇）によ
り、音声フレーム番号が任意の標準パターンの前
記所定の判定対象区間内にある場合に、当該フレ
ーム番号と当該標準パターンの番号とで指定され
るアドレスに１つもしくは２つの非類似度を選択
するための１つもしくは２つの格納されたパス選
択情報に基づき選択される。一方、音声フレーム
番号が任意の標準パターンの所定の判定対象区間
外にある場合には、マツチングパスは選択されな
い。そして、最終的に、選択された前記非類似度
のうちで最小の非類似度を検出し、当該最小の非
類似度に対応する標準パターンの番号を上記手段
（d₈）に格納する。

このようにして、入力音声の終端を検出した時
点で入力音声の終端の音声フレーム番号に対応し
て格納されている最小の前記非類似度に対応する
前記標準パターンの番号が入力音声の識別結果と
して判定される。

（実施例）実施例を説明するのに先だつて、まず本発明に
おける音声認識処理について説明する。

本発明における音声認識処理は、始端検出処
理、有音状態の処理、無音状態の処理、パワーデ
イツプ終了後の有音処理及び終端処理の５つの処
理から構成される。次に、それぞれの処理内容を
具体的に説明する。

(A) 始端検出処理音声の有音状態の検出は、音声パワーを用いる
方法を用いることができる。この場合音声の始端
検出はフレーム電力Ｐ(j)（但しｊは入力パターン
のフレーム番号）があらかじめ定められた閾値を
越えた時点を始端と考える。但し、外部からの雑
音などにより音声入力が行なわれていなくともフ
レーム電力Ｐ(j)が閾値を越えてしまい、誤つた始
端とする場合がある。そのため、ともかくフレー
ム電力Ｐ(j)が閾値を越えたフレームを始端と考え
認識処理を開始するものの連続して３フレーム以
上電力が閾値を越えなければその入力フレームを
音声の始端とは考えず認識処理を中断し始端検出
のための処理へともどる。但し、フレーム長を
16msecとしている。

(B) 有音状態の処理（Ｂ−１）マツチングパス音声の始端からフレーム電力が閾値を越えたフ
レームの番号付けを定義しｈ番目の音声フレーム
と称し、単なる入力フレーム番号とは区別する。
すなわち、音声フレーム番号ｈの音声フレーム
は、有音区間でｈ番目の入力フレームに対応す
る。

発声速度の正規化を行なうマツチング処理を音
声の始端から開始し、音声分析部出力が得られる
周期（フレーム周期）ごとに行なえれば音声分析
部のデータを始端からすべて格納しておく必要も
なく、また、応答時間も速くなる。

本発明は発声がおそく行なわれた場合、標準的
に行なわれた場合、はやく行なわれた場合を想定
したマツチングパスを設定しそれぞれのマツチン
グパス上でのマツチング処理を行なう。音声の始
端検出時点では今から入力される単語の発声速度
は不明である。そこで発声がおそく行なわれた場
合、標準的に行なわれた場合、はやく行なわれた
場合を想定したマツチングパスを設定し、それぞ
れのマツチングパス上でマツチング処理を行なえ
ば終端検出前からでもマツチング処理が開始可能
となる。

第２図ａは、本発明による音声認識方法におけ
る入力パターンと標準パターンとのマツチングを
行なう複数のマツチングパス例を示した図、第２
図ｂは入力パターンのフレーム電力例を示した
図、第２図ｃは入力パターンと標準パターンとの
各マツチングパスにおける非類似度Dn₀(j)，Dn₁
(j)，Dn₂(j)の例を示した図である。尚、第２図ａ
〜ｃのそれぞれの横軸は相互に対応するものであ
る。

第２図ａにおいては発声速度の範囲を例えば±
20％と考え、マツチングパスを３本設定した場合
を示している。第２図ａにおいて、横軸は入力パ
ターンのフレーム番号を表わす。また、縦軸は標
準パターンのフレーム番号を表わし、ｎ番目の標
準パターンSnを例として考え、そのフレーム長
をSL(n)とする。パス０は発声を20％遅く発声し
た場合を想定したパス、パス１は標準的な発声を
想定したパス、パス２は発声を20％速く想定した
場合のパスを示す。

ここで、ｈ番目の音声フレームに対して、それ
ぞれのパスに対応するフレーム番号をパス対応フ
レーム番号と称す。特にパスｐ（ｐ＝０，１，２）
に対応するパス対応フレーム番号をパスｐ対応フ
レーム番号と称し次式(1)−(3)で表わす。

パス０対応フレーム番号₀ ₀＝〔１／1.2ｈ〕 ……(1) パス１対応フレーム番号₁ ₁＝ｈ ……(2) パス２対応フレーム番号₂ ₂＝〔１／0.8ｈ〕 ……(3) ただし〔〕はガウス記号を示す。

（Ｂ−２）距離計算ｊ番目の入力フレームに対し、標準パターン
Sn（ｉ，kp）との各パス上での距離dnp（ｉ，ｊ）
を次式(4)によつて定める。但し、ｈはｊ番目の入
力フレーム番号に対応した音声フレーム番号、ｐ
はパスの番号、Ｗ（ｉ，ｊ）は入力フレーム番号
がｊでチヤネル番号がｉ（但しｉ＝０〜７）の入
力パターンのデータ、kpは標準パターンのフレ
ーム番号、及びSn（ｉ，kp）は標準パターンのデ
ータである。

dnp（ｉ，ｊ）＝｜Ｗ（ｉ，ｊ）−Sn（ｉ，kp）｜
……(4) 但し、 kp＝ｐｐ≦SL(n) SL(n) ｐ＞SL(n) この式によれば、パスｐにおいては入力パター
ンのｊ番目の入力フレームのデータと標準パター
ンのkp番目のフレームのデータとの間の距離計
算を行う。またパス対応フレーム番号ｐは標準
パターンの長さSL(n)に制限され標準パターンの
フレーム番号kpとなる。

（Ｂ−３）非類似度次に、始端から入力パターンのｊ番目の入力フ
レームまでの非類似度Dnp(j)が次式(5)に示すごと
く計算される。但し、ｐはパスの番号ｐ＝０，
１，２を表わす。

Dnp(j)＝Dnp（ｊ−１）＋₇ 〓ⁱ⁼⁰ dnp（ｉ，ｊ） ……(5) すなわち、それぞれのパス上でのｊ番目のフレ
ームの非類似度の算出は各チヤネルごとの距離
（例えば｜Ｗ（ｉ，ｊ）−Sn（ｉ，kp）｜）をチヤネ
ル分、ｊ−１番目のフレームに対する非類似度値
（たとえばDnp（ｊ−１））に加えることによつて
得られる。これらの演算はｊ番目のフレームの入
力がなされた時点で行なわれる。ｊ番目のフレー
ムに対する非類似度の算出にあたつてはｊ番目の
フレームの入力パターンデータとそれぞれのパス
に相当する標準パターンのデータおよび１フレー
ム前のｊ−１番目のフレームの非類似度データの
みが必要であつて２フレーム以上前の入力パター
ンデータは不必要である。そのため、終端を検出
するまでの入力パターンを格納しておかなければ
ならない線形伸縮マツチング法に比較しても記憶
領域が小さくなる効果が生じる。

（Ｂ−４）判定処理従来の線形マツチング方式では終端を検出して
からでないと認識処理を開始することが出来なか
つたが、その最大の原因は始端と終端を結んだ線
形マツチングパスを設定することにあつた。本発
明では、終端を検出する前においても認識処理を
開始ならしめるために、始端と終端を線形に結ん
だ１本のパスのかわりに始端からの複数のマツチ
ングパスを設定し先行的に認識処理を開始し、非
類似度を算出している。

判定処理は複数のマツチングパス上での非類似
度Dnp(j)を基にして、現在のフレームを終端と仮
定した場合の認識結果を得る処理と定義される。
したがつて、現フレームを終端と仮定した場合
に、複数のマツチングパスのうち、本来の始端と
終端を直線にて結んだパスに最も近いパスの選択
が可能となり、そのパス上での非類似度の中から
最小類似度を与えるカテゴリーを認識結果とする
方法が有効である。このパスの選定にあたつては
標準パターンの長さSL(n)とパス対応フレーム番
号ｐが用いられ、SL(n)に最も近いパス対応フ
レーム番号ｐを与えるパス番号が選択される。

第３図ａは入力パターンに対して長さの短い標
準パターンｎとのマツチングで、パス０が選択さ
れた例を示す図、ｂは入力パターンに対して同程
度の長さの標準パターンn′とのマツチングで、パ
ス１が選択された例を示す図、ｃは入力パターン
に対し長さの長い標準パターンn″とのマツチング
で、パス２が選択された例を示す図である。また
ｄはパスの選択がしずらい場合を示しており、こ
のようなときには両方のパス０とパス１とを選択
し、有効とする。一方、第３図ｅに示されるよう
に、入力の長さに対し標準パターンの長さが極端
に異なる場合がある。このような現象は認識対象
語の中にその長さが極端に異なる単語を含んでい
る場合に見られる。このような場合、無理に終端
を一致させる処理よりも、むしろ長さによつて認
識対象語を限定する処理の方がより効果的であ
る。したがつてｅに示されるような入力と標準パ
ターンの組み合わせでは、パスを全く選択しない
ことにより実質的にその標準パターンを判定対象
から削除する。逆に標準パターン長が極端に短い
場合にも、パスは選択されない。

これを、標準パターン側から考えれば入力音声
の長さを表わす音声フレーム長がある範囲でなけ
れば判定対象とされないことになる。ここである
標準パターンを判定対象とする音声フレーム長の
範囲を判定対象区間と称する。判定対象区間は標
準パターンごとに異なつてており、その設定は標
準パターンが表わす単語の発声の長さがたとえば
95％程度分布している範囲に設定される。

第４図に、判定対象区間と音声フレームの関係
を示す。同図において、縦軸は標準パターンフレ
ーム番号を示し、横軸は音声フレーム番号を示
す。また、参照番号５０で示される曲線はその標
準パターンが表わす単語の発声長の分布を示す。
同図に示されるように、音声フレーム番号がh₁の
場合は判定対象区間外であるため、どのパスも選
択されない。一方、音声フレーム番号がh₂の場合
は判定対象区間内であるため、パス１が選択され
る。そして、選択されたパス上での非類似度Dnp
(j)の中から最小値を与える標準パターンに与えら
れたカテゴリーを認識結果とする。

(C) 無音状態の処理フレーム電力が閾値未満となつた点を音声の終
端と考えがちであるが、単語には「ichi」の
「ｉ」と「chi」の間、「stop」の「sto」と「ｐ」
の間のように単語内にフレーム電力が閾値未満と
なる部分を持つ場合があつて、このような単語の
終端を単にフレーム電力が閾値未満となるかどう
かによつて判断することはできない。このような
部分を「パワーデイツプ」と称する。このパワー
デイツプの長さは単語によつて異なるが通常30フ
レーム長を越えることはほとんどない。音声の始
端を検出後、あるフレーム時間点においてそのフ
レーム電力が閾値未満となつた場合、そのフレー
ム時間点はパワーデイツプの始まりなのか、音声
の終端なのかは判断がつかない。この判定は通
常、フレーム電力が閾値未満の区間（“無音フレ
ーム番号”と称しｕにて表現する）が30フレーム
以上あるかないかによつて行なうためフレーム電
力が閾値未満となつて30フレーム後でなければ判
断が下されない。従つて、フレーム電力が閾値未
満となつた場合の結果は終端が確定するまで何ら
かの形で保留されなければならない。

フレーム電力が閾値未満となつたとき、音声の
フレーム番号の更新を停止して、かつ距離を強制
的に０にして累積距離の加算を停止することにあ
る。すなわち、無音状態の場合には前記(4)式に対
応する距離を強制的に次式(6)に示す如く、 dnp（ｉ，ｊ）＝０ ……(6) とすることによりフレーム電力が閾値以下の場合
の非類似度計算を事実上加算しない処理を行な
う。またこのために、標準パターンもパワーデイ
ツプ対応のフレームを除いた形で蓄積する。

このように、パワーデイツプや標準パターンの
終端以後でのマツチングのように、非類似度とし
て重要でないフレームでは距離を０としているけ
れども、本発明では本質的に線形なマツチングで
ある。

第５図ａは本発明における無音処理による入力
パターンと標準パターンとのマツチングを行うマ
ツチングパスの一例を示す図であり、横軸に入力
パターンのフレーム番号ｊをとり、縦軸に標準パ
ターンのフレーム番号をとり20％遅く発声した場
合、標準的に発声した場合、及び20％速く発声し
た場合を想定した３本のマツチングパスを示すも
のである。第５図ｂは入力パターンの音声フレー
ム番号ｊに対応したフレーム電力を示すものであ
る。第５図ｃは各マツチングパスにおける非類似
度Dn₁(j)，Dn₂(j)，Dn₃(j) の例を示す図である。
尚、第５図ａ〜ｃのそれぞれの横軸は相互に対応
するものである。

(D) パワーデイツプ終了後の有音処理パワーデイツプをもつ単語の認識処理の場合に
は、フレーム電力が閾値未満となつて30フレーム
以内に再びフレーム電力が閾値以上（有音状態）
となる。この有音状態においても音声フレームの
更新、距離計算、累積距離演算など前記有音処理
と同じ認識処理が行われる。

(E) 終端処理フレーム電力が30フレーム連続して閾値以下と
なつた点で終端が判定される。実際の音声終端は
終端を判定した時点から30フレーム前となり、こ
の時点での判定結果を認識結果として出力する。

本発明は、以上の如く処理される。

第１図は本発明による音声認識装置の第１の実
施例を示すブロツク図である。同図において、１
１は音声入力端子、１２は周波数分析部、１３は
スペクトル正規化部、１４は距離計算及び判定
部、１５は音声のフレーム電力比較部、１６はコ
ントローラで例えばマイクロプロセツサが用いら
れる。１７はフレーム電力、１８はフレーム電力
が閾値を越えていることを示すオーバ信号、１９
はコントローラ１６が周波数分析部１２に与える
コントロール信号、２０はコントローラ１６がス
ペクトル正規化部１３に与えるコントロール信
号、２１はコントローラ１６が距離計算及び判定
部１４に与えるコントロール信号、２２はコント
ローラ１６に距離計算及び判定部１４から与えら
れるフレーム番号信号（音声フレーム番号ｈ、無
音フレーム番号ｕを表わす信号）である。

動作を説明すると、電気信号に変換された入力
音声信号は、音声入力端子１１を介して、周波数
分析部１２に入力される。周波数分析部１２は、
例えばデイジタルバンドパスフイルタで構成さ
れ、入力音声信号を周波数分析し、８つの周波数
帯域（以下、チヤネルと称す）毎のスペクトル強
度をあらわすデータに変換する。

周波数分析部１２で分析されたデータは、スペ
クトル正規化部１３に送られる。スペクトル正規
化部１３は話者による音源特性及び発声強度の違
いの正規化を行い、スペクトル正規化されたデー
タを距離計算及び判定部１４へ出力する。同時
に、周波数分析部１２の出力の８チヤネル平均で
あるフレーム電力１７を計算し、フレーム電力比
較部１５へ出力する。距離計算及び判定部１４内
には、あらかじめ周波数分析され、スペクトル正
規化を施されたフレーム時系列として多数の標準
パターンデータからなる標準パターン
（reference pattern）Ｎ個があり、標準パターン
と、スペクトル正規化後の入力パターンとの距離
計算と最も近い標準パターンのカテゴリーを判定
する動作を行う。フレーム電力比較部１５はフレ
ーム電力による閾値判定を行い、結果としてオー
バ信号１８をコントローラ１６に出力する。オー
バ信号１８はフレーム電力ｐ(j)が閾値以上のとき
は１となり、閾値未満のときは０となる。以下、
これらのオーバ信号の値を示すのにOVER＝
“１”、OVER＝“０”なる表現を用いる。

コントローラ１６ではフレーム電力比較部１５
からのオーバ信号１８と距離計算＆判定部１４か
らのフレーム番号信号２２を入力として、各部に
コントロール信号１９，２０，２１を出力する。
コントローラ１６はオーバ信号１８とフレーム番
号信号２２を遷移条件とする状態遷移によつて動
作しておりその状態遷移図を第６図に示す。

次にコントローラ１６の状態とその遷移につい
て説明する。

状態は次の５つに分けられる。

状態１：初期状態状態２：有音状態状態３：無音状態状態４：パワーデイツプ後の有音状態状態５：終端検出状態〔状態１−初期状態〕装置の電源が投入された直後もしくは先行する
単語の認識処理が完了し次の単語の入力を待つて
いる状態である。

（遷移1000）フレーム電力ｐ(j)が閾値未満の状態では状態１
をくりかえす。

（遷移1001）フレーム電力ｐ(j)が閾値以上となると状態２へ
遷移する。遷移1001を行つたフレーム音声の始端
と考えられる。

〔状態２−有音状態〕フレーム電力ｐ(j)が閾値以上の状態を示す。状
態２では前記（Ｂ）有音状態の処理が行われる。

（遷移1002）フレーム電力が閾値以上の条件では、状態２は
くりかえされる。

（遷移1003）フレーム電力ｐ(j)が閾値未満でかつ状態２をく
りかえしたフレーム数(h)が３未満の場合には、状
態１の初期状態へもどる。

この処理は、外部からの雑音により音声入力が
行われていなくともフレーム電力ｐ(j)が閾値を越
えてしまい、状態２へ移つてしまい音声の始端を
検出し認識処理を開始することを回避するための
処理である。

（遷移1004）フレーム電力ｐ(j)が閾値以下でかつ状態２をく
りかえしたフレーム数(h)が３以上の場合には、状
態２から状態３へ遷移する。状態２から状態３の
遷移は音声の終端らしき点を検出したと考えられ
る遷移であるが、本当の終端であるかどうかはは
つきりしない。

〔状態３−無音状態〕フレーム電力が閾値以下の状態を示す。状態３
では前記（Ｃ）無音状態での処理が行われる。

（遷移1005）状態３においてフレーム電力が閾
値以下（無声）の状態が連続して30フレーム以内
続いている遷移を示し状態３をくりかえす。

（遷移1006）状態３においてフレーム電力が閾
値以下（無声）の状態が連続して30フレーム続い
た場合の遷移を示す。この遷移は状態３の無声状
態が単語の終端による無声であることを示す遷移
で状態５へ遷移する。

（遷移1007）状態３からフレーム電力が再び閾
値以上になつた場合を示す。この遷移は状態３の
無声状態がパワーデイツプによるものであること
を示す遷移で状態４へ移る。

〔状態４−パワーデイツプ終了後の有音状態〕フレーム電力ｐ(j)が閾値以上の状態を示すが、
状態２と異なる点はパワーデイツプ検出後の有音
状態を示す部分である。

状態４では前記（Ｄ）のパワーデイツプ終了後
の有音処理が行われる。

（遷移1008）フレーム電力ｐ(j)が閾値を越えている（有音）
状態がくりかえされる遷移を示す。

（遷移1009）フレーム電力ｐ(j)が閾値以下となつた場合の遷
移を示す。

この場合状態は状態４から〔状態３−無声状
態〕へ移る。

〔状態５−終端状態〕 30フレーム状態３が継続した場合に移る状態で
単語の終端を検出した状態である。

状態５においては前記（Ｅ）終端処理が行われ
る。

（遷移1010）状態５は１フレームのみの状態で次のフレーム
には初期状態である状態１へ無条件に遷移する。

次に、上述した遷移の代表例を第７図ａ〜ｃに
示す。第７図ａは雑音が入つた場合を示した図で
あり、第７図ｂは音声区間が１つの場合を示した
図であり、第７図ｃは音声区間が２つ以上の場合
（単語内にパワーデイツプがある場合）を示した
図である。第７図ａ〜ｃにおいて、サークル内の
番号は各状態の番号に対応するものである。

次に、本発明の第１の実施例における距離計算
及び判定部１４の動作について説明する。

本発明の第１の実施例における距離計算及び判
定部１４は第８図のブロツク図のごとく構成され
る。第８図において、５２は始端からの音声フレ
ーム番号ｈをカウントする音声フレームカウンタ
で、音声フレーム番号信号４３をコントローラ１
６および後述するROM５４，ROM７５に出力
する。５３は無音状態のフレーム番号ｕをカウン
トする無音フレームカウンタで、無音フレーム番
号信号４４をコントローラ１６に出力する。５４
はパス対応フレーム番号ｐを表わすパス対応フ
レーム番号信号を出力するメモリで、例えば
Read−Only−Memory（ROM）が用いられる。
５６はｎ番目の標準パターンに対してその標準パ
ターンの長さSL(n)を表わす信号を出力するメモ
リで例えばRead−Only−Memory（ROM）が用
いられる。５７は標準パターンフレーム番号ｐ
を表わすROM５４の出力と標準パターンの長さ
SL(n)を表わすROM５６の出力を比較してｐ≦
SL(n)ならば“１”を、ｐ＞SL(n)ならば“０”
を出力するコンパレータである。５８はコンパレ
ータ５７の出力が“１”のときはROM５４の出
力を、コンパレータ５７の出力が“０”のときは
ROM５６の出力を選択するセレクタである。コ
ンパレータ５７とセレクタ５８によつてｐ≦
SL(n)ならばｐが、ｐ＞SL(n)ならばSL(n)がセ
レクタ５８より標準パターンフレーム番号kpを
表わす標準パターンフレーム番号信号として出力
される。６０はチヤネル番号信号４０と標準パタ
ーンフレーム番号信号と標準パターン番号信号４
２によつてアドレツシングされ標準パターンデー
タSn（ｉ，kp）を出力する標準パターンメモリで
ある。６１はスペクトル正規化を行なつた１フレ
ーム分の入力パターンデータＷ（ｉ，ｊ）格納し
ておく入力メモリでチヤンネル番号信号４０によ
つてアドレスが与えられる。６２はメモリ６１の
入力端子であり、第１図のスペクトル正規化部１
３でのスペクトル正規化された入力パターンのデ
ータＷ（ｉ，ｊ）が入力される。６３は距離演算
器であり、メモリ６１から出力される入力パター
ンデータＷ（ｉ，ｊ）と標準パターンメモリ６０
の出力の標準パターンデータSn（ｉ，kp）の間
で、第１図のコントローラ１６からの制御信号
（CONT）４５によつて、次の(7)式に示す距離演
算を行う。

CONT＝１のとき｜Ｗ（ｉ，ｊ）−Sn（
ｉ，kp） CONT＝０のとき０ (7) ６４は演算器６３の出力とメモリ６５の出力と
を加算して非類似度を算出する加算器である。６
５はパス番号信号４１と標準パターン番号信号４
２をアドレスとするメモリであり、加算器６４で
算出された非類似度Dnp(j)を格納する。６６はメ
モリ６５の内容を０にするためのANDゲートで
ある。７０は加算器６４の出力である非類似度
Dnp(j)と後述するレジスタ７１の出力を比較する
コンパレータである。７１は非類似度Dnp(j)の中
で最小値を与える非類似度を格納するためのレジ
スタであり、また後述する初期パルス313によつ
て格納し得る最大値がセツトされるレジスタであ
る。７２は非類似度の最小値を与える標準パター
ン番号を格納するためのレジスタであり、終端検
出時の認識結果を出力する。７３は認識結果の出
力端子、７４はレジスタ７１とレジスタ７２に値
を格納するためのパルスを出力するANDゲート
である。７５は選択されるパスの情報を格納する
メモリで、音声フレーム番号信号４３、標準パタ
ーン番号４２及びパス番号信号４１をアドレス入
力としてパス選択信号４７を出力する。この信号
はアンドゲート７４に入力される。メモリ７５
は、例えばROMが用いられる。

第９図及び第１０図は本実施例のタイムシーケ
ンスを示したものである。第９図は入力音声の始
端検出から終端検出までの信号の流れを示すタイ
ムシーケンス、第１０図は有音状態における１フ
レーム内の信号の流れを示すタイムシーケンスで
ある。

まず、これらの図の各信号について説明する。
４０，４１，４２は第１図のコントローラ１６か
ら送られてくる信号である。４０はチヤネル番号
ｉを表わすチヤネル番号信号で、０から７までサ
イクリツクに変化する。４１はパス番号ｐを表わ
すパス番号信号で、０から２までサイクリツクに
変化する。４２は標準パターン番号ｎを表わす標
準パターン番号信号で、０からＮ−１まで変化す
る。４３は音声フレームカウンタ５２から出力さ
れる音声フレーム番号ｈを与える音声フレーム番
号信号、４４は無音フレームカウンタ５３から出
力される無音フレーム番号ｕを与える無音フレー
ム番号信号、４５は第１図のコントローラ１６よ
り送られ、後述する演算器６３を制御する制御信
号（CONT）である。４６は第１図のコントロ
ーラより送られ、後述するANDゲート６６を制
御する制御信号である。４７は後述するROM７
５の出力であるパス選択信号である。

301は第１図のコントローラ１６内で用いられ
るフレーム周期（＝16ミリ秒）を表わすフレーム
パルス、 302は第１図のコントローラ１６より送られる
音声フレームカウンタ５２をリセツトするパル
ス、 303は第１図のコントローラ１６より送られる
音声フレームカウンタ５２をカウントアツプする
パルス、 304は第１図のコントローラ１６より送られる
無音フレームカウンタ５３をリセツトするパル
ス、 305は第１図のコントローラ１６より送られる
無音フレームカウンタ５３をカウントアツプする
パルス、 310は第１図のコントローラ１６内で用いられる
処理のための基本パルス、 311は第１図のコントローラ１６より送られる入
力メモリ６１のライトパルス、 312は第１図のコントローラ１６より送られるメ
モリ６５のライトパルス、 313は第１図のコントローラ１６より送られるレ
ジスタ７１の初期値パルス、 314は第１図のコントローラ１６より送られAND
ゲート７４の出力パルスを作成するためのもとと
なるパルスである。

次に第８図の構成図、第９図、第１０図のタイ
ムチヤートにしたがい距離計算及び判定部１４の
動作について説明するが、コントローラ１６が第
６図の状態遷移図にしたがつてフレームパルス
301ごとに動作しているため、状態ごとの動作に
ついて説明する。

〔状態１の動作〕…初期状態の動作（音声フレームカウンタ５２、無音フレームカウ
ンタ５３のリセツト）第９図に示されるがごとく、リセツトパルス
302が音声フレームカウンタ５２に、パルス304が
無音フレームカウンタ５３にそれぞれ加えられ、
リセツトされる。

（非類似度の初期化）また制御信号４６が“０”となつており、
ANDゲート６６の出力は強制的に０となる。こ
のとき、メモリ６５はパス番号信号４１と標準パ
ターン番号信号４２をアドレスとしてライトパル
ス312が加えられており、この処理によりメモリ
６５の内容はすべて０となる。

〔状態２の動作〕…有音状態の処理有音状態における１フレーム内の動作は第１０
図に示すタイムシーケンスの如く行なわれる。そ
の動作は大きく分けてサイクル１とサイクル２の
２つに分けられる。

＜サイクル１＞入力データの読み込みを行う。

基本パルス310に同期してチヤネル番号信号４
０が０から７まで変化し、入力メモリ６１のアド
レスとなる。その際、入力端子６２からは基本パ
ルス310に同期して第１図のスペクトル正規化部
１３より入力パターンデータＷ（ｉ，ｊ）が入力
され、ライトパルス311によつて入力メモリ６１
に書き込まれる。

＜サイクル２＞距離計算および判定処理を行う。

基本パルス310に同期して、チヤネル番号信号
４０が０から７までサイクリツクに変化する。チ
ヤネル番号信号４０の１サイクルごとにパス番号
信号４１は変化する。その値は０から２までをサ
イクリツクにくりかえす。パス番号信号４１の１
サイクルごとに、標準パターン番号信号４２は変
化する。その値は標準パターンの数Ｎに対応して
０からＮ−１までである。

このサイクル２では、(イ)パス対応フレーム番号
ｐの算出、(ロ)標準パターンフレーム番号kpの
算出、(ハ)標準パターンデータの出力、(ニ)入力パタ
ーンデータの出力、(ホ)距離計算、(ヘ)非類似度計算
及び(ト)判定動作が行なわれる。以下、これらを個
個に説明する。

(イ) パス対応フレーム番号ｐの算出パス対応フレーム番号ｐの算出はパス番号信
号４１、音声フレーム番号信号４３を入力として
ROM５４によつて行われる。ROM５４は音声
フレーム番号信号４３（音声フレーム番号ｈ）に
対しパス番号信号ｐが０のときは〔１／0.8ｈ〕、１のときは〔ｈ〕、２のときは〔１／1.2ｈ〕の値をパス対応フレーム番号ｐとして出力する。

(ロ) 標準パターンフレーム番号kpの算出標準パターンフレーム番号kpはパス対応フレ
ーム番号ｐと標準パターン番号信号ｎを入力と
してROM５６とコンパレータ５７、セレクタ５
８によつて算出される。ROM５６からｎ番目の
標準パターンの長さSL(n)が出力される。コンパ
レータ５７においてSL(n)とパス対応フレーム番
号ｐとの大小比較が行われ、その結果がセレク
タ５８に加えられ、標準パターンの長さSL(n)と
パス対応フレーム番号ｐのどちらか一方が選択
され、標準パターンフレーム番号kpとして出力
される。すなわち、 SL(n)≧ｐのときは kp＝ｐ SL(n)＜ｐのときは kp＝SL(n) となる。

(ハ) 標準パターンの出力標準パターンは標準パターンメモリ６０に格納
されており、標準パターン番号信号４２とチヤネ
ル番号信号４０と標準パターンフレーム番号kp
を入力として標準パターンデータSn（ｉ，kp）が
出力される。

(ニ) 入力データの出力入力メモリ６１の内容はサイクル１において格
納されている。入力メモリ６１はチヤネル番号信
号４０によつてアドレツシングされ入力パターン
データＷ（ｉ，ｊ）を出力する。

(ホ) 距離計算距離の計算は距離演算部６３によつて行われ
る。距離演算部６３では、標準パターンパターン
データSn（ｉ，kp）、入力パターンデータＷ（ｉ，
ｊ）及び第１図のコントローラ１６からの制御信
号（CONT）４５を用いて次の第８式に従い距
離計算を行う。

dnp（ｉ，ｊ）＝｜Ｗ（ｉ，ｊ）−Sn（ｉ，kp）｜
×CONT (8) (ヘ) 非類似度計算それぞれの標準パターン番号ｎ、パス番号ｐに
対して非類似度Dnp(j)が計算される。この計算に
は加算器６４とメモリ６５が用いられる。メモリ
６５は標準パターン番号信号４２とパス番号信号
４１をアドレスとしているため、チヤネル番号信
号４０が０から７まで１サイクル変化する間は同
じアドレスを示しており、その間にメモリ６５の
ライトパルス312がチヤネル番号信号４０に同期
して与えられる。従つて、次式(9)の如く、 Dnp(j)＝Dnp（ｉ−１）＋₇ 〓ⁱ⁼⁰ dnp（ｉ，ｊ） (9) なる結果がチヤネル番号信号４０が“７”にな
つたサイクルに得られる。ただし状態２では制御
信号４６はつねに“１”であり、ANDゲート６
６は開いている。

このようにして、ｎ番目の標準パターンのパス
ｐにおける非類似度Dnp(j)が対応する標準パター
ン信号４２の対応するパス番号信号４１のチヤネ
ル番号信号４０の“７”のサイクルにおいて得ら
れる。

(ト) 判定判定処理におけるパスの選択は、音声フレーム
毎で且つ標準パターン毎に行われる。該当音声フ
レーム、該当標準パターン番号に対して、選択さ
れるパスの数は１つの場合、２つの場合、あるい
は全く選択されない場合がある。パスの選択は
ROM７５の出力であるパス選択信号４７によつ
て行われる。ROM７５は音声フレーム、標準パ
ターン番号、パス番号をアドレスとしており、パ
ス選択信号４７を出力する。ROM７５には該当
音声フレーム、該当標準パターンに対して、該当
パスを選択しない場合に、該当音声フレーム、該
当標準パターン番号、当該パス番号で与えられる
アドレスに“１”を格納しておく。逆に、該当音
声フレーム、該当標準パターンに対して、該当パ
スを選択しない場合に、該当音声フレーム、該当
標準パターン番号、当該パス番号で与えられるア
ドレスに“０”を格納しておく。

このようにROM７５の内容を変更することに
よりパスの選択、無選択は自由である。

一方、音声フレーム番号に対するパスの選択条
件は認識対象となる単語の集まりによつて異なつ
ており、認識対象語が変わつた場合でも回路変更
することなくROM７５の内容のみを変更するこ
とよりパスの選択条件を変更できることは重要な
事である。

判定処理はコンパレータ７０、レジスタ７１、
レジスタ７２、ANDゲート７４、ROM７５によ
つて行なわれる。非類似度Dnp(j)はサイクル２に
おけるチヤネル番号信号４０が“７”のサイクル
に加算器６４よりコンパレータ７０に送出され
る。

レジスタ７１は非類似度の最小値Dminを格納
するためのレジスタであり、サイクル２の先頭時
において初期値パルス313によつて実現しうる最
大値がセツトされる。コンパレータ７０において
加算器６４の出力Dnp(j)とレジスタ７１の出力で
あるそれまでの非類似度の最小値Dminが比較さ
れ、 Dnp(j)＜Dminであれば“１” Dnp(j)≧Dminであれば“０” をANDゲート７４に出力する。一方、ROM７５
は音声フレーム番号信号４３、標準パターン番号
信号４２、パス番号信号４１をアドレスとしてい
る。音声フレーム番号ｈ、標準パターン番号ｎの
ときに、パス番号ｐのパスが選択されていれば、
ｈ，ｎ，ｐがアドレスとしてROM７５に与えら
れたとき、ROM７５の出力であるパス選択信号
４７は“１”となる。一方、パス番号ｐのパスが
選択されなければ、パス選択信号４７は“０”と
なる。パス選択信号４７はANDゲート７４の１
入力となり、パス選択信号４７が“１”でかつコ
ンパレータ７０の出力が“１”すなわち、Dnp(j)
＜Dminのときにアンドゲート７４を介して入力
パルス314がレジスタ７１、レジスタ７２に加え
られる。

この結果、レジスタ７１にはその時点での非類
似度の最小値として、前記非類似度Dnp(j)が格納
される。また、レジスタ７２には前記非類似度
Dnp(j)に対応する標準パターン番号信号が入力さ
れ、標準パターン番号ｎが格納される。そして、
１フレームの全標準パターンとの判定処理終了時
には、そのフレームまでの最小非類似度Dminを
与える標準パターン番号がレジスタ７２に格納さ
れている。

〔状態３の動作〕…無音状態の処理無音状態において、その以前の有音状態での最
後のフレームにおける結果を保持するために、前
述の（Ｃ）無音処理を行なう。この状態３では、
音声フレームカウンタ５２のカウントアツプ動作
をパルス303を加えないことにより停止する動作
と、パルス304を加えない動作と、パルス305を加
える動作と、演算器６３に加えられている制御信
号（CONT）４５を“０”にすること以外は、
状態２と同様の動作を行う。

ただし、制御信号（CONT）４５を０にする
ことにより、距離dnp（ｉ，ｊ）が０となり最小
の非類似度Dminは保持されているため、コンパ
レータ７０及びレジスタ７１による判定動作は行
つても行なわなくても結果は変わらないため、判
定動作を省略することは可能である。

〔状態４の動作〕…パワーデイツプ終了後の有音
処理状態２の動作と全く同じである。

〔状態５の動作〕…終端処理終端を検出した時点で、レジスタ７２に格納さ
れた標準パターン番号を認識結果のカテゴリーと
して出力するだけの動作を行う。

以上のとおり、本実施例は動作する。

（発明の効果）本発明は以上説明したように、入力フレームご
とに距離計算、非類似度計算を行なうため終端検
出後、１フレーム以内に認識結果が出る利点があ
る。また、非類似度計算のためには前の入力フレ
ームに対する非類似度値と現入力フレームに対す
る距離値との累算を行なうだけでよく、始端から
終端までの入力データを格納する必要がない。

さらに、回路構成の簡易化を目的とした方式で
あるためLSI化が容易であり、ゲート数の少ない
安価な音声認識用LSIチツプの供給を可能にする
と同時に汎用マイクロプロセツサのソフト処理に
よつても実現され得るものである。

また、認識判定において、入力の長さと極端に
異なる標準パターンを認識判定処理からはずすこ
とにより認識精度の向上が図られる。

また、認識対象語の変更に際しても標準パター
ンやパスの選択に関する情報の変更はROMを変
更することだけにより実現でき、回路変更を必要
としないため、音声認識LSIチツプの供給には好
適である。

【図面の簡単な説明】

第１図は本発明の一実施例のブロツク図、第２
図ａは本発明の音声認識方法における入力パター
ンと標準パターンとのマツチングを行う複数のマ
ツチングパスの例を示す図、第２図ｂは入力パタ
ーンのフレーム電力の例を示す図、第２図ｃは本
発明による音声認識処理における入力パターンと
標準パターンの各マツチングパスにおける非類似
度Dnp(i)の例を示す図、第３図は本発明における
判定処理のパス選択の例を示す図、第４図は判定
対象区間を説明するための図、第５図は本発明に
おける無音処理を説明するための図、第６図は第
１図に示すコントローラ１６の動作の状態遷移を
示す図、第７図は状態遷移の例を示す図、第８図
は第１図に示す距離計算及び判定部１４の構成を
示すブロツク図、第９図は第１図と第８図に示さ
れる本発明の実施例における入力音声の始端検出
から終端検出までの信号の流れを示すタイムシー
ケンス、第１０図は同実施例における有音状態で
の１フレーム内の信号の流れを示すタイムシーケ
ンス、及び第１１図は種々の単語の発声長の変動
を示す図である。１１……音声入力端子、１２……周波数分析
部、１３……スペクトル正規化部、１４……距離
計算及び判定部、１５……フレーム電力比較部、
１６……コントローラ、５２……音声フレームカ
ウンタ、５３……無音フレームカウンタ、５４，
５６，７５……ROM、５７，７０……コンパレ
ータ、６１，６５……メモリ、５８……セレク
タ、６０……標準パターンメモリ、６３……距離
演算部、７１，７２……レジスタ。

Claims

【特許請求の範囲】１ａ入力音声を周波数分析し、複数のチヤネ
ルの周波数成分のフレーム時系列情報である入
力パターンを抽出する手段と、ｂ前記入力パターンの各フレームの各チヤネル
のデータをスペクトル正規化してスペクトル正
規化データＷ（ｉ，ｊ）を作成する手段と、ｃ前記スペクトル正規化データに基づいて入力
音声の始端、終端及び有音状態を検出する手段
と、ｄ距離計算及び判定のための手段であつて、 d₁ 予め複数の標準音声を周波数分析し、スペ
クトル正規化することにより作成された各々
複数フレーム、複数チヤネルのスペクトル正
規化データSn（ｉ，kp）（但し、ｉはチヤネ
ル番号、kpはフレーム番号）からなる複数
の標準パターンを格納する標準パターンメモ
リと、 d₂ 前記スペクトル正規化手段から送られる入
力パターンの１フレーム分の全チヤネルのス
ペクトル正規化データＷ（ｉ，ｊ）を格納す
る入力メモリと、 d₃ 入力音声の始端検出後、入力パターンのフ
レーム計数を開始して入力音声が有音状態で
あるか無音状態であるにかかわらず、音声フ
レーム番号を順次更新する手段と、 d₄ 前記音声フレーム番号の更新毎に、各標準
パターンと前記入力パターンとの間に複数の
マツチングパスを設定するために、前記音声
フレーム番号と本質的に線形な関係で標準パ
ターンの複数のフレーム番号kpを発生する
手段と、 d₅ 前記音声フレーム番号の更新毎に、前記マ
ツチングパスで対応づけられるフレーム間で
各チヤネルにわたつて前記入力パターンのス
ペクトル正規化データＷ（ｉ，ｊ）と前記標
準パターンのスペクトル正規化データSn
（ｉ，kp）と距離を算出する手段と、 d₆ 入力音声の始端から、任意の前記音声フレ
ーム番号の前記マツチングパスに沿つた前記
距離の累算値を非類似度として音声フレーム
番号の更新毎に直前の非類似度と当該フレー
ム番号での距離を加算して、一時的に格納す
ることによつて各標準パターン毎の各マツチ
ングバスに対応した非類似度を算出し格納す
る手段と、 d₇ 標準パターンのカテゴリーの単語発声長の
分布範囲により分布の多い部分を表現する各
標準パターン毎の所定の判定対象区間に関し
て、前記音声フレーム番号が任意の標準パタ
ーンの前記所定の判定対象区間内にある場合
にのみ、当該音声フレーム番号と当該標準パ
ターンに対して選択する１つもしくは２つの
前記非類似度を選択するための１つもしくは
２つのパス選択情報を格納し、音声フレーム
番号の更新毎に前記標準パターンに対応して
１つもしくは２つの前記パス選択情報を出力
する手段と、 d₈ 選択された前記非類似度のうちで最小の非
類似度を検出し、当該最小の非類似度に対応
する標準パターンの番号を格納する手段とか
らなる距離計算及び判定手段、とを有することを特徴とする音声認識装置。