JPH0646357B2 - 連続音声認識装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、特徴ベクトルの系列で表わされた複数種類の
標準パターンと入力パターンとの比較を行ない、入力音
声の識別を行なう音声認識装置に関し、特に連続して発
声した単語音声の認識などに適用可能な音声認識装置に
関する。

従来の技術 従来、音声認識装置としては特定話者登録方式によるも
のが実用化されている。即ち、認識装置を使用しようと
する話者が、予め、認識すべきすべての単語を自分の声
で特徴ベクトルの系列に変換し、単語辞書に標準パター
ンとして登録しておき、認識時に発声された音声を、同
様に特徴ベクトルの系列に変換し、前記単語辞書中のど
の単語に最も近いかを予め定められた規則によって計算
し、最も類似している単語を認識結果とするものであ
る。

ところが、この方法によると、認識単語数が少ないとき
は良いが、数百，数千単語といったように増加してくる
と、主として次の三つの問題が無視し得なくなる。

(1) 登録時における話者の負担が著しく増大する。

(2) 認識時に発声された音声と標準パターンとの類似
度あるいは距離を計算するのに要する時間が著しく増大
し、認識装置の応答速度が遅くなる。

(3) 前記単語辞書のために要するメモリが非常に大き
くなる。

以上の欠点を回避するための方法として認識の単位を子
音＋母音の単音節（以後それぞれＣＶ，Ｖで表わす。Ｃ
は子音，Ｖは母音を意味する。）とする方法がある。即
ち、標準パターンとして単音節を特徴ベクトルの系列と
して登録しておき、認識時に特徴ベクトルの系列に変換
された入力音声を、前記単音節の標準パターンとマッチ
ングすることにより、単音節の系列に変換するものであ
る。日本語の場合、単音節は高々１０１種類であり、単
音節は仮名文字に対応しているから、この方法によれ
ば、日本語の任意の単語あるいは文章を単音節列に変換
する（認識する）事が出来、前記(1)〜(3)の問題はすべ
て解決されることになる。しかし、この場合の問題の一
つとしてセグメンテーションがある。即ち、セグメンテ
ーションは連続して発声された音声を単音節単位に区切
ることであるが、これを確実に行なう決定的な方法は未
だ見出されていない。この問題を解決するために、現在
のところ各単音節を区切って発声することが行なわれて
おり、実用化されている装置もある。

発明が解決しようとする問題点 しかし、単音節の離散発声により日本語の文章を入力す
るのは、話者にとって緊張を強いるものであり、連続発
声により入力出来ることが望ましい。

本発明は、前記連続発声により入力された音声に対する
前記セグメンテーションの問題を解決した連続音声認識
装置を提供することを目的とする。

問題点を解決するための手段 本発明は、音節を連続発声して得られる単語・文節等の
入力音声信号を特徴ベクトルの系列に変換する特徴抽出
手段と、音節のそれぞれに対応した特徴ベクトルの系列
を前記音節名に対応ずけて記憶する標準パターン記憶手
段憶と、１音節発声する毎にそれに同期した信号である
セグメント・マーカを発生するセグメント・マーカ発生
手段と、前記標準パターンのそれぞれと前記入力パター
ンに対して得られた前記それぞれのセグメント・マーカ
の近傍のそれぞれのフレームから次のセグメント・マー
カの近傍のそれぞれのフレームまでの入力パターンの部
分区間とのマッチングを行って両者の距離（類似度）を
計算するマッチング手段と、認識されるべき各単語・文
節等を前記音節名の系列として表現した単語・文節等を
記憶する単語・文節辞書と、この認識されるべき単語・
文節と前記入力パターンとの距離を、前記単語・文節辞
書によって指定される音節名の系列に対応するように、
前記分区間群を隣会う区間が連続するように最適に定め
ることにより、前記各部分区間の始点と終点およびその
音節名に対応する距離（類似度）の総和を最小（最大）
となし、得られる最小値（最大値）を前記各単語・文節
に対する前記入力パターンの距離として出力する単語・
文節マッチング手段と、前記最小値（最大値）のなかで
最小値（最大値）を与える前記単語・文節を認識結果と
して判定する判定手段とを含むことを特徴とする連続音
声認識装置である。

作 用 本発明は以上の構成により、特徴抽出手段により、音節
を連続発声して得られる単語・文節等の入力音声信号を
特徴ベクトルの系列に変換し、セグメント・マーカ発生
手段により、１音節発声する毎にそれに同期した信号、
即ち、セグメント・マーカを発生し、マッチング手段に
より、標準パターン記憶手段にそれぞれの音節名に対応
ずけて記憶されている特徴ベクトルの系列のそれぞれ
と、前記入力パターンに対して得られた前記それぞれの
セグメント・マーカの近傍のそれぞれのフレームから次
のセグメント・マーカの近傍のそれぞれのフレームまで
の入力パターンの部分区間とのマッチングを行って両者
の距離（類似度）を計算し、単語・文節辞書に音節名の
系列として記憶された認識されるべき各単語・文節等と
前記入力パターンとの距離を、単語・文節マッチング手
段により、前記単語・文節辞書によって指定される音節
名の系列に対応するように、前記部分区間群を隣会う区
間が連続するように最適に定めることにより、前記各部
分区間の始点と終点およびその音節名に対応する距離
（類似度）の総和を最小（最大）となし、得られる最小
値（最大値）を前記各単語・文節に対する前記入力パタ
ーンの距離として出力し、判定手段により、前記最小値
（最大値）のなかで最小値（最大値）を与える前記単語
・文節を認識結果として判定する。

実施例 第２図〜第３図は本発明の原理を説明する図である。以
後、誤解のない限り、ぁ単語」という言葉は「文節」も
含むものとして説明する。

第２図は、標準パターンＲ^ｎと入力パターンとのマッチ
ングの方法を示す格子グラフである。即ち、横軸は入力
パターン、縦軸は標準パターンＲ^ｎ（音節ｎに対する特
徴ベクトルの系列）であって、入力パターンは、連続し
て発声された音節列を特徴ベクトルの系列に変換して得
られるものであり、標準パターンＲ^ｎは、音節ｎを発声
して得られる特徴ベクトルの系列である。Ｉは入力パタ
ーンのフレーム数、Ｊ^ｎは標準パターンＲ^ｎのフレーム
数である。ｉ_ｋは入力パターンの第Ｋ番と第Ｋ＋１番の
音節の境界を示すフレームである。ｒ₁，ｒ₂は入力パタ
ーンの部分パターンに対するマッチングの始終端の自由
区間を規定するものであって、入力パターンの第Ｋ音節
に相当する部分パターンは始端点はｉ_k-1−ｒ₁〜ｉ_k-1
＋ｒ₂、終端点はｉ_ｋ−ｒ₁〜ｉ_ｋ＋ｒ₂に存在するもの
としている。

入力パターンに対しては検出された音節境界が確かな場
合は、１〜ｉ_ｋフレームの入力パターンの部分パターン
に最も良く整合する標準パターンに対応する音節列は、
式(1)によって求められる。

ここに、ｎ_k ^＊は入力パターンに対して検出されたｋ番
目の音節に対応する部分パターンと最も良く整合する標
準パターンの音節名である。Ｄ^ｎ（ｓ：ｔ）は入力パタ
ーンの第ｓフレームから第ｔフレームまでの部分パター
ンと標準パターンＲ^ｎとのＤＰマッチングによる距離で
ある。また、式(1)における はｆ(x)を最小にするｘのことを意味する。

第４図は、Ｄ^ｎ（ｓ：ｔ）を計算するときの格子グラフ
における径路の拘束条件の一実施例であって、Ｄ
^ｎ（ｓ：ｔ）は次の漸化式により計算される。即ち、 ｉ＝ｓ〜ｔ，ｊ＝１〜ｊ^ｎについて 初期値Ｄ^ｎ（ｓ，１）＝ｄ^ｎ（ｓ，１） を計算すれば Ｄ^ｎ（ｓ：ｔ）＝Ｄ^ｎ（t,jⁿ） となる。

ただし、ｄ^ｎ（ｉ，ｊ）は入力パターンのフレームｉと
標準パターンのフレームｊとのベクトル間距離であり、
Ｄ^ｎ（ｉ，ｊ）は、入力パターンのフレームｓ〜ｉの部
分パターンと標準パターンＲ^ｎのフレーム１〜ｊの部分
パターンとの累積距離ということになる。

式(1)は第２図における各ｉ_ｋが音節境界として確かな
ものであり、固定して考えることができる場合である
が、一般には入力パターンにおける音節境界は不明確で
あり、位置的に確定することは困難である。そこで、本
発明は、音節境界はｉ_ｋの前後数フレームの範囲にある
という場合に適用して効果のある方法を提供するもので
ある。実際、入力パターンから音節の境界を精密に検出
するのは困難な場合が多く、入力信号の波形やスペクト
ルから視察により境界を決定する場合でも、その境界は
明確でない。

この問題の解決には、自動的にあるいは手動により指定
された音節境界に対し、その前後数フレームの区間内で
重複を生じず、かつ、連続するように標準パターンを結
合し、系列全体として最もよく入力パターンに整合する
標準パターン列を求め、それに対応する音節列を認識結
果とすることが有効である。本発明においてはこの考え
方に基づく現実的かつ効果的な装置を提供した。

本発明は、さらに、前記最適の音節列を求める際に、単
語辞書の知識を用いて拘束を加えることにより、より認
識率の向上を実現した所に特徴がある。

本発明を説明する前に、先ず、同出願人より先に出願し
た特願昭和６１−１５１１４号で述べた方法を簡単に説
明する。

この計算はは、動的計画法によって効率的に行うことが
できる。即ち、第２図において、ｉ_ｋ−ｒ₁≦ｉ≦ｉ_ｋ
＋ｒ₂に対し、 は式(3)を満足する ｉ′，ｎ をｋ＝１〜Ｋについて計算すれば、 (イ) ｉ＝ｉ_ｋ (ロ) ｎ^＊＝Ｎ(i) (ハ) Ｂ(i)≠０ならｉ＝Ｂ(i)として(ロ)へ、Ｂ(i)＝０
なら終了 という手順により、ｎ^＊の系列として、求めるべき音節
列が入力と逆の順序でで求められる。ただし、ｉ_ｏ＝
０，ｉ_ｋ＝Ｉ，Ｂ(0)＝０，Ｄ(0)＝０であって、ｋ＝１
のときは ｉ′＝０である。

ここで、Ｄ(i)は、入力パターンの第１〜ｉフレームの
部分パターンと、それと最も良く整合する標準パターン
の結合とのＤＰマッチング距離、Ｎ(i)は、入力パター
ンのフレームｉを最終フレームとするときの最後尾音節
名、Ｂ(i)はその一つ手前の音節名の最終フレーム（バ
ック・ポインタ）ということになる。

第３図は以上の計算を具体的に行う方法を示している。
即ち、式(3)をそのまま実行する場合は、それぞれのｎ
についてＤ^ｎ（ｉ′＋１：ｉ）の計算を始端点ｉ′をｉ
_k-1−ｒ₁〜ｉ_k-1＋ｒ₂の範囲で一つずつ変えて計算をす
るか、終端点ｉをｉ_ｋ−ｒ₁〜ｉ_ｋ＋ｒ₂の範囲で一つず
つ変えて計算をする必要があるが、本実施例の如き方法
を用いれば、式(3)の右辺を１パスで計算することがで
き、計算量は大幅に減少する。即ち、式(2)の漸化式の
計算を行う時に式(3)の計算も同時に行うものであっ
て、式(3)は式(2)によって先ずＤ^ｎ（ｉ′＋１：ｉ）を
求め、しかる後にＤ（ｉ′）＋Ｄ^ｎ（ｉ′＋１：ｉ）の
ｉ′に関する最少値を求めようとするものであるが、式
(2)の漸化式において、初期値を直前のフレームまでの
累積距離とすることによって、Ｄ(i)を直接求めること
が出来る。

具体的には、入力フレームｉにおける処理は次のように
なる。即ち、ｊ＝１〜Ｊ^ｎについて 初期値Ｄ^ｎ（i-2,0）＝Ｄ^ｎ（i-1,0）＝∞ ｉ_k-1−ｒ₁≦ｉ≦ｉ_k-1＋ｒ₂のとき Ｄ^ｎ（i-1,0）＝Ｄ（i-1） Ｂ^ｎ（i-1,0）＝ｉ−１ ｉ_k-1−ｒ₂＋１≦ｉ≦ｉ_ｋ＋ｒ₂のとき Ｄ^ｎ（i-1,0）＝∞ を計算すれば Ｂ(i)＝Ｂ^ｎ＊（i,Jⁿ） Ｎ(i)＝ｎ^＊ となる。ただし、ｄ^ｎ（ｉ，ｊ）は入力パターンのフレ
ームｉと標準パターンＲ^ｎのフレームｊとのベクトル間
距離であり、Ｄ^ｎ（ｉ，ｊ）は入力パターンのフレーム
１〜ｉの部分パターンと、最後尾音節名をｎとした場合
の最適の累積距離が最小となる）パターン列との累積距
離（最小累積照合距離）である。

ここで、漸化式(4)の初期値の設定を変更することによ
って、本発明装置を実現することが出来る。即ち、単語
ｗのｋ番目の音節をu(w,k)入力パターンの１〜ｉフレー
ムの部分パターンと単語ｗの１〜ｋ音節の音節標準パタ
ーン列との最小累積照合距離をＤ^(w,k)(i)とすれば、ｎ
＝ｕ（ｗ，ｋ）とおいて 初期値 Ｄ^ｎ（i-2,0）＝Ｄ^ｎ（i-1,0）＝∞ ｉ_k-1−ｒ₁≦ｉ≦ｉ_k-1＋ｒ₂のとき Ｄ^ｎ（i-1,0）＝Ｄ^(w,k)（i-1） ｉ_k-1−ｒ₂＋１≦ｉ≦ｉ_ｋ＋ｒ₂のとき Ｄ^ｎ（i-1,0）＝∞ を計算し、 Ｄ^(w,k)(i)＝Ｄ^ｎ（i,Jⁿ） を得る。この計算をｉ＝１〜Ｉについて実行すれば、求
めるべき単語Ｗ^＊は となる。この場合Ｂ^ｎ（ｉ，ｊ），Ｂ(i)等は不要であ
る。

以上の説明において、ｊ＝１〜Ｊ^ｎに対するＤ^ｎ（i,
j）の計算は第４図からも明らかなように、フレームｉ
−１，フレームｉ−２のそれらの値とフレームｉ−１の
ベクトル間距離、即ち、ｊ＝１〜Ｊ^ｎに対するｄ^ｎ（i-
1,j）のみ記憶しておけば良いものである。また、フレ
ームｉにおける計算をｊ＝Ｊ^ｎ〜１の順序で行うことに
すれば、Ｄ^ｎ（i,j）の計算に用いたそれらの第ｉ−２
フレームにおける値、およびｄ^ｎ（i-1,j）（ｊ＝１〜
Ｊ^ｎ）の値は再び使うことはないから、Ｄ^ｎ（i,j)，ｄ
^ｎ（i,j）の計算結果はそれぞれＤ^ｎ（i-2,j），ｄ
^ｎ（i-1,j）を記憶していた場所に記憶することが出来
る。従って、Ｄ^ｎ（i,j），ｄ^ｎ（i,j）に対する必要記
憶容量はＤ^ｎ（i,j）に対しては２フレーム分、ｄ
^ｎ（i,j）に対しては１フレーム分あれば良いことにな
る。

第１図は以上の原理による本発明の一実施例である。以
下、図面に従って本実施例を説明する。

１は音声信号の入力端子であって、認識されるべき音声
が入力される。２は特徴抽出部であって、入力された音
声をフィルタバンクやＬＰＣ分析等によって特徴ベクト
ルの系列に変換するものである。３は入力バッファ・メ
モリであって、特徴抽出部２で得られた特徴ベクトルの
系列を一時記憶するものである。４は音声区間検出部で
あって、特徴抽出部２で得られた特徴ベクトルの系列に
対して、入力音声信号のレベル等から周知の方法によっ
て音声区間の開始終了フレームを検出する。５はセグメ
ント・マーカ発生部であって、入力音声の音節の発声に
同期してセグメント・マーカを発生するものであって、
最も簡単には手動スイッチを入力音声の音節の発声に同
期して押圧することによってられる。６は入力フレーム
・カウンタであって、音声区間検出部４で得られた音声
区間の開始フレームから終了フレームまでのフレーム数
を計数するものである。入力バッフア・メモリ３はこの
入力フレーム・カウンタ６の状態によってアドレッシン
グされる。７はマーカ位置記憶部であって、セグメント
・マーカ発生部５から得られるセグメント・マーカと入
力フレーム・カウンタ６の状態から得られるマーカ位置
を記憶するものである。８はマッチング範囲指定部であ
って、マーカ置記憶部７の出力からそれぞれのセグメン
トに対し、入力音声信号に対してマッチングすべき部分
区間を指定するものである。９は標準パターン記憶部で
あって、認識すべき音節に対する標準パターンが記憶さ
れているものである。１６は単語辞書であって、認識さ
れるべき単語または文節が音節列の形で記憶されている
ものである。１０はベクトル間距離計算部であって、入
力バッファ・メモリ３から読みだされたマッチング範囲
指定部８で指定される入力の部分パターンと標準パター
ン記憶部９に記憶されている標準パターンのそれぞれと
のベクトル間距離を計算するものである。このとき、ベ
クトル間距離の計算されるべき音節は、前記入力の部分
パターンに相当するセグメントに対応する前記単語辞書
１６の任意の単語の音節と同一の音節に限ることによっ
て、計算量の大幅な削減が出来る。即ち、マッチング範
囲指定部８で指定される入力の部分パターンが第ｋ番の
セグメントであったとすると、ベクトル間距離の計算さ
れるべき音節は、単語辞書１６に含まれるそれぞれの単
語の第ｋ音節として現われる音節に限られる。１１はベ
クトル間距離記憶部であって、ベクトル間距離計算部１
０で計算された結果を前記説明に従って一時記憶するも
のである。１２は累積距離計算部であってベクトル間距
離記憶部１１に記憶されているベクトル間距離から前記
漸化式(4)に従って累積距離およびバック・ポインタを
計算するものである。１３は累積距離記憶部であって、
累積距離計算部１２で計算された累積距離Ｄ^(w,k)(i)を
記憶するものである。１４は最小値判定部であって、音
声区間検出部４が音声区間の終了を検出すると、式(5)
に従って、累積距離Ｄ^(w,k)(I)のＫに関する最小値を求
め、それを与えるＷ＝Ｗ^＊を認識結果と判定し、その結
果を端子１５に出力するものである。

第５図は、以上の実施例の動作をプログラムで表現した
ものであり、ソフトウエアで実現する場合もこれに従え
ばよい。なお、第５図において、 なる記法は、条件Ａが成立する間Ｂを行うと言うことを
意味する。また、 なる記法は、条件Ａが成立するまでＢを行うと言うこと
を意味する。さらに なる記法は、条件Ａが成立するときはＢを実行し、条件
Ａが成立しないときはＣを実行すると言うことを意味す
る。

ステッ２０１，２０２は累積距離Ｄ^(w,k)(i)の初期化を
行う部分である。

ステップ２０３はｋ番目のマーカにおける処理を示して
おり、ステップ２０６，２０７でマッチングすべき入力
パターンの部分区間の開始フレームｓと終了フレームｔ
の値を設定している。ただし、頭語（ｋ＝１）において
はｓ＝１、語尾（ｋ＝Ｋ）においてはｔ＝Ｉであり、ｋ
≠１かつｋ≠Ｋのときはｓ＝ｉ_k-1−ｒ₁，ｔ＝ｆ_ｋ＋ｒ
₂となる。

ステップ２０８は前記説明に従って音節ｎ＝１〜Ｎに対
する標準パターンのそれぞれと入力パターンの前記部分
区間とのマッチングを行っている。

ステップ２０９は前記説明に従って単語ｗ＝１〜Ｗに対
する標準パターンの結合と入力パターンとのマッチング
を行っている。

ステップ２１０は単語ｗのｋ番目の音節ｕ（w,k）と音
節ｎとが一致するとき音節ｎの標準パターンと入力パタ
ーンのｋ番目の部分区間とのマッチングを、前記説明に
従って、セグメント・マーカ前後の数フレームを端点自
由区間として行っている。

ステップ２１１，２１２は前記部分区間におけるマッチ
ング計算に先だって初期化を行っている。

ステップ２１３は前記入力パターンの部分区間ｓ〜ｔと
音節標準パターンｎとのマッチング計算を行っている。

ここで、ステップ２１１，２１４においては、前記説明
に従って、Ｄ^ｎ(i,j）に対しては２フレーム分の、ｄ^ｎ
（i,j）に対しては１フレーム分のメモリのみで済むも
のでであるから、このことを実際に行うために、ｉに対
してｍ＝i mod2なる置き換えを行っている。また、ｉ＝
ｓ〜ｔの間ｎは不変であるから、Ｄ^ｎ（I,J），ｄ
^ｎ（i,j）はｎ毎に持つ必要はなく、それらはＤ（i,
j），ｄ（i,j）とすることができる。

ステップ２１４，２１５，２１６は入力フレームｉにお
ける処理に先だって初期化する部分である。

ステップ２１７は前記説明に従ってフレームｉにおける
漸化式の計算をｊ＝Ｊ^ｎ〜１について計算している。

ステップ２１９は入力パターンのｉ_k-1−ｒ₁≦ｉ≦ｔの
フレームについてｎ＝１〜ｎについてのＤ（m,j）の最
小値をＤ^(w,k)(i)に代入している。

ステップ２２０はＤ^(w,k)(I)を最小にするＷ＝Ｗ^＊を求
めており、Ｗ^＊が求めるべき認識結果である。

発明の効果 以上述べたように、本発明においては、音節を連続して
発声する際、音節入力に伴ってセグメント・マーカを付
加するようになしたとき、このマーカの位置を基準に前
後数フレームの曖味さを持たせて入力パターンに最も良
く整合する単語辞書のそれぞれの単語に対応する標準パ
ターン列をＤＰマッチングにより求めるようにしたの
で、セグメンテーション誤りを排除出来たばかりでな
く、高精度のセグメンテーションが可能となったもので
ある。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
本発明の基本原理を説明する基本原理図、第３図は本発
明におけるＤＰマッチング計算の詳細を説明するための
原理図、第４図は本発明の実施例で用いたＤＰマッチン
グの径路の拘束条件を示す説明図、第５図は前記実施例
における処理手順を詳細に説明するための処理手順図で
ある。 １……音声入力端子、２……特徴抽出部、３……入力バ
ッファ・メモリ、４……音声区間検出部、５……セグメ
ント・マーカ発生部、６……入力フレーム・カウンタ、
７……マーカ位置記憶部、８……マッチング範囲記憶
部、９……標準パターン記憶部、１０……ベクトル間距
離計算部、１１……ベクトル間距離記憶部、１２……累
積距離計算部、１３……累積距離記憶部、１４……最小
値判定部、１５……出力端子、１６……単語辞書。

Claims (1)

【特許請求の範囲】
1. 【請求項１】音節を連続発声して得られる単語・文節等
   の入力音声信号を特徴ベクトルの系列に変換する特徴抽
   出手段と、音節のそれぞれに対応した特徴ベクトルの系
   列を前記音節名に対応づけて記憶する標準パターン記憶
   手段と、１音節発声する毎にそれに同期した信号である
   セグメント・マーカを発生するセグメント・マーカ発生
   手段と、前記標準パターンのそれぞれと前記入力パター
   ンに対して得られた前記それぞれのセグメント・マーカ
   の近傍のそれぞれのフレームから次のセグメント・マー
   カの近傍のそれぞれのフレームまでの入力パターンの部
   分区間とのマッチングを行って両者の距離（類似度）を
   計算するマッチング手段と、認識されるべき各単語・文
   節等を前記音節名の系列として表現した単語・文節等を
   記憶する単語・文節辞書と、この認識されるべき単語・
   文節と前記入力パターンとの距離を、前記単語・文節辞
   書によって指定される音節名の系列に対応するように、
   前記部分区間を隣会う区間が連続するように最適に定め
   ることにより、前記各部分区間の始点と終点およびその
   音節名に対応する距離（類似度）の総和を最小（最大）
   となし、得られる最小値（最大値）を前記各単語・文節
   に対する前記入力パターンの距離として出力する単語・
   文節マッチング手段と、前記最小値（最大値）のなかで
   最小値（最大値）を与える前記単語・文節を認識結果と
   して判定する判定手段とを含むことを特徴とする連続音
   声認識装置。