JPS62173499A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、特徴ベクトルの系列で表わされた複数種類の
標準パターンと入力パターンとの比較を行い、入力音声
の識別を行う音声認識装置に関し。

特に連続して発声した単語音声の認識などに適用可能な
音声認識装置に関する。

従来の技術 従来、音声認識装置としては特定話者登録方式によるも
のが実用化されている。

即ち、認識装置を使用しようとする話者が、予め、認識
すべきすべての単語を自分の声で特徴ベクトルの系列に
変換し、単語辞書に標準パターンとして登録しておき、
認識時に発声された音声を、同様に特徴ベクトルの系列
に変換し、前記単語辞書中のどの単語に最も近いかを予
め定められた規則によって計算し、最も類似している単
語を認識結釆とするものである。

ところが、この方法によると、認識単語数が少ないとき
は良いが、数百、数千単語といったように増加してくる
と、主として次の三つの問題が無祝し得なくなる。

（１）登録時における話者の負担が著しく増大する。

（２）認識時に発声された音声と標準パターンとの類似
度あるいは距離を計算するのに要する時間が著しく増大
し、認識装置の応答速度が遅くなる。

（３）前記単語辞薔のために要するメモリが非常に大き
くなる。

以上の欠点を回避するだめの方法として認識の単位を子
音＋母音の単音節（以後それぞれＣＶ。

■で表わす。Ｃは子音、■は母音を意味する。）とする
方法がめる。即ち、標準パターンとして単音節を特徴ベ
クトルの系列として登録しておき、認識時に特徴ベクト
ルの系列に変換された入力音声を、前記単音節の標準パ
ターンとマツチングすることにより、単音節の系列に変
換するものである。日本語の場合、単音節は高々１０１
種類であり、単音節は仮名文字に対応しているから、こ
の方法によれば、日本語の任意の単語あるいは文章を単
意節列に変換する（認識する）事が出来、前記（１）〜
（３）の問題はすべて解決されることになる。

は未だ見出されていない。この問題を解決するために、
現在のところ各単節を区切って発声することが行われて
お９、実用化されている装置もある。

発明が解決しようとする問題点 しかし、単音節の離散発声により日本語の文章を入力す
るのは、話者にとって緊張を強いもので、あり、連続発
声によ多入力出来ることが望ましい。

本発明は、前記連続発声によ多入力された音声に対する
前記セグメンテーションの問題を解決した音声認識装置
を提供する。

問題点を解決するための手段 本発明は、音節を連続発声して得られる入力音声信号を
特徴ベクトルの系列に変換する特徴抽出手段と、音節の
それぞれに対応した特徴ベクトルの系列を前記音節名に
対応ずけて記憶する標準パターン記憶手段と、１音節発
声する毎にそれに同期した信号であるセグメント・マー
カを発生するセグメント・マーカ発生手段と、前記標準
パターンのそれぞれと前記入力パターンに対して得られ
た前記それぞれのセグメント・マーカの近傍のそれぞれ
のフレームから次のセグメント・マーカの近傍のそれぞ
れのフレームまでの入力パターンの部分区間とのマツチ
ングを行って両者の距離（または類似度）を計算するマ
ツチング手段と、前記部分区間を隣合う区間が連続する
ように最適に定めることにより、前記部分区間の始点と
終点およびその部分区間の前記音節名に対応する距離（
または類似度）の総和を最小（または最大）となし、前
記連続する部分区間の音節名を決定する音節名決定手段
とをよむことを特徴とする連続音声認識装置である。

作　　用 本発明は以上の構成により、特徴抽出手段によシ、音節
を連続発声して得られる入力音声信号を特徴ベクトルの
系列に変換し、セグメント・マーカ発生手段によシ、１
音節発声する毎にそれに同期した信号、即ち、セグメン
ト・マーカを入力し、マツチング手段によシ、標準パタ
ーン記憶手段にそれぞれの音節名に対応ずけて記憶され
ている特徴ベクトルの系列のそれぞれと、前記入力パタ
ーンに対して得られた前記それぞれのセグメント・マー
カの近傍のそれぞれのフレームから次のセグメント・マ
ーカの近傍のそれぞれのフレームまでの入力パターンの
部分区間とのマツチングを行って両者の距離（または類
似度）を計算し、音節名決定手段により、前記部分区間
を隣合う区間が連続するように最適に定めることにより
、前記部分区間の始点と終点およびその部分区間の前記
音節名に対応する距離（または類似度）の総和を最小（
または最大）となし、前記連続する部分区間の音節名を
決定するものである。

実施例 第２図〜第３図は本発明の詳細な説明する図である。

第２図は、標準パターンＲｎと入力パターンとのマツチ
ングの方法を示す格子グラフであ−る。即ち。

横軸は入力パターン、縦軸は標準パターンＲｎ　＜音節
ｎに対する特徴ベクトルの系列）であって、入力パター
ンは、連続して発声された音節列を特徴ベクトルの系列
に変換して得られるものであり、標準パターンＲｎは、
音節ｎを発声して得られる特徴ベクトルの系列である。

工は入力パターンのフレーム数、■０ハ標準パターンＨ
ｎのフレーム数である。ｉ　は入力パターンの第に番と
第に＋１に 番の音節の境界を示すフレームである。ｆｌ、　ｒ２は
入力パターンの部分パターンに対するマツチングの始終
端の自由区間を規定するものであって、入力パターンの
第に音節に相当する部分パターンは始端点は１ｋ−１’
１〜’に−１＋ｒ２、終端点は１ｋ−ｒ１〜ｉｋ十ｒ２
に存在するものとしている。

入力パターンに対して検出された音節境界が確かな場合
は、１〜ｌｋ　フレームの入力パターンの部分パターン
に最も良く整合する標準パターンに対応する音節列は、
式（１）によって求められる。

ｎｋ”＝ａｒｇｍｉｎ（Ｄｎ（ｉｋ−１＋１　：　ｆｋ
））　・−（１）ここに、ｎｋは入力パターンに対して
検出されたに番目の音節に対応する部分パターンと最も
良く整合する標準パターンの音節名である。Ｄｎ（ｓ：
ｔ）は入力パターンの第Ｓフレームからｇｔフレームま
での部分パターンと標準パターンＨｎとのＤＰマツチン
グによる距離である。また、式（１）におけるａｒｇｍ
ｉｎ（ｆ　（ｘ　）　）はｆ（ｘ）を最小にするＩのこ
とを意味する。

第４図は、Ｄｎ（ｓ　：　ｔ　）を計算するときの格子
グラフにおける径路の拘束条件の一実施例であって、Ｄ
ｎ（ｓ：ｔ）は次の漸化式により計算される９部ち、ｉ
　＝ｓ　ｙ　ｔ　、　ｊ　＝１〜■“について・・・・
・・・・・・・・（２） 初Ｘｔｌ値Ｄｎ（８、１）＝ｄｎ（Ｓ　＃　１　）を計
算すれば Ｄ”（ｓ　：　ｔ　）−＝Ｄｎ（ｔ　、　Ｉｎ）となる
。

ただし、ｄ”（ｉ、ｊ）は入力パターンのフレームｉｋ
標準パターンのフレームｊとのベクトル間距離であり、
Ｄｎ（ｉ、ｊ）は、入力パターンのフレームＳ〜１の部
分パターンと標準パターンＨｎのフレーム１〜ｊの部分
パターンとの累積距離ということになる。

式（１）は第２図におけを各ｉｋが音節境界として確か
なものであり、固定して考えることができるばあいであ
るが、一般には入力パターンにおける音節境界は不明確
であり、位置的に確定することは困難である。そこで、
本発明は、音節境界はｉｋの前後数フレームの範囲にあ
るという場合に適用して効果のある方法を提供するもの
である。実際、入力パターンから音節の境界を精密に検
出するのは困難な場合が多く、入力信号の波形やスペク
トルから視察により境界を決定する場合でも、その境界
は明確でない。

本発明は、以上の点に鑑み、自動的にあるいは手動によ
り指定された音節境界に対し、その前後数フレームの区
間内で重複を生じず、かつ、連続するように標準パター
ンを結合し、系列全体として最もよく入力パターンに整
合する標準パターン列を求め、それに対応する音節列を
認識結果とするものであって、本発明により以上の問題
を解決する現実的かつ効果的な装置を提供出来ることと
なったものである。

この計算は、動的計画法によって効率的に行うことがで
きる。即ち、第２図において、１　ｋｒ　１≦ｌ　≦ｉ
ｋ＋ｒ２に対し、ＣＩ）（ｔ’）＋Ｉ）ｎ（ｉ’＋１　
：　ｉ　））　　−−＝１３）Ｎ（１）＝ｎ／＊ をに−１〜Ｋについて計算すれば、 （イ）　１＝＝ｉｋ （ロ）　　　ｎ子＝　Ｎ（ｉ　） （ハ）　Ｂ（ｉ）≠０ならｉ　＝　Ｂ（ｉ）として（ロ
）へ、Ｂ（ｉ　）＝＝　Ｏなら終了という手順により、
♂の系列として、求めるべき音節列が入力と逆の順序で
求められる。

タタシ、１０＝ｏ、ｉｋ−工、Ｂｐｌ−０，Ｄｐ）−〇
であって、ｋ＝１のときは ｉ’＝Ｑである。

ここで、Ｄ（Ｌ）は、入カッ（ターンの第１〜ｉフレー
ムの部分パターンと、それと最も良く整合する標準パタ
ーンの結合とのＤＰマツチング距離、Ｎ（ｉ）は、入力
パターンのフレーム１を最終フレームとするときの最後
尾音節名、Ｂ（ｉ）はその一つ手前の音節基の最終フレ
ーム（・（ツク・ポインタ）ということになる。

第３図は以上の計算を具体的に行う方法を示している。

即ち、式（３）をそのまま実行する場合は、それぞれの
ｎについてＤｎ（ｉ’＋１　：　ｉ　）の計算を始端点
ｉ′ｆ：１ｋ−１−ｒ１〜１ｋ−１＋ｆ２の範囲で一つ
ずつ変えて計算をするか、終端点ｉを１ｋ−ｒ１〜ｉｋ
＋ｒ２の範囲で一つずつ変えて計算をする必要があるが
、本実施例の如き方法を用いれば、弐〇）の右辺を１パ
スで計算することができ、計算量は大幅に減少する。即
ち、式（２）の漸化式の計算を行う時に式（３）の計算
も同時に行うものであって、式（３）は式（２）によっ
て先ずＤｎ（ｉ’＋１：ｉ　）を求め、しかる後にＤ（
ｉ’）＋Ｄｎ（ｉ’＋１：　ｉ　）＋７）　ｉ’ＫｔＪ
スル最少値ヲ求メようとするものであるが、式（２）の
漸化式において、初期値を直前のフレームまでの糸速距
離とすることによって、Ｄ　（ｉ）を直接水めることが
出来る。

具体的には、入力フレームｉにおける処理は次のように
なる。即ち。

ｊ＝１〜Ｉｎについて 初期［Ｄｎ（ｉ　−２、Ｏ）＝Ｄｎ（ｉ　−１、Ｏ）−
ｏ。

１ｋ−１’１≦ｉ≦’に−１”２のときＤｎ（ｉ−１，
Ｏ）　＝Ｄ（１−１） Ｂｎ（ｉ　−１、Ｏ）　＝　Ｌ　−１ １ｋ−１ｒ　２　＋　１≦ｉ≦ｉｋ＋ｒ２のときＤ”（
ｉ−１，０）＝■ を計算すれば、 ｎ”＝ａｒｇｍｉｎ（Ｄｎ（ｉ　、　Ｊ”））Ｂ（ｉ）
＝Ｂｎ＋（ｉ　、　Ｊ”） Ｎ（ｉ）−ｎ” は入力バター／のフレーム１〜１の部分パターンと、最
後尾音節名をｎとした場合の最適の（累積距離が最小と
なる）パターン列との累積距離（最小累積照合距離）で
ある。

以上の説明において、ｊ−１〜■０に対するＤｎ（ｌ、
］）、Ｂｎ（１，Ｊ）の計算は第４図からも明らかなよ
うに、フレームｌ−１，フレームｉ−２のそれらの値と
フレーム１−１のベクトル間距離、即ち、ｊ−１〜■０
に対するｄｎ（ｉ−１，ｊ）のみ記憶しておけば良いも
のである。また、フレームｉにおける計算を］　＝　Ｊ
ｎ〜１の順序で行うことにすれば、Ｄ”（ｉ　、　ｊ）
　、　Ｂｎ（ｉ　、　＋　）（７）計３ｉＥＫ用イター
ｔｉラノｇ　ｔ　−２７ｖ−、ｚ、にオｆｆ　ル値、オ
ヨヒ、ｄｎ（’−１１＋　）（ｊ＝＝１〜ｒ　ｎ　＞の
値は再び使うことはないから、Ｄｎ（ｉ、ｉ）。

Ｂｎ（ｉ　、　ｉ　）　、　ｄ”（ｉ　、　ｉ　）Ｏ計
！結果ハソｎツレｏｎ（ｉ−２，ｊ）、Ｂｎ（ｔ−２，
ｊ）、ｄｎ（ｉ−１，ｉ）’ｉ＝ｇｅ憶していた場所に
記憶することが出来る。従って、Ｄｎ（ｉ、ｉ）、Ｂｎ
（ｉ＋ｉ）、ｄｎ（ｉ、ｉ）Ｋ対する必！記憶容ｆｆ１
ｉｉＤｎ（ｉ　ｐ　ｉ　）　ｅＢｎ（ｉ　、　ｉ　）　
ｉＣ対し　テＩｔｉ２フレーム分、ｄｎ（ｉ、ｉ）に対
しては１フレ一ム分あれば良いことになる。

第１図は以上の原理による本発明の一実施例である。以
下、図面に従って本実施例を説明する。

１は音声信号の入力端子であって、認識されるべき音声
が入力される。２は特徴抽出部であって、入力された音
声をフィルタバンクやＬＰＣ分析等によって特徴ベクト
ルの系列に変換するものである。３は入カバソファ・メ
モリであって、特徴抽出部２で得られた特徴ベクトルの
系列を一時記憶するものである。４は音声区間検出部で
あって、特徴抽出部２で得られた特徴ベクトルの系列に
対して、入力音声信号のレベル等から周知の方法によっ
て音声区間の開始終了フレームを検出する。

５はセグメント・マーカ入力部であって、入力音声の発
声に同期してセグメント・マーカを入力するものであっ
て、最も簡単には手動スイッチを入力音声の音節の発声
に同期して押圧することによって得ら扛る。６は入力フ
レーム・カウンタであって、音声区間検出部４で得られ
た音声区間の開始フレームから終了フレームまでのフレ
ーム数ヲ計数するものである。入力バッファ・メモリ３
はこの入力フレーム・カウンタ６の状態によってアドレ
ッシングされる。７はマーカ位置記憶部であって、セグ
メント・マーカ入力部５から得られるセグメント・マー
カと入力フレーム・カラ／り６の状態から得られるマー
カ位置を記憶するものである。８はマツチング範囲指定
部であって、マーカ位置記憶部７の出力からそれぞれの
セグメントに対し、入力音声信号に対してマツチングす
べき部分区間を指定するものである。９は標準パターン
記憶部であって、認識すべき音節に対する標準パターン
が記憶されているものである。１０はベクトル間距離計
算部であって、入カバノファ・メモリ３から読みだされ
たマツチング範囲指定部８で指定される入力の部分パタ
ーンと標準パターン記憶部９に記憶されている標準パタ
ーンのそれぞれとのベクトル間距離を計算するものであ
る。１１はベクトル間距離記憶部であって、ベクトル間
距離計算部１ｏで計算された結果を前記説明に従って一
時記憶するものである。１２は累積距離計算部であって
ベクトル間距離記憶部１１に記憶されているベクトル間
距離から前記漸化式に従って累積距離およびバック・ポ
インタを計算するものである。１３は累積距離記憶部で
あって、累積距離計算部１２で計算された累積距離Ｄ　
（ｉ）を記憶するものである。１４はバンク・ポインタ
記憶部であって、累積距離計算部１２で計算されたバッ
ク・ポインタＢ（ｉ）を記憶するものである。１５は最
後尾音節記憶部であって累積距離計算部１２で計算され
た最後尾音節基Ｎ（ｉ）を記憶するものである。

１６はセグメンテーション部であって、ｉ　＝　１〜Ｉ
について以上の処理が終了すると、認識結果を入力と逆
の順序で出力する（バンク・トランクと呼ぶことにする
）際に必要となるものであって、バンク・ポインタ記憶
部１４に対し、所定のバック・ポインタを読み出すべき
命令を発するものである。即ち、セグメンテーション部
１６がｉなる値をバンク・ポインタ記憶部１４に発する
と、バック・ポインタ記憶部１４からはバック・ポイン
タＢ　（ｉ）が読み出される。セグメンテーション部１
６はバック・ポインタ記憶部１４からＢ（ｉ）なる値を
受は取ると、その同じ値をバック・ポインタ記憶部１４
に発する。従って、音声区間検出部４が音声入力の終了
を検知すると、入力フレーム・カウンタ６の最終値工が
セグメンテーション部１６に供給され、セグメンテーシ
ョン部１６は先ず工なる値をバック・ポインタ記憶部１
４に発する。以後、前記説明の動作に従って、バック・
ポインタ記憶部１４からＢ（Ｉ）、Ｂ（Ｂ（Ｉ）、・・
・、○なる出力が順次得られることになる。これ等の値
は、最後から２番目の音節の終わりのフレーム、同３香
目の終わりのフレーム、同４査目の終わりのフレーム、
・・・・・・というものであり、Ｎ（ｉ）はフレーム１
で終わる最後尾の音節であったから、この値をそのまま
最後尾音節記憶部１６に与えると、最後の音節から逆の
順序で認識結果が得られることになる。

この順序を逆に（当だυ前の順序に）するには、順序の
変換をバック・ポインタ記憶部１４の出力か、最後尾音
節記憶部１６の出力に対して行えばよい。

第５図は、以上の実施例の動作をプログラムで表現した
ものであわ、、ソフトウェアで実現する場合もこれに従
えばよい。なお、第５図において、ＮＤＤＯ なる記法は、条件Ａが成立する間Ｂを行うと言うことを
意味する。また、 ＮＤＤＯ なる記法は、条件Ａが成立するまでＢを行うと言うこと
を意味する。さらに ＬＳＥ ＮＤＩＦ なる記法は１条件Ａが成立するときはＢを実行し、条件
Ａが成立しないときはＣを実行すると言うことを意味す
る。

ステップ２０１．２０’２は累積距離Ｄ　（ｉ）　、ハ
７り・ポインタＢ（ｉ）の初期化を行う部分である。

ステップ２０３はに番目のマーカにおける処理を示して
おり、ステップ２０４．２０５でマツチングすべき入力
パターンの部分区間の開始フレームＳと終了フレームｔ
の値を設定している。ただし、語頭（ｋ＝１）において
はＳ＝１、語尾（ｋ＝Ｋ）においてはｔ＝Ｉであり、Ｋ
≠１かつに≠にのときはｓ　＝　１ｋ−１−ｒ、　、　
ｔ　＝　ｉｋ＋　ｒ２となる。

ステップ２０６は前記説明に従って音節ｎ　＝　１〜Ｎ
に対する標準パターンのそれぞれと入力・くター／の前
記部分区間とのマツチングを行っている。

ステップ２０７．２０８は前記部分区間におけるマツチ
ング計算に先だって初期化を行っている。

ステップ２０９は前記入力パターンの部分区間Ｓ　％　
ｔと音節標準パターンｎとのマツチング計算を行ってい
る。

ステップ２０６においては、前記説明に従って、Ｄ”（
ｉ　＃　ｉ）　＋Ｂｎ（ｔ　＊　ｊ）　ニ対しｃハ２７
　ｖ一部分の、”（’ｐ＋）に対しては１フレ一ム分の
メモリのみで済むものであるが、このことを実際に行う
ために、ｉに対してｍ　＝　ｉ　ｍｏｄ　２なる置き換
えを行っている。また、ｉ　＝　ｓ　−ｔの間ｎは不変
であるから、ＤｎＤ　＊　］　）ｙＢｎ（’　ｔ　］　
）＊”（’ｔ））はｎ毎に持つ必要はなく、それらはＤ
（ｉ、ｊ）。

Ｂ（１，］）、ｄ（’＋１）とすることができる。

ステップ２１０，２１１．２１２は入力フレームｉにお
ける処理に先だって初期化する部分である。

ステップ２１３は前記説明に従ってフレームｉにおける
漸化式の計算をｊ＝１〜工０について計算している。

ステップ２１４は入力パターンの’に−１”＋≦ｉ≦ｔ
のフレームについてｎ　＝　１〜ｎについてのＤ（ｍ、
Ｆ）の最小値をＤ（ｉ）に代入すると共に、そのときの
Ｂ（ｍ、Ｉｎ）をＢ（ｉ）に、ｎをＮ（ｉ）に代入して
いる。

ステップ２１５，２１６は前記したパンク・トラックを
行っている。

以上のようにしてもとめられたＮ　（ｋ）から、入力は
音節列Ｎ（１）　、　Ｎ（２）　、・・・・・・、Ｎ（
Ｋ）であるという結果が得られる。

発明の効果 以上述べたように、本発明においては、音節を連続して
発声する際、音節入力に伴ってセグメント・マーカを付
加するようになしたとき、このマーカの位置を基準に前
後数フレームの曖昧さを持たせて入力パターンに最も良
く整合する標準パターン列をＤＰマツチングにより求め
るようにしたので、セグメンテーション誤りを排除出来
たばかりでなく、高精度のセグメンテーションが可能と
なったものである。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
本発明の基本原理を説明する基本原理図、第３図は本発
明におけるＤＰマツチング計算の詳細を説明するだめの
原理図、第４図は本発明の実施例で用いたＤＰマツチン
グの径路の拘束条件を示す説明図、第５図は前記実施例
における処理手順を詳細に説明するだめの処理手順図で
ある。 １・・・・・・音声入力端子、２・・・・・・特徴抽出
部、３・・・・・・入カバソファ・メモリ、４・・・・
・・音声区間検出部、５・・・・セグメント・マーカ入
力部、６・・・・・・入力フレーム・カウンタ、７・・
・・−・マーカ位置記憶部、８・・・・・・マツチング
範囲記憶部、９・・・・・・標準パターン記憶部、１ｏ
・・・・・・ベクトル間距離計算部、１１・・・・・ベ
クトル間距離記憶部、１２・・・・・・累積距離計算部
、１３・・・・・・累積距離記憶部、１４・・・・・・
バック・ポインタ記憶部、１６・・・・・・最後尾音節
記憶部、１６・・・・・・セグメンテーション部。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名戸 区　　　　　）　　　− 第３図 第４図 ｒビーｌ、ノー２ノ

Claims (1)

【特許請求の範囲】
1. 音節を連続発声して得られる入力音声信号を特徴ベクト
   ルの系列に変換する特徴抽出手段と、音節のそれぞれに
   対応した特徴ベクトルの系列を前記音節名に対応ずけて
   記憶する標準パターン記憶手段と、１音節発声する毎に
   それに同期した信号であるセグメント・マーカを発生す
   るセグメント・マーカ発生手段と、前記標準パターンの
   それぞれと前記入力パターンに対して得られた前記それ
   ぞれのセグメント・マーカの近傍のそれぞれのフレーム
   から次のセグメント・マーカの近傍のそれぞれのフレー
   ムまでの入力パターンの部分区間とのマッチングを行っ
   て両者の距離（または類似度）を計算するマッチング手
   段と、前記部分区間を隣合う区間が連続するように最適
   に定めることにより、前記部分区間の始点と終点および
   その部分区間の前記音節名に対応する距離（または類似
   度）の総和を最小（または最大）となし、前記連続する
   部分区間の音節名を決定する音節名決定手段とを含むこ
   とを特徴とする連続音声認識装置。