JPS6283798A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、特徴ベクトルの系列で表わされた複数種類の
標準パターンと入力パターンとの比較を行ない、入力音
声の識別を行なう音声認識装置に関し、特に連続して発
声した単語音声の認識などに適用可能な音声認識装置に
関する。

従来の技術 従来、音声認識装置としては特定話者登録方式によるも
のが実用化されている。即ち、認識装置を使用しようと
する話者が、予め、認識すべきすべての単語を自分の声
で特徴ベクトルの系列に変換し、単語辞書に標準パター
ンとして登録しておき、認識時に発声された音声を、同
様に特徴ベクトルの系列に変換し、前記単語辞書中のど
の単語に最も近いかを予め定められた規則によって計算
し、最も類似している単語を認識結果とするものである
。

ところが、この方法によると、認識単語数が少ないとき
は良いが、数百、数千単語といったように増加してくる
と、主として次の三つの問題が無視し得なくなる。

（１）登録時における話者の負担が著しく増大する０ （２）認識時に発声された音声と標準パターンとの類似
度あるいは距離を計算するのに要する時間が著しく増大
し、認・識装置の応答速度が遅くなる〇 （３）前記単語辞書のために要するメモリが非常に大き
くなる。

以上の欠点を回避するための方法として認識の単位を子
音＋母音の単音節（以後それぞれＣＶ。

■で表わすＯＣは子音、■は母音を意味する。）とする
方法がある。即ち、標準パターンとして単音節を特徴ベ
クトルの系列として登録しておき、認識時に特徴ベクト
ルの系列に変換された入力音声を、前記単音節の標準パ
ターンとマツチングすることにより、単音節の系列に変
換するものである。日本語の場合、単音節は高々１０１
種類であり、単音節は仮名文字に対応しているから、こ
の方法によれば、日本語の任意の単語あるいは文章を単
音節列に変換する（認識する）事が出来、前記（１）〜
（３）の問題はすべて解決されることになる０しかし、
この場合の問題の一つとしてセグメンテーションがある
。即ち、セグメンテーションは連続して発声された音声
を単音節単位に区切ることであるが、これを確実に行な
う決定的な方法は未だ見出されていない０この問題を解
決するために、現在のところ各単音節を区切って発声す
ることが行なわれており、実用化されている装置もある
。

発明が解決しようとする問題点 しかし、単音節の離散発声により日本語の文章を入力す
るのは、話者にとって緊張を強いるものであり、連続発
声により入力出来ることが望ましい。

本発明は、前記連続発声により入力された音声に対する
前記セグメンテーションの問題を解決した音声認識装置
を提供することを目的とする。

問題点を解決するだめの手段 本発明は、入力信号を特徴ベクトルａ１　、　ａ２　、
・・・・・・、ａｌ、・・・・・・、ａＩの系列に変換
する特徴抽出手段と、特徴ベクトルの系列ｂｎ１．ｂｎ
□、・・・・・・、、ｂｎｊ、ｎから成る標準パターン
Ｒｎ（ただし、ｎ＝１〜Ｎ）を記憶する標準パターン記
憶手段と、１音節発生する毎にそれに同期した信号（以
後、セグメント・マーカと呼ぶ）°を入力するセグメン
ト・マーカ入力手段と、入力のフレームｌを横軸に、標
準パターンのフレームｊを縦軸とする格子グラフにおい
て、入力信号の前記各セグメント・マーカに対応する位
置の近傍を始端点、そこから予め定めた範囲に含まれる
フレームを終端点とする入力パターンの部分パターンと
前記標準パターンＲｎとを、標準パターン側を基本軸と
して始終端自由のＤＰマツチングを行なうＤＰマツチン
グ手段と、このＤＰマツチングの結果得られる前記標準
パターンＲｎに対する最適値のうちさらに前記ｎに関す
る最適値を求め、そのｎを前記入力パターンの部分パタ
ーンの音節認識結果とする音節認識手段とを含む連続音
声認識装置である。

作　　用 本発明は以上の構成により、特徴抽出手段により、入力
信号を特徴ベクトルａ　１　、　ａ　２　、・・・・・
・ｒ　ａｉ　＋・・・・・・、ａＩの系列に変換し、セ
グメント・マーカ入力手段により、１音節発生する毎に
それに同期した信号（以後、セグメント・マーカと呼ぶ
）を入力し、入力のフレームｉを横軸に、標準パターン
のフレームｊを縦軸とする格子グラフにおいて、入力信
号の前記各セグメント・マーカに対応する位置の近傍を
始端点、そこから予め定めた範囲に含まれるフレームを
終端点とする入力パターンの部分パターンと特徴ベクト
ルの系列ｂｎ１．ｂｎ２．・・・・・・＋ｂｎｊｐ・・
・・・・　ｂ　ｎ　、ｎ　から成る標準パターンＲｎ（
ただし、ｎ＝１〜Ｎ）とを標準パターン側を基本軸とし
て始終端自由のＤＰマツチングを行ない、このＤＰマツ
チングの結果得られる前記標準パターンｉｎに対する最
適値のうちさらにｎに関する最適値を求め、そのｎを前
記入力パターンの部分パターンの音節認識結果とする。

実施例 音声認識の一つの方法にワードスポツティングと呼ばれ
るものがある。即ち、単語、音節等の、認識の基本単位
を連続して発声して入力された連続音声に対して、前記
それぞれの認識基本単位の可能な存在候補区間を見出す
方法である０本発明はこのワードスポツティングと呼ば
れる方法に基礎を置いているものであって、先ず、ワー
ドスポツティングの原理を説明する。

第１図すはワードスポツティングに用いられるＤＰマツ
チングにおける径路の拘束条件の一例を示している。Ｄ
Ｐマツチングとは、入力パターンを特徴ベクトルの系列
＆１．　ａ２　、・・・・・・ｐａｉ＋・・・・・・、
ａ工とし、標準パターンＲｎを特徴ベクトルの系列ｂｎ
１．ｂｎ３．　、・、、、・、　、ｂｎｊ、　、、、、
・、　、　、ｂｎｊ、ｎ　　とするとき、両者それぞれ
の系列の特徴ベクトルの対応を動的計画法（ＤＰ）によ
り、その対応による特徴ベクトル間の類似度（または距
離）の荷重和を最大（または最小）にし、その時の類似
度（または距離）を両系列間の累積類似度（まだは累積
距離）とするものである。このことを図的に説明すると
、入力パターンの特徴ベクトルを横軸に、標準パターン
の特徴ベクトルを縦軸にとった格子グラフを考えれば、
前記両パターンの特徴ベクトルの対応は各格子点により
表わされるから、前記最大化（最小化）問題はこの格子
グラフにおいて前記系列間の類似度（または距離）の荷
重和を最大（または最小）にする格子点列即ち径路を求
める問題になる。この場合、極端な対応付けを避けるた
めに径路の選び方に拘束条件を設ける。第１図すはその
一例であって、その意味するところは、前記格子グラフ
において入力パターンの座標をｉ、標準パターンの座標
をｊとするとき、点（ｉ、Ｈに至る径路は点（５−２ｓ
　５−１Ｌ点（Ｌ　−１゜ｊ−１）、点（ｉ−１，ｊ−
２）のうち何れかを必ず通過するように径路が選ばれる
ということである。また、同図においてそれぞれの径路
上に付した数値は、その径路が選ばれたときの重み係数
を示しており、本例はワードスポツティングを行なう場
合に用いられる重み係数の定め方の一例である。

・・・・・・・・・・・・・・・・・・（１）ここで、
ｄ！１ｌ（ｉ、ｊ）は特徴ベクトルａｉ　　と特徴ベク
トル、ｂｎｊ、との距離であって、最も簡単にはｄ”（
ｉ、＋）＝　ｌ　ａｉ−ｂｎ５　１となし得る。類似度
を用いる場合は騙をｍ＆Ｘ　　とすればよい。式（１）
を初期値Ｄｎ（ｉ、１）＝ｄｎ（１，１）トシテ計算ス
レハ、Ｄｎ（ｉｌｇ）は、入力パターンの第ｍフレーム
から第１フレームの入力パターンの部分パターンＡ（ｍ
、ｉ）と標準パターンＲｎの第１フレームから第１フレ
ームまでの部分パターン”（’ｙｊ）との最小累積距離
のｍに関する最小値ということになるＯこの時のｍを知
るためには、式（１）においてをＤ”（ｉ、ｊ）が決定
される毎に計算し、記憶しておけば前記最適のｍ＝Ｂ”
（ｉ、ｊ）となっている・重み係数をこのように定める
ことにより、Ｒｎ（１゜ｊ）と入力パターンの任意の区
間とのマツチングにおける重み係数の和は一定となり、
例えば第６図に示すような径路３０１．３０２は重み係
数の和が同じとなるから標準パターンＲｎに入力パター
ンの部分パターン３０３と３０４の何れがよりよく類似
しているかは、入力パターンの長さには関係無く、それ
ぞれの径路における累積距離を比較するのみでよい。ま
た、第１図ｂ１あるいは式（１）からも明らかなように
、点（’１１）までの累積距離の計算には点（ｉ　−２
、ｊ　−１）　、点（ｉ　−１、ｉ　−１）、点（’　
　１．）−２）における累積距離が分かつておればよい
から、実際には式（１）の計算をｉ＝１〜Ｈのそれぞれ
のフレームにおいて順次ｊ＝１〜■０について行ない、
Ｄｎ（ｉ　＋　Ｉｎ）　（Ｄ　ｉ　Ｋ関スル最小値カＤ
ｎ（ｉ＊、　１″）になったとすれば、標準パターンＲ
ｎ　に最も近い入力パターンノ部分ハターンハＡ（Ｂ″
（ｉ＊ｌＪ”）、Ｌ＊）として求められる。

本発明は前記認識基本単位とマツチングするべき入力パ
ターンの部分パターンの候補区間をある程度確かな情報
により限定することによシ、認識の制度を上げようとす
るものであって、認識の基本単位は本実施例においては
音節であり、音節の発声に同期して入力されたセグメン
ト・マーカをもとにして前記音節の存在候補区間を限定
するものである。

第３図は「よこはま」と発声した場合の音声のパワーの
変化の様子ととキー等により手動により入力されたセグ
メント・マーカｂの時間関係を示すタイム・チャートで
ある。実際の場合にも連続発声された音節の開始点と手
で入力したセグメント・マーカの位置はかなりよく一致
していることが観測されている０ 本発明の原理は、各音節の開始時点はこのセグメント・
マーカの近辺にあり、音節標準パターンを各音節を発声
した時の語頭から母音の定常部までとすれば、各音節の
終了時点はこのセグメント・マーカとそれに続くセグメ
ント・マーカの間にあると考えられるから、この範囲に
前記ワード・スポツティングの範囲を限定して始終端自
由のＤＰマツチングを行なうものである。ここで、音節
標準パターンは各音節を発声した時の語頭から母音の定
常部までとしたのは、音節としての情報は、子音部、子
音から母音部にかけての過渡部、母音部の三つの部分に
分けて考えられるが、母音部は持続時間が最も長くその
まま標準パターンとして採用したのでは母音部の重みが
他の三者に比べて大きくなりすぎ、認識に際して好まし
くないからである。

第１図ａは以上の原理に基づく本発明の一実施例を示す
ブロック図である。

１はフィルタバンク等で構成された特徴抽出部であって
、入力音声信号を特徴ベクトルａｉ　の系列Ａに変換す
る。

４は標準パターン記憶部であって、認識すべき各単音節
に対応する前記の如き特徴ベクトル系列Ｒ”（ｎ＝１〜
Ｎ）が予め登録されている。

５はベクトル間距離計算部であって、入力パターンの第
ｉフレームにおける特徴ベクトルａｌトｎ番目の標準パ
ターンＲｎの特徴ベクトルｂｎ　、との距離ｄ（’　＋
　＋　）を求める。

３は標準パターン・カウンタであって、マツチングすべ
き標準パターンＲｎをｎ＝１〜Ｎと順次設定する。

２は標準パターンフレーム・カウンタであって、標準ハ
ターンＲｎＯフレームをｉ＝１〜Ｊ”　Ｋｆｆって、順
次指し示す。

８はセグメント情報入力部であって、キー等の押し下げ
により、入力される音節に同期して手動により前記セグ
メント情報を入力する。

９は音声区間検出部であって、入力信号の大きさ等から
周知の方法に従って音声区間を検出するものである０ １Ｑは入力フレーム・カウンタであって、音声区間検出
部９が音声入力が開始されたことを検出すると入力フレ
ーム・カウンタ１ｏはフレーム毎に計数を始める。

７はマツチング開始終了フレーム決定部であって、入力
フレーム・カウンタ１ｏの出力に対して、セグメント情
報入力部８の出力から、前記説明に従って標準パターン
Ｒｎ　とマツチングすべき入力パターンの部分区間を決
定する。

６はセグメント内カウンタであって、前記それぞれのセ
グメントにおいて、マツチング開始終了フレーム決定部
７で決定されたマツチング開始フｖ　−ムカラ？ッチン
ク終了フレームまでのフレームを計数し、前記セグメン
ト内の入力パターンの各フレームを指し示す。

５はベクトル間距離計算部であって、前記セグメント内
カウンタ６で指定される入力パターンのフレームと、前
記標準パターン・カウンタ３と前記標準パターンフレー
ム・カウンタ２で指定される標準パターンのフレームと
の前記ベクトル間距離を計算する。

１１はベクトル間距離記憶部であって、前記ベクトル間
距離計算部６で計算されたベクトル間距離を必要が無く
なるまで一時的に記憶する。

１３は累積距離計算部であって、前記式（１）に従って
、累積距離を計算する。

１２は累積距離記憶部であって、部累積距離計算部１３
で計算された累積距離を必要が無くなるまで一時的に記
憶する。

１４は最小値決定部であって、前記累積距離記憶部１２
に記憶されている累積距離から、前記各セグメントにお
いて、そのセグメントにおけるフレームに関する標準パ
ターンＲｎに対する累積距離の最小値を決定する。

１５は音節決定部であって、前記最小値決定部１４で決
定された標準パターンＲｎに対して求められた前記累積
距離の最小値から、さらに、ｎに関する最小値を求め、
その時のｎ　ｔ−ｎ＊　とするとき、このｎ＊を当該セ
グメントの音節認識結果とする。

第２図は前記実施例の詳細な処理の手順を説明するだめ
の処理手順図である。ソフトウェアにより実現する場合
もこれに従えばよいのは勿論である。

同図において、 ＮＤＤＯ なる記法はＸが満足される間Ｙを実行することを、ＬＳ
Ｅ ＮＤＩＦ 力る記法はＸなる条件が満足されればＹを、そうでなけ
れば、Ｚを実行することをそれぞれ意味するものとする
。

また、累積距離、ベクトル間距離等に関する記法を次の
ように変更することにより、途中結果記憶用メモリを節
約する。即ち、第１図すに示した径路を用いるときは１
．入力パターンの第ｉフレームの累積距離の計算は第ｉ
−１段と第ｉ　−２段の累積距離と、第ｉ−１段のベク
トル間距離が記憶されておればよく、結局、必要なメモ
リはＤｎ（ｉＦ））については入力の３フレ一ム分、ｄ
ｎ（ｉｒｔ）については入力の２フレ一ム分がそれぞれ
記憶されておれば漸化式の計算は出来るものであるが、
さらに、累積距離の計算はｔ＝１ｎ〜１の順番に行なう
事が出来、この時は”（’　ｐ　］　）の計算に用いら
れたＤ”（ｉ　−２、ｊ−１）は再び用いられることは
ないから、新たに求められたＤｎ（ｉ　、　ｊ　）ノ記
憶場所トＬテＤ”（ｉ　−２、５）の記憶されていた場
所を用いることが出来、必要ナメモリ１ｆ−Ｄｎ（’　
ｌ　３　）　＊　”（’　Ｆ　］　）　ニツイて入力の
２フレ一ム分ということになる。また、各単語ｎ毎に１
セグメント分の計算を行なうことニスレバ、前記Ｄｎ（
ｔ　＋　ｓ　）　＋　ｄ”（ｔ　ｐ　ｊ）ハｔべでのｎ
について共通に用いることが出来るから、これらをそれ
ぞれＤ（＝　？　Ｊ　）　−ｄ（＝　ｔ　）　）（但し
、ｍ＝ｏ　、１　、：　ｊ＝１〜■ジとすることが出来
、メモリの大幅な節約が図れる。

ステップ１０１においてｋは入力されたセグメント・マ
ーカの入力順序に従う番号を表わし、ｋ＝ｏは語頭を表
わすものとする。

ステップ１０２は第に番のセグメントにおけるマツチン
グの開始フレームＳを設定している。ｉｋはに番目のセ
グメント・マーカの入力フレーム番号、ｒｌ　　はに番
目のセグメントのマツチング計算を行なう際の始端点自
由の範囲を規定するものであり、予め設定されている。

ステップ１０３は第に番のセグメントにおけるマツチン
グの終了フレームｔを設定している。ｒ２はに番目のセ
グメントのマツチング計算を行なう際の始端点自由の範
囲を規定するものであり、予め設定されている。ｔとし
ては１ｋ−１＋ｒ２　　とｉｋの小さい方が選ばれる。

ステップ１０４は、標準パターンＲｎ　と最も良くマツ
チングする入力パターンの部分パターンを前記８〜ｔの
範囲で求めた距離のうちｎ＝１〜ｎに関する最小値を記
憶するメモリＤｎ　を−に初期化している。

ステップ１０５は前記区間３〜ｔにおいて入力パターン
と標準パターンＲｎ　とのマツチング計算を行なうもの
である。

ステップ１０６は、標準パターンＲｎ　と最も良くマツ
チングする入力パターンの部分パターンを前記３〜ｔの
範囲で求めるために当該セグメントの当該フレームまで
の距離の最小値を記憶するメモリＤ、をφに初期化して
いる。

ステップ１０７は当該セグメントのマツチング計算を行
なうに先だって累積距離を−に初期化している。

ステップ１０８は累積距離、バックポインタ、ベクトル
間距離を記憶すべきメモリを巡回的に使用するに際して
、各セグメントにおいて最初に用いるメモリを決めるた
めに行なっている処理である。

ステップ１０９は標準パターンＲｎ　と最も良くマツチ
ングする入力パターンの部分パターンを前記ｓ−ｔの範
囲で求め、その値をメモリＤｉ　に入れている。

ステップ１１ｏは前記累積距離、ベクトル間距離を記憶
すべきメモリを巡回的に使用するために、行なっている
処理であって、４ｍの否定を意味する。

ステップ１１１は入力パターンのフレームａ１と標準パ
ターンＲｎのフレームｂ″ｊとのベクトル間距離をｊ　
＝　１〜■０について計算している。本実施例は所謂市
街地距離である。

ステップ１１２はｊ＝Ｉｎ〜３について式（１）に相当
する計算を行なっている。

ステップ１１３はｊ＝２の場合についての累積距離の計
算である。この場合は径路は第４図のようになる。

ステップ１１４はｊ　＝　１の場合についての累積距離
の計算である。

ステップ１１５はフレームｔｓ−ｔにおける標準パター
ンＲｎに対する累積距離の最小値をＤｉとしてメモリに
記憶する。

ステップ１１６は前記最小値Ｄｉ　を標準パターンａｎ
のフレーム数で正規化し、その値をＤｔとして記憶する
。

ステップ１１８は前記Ｄｔ　の値からｎについての最小
値を求め、その時のｎをＮ　（ｋ）として記憶して記憶
している。即ち、Ｎ（ＩＩは入力の第にセグメントの部
分パターンに最も近い標準パターンということになる。

以上のようにして求められたＮ　（ｋ）から、入力は音
節列Ｎ（１）　、　Ｎ（２）　、・・・＋＋＋　、Ｎ（
６）であるという結果が得られる。

発明の効果 以上求べたように、本発明においては、音節を連続して
発声する際、手動にて音節毎にセグメント・マーカを入
力するようになし、このマーカの位置を基にワード・ス
ポツティングの考え方を導入し、始終端自由のＤＰマツ
チングを行なうようにしたので、セグメンテーション誤
りを排除出来たばかりでなく、高精度のセグメンテーシ
ョンが可能となったものである。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
前記実施例における処理手順を詳細に説明するための処
理手順図、第３図は本発明の詳細な説明するだめの実例
を示す実例図、第４図は本実施例におけるＤＰマツチン
グの例外処理を説明するための説明図、第６図は本発明
に用いられているＤＰマツチングの性質を説明するため
の説明図である。 １・・・・・・特徴抽出部、２・・・・・・標準パター
ン・フレーム・カウンタ、３・・・・・・標準パターン
ｅカウンタ、４・・・・・・標準パターン記憶部、６・
・・・・・ベクトル間距離計算部、６・・・・・・セグ
メント内カウンタ、７・・・・・・マツチング開始終了
フレーム決定部、８・・・・・・セグメント情報入力部
、９・・・・・・音声区間検出部、１０・・・・・・入
力フレーム・カラインタ、１１・・・・・・ベクトル間
距離記憶部、１２・・・・・・累積距離記憶部、１３・
・・・・・最小値決定部、１４・・・・・・音節列決定
部。

Claims (1)

【特許請求の範囲】
1. 入力信号を特徴ベクトルａ＿１、ａ＿２、・・・・・・
   、ａ＿ｉ、・・・・・・、ａ＿ I の系列に変換する特
   徴抽出手段と、特徴ベクトルの系列ｂ＾ｎ＿１、ｂ＾ｎ
   ＿２、・・・・・・、ｂ＾ｎ＿ｊ、・・・・・・、ｂ＾
   ｎ＿Ｊ＾ｎから成る標準パターンＲ＾ｎ（ただし、ｎ＝
   １〜Ｎ）を記憶する標準パターン記憶手段と、１音節発
   生する毎にそれに同期した信号（以後、セグメント・マ
   ーカと呼ぶ）を入力するセグメント・マーカ入力手段と
   、入力のフレームｉを横軸に、標準パターンのフレーム
   ｊを縦軸とする格子グラフにおいて、入力信号の前記各
   セグメント・マーカに対応する位置の近傍を始端点、そ
   こから予め定めた範囲に含まれるフレームを終端点とす
   る入力パターンの部分パターンと前記標準パターンＲ＾
   ｎとを、標準パターン側を基本軸として始終端自由のＤ
   Ｐマッチングを行なうＤＰマッチング手段と、このＤＰ
   マッチングの結果得られる前記標準パターンＲ＾ｎに対
   する最適値のうちさらに前記ｎに関する最適値を求め、
   そのｎを前記入力パターンの部分パターンの音節認識結
   果とする音節認識手段とを含む連続音声認識装置。