JPH10319987A - 音声認識システムにおける誤認識再発防止装置 - Google Patents

Abstract

(57)【要約】 【課題】 認識結果中の誤認識単語を推定して誤認識単
語の再発を防止するようにした。 【解決手段】 音声認識システムのマッチング部から出
力される最も類似する単語または単語列に対する認識結
果が認識結果入力手段１に入力される。この認識結果入
力手段１に入力された認識結果は、確認手段２でその認
識が正解であるかが確認される。この確認手段２による
認識が不正解と確認されたなら、認識結果を構成する各
単語と、その単語が存在するとみなされた入力フレーム
部分列とのマッチングスコアをマッチングスコア抽出手
段３で抽出する。この抽出手段３で抽出されたスコア
（単語の例えばｉ番目）は、スコア比較手段４で比較さ
れた後、ｉ番目の単語が最も認識が悪いとして削除手段
５で認識用の辞書から削除される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音素認識部を前
段に持つ離散または連続単語音声認識システムにおける
誤認識再発防止装置に関する。

【０００２】

【従来の技術】音声認識装置として図５に示す離散単語
音声認識システムがある。このシステムは図５に示すよ
うに、電話やマイクロフォンなどの音声入力装置１１か
ら音声データが音声入力部１２に入力される。この音声
入力部１２に入力された音声データは特徴抽出部１３に
供給され、ここで音声データは周波数分析される。この
周波数分析の結果からスペクトル列を得て音素認識部１
４に入力される。音素認識部１４は、出力を二重化した
ニューラルネットワーク（図示省略）によって構成され
ている。このニューラルネットワークは入力層、隠れ
層、出力層からなり、入力層に例えば、１時刻毎に５フ
レームのスペクトルが入力され、それの中央のスペクト
ルが、該当する音素がどれであるかを、出力層のユニッ
トの値によって送出する。出力ユニットは、二重化され
ているため、各音素カテゴリ毎にユニットは２個づつ対
応づけられている。それに対して結果は、最大の出力値
を示すものから２つのユニットを選び、それが対応する
音素を第１位、第２位音素候補として得る。

【０００３】その認識された音素候補列と、認識させた
い語彙の音素パターンを持たせた辞書中のテンプレート
１５との類似度を、テンプレート中の音素と認識された
音素候補列中の第１位および第２位候補との類似度を局
所スコアとし、その局所スコアをＤＴＷ（Dynamic Time
Warping）法によってマッチング部１６でマッチングさ
れ、最も類似する単語を累積することで全体の類似度ス
コアを求め、認識させたい全ての語彙の中で、その類似
度スコアが最小となる単語を認識結果としてマッチング
部１６から出力する。

【０００４】ここで、簡単に連続単語認識のDTWアルゴ
リズムの概要について述べる。いま、単語の接続条件
（文法）が、図６に示す有限状態オートマトンで記述さ
れているとする。これは認識単語数、単語間の接続等を
制限する働きがある。入力パターンを音素認識した結果
T:{a1,a2,a3,……at}の、第ｉフレームから第ｊフレー
ム{ai,……aj}と、辞書単語テンプレートn:{b1,b2,…
…,bN}とのマッチング距離をdist[n][i][j]と書く。な
お、図６は歩行動作を処理するオートマトンの例（状態
数＝３）であり、具体的な歩数などを指示する場合の状
態遷移は、0->1->2->3に限定され、また逆にこの遷移を
行う場合は具体的な歩数などを指定した認識結果が出力
される。 今、状態数last statのオートマトン、入力音素フレー
ム数last frm（つまりlast frm=（上記のt））の場合を
考える。オートマトン状態stat，入力音素第ｋフレーム
までの累積結果frm scr[stat][k]を求めたいとすると(0
<=stat<last stat,0<=k<last frm)、それは、次の式
（１）のようになる。

【０００５】 frm scr[stat][k]=min{frm scr[from stat][m]+dist[n][m+1][k]}…（１） ただし、状態ｐから単語ｎを生成して状態ｑへ遷移でき
ることをf(p,w)=qと表すと、from stat，nは、f(from s
tat,n)=statを満たすようなもの、また、0<m<kであり
（実際にはmの範囲は計算量などの関係からさらに制限
される）、minは、from stat,n,mをその範囲内で動かし
たときの最小を取ることを示す。式（１）を満たすfrom
stat,n,mをそれぞれ、frm stt[stat][k],frm tpl[sta
t][k],frm frm[stat][k]とする。このような手順を、0<=k
<last frm,0<=stat<last statについて求める。実際の
プログラムでは、次のような処理を行うのが一般的であ
る。

【０００６】まず、累積距離のアルゴリズムについて述
べる。 （１）すべての辞書単語ｎ(0<=n<word num)について、
次の（２）以下を実行 （２）scr=min{frm scr[from stat][m]+dist[n][m+1]
[k]}を求める。ここで、minはm,from statだけを動かし
たときの最小値を示す。 （３）frm scr[stat][k]>scrならば、次の（４）を実行
する。 （４）frm scr[stat][k]=scr,frm tpl[stat][k]=n,frm
frm[stat][k]=((2)を満たすm),frm stt[stat][k]=((2)
を満たすfrom stat) その後、次のようにしてバックトレースを行い、後ろか
ら順に認識単語列を得る。

【０００７】バックトレースのアルゴリズムは次のよう
に行われる。 （１）k=last frm,stat=last stat(last frm:入力フレ
ーム数、last stat:有限状態オートマトンの終状態の番
号) （２）frm tpl[stat][k]を認識結果として出力。その
後、k= frm frm[stat][k],stat=frm stt[stat][k]とす
る。 （３）k=0なら終了、それ以外なら上記(2)へ。

【０００８】

【発明が解決しようとする課題】上記のようにプログラ
ム処理を行っても100%の認識率を得ることは不可能であ
り、入力された音声に対して誤認識が起きることがあ
る。また、同じ話者がある発声をして誤認識が起きたと
き、再度発声してもらっても同じ誤認識を繰り返す可能
性が高く、そのような場合には、話者には大変なストレ
スがかかることになる。このような場合を考慮して、離
散単語認識の場合には、誤認識された単語を辞書から削
除して再度認識を行うという方法が考えられる。しか
し、連続単語認識の場合には、認識された単語数が複数
になるため、どの単語が誤認識であったのかが、認識結
果からは特定できない。そのため、離散単語認識の場合
と、同様の方法で誤認識単語を削除することはできない
問題がある。

【０００９】この発明は上記の事情に鑑みてなされたも
ので、認識結果単語列中の各単語と、それが存在すると
みなされた入力音素列中の部分音素列とのマッチング値
を利用し、認識結果中の誤認識単語を推定して誤認識単
語の再発を防止するようにした音声認識システムにおけ
る誤認識再発防止装置を提供することを課題とする。

【００１０】

【課題を解決するための手段】この発明は、上記の課題
を達成するために、第１発明は、音声入力部に入力され
た音声データを特徴抽出部により周波数分析してスペク
トル列を得、そのスペクトル列を音素認識部に入力し、
その出力に音素列を得て、その音素列をマッチング部に
供給して辞書内のテンプレートとマッチングさせて、最
も類似する単語または単語列を認識結果として出力する
ようにした音声認識システムにおいて、前記マッチング
部から認識結果として出力される単語または単語列に対
する認識結果が入力される認識結果入力手段と、この入
力手段に入力された認識結果が供給され、その認識結果
が正解か、不正解かを確認する確認手段と、この確認手
段で不正解と確認されたとき、認識結果を構成する単語
と、その単語が存在するとみなされた入力フレーム部分
列とのマッチングスコアを抽出するマッチングスコア抽
出手段と、この抽出手段により抽出されたスコアを比較
し、最もスコアの悪い単語を誤認識単語として出力する
比較手段と、この比較手段により出力された誤認識単語
を認識用辞書から削除する削除手段とを備えたものであ
る。

【００１１】第２発明は、前記比較手段から出力される
最もスコアの悪い単語が、予め設定された単語削除決定
閾値より大きいときに、その単語を誤認識単語として認
識用辞書から削除するようにしたものである。

【００１２】第３発明は、前記比較手段から出力される
最もスコアの悪い単語を誤認識第１候補とし、次にスコ
アが悪い単語を誤認識第２候補として、誤認識第１候補
から誤認識第２候補との差が予め設定した単語削除決定
閾値より大きいときに、誤認識第１候補を認識用辞書か
ら削除するようにしたものである。

【００１３】

【発明の実施の形態】以下この発明の実施の形態を図面
に基づいて説明する。図１はこの発明の実施の第１形態
を示すブロック構成説明図で、図１において、１は図５
に示した音声認識システムのマッチング部１６から出力
される最も類似する単語または単語列に対する認識結果
が入力される認識結果入力手段で、この認識結果入力手
段１に入力された認識結果は、確認手段２でその認識が
正解であるかが確認される。この確認手段２による認識
が不正解と確認されたなら、認識結果を構成する各単語
と、その単語が存在するとみなされた入力フレーム部分
列とのマッチングスコアをマッチングスコア抽出手段３
で抽出する。この抽出手段３で抽出されたスコア（単語
の例えばｉ番目等）は、スコア比較手段４で比較された
後、ｉ番目の単語が最も認識が悪い、すなわち、誤認識
単語として削除手段５で認識用の辞書から削除される。

【００１４】次に上記実施の第１形態の作用を図２のフ
ローチャートにより述べる。まず、ステップＳ１で認識
を開始すると、認識結果入力手段１により認識計算結果
が出力される（Ｓ２）。この認識計算結果が正解である
かが確認手段２で判定確認される（Ｓ３）。この判定確
認の結果が正解ならば認識を終了し（Ｓ４）、不正解な
らステップＳ５の処理を行う。この処理は認識結果を構
成する各単語word[0]， word[1]，……word[N-1]（ただ
し、Nは認識結果内の単語数）と、その単語が存在する
とみなされた入力フレーム部分列とのマッチングスコア
score[word[i]]を求める(0<=i<N)。なお、word[i]は認
識結果中の第ｉ番目の単語、score[n]は単語nと、それ
が存在するとみなされた入力部分フレームとのマッチン
グスコアである。また、score[word[i]]は、ＤＴＷの説
明で述べたfrom scr[stat][k]を用いれば、次のように
して求められる。

【００１５】m番目の単語word[m]を出力して、オートマ
トン状態stat、入力フレームkへ到達したとすると、wor
d[m]の部分列とのマッチングスコアは、score[word[m]]
=(from scr[stat][k]-from scr[before stt][before f
rm])/(k-before frm[stat][k])により求められる。ただ
し、before stt = from stt[stat][k],before frm= fro
m frm[stat][k]である。score[word[m]]は、対応する入
力部分フレームのフレーム数(k-before frm[stat][k])
で正規化してある（フレーム数に応じてscore[word[m]]
の値が変動する可能性があるため）。この値は、前記式
（１）を満たすようなdist[n][i][j]を正規化したもの
に等しい。上記のようにしてマッチングスコアを抽出手
段３で検出した後、すべての単語について、score[word
[i]]を比較手段４で比較する（Ｓ６）。この比較手段４
により、score[word[i]]（0<=i<N)の値を比較し、最も
スコアの悪い単語、すなわち、score[word[i]]の最も大
きい単語word[i]について、誤認識単語として削除手段
５により認識用の辞書から削除する（Ｓ７）。その後、
図２に示すようにステップＳ２の処理に戻る。

【００１６】上記実施の第１形態では、たとえすべての
認識結果、単語word[i](0<=i<N)について、score[word
[i]]の値が非常に低い場合や、後述のように誤認識第１
候補と誤認識第２候補との値が非常に接近している場合
でも、強引に誤認識単語を辞書から削除してしまう。そ
のため、本来正しい認識結果であった単語までもが削除
されてしまう可能性がある。

【００１７】そこで、このような場合を考慮して、誤認
識第１候補word1について、score[word1]が単語削除決
定閾値αより大きい場合のみ、word1を辞書から削除す
る方法を第２形態として次に示し、また、誤認識第１候
補word1、誤認識第２候補word2について、 score[word
1],score[word2]を比較し、その差が単語削除決定閾値
βより大きい場合にのみ、誤認識第１候補word1を辞書
から削除する方法を第３形態として示す。

【００１８】まず、この発明の実施の第２形態を図３の
フローチャートについて述べるに、第１形態と同一処理
のステップは同一符号を付して示す。図３において、す
べての[i]について、score[word[i]]を比較手段４で比
較する（Ｓ６）。この比較手段４により、score[word
[i]]（0<=i<N)の値を比較し、最もスコアの悪い単語、
すなわち、score[word[i]]の最も大きい単語word[i]
を、max word=word[i]とする（Ｓ８）。

【００１９】次に、score[max word]>α（α：単語削除
決定閾値）かを、ステップＳ９で判断し、「no」ならス
テップＳ２に戻り、「yes」ならmax word（誤認識単
語）を削除手段５で認識用の辞書から削除する（Ｓ１
０）。その後、ステップＳ２に戻る。

【００２０】次に、この発明の実施の第３形態を図４の
フローチャートについて述べるに、第１形態と同一処理
のステップは同一符号を付して示す。図４において、す
べての[i]について、score[word[i]]を比較手段４で比
較する（Ｓ６）。この比較手段４により、score[word
[i]]（0<=i<N)の値を比較し、最もスコアの悪い単語に
ついて、誤認識第１候補word1=word[i]、２番目にスコア
の悪い単語について、誤認識第２候補word2=word[i]とす
る（Ｓ１１）。

【００２１】次にscore[word1]-score[word2]>β（β：
単語削除を決定する閾値）かを、ステップＳ１２で判断
し、「no」ならステップＳ２に戻り、「yes」なら誤認
識第１候補word1を削除手段５により認識用の辞書から
削除する（Ｓ１３）。その後、ステップＳ２に戻る。

【００２２】ここで、第１形態から第３形態を用いて実
際に音声認識を行った実験結果を次の表１に示す。

【００２３】

【表１】

【００２４】実験には、男性話者６名の、１９文２回発
声（計２２８文）の２単語文音声に対して行った。この
結果、誤認識された音声は１０であった。なお、第２形
態における閾値αは１.５、第３形態における閾値βは
１.０としている。この結果から特に第２形態、第３形
態については、良好に誤認識単語を削除できることが判
明した。

【００２５】

【発明の効果】以上述べたように、この発明によれば、
最も誤認識の可能性の大きい単語を、少ない計算量と記
憶量で求めて、誤認識が起きるのを防止でき、また第１
削除候補のスコア、または誤認識第１候補と誤認識第２
候補とのスコアの差について、誤認識判定の際に閾値を
設けることで、正解単語を間違って誤認識とみなす可能
性を減らし、より確実な誤認識単語の削除が行えて、誤
認識再発防止ができるようになる等の利点がある。

【図面の簡単な説明】

【図１】この発明の実施の第１形態を示すブロック構成
説明図。

【図２】第１形態の作用を述べるフローチャート。

【図３】第２形態の作用を述べるフローチャート。

【図４】第３形態の作用を述べるフローチャート。

【図５】音声認識システムの概要を示す構成説明図。

【図６】有限状態オートマトンの説明図。

【符号の説明】

１…認識結果入力手段 ２…確認手段 ３…マッチングスコア抽出手段 ４…比較手段 ５…削除手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】 音声入力部に入力された音声データを特
   徴抽出部により周波数分析してスペクトル列を得、その
   スペクトル列を音素認識部に入力して、その出力に音素
   列を得、その音素列をマッチング部に供給して辞書内の
   テンプレートとマッチングさせ、最も類似する単語また
   は単語列を認識結果として出力するようにした音声認識
   システムにおいて、 前記マッチング部から認識結果として出力される単語ま
   たは単語列に対する認識結果が入力される認識結果入力
   手段と、この入力手段に入力された認識結果が供給さ
   れ、その認識結果が正解か、不正解かを確認する確認手
   段と、この確認手段で不正解と確認されたとき、認識結
   果を構成する単語と、その単語が存在するとみなされた
   入力フレーム部分列とのマッチングスコアを抽出するマ
   ッチングスコア抽出手段と、この抽出手段により抽出さ
   れたスコアを比較し、最もスコアの悪い単語を誤認識単
   語として出力する比較手段と、この比較手段により出力
   された誤認識単語を認識用辞書から削除する削除手段と
   を備えたことを含む音声認識システムにおける誤認識再
   発防止装置。
2. 【請求項２】 前記比較手段から出力される最もスコア
   の悪い単語が、予め設定された単語削除決定閾値より大
   きいときに、その単語を誤認識単語として認識用辞書か
   ら削除することを含む請求項１記載の音声認識システム
   における誤認識再発防止装置。
3. 【請求項３】 前記比較手段から出力される最もスコア
   の悪い単語を誤認識第１候補とし、次にスコアが悪い単
   語を誤認識第２候補として、誤認識第１候補から誤認識
   第２候補との差が予め設定した単語削除決定閾値より大
   きいときに、誤認識第１候補を認識用辞書から削除する
   ことを含む請求項１記載の音声認識システムにおける誤
   認識再発防止装置。