JPH0774960B2 - テンプレ−ト連鎖モデルを使用するキ−ワ−ド認識方法およびシステム - Google Patents

Description

【発明の詳細な説明】 ［発明の技術分野］ この発明は、音声中のキーワードの発生を検出するシス
テムおよび方法に関する。

［発明の技術的背景］ 従来のキーワード認識システムは例えばブリチッシュ・
アコスティカル・ソサヤティ・スプグ・ミーティング19
73年４月１〜４頁に記載されている。このシステムでは
検出されるべきキーワードの話された例のパラメータ表
示からエラスティック・テンプレートが導出される。入
つて来る音声の同様のパラメータ表示が連続的にこれら
のテンプレートと比較され、音声とテンプレートが導出
されるキーワードとの間の類似性が測定される。入つて
来る音声のセグメントが対応するテンプレートと充分に
類似しているとき、あるキーワードが話されたものとさ
れる。キーワードテンプレートは、話す速度および発音
法における変化のために時間的に伸長または圧縮される
ことができるから、エラスティックと呼ばれる。

［発明の解決すべき問題点］ 従来の方法で使用されているシステムはしばしばキーワ
ードが話されたという誤った指示または警報を与える。
これらの誤った警報は入つて来る音声がキーワードと類
似した音響パターンを含んでいる時に生じる。誤った警
報を頻度はキーワードの音響パターンの言語中のユニー
クさに依存している。別の欠点は、従来の方法を使用す
るシステムは多量の計算電力を必要とすることである。
さらに、これらの方法の性質は実時間（リアルタイム）
で動作する実際のシステムを構成することが困難である
ことである。これらの欠点がキーワード認識システムの
実用的な開発を制御していた。

この発明は、連続的な話された音声中のキーワードの発
生を検出する方法を使用するシステムを提供するもので
ある。

［問題点解決のための手段］ 本発明は、従来の方法に比較して非常に強力な決定方法
を提供するものである。

本発明の観測された音声中のキーワードを認識する方法
は、 観測する音声を１個以上のキーワードを表わす信号およ
び１個以上の任意の言語発音を表わす信号とそれぞれ比
較し、前記任意の言語発音は、キーワードと無関係に音
声の一部分を取出してそれを複数に分割した各部分によ
ってそれぞれ構成されたテンプレートであるフィラーテ
ンプレートによって近似されており、前記キーワードと
の比較および前記任意の言語発音との比較のいずれが最
良の整合を与えるかによってキーワードを決定すること
を特徴とするものである。

このように本発明ではキーワードを表わす信号および任
意の言語発音を表わす信号の比較、評価のために、任意
の言語発音を表わす信号としてキーワードと無関係に音
声の一部分を取出して構成した音声セグメントであるフ
ィラー（filler）テンプレートと呼ばれるテンプレート
をキーワードテンプレートと共に使用する。言語の任意
の発音はこのようなフィラーテンプレートの連鎖によっ
て近似され、このフィラーテンプレートとの整合と、キ
ーワードとの整合のいずれが最良の整合を与えるかによ
ってキーワードが含まれているか、否かを決定する。

本発明の方法は、制限されない自然の音声におけるキー
ワードの発生を自動的に検出することを可能にする。本
発明の方法は、特定の発音者によって訓練されることが
でき、また発音者に無関係に機能することもできる。

［発明の実施例］ 以下、添附図面を参照にしてこの発明の原理を実施例に
よつて説明する。

この発明によるキーワード認識またはワードスポットシ
ステムはキーワードに対してのみならず言語中の全ての
音声に対するモデルを使用する。この発明の方法は、入
つて来る音声と従来の方法のようにキーワードから導出
されたエラスティック・テンプレートとの間の類似性を
連続的に測定する。さらに、入つて来る音声と一般的な
言語モデルとの間の類似性を測定する。キーワードは、
キーワード・テンプレートに対する類似性が一般的な言
語モデルに対する類似性より充分に大きいときに検出さ
れたものとする。

一般的な言語モデルは、訓練発音から導出された予め記
録された音声の例えば50〜500の短いセグメントのセッ
トからなる。これらのセグメントは以下フィラー・テン
プレートと呼ぶ。それらは言語を話す人によつて使用さ
れた音響空間を覆うゴールによつて選ばれる。これは例
えば訓練発音のセグメント化および統計的集団解析によ
つて行われる。それらの期間は音素（フォニーム）の期
間と音節（シラブル）の期間との間の範囲にある。モデ
ルによる言語の任意の発音はそれらの順序に制限される
ことなくフィラー・テンプレートの連鎖によつて近似さ
れる。一般言語モデルとしてのフィラー・テンプレート
の使用はこの発明のユニークな特徴である。

この発明は、構文に束縛されることのない変形連続音声
認識（CSR）システムを使用して構成される。CSRシステ
ムはキーワードテンプレートとフィラーテンプレートの
組合わせを使用し、入力音声と最もよく一致した連鎖テ
ンプレートのシーケスを決定する。CSRシステムは本出
願人の1982年11月３日出願の米国特許出願439018号、19
83年３月９日出願の米国特許出願473422号明細書に記載
されたようなものが使用できる。理想に近い、すなわち
ゼロに近いエラー率の動作において、キーワードテンプ
レートは話されたキーワードと整合し、フィラーテンプ
レートは残りの全ての音声と整合する。キーワードテン
プレートが最良の整合のテンプレートシーケンス中に現
われるとき、キーワードが話されたものとされる。

この発明は、新しいテンプレートが部分テンプレートス
トリングに連鎖されたときには、一定のペナルティが部
分ストリングスコアに追加されるように変形することに
よつて、現在あるCSRシステムを使用することができ
る。マルコフ（Markov）モデルの状態としてフィラーテ
ンプレートを見ると、連鎖ペナルティは対数転移確率に
類似している。固定ペナルティの使用は全ての転移が等
しい確率であると仮定することと等価である。ペナルテ
ィの値はそれ故フィラーテンプレートの数の対数に反比
例する。またフィラーおよびキーワードテンプレートの
相対的期間について、正の連鎖ペナルティの供給は、短
いテンプレートまたはフィラーに関して長いテンプレー
トまたはキーワードの認識の可能性を増加させる。それ
はより少ないペナルティしか生じないからである。した
がつてペナルティはフィラーテンプレートセットを変形
せずにシステムの動作点を調整する手段を与える。

この発明は、キーワード検出に対してより強力な決定方
法を使用することによつて従来の方法の欠点に対処する
ものである。従来の方法はキーワードを与えた音響的デ
ータの条件確率を算定するものであるが、この発明は、
音響的データを与えたキーワードの条件確率を算定する
ものである。後者の量はキーワード検出に必要な情報で
ある。この発明は、従来の方法で行われていた冗長度計
算の必要性をなくすものである。増加した効率は大きさ
順序による所要の計算を減少する。

キーワード認識システムのブロック図が第１図に示され
ている。マイクロホン101からの入力音声は音響アナラ
イザ102の入力に与えられる。音響アナライザ102は音声
を短いフレームに分割し、その出力に各フレームのパラ
メータ表示を出力する。音響アナライザによつて行われ
る音響的解析の特定の形式はこの発明では厳密なもので
はなく、前記米国特許出願明細書に記載されたような音
響アナライザを使用することもできる。例えば10ミリ秒
のフレームの大きさの16チャンネルバンドパスフィルタ
による解析が使用できる。これらのスペクトルパラメー
タは、選択スイッチ103によつて選択されたシステム動
作モードに応じて３っの方法のいずれかで処理すること
ができる。３っのモードとは認識モード、キーワード訓
練モード、およびフィラーテンプレート訓練モードであ
る。

認識モードにおいては音響アナライザのスペクトルパラ
メータ出力は変形されたCSRシステム104の入力に与えら
れる。このCSRシステム104によつて行われるCSRアルゴ
リズムは前述したような変形を除いてはこの発明にとつ
てクリティカルなものではない。変形CSRシステムは認
識されるべき入力音声に最も良く整合する蓄積されたフ
ィラーおよびキーワードテンプレートの連鎖シーケンス
を決定する。変形CSRシステムの出力はテンプレートラ
ベルのストリングであり、それにおいて各ラベルは最良
の整合のテンプレートシーケンスにおける一つのテンプ
レートを表わしている。例えば各テンプレートは数を割
当てられ、ラベルはその数を表わす多ビットであつてよ
い。この出力はキーワードテンプレートサーチサブシス
テム109に与えられ、それは例えば多ビット表示である
場合には入力テンプレートラベルを蓄積されたキーワー
ドテンプレートラベルと比較するキーワードテンプレー
トラベル用の蓄積装置を有する多ビット比較器であつて
もよい。キーワードテンプレートサブシステム109はそ
の場合にはキーワードが話されたことの指示およびどの
キーワードが話されるかの指示を与える。

キーワード訓練モードにおいては、使用者は各キーワー
ドを別々に話し、音響アナライザのスペクトルパラメー
タ出力は例えば前記米国特許出願明細書に記載された検
出器のようなエネルギベースの終点（end point）検出
器105の入力に供給される。キーワードの終点はこの終
点検出器105によつて決定される。各キーワードのスペ
クトルパラメータはキーワードテンプレート蓄積装置10
6に入力される。フィラーテンプレート訓練モードにお
いては、使用者は言語中の音の合理的なサンプリング含
む充分に長い任意の発音をする。テキストの一節を読上
げるのが適当であり、それにキーワードを含むことは必
要ない。音響アナライザ102の出力に生じたスペクトル
パラメータのストリングはフィラーテンプレート導出サ
ブシステム107の入力に与えられ、導出されたフィラー
テンプレートはフィラーテンプレート記憶装置108に記
憶される。フィラーテンプレート導出サブシステム107
はスペクトルパラメータのストリングをフィラーテンプ
レートとして使用される短いセグメントに分割する。

フィラーテンプレート導出の作業を行なう一つの方法は
発音のスペクトログラムの視覚検査による訓練発音のシ
ラベルを人手によるマークである。その結果のセグメン
トはほぼシラベル（音節）に対応し、それらのセットは
広範囲の異なった音を表わす目標により選択され、フィ
ラーテンプレート記憶装置108中に記憶される。

フィラーテンプレート導出の作業を行なう別の方法は自
動的であり、２段の過程を使用する。訓練発音からの音
声データはまずセグメントに分割される。これらのセグ
メントは統計的クラスタ解析装置に入力として供給され
る。この統計的クラスタ解析装置はセグメント間の距離
の測定に基づいて数学的関数を最大にするセグメントの
サブセットを選択する。選択されたサブセットに属すセ
グメントはフィラーテンプレートとして使用される。こ
のフィラーテンプレート導出方法は第２図に示されてい
る。これら二つのフィラーテンプレート導出方法の特性
はほとんど等しく、フィラーテンプレートの選択は臨界
的なものではないことを示している。自動的な方法は多
くの態様で構成することができ、それはセグメント化お
よび統計的クラスタ解析のために使用する技術によつて
異なつている。セグメント化および統計的クラスタ解析
のために使用する方法は臨界的なものではなく、等しい
長さのセグメント化および基本的カバーリング（coveri
ng）解析を使用して良好な結果が得られる。

セグメント化を行なう方法の一つでは、音響アナライザ
の出力から得られた訓練データベース107Aはセグメント
化回路107Bによつて例えば100ミリ秒の等しい長さのセ
グメントに分割される。セグメント化を行なう別の方法
においては、セグメントの長さは等しくなく、セグメン
トの境界はスペクトル変化の割合いの測定に基づいて選
択される。別のアルゴリズムをこの形式のセグメント化
を達成するために考えることができるが、目標はスペク
トルが迅速に変化する場合には短いセグメントを、スペ
クトルがゆつくりと変化する場合には長いセグメントを
生成することである。

セグメント化を行なうさらに別の方法においては、多く
の人の集団の音声から導出された原型のセグメントのセ
ットが使用される。原型のセグメントはテンプレートと
して使用され、CSRシステムを使用して訓練発音と整合
される。セグメント境界は連鎖している原型のセグメン
ト間の境界に一致されたテスト発音のフレーム間にマー
クされる。

統計的クラスタ解析は統計的クラスタ解析装置107Cによ
つて行われ、セグメント化過程により供給された入力セ
グメントの大きなセットを相対的に表わす出力セグメン
トを選択するために使用される。統計的クラスタ解析を
行なう一つの方法は、統計学の文献に記載されているよ
うな周知のＫ平均アルゴリズムを使用して入力セグメン
トと最も近い出力セグメントとの間の平均距離を最小に
するように出力セグメントを選択するものである。統計
的クラスタ解析を行なう別の方法は、カバーリング解析
とも呼ばれる方法であつて、入力セグメントと最も近い
出力セグメントとの間の距離が特定の公差よりも小さい
ことを保証するように出力セグメントを選択することに
より訓練データをカバーするセグメントのセット選択す
るものである。選択された各セグメントの近傍の訓練デ
ータの密度が計算され、どの密度が最大であるかについ
てさらにセグメントに対して選択が行われる。例えばカ
バーリング解析の１方法では最初の入力セグメントが出
力セグメントであるとされる。それから後続する各入力
セグメントが全ての出力セグメント（最初はただ１個で
ある）と比較される。もしも、最も近い出力セグメント
までの距離が特定の公差よりも大きければ、その入力セ
グメントは出力セグメントのセットに加えられる。Ｋ平
均およびカバーリング解析の両方の方法において、使用
されるセグメント間の距離の測定はセグメントの対応す
るフレーム間の平均２乗ユークリッド距離である。

不可欠のものではないが、キーワードテンプレートのセ
グメントから追加のフィラーテンプレートを生成するこ
とによつて前述の過程を使用して導出されたフィラーテ
ンプレートのセットを増加させることは有効である。例
えば、これは各キーワードテンプレートをフィラーテン
プレートの平均期間に大体同じである等しい長さのセグ
メントに分割することによつて行われる。各キーワード
テンプレートから生成された数個のフィラーテンプレー
トによつて、キーワードセグメントは直接追加のフィラ
ーテンプレートとして使用される。

この発明は、音声による命令あるいは制御ワードを使用
する機会動作の制御に使用することができる。例えば、
この発明は、音声により電話することを命令したり、あ
るいはテキスト編集のようなオフィスの装置の音声制御
および玩具の音声制御に使用することができる。

別の応用はゆるい構文上の束縛を使用した連続的音声認
識システムにおけるものである。現在のCSRシステムは
非常に厳しい制限をもつた構文で話されるように文節を
定めることが必要である。しかしながら、多くの用途に
おいてメッセージの内容はワードの小さなサブセットに
よつて構成される。これらの用途では、メッセージの解
読はキーワードの認識によつて導かれる。使用者は許容
されるワードの順序を示す複雑なグラフを常に参照する
必要はない。そのような能力は特に人と機械の対話に依
存するシステムにおいて価値がある。

この発明はまた、自動化された航空機予約システム、コ
ンピュータで援助される指令システムおよび情報検索シ
ステムに使用することができる。この発明の別の応用は
会話の要旨の自動抽出である。さらに別の応用は、音声
認識システム中で使用するための、および連続音声認識
システム中の基準テンプレートの自動更新に使用するた
めの自然に話す文節からの基準テンプレートの自動抽出
である。

以上、この発明を好ましい実施例と関連して説明した
が、当業者には自明の多くの別の実施態様、変形および
応用が特許請求の範囲に記載された本願発明の技術的範
囲に含まれることを理解すべきである。

【図面の簡単な説明】

第１図はこの発明のキーワード認識システムの実施例の
ブロック図を示し、第２図はフィラーテンプレート導出
のための１実施例のブロック図を示す。 101……マイクロホン、102……音響アナライザ、103…
…選択スイッチ、104……変形CSRシステム、105……終
点検出器、106……キーワードテンプレート記憶装置、1
07……フィラーテンプレート導出装置、108……フィラ
ーテンプレート記憶装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレンス・ジヨージ・バーラー アメリカ合衆国，カリフオルニア州 92109，サンデイエゴ，イングラハム・ス トリート 3843

Claims (19)

【特許請求の範囲】
1. 【請求項１】観測する音声を１個以上のキーワードを表
   わす信号および１個以上の任意の言語発音を表わす信号
   とそれぞれ比較し、 前記任意の言語発音は、キーワードと無関係に音声の一
   部分を取出してそれを複数に分割した各部分によってそ
   れぞれ構成されたテンプレートであるフィラーテンプレ
   ートによって近似されており、 前記キーワードとの比較および前記任意の言語発音との
   比較のいずれが最良の整合を与えるかによってキーワー
   ドを決定することを特徴とする観測する音声中のキーワ
   ードを認識する方法。
2. 【請求項２】前記キーワードと任意の言語発音を表わす
   信号が蓄積されている特許請求の範囲第１項記載の方
   法。
3. 【請求項３】１個以上の任意の訓練発音を表わす信号を
   導出し、かつ１個以上のキーワードの表示を導出する特
   許請求の範囲第１項記載の方法。
4. 【請求項４】１個以上の任意の訓練発音を表わす信号を
   導出する過程は、前記任意の訓練発音をセグメント化
   し、キーワードと無関係に音声の一部分を取出して構成
   されたテンプレートであるフィラーテンプレートとして
   前記セグメントのサブセットを選択するたに前記セグメ
   ントの統計的なクラスタ解析を行い、前記フィラーテン
   プレートを連結する特許請求の範囲第３項記載の方法。
5. 【請求項５】１個以上の任意の訓練発音を表わす信号を
   導出する過程は、追加のフィラーテンプレートとして使
   用するために前記フィラーテンプレートの平均期間にほ
   ぼ近似する期間を有する等しい長さのセグメントに前記
   １個以上のキーワードの表示を分割する過程を有する特
   許請求の範囲第４項記載の方法。
6. 【請求項６】前記セグメントに分割する過程は、複数の
   人の音声から導出された原型セグメントを連結し、前記
   連結された原型セグメント間の境界に整合された前記任
   意の訓練発音のフレーム間のセグメント境界をマークす
   ることによって前記原型セグメントを前記任意の訓練発
   音に整合させる過程を有する特許請求の範囲第４項記載
   の方法。
7. 【請求項７】前記統計的クラスタ解析を実行する過程
   は、入力セグメントとこの入力セグメントに最も近い出
   力セグメントとの間の平均距離を最小にする過程を有す
   る特許請求の範囲第４項記載の方法。
8. 【請求項８】前記入力セグメントとこの入力セグメント
   に最も近い出力セグメントとの間の平均距離を最小にす
   る過程は、Ｋ平均アルゴリズムを含む特許請求の範囲第
   ７項記載の方法。
9. 【請求項９】前記統計的クラスタ解析を実行する過程
   は、任意の入力セグメントとこの入力セグメントに最も
   近い出力セグメントとの間の距離が特定の公差よりも小
   さいように出力セグメントを選択する過程を有する特許
   請求の範囲第７項記載の方法。
10. 【請求項１０】前記選択する過程は、最初の入力セグメ
    ントを出力セグメントと見做し、それに後続する各セグ
    メントを全ての出力セグメントと比較し、もしもその最
    も近い出力セグメントまでの距離が特定の公差よりも大
    きいならば前記後続するセグメントを出力セグメントと
    する過程を有する特許請求の範囲第９項記載の方法。
11. 【請求項１１】前記比較する過程は、連結されていない
    テンプレートが部分的なテンプレート連鎖に連結すると
    き前記部分的なテンプレート連鎖に一定のペナルティを
    加える過程を有する特許請求の範囲第７項記載の方法。
12. 【請求項１２】入力手段と、 キーワードテンプレート蓄積手段と、 キーワードと無関係に音声の一部分を取出してそれを複
    数に分割した各部分によってそれぞれ構成されたフィラ
    ーテンプレートを蓄積するフィラーテンプレート蓄積手
    段と、 前記フィラーテンプレート蓄積手段およびキーワードテ
    ンプレート蓄積手段に結合されて前記蓄積されたフィラ
    ーテンプレートおよび前記蓄積されたキーワードテンプ
    レートの連鎖のシーケンスを生成する手段と、 前記連鎖のシーケンスを生成する手段と前記入力手段と
    に結合されて、前記蓄積されたフィラーテンプレートお
    よびキーワードテンプレートの連鎖のシーケンスのいず
    れが前記入力手段に与えられた観測する音声パラメータ
    を表わす信号と最良の整合をするかによってキーワード
    を決定する手段とを具備していることを特徴とする観測
    する音声中のキーワードを認識するシステム。
13. 【請求項１３】前記入力手段に結合されて前記観測する
    音声パラメータを表わす信号を生成する手段を具備して
    いる特許請求の範囲第12項記載のシステム。
14. 【請求項１４】前記決定する手段に結合されてキーワー
    ドテンプレートが最良の整合を与える場合に指示を与え
    る手段を具備している特許請求の範囲第12項記載のシス
    テム。
15. 【請求項１５】前記決定する手段に結合されてキーワー
    ドテンプレートが最良の整合を与える場合に前記最良の
    整合のキーワードテンプレートの識別を行う手段を具備
    している特許請求の範囲第12項記載のシステム。
16. 【請求項１６】前記フィラーテンプレート蓄積手段に結
    合されて前記フィラーテンプレートを出力する手段を具
    備している特許請求の範囲第12項記載のシステム。
17. 【請求項１７】前記フィラーテンプレートを出力する手
    段は、任意の訓練発音セグメント化する手段と、このセ
    グメント化する手段に結合されてフィラーテンプレート
    として前記セグメントのサブセットを選択するために前
    記セグメントの統計的クラスタ解析を行う手段とを具備
    している特許請求の範囲第12項記載のシステム。
18. 【請求項１８】前記キーワードテンプレート蓄積手段に
    結合されて前記キーワードテンプレートを出力する手段
    を具備している特許請求の範囲第12項記載のシステム。
19. 【請求項１９】前記キーワードテンプレートを出力する
    手段は、前記入力手段に結合されて１個以上のキーワー
    ドのパラメータを表わす信号を出力する手段と前記キー
    ワードのパラメータを表わす信号の終点を決定する手段
    とを具備している特許請求の範囲第18項記載のシステ
    ム。