JPH0736475A - 音声分析における基準パターン形成方法 - Google Patents
音声分析における基準パターン形成方法Info
- Publication number
- JPH0736475A JPH0736475A JP3317576A JP31757691A JPH0736475A JP H0736475 A JPH0736475 A JP H0736475A JP 3317576 A JP3317576 A JP 3317576A JP 31757691 A JP31757691 A JP 31757691A JP H0736475 A JPH0736475 A JP H0736475A
- Authority
- JP
- Japan
- Prior art keywords
- word
- pattern
- score
- register
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Telephonic Communication Services (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】 (修正有)
【目的】 音声分析における基準パターン形成方法に関
する。 【構成】 各キーワードが少なくとも1つのターゲット
パターンプレートにより特徴づけ、各ターゲットパター
ンが少なくとも2つの短期間パワースペクトルトルを表
し、該パターンと関連し少なくとも2つの必須ドウェル
時間位置と、1つの任意ドウェル時間位置を有する音声
信号内の少なくとも1つのキーワードを認識する音声分
析における基準パターンを形成する方法において、キー
ワード対応の到来音声信号を複数のサブインターバルに
分割し、各サブインターバルを唯一の基準パターンに強
制的に対応し、キーワードを表わす複数の音声入力信号
について該段階を繰り返し、各サブインターバルと関連
する基準パターンの統計データを発生し、この統計デー
タにより、キーワードを表わす音声入力信号により2回
目のパスをなし、キーワードに対しマシンにより生成し
たサブインターバルを提供する音声認識方法。
する。 【構成】 各キーワードが少なくとも1つのターゲット
パターンプレートにより特徴づけ、各ターゲットパター
ンが少なくとも2つの短期間パワースペクトルトルを表
し、該パターンと関連し少なくとも2つの必須ドウェル
時間位置と、1つの任意ドウェル時間位置を有する音声
信号内の少なくとも1つのキーワードを認識する音声分
析における基準パターンを形成する方法において、キー
ワード対応の到来音声信号を複数のサブインターバルに
分割し、各サブインターバルを唯一の基準パターンに強
制的に対応し、キーワードを表わす複数の音声入力信号
について該段階を繰り返し、各サブインターバルと関連
する基準パターンの統計データを発生し、この統計デー
タにより、キーワードを表わす音声入力信号により2回
目のパスをなし、キーワードに対しマシンにより生成し
たサブインターバルを提供する音声認識方法。
Description
【図1】本発明に従って遂行される一連の動作を一般的
用語で例示するフローチャートである。
用語で例示するフローチャートである。
【図1A】本発明の好ましい具体例の装置の電気的ブロ
ック図である。
ック図である。
【図2】第1図において例示される全ブロック図におけ
る特定の処理動作を遂行するための電子装置の概略ブロ
ック図である。
る特定の処理動作を遂行するための電子装置の概略ブロ
ック図である。
【図3】図1のプロセスにおける特定のプロセスを遂行
するディジタルコンピュータプログラムのフローチャー
トである。
するディジタルコンピュータプログラムのフローチャー
トである。
【図4】本発明のパターン配列プロセスの線図である。
【図5】本発明の好ましい具体例の尤度関数プロセッサ
の電気的ブロック図である。
の電気的ブロック図である。
【図6】本発明の好ましい具体例の減算・絶対値回路の
電気的概略ブロック図である。
電気的概略ブロック図である。
【図7】本発明の好ましい具体例のオーバーフロー検出
論理回路の電気回路を示す回路図である。
論理回路の電気回路を示す回路図である。
【図8】図7の回路図の真値表である。
【図9】本発明のプリプロセッサの1つの好ましい具体
例のシンタックスプロセッサの概略流れ図である。
例のシンタックスプロセッサの概略流れ図である。
【図10】本発明の好ましい特定の具体例の逐次解読パ
ターン整列回路の電気回路図である。
ターン整列回路の電気回路図である。
45 制御プロセッサ 46 プリプロセッサ 48a ベクトルプロセッサ 48b 尤度関数プロセッサ 49 逐次解読プロセッサ 51 クロック発振器 52 周波数分割器 53 ラッチ 56 ディジタル乗算器 58 32ワード循環シフトレジスタ 59 マルチプレクサ 60 B選択回路 63 32ワードシフトレジスタメモリ 65 32ビット加算器 67 ゲート 71 コンピュータ割込み回路 73 インターフェース
Claims (2)
- 【請求項1】各キーワードが少なくとも1つのターゲッ
トパターンプレートを有するテンプレートにより特徴づ
けられ、各ターゲットパターンが少なくとも2つの短期
間パワースペクトルトルを表わし、かつ該パターンと関
連して少なくとも2つの必須ドウェル時間位置および少
なくとも1つの任意ドウェル時間位置を有する音声信号
内の少なくとも1つのキーワードを認識する音声分析に
おいて前記キーワードを表す基準パターンを形成する方
法において、キーワードに対応する到来音声信号を複数
のサブインターバルに分割し、各サブインターバルを唯
一の基準パターンに強制的に対応させ、同じキーワード
を表わす複数の音声入力信号について上記の段階を繰り
返し、各サブインターバルと関連する基準パターンにつ
いて記述する統計データを発生し、この発生された統計
データを使って、前記キーワードを表わす前記音声入力
信号により2回目のパスをなし、前記キーワードに対し
てマシンにより生成されたサブインターバルを提供する
ことを含むことを特徴とする基準パターン形成方法。 - 【請求項2】前記サブインターバルが、最初に、音声入
力キーワードの開始から終了まで均一に離間される特許
請求の範囲第1項記載の基準パターン形成方法。 【発明の詳細な説明】 本発明は、音声認識方法および装置に関し、特定する
と、連続音声信号中のワードストリングを実時間で認識
する方法および装置に関する。適当に処理された未知の
隔絶された音声信号を1または複数の予め用意された既
知のキーワード表示と比較することにより隔絶された発
声を認識するため、従来より種々の音声認識システムが
提案されて来た。本明細書において、「キーワード」な
る用語は、結合された1群の音素および音響を意味する
のに使用され、例えば、音節、ワード、句等の一部であ
る。多くのシステムはその成功度が限定されたものであ
つたが、特に1つの装置は、隔絶されたキーワードを認
識するのに商業上利用されて成功を納めた。このシステ
ムは、1977年7月26日付で特許され、本出願の譲
受人に譲渡された米国特許第4,038,503号に記
載される方法にしたがつてほゞ動作し、未知の音声信号
データの境界が認識システムにより測定されるバツクグ
ラウンドノイズまたは無音状態のいずれかであることを
条件として、限定された範囲のキーワードの1つを認識
する方法を提供するもので、この方法は好結果をもたら
した。このシステムは、未知の音声信号を生じる期間
は、十分に限定されており、単一のキーワードの発声し
か含まないという推定に依存する。連続する会話音声の
ような連続音声信号においては、キーワードの境界を演
繹的に認めることができないが、到来音声データを区分
するために、すなわち音素、音節、ワード、文章等の言
語単立の境界をキーワード認識プロセスの開始に先立つ
て決定する種々の方法が考案された。しかしながら、こ
れらの従来の連続音声システムは、満足できるセグメン
ト化方法が見出されないこともあつて、その成功は限定
された。さらに、他の実質的な問題が存在する。例え
ば、一貫的には、限定された語彙しか低誤報率で認識で
きないこと、認識の精度が、異なる話者の音声特性の差
に非常に敏感であること、システムが、例えば普通の電
話通信装置で伝送される可聴信号に普通生じるような分
析されつゝある可聴信号の歪に非常に敏感であることな
どである。米国特許第4,227,176号、第4,2
41,329号および第4,227,177号に記載さ
れる連続音声認識方法は、連続音声中のキーワードを実
時間において認識する商業的に容認できる有効な手法に
ついてそれぞれ記述している。これらの特許に記載され
る一般的方法は、現在商用に供せられており、実験的に
もまた実用試験においても、話者不依存の状況で高忠実
性と低誤率を提供することが分つた。しかしながら、現
今の技術の最先端にあるこれらの技術でさえも、誤報率
および話者不依存特性の両面において欠点を有する。上
述の米国特許に記載される連続音声認識法は、主とし
て、連続音声中の複数のキーワードの1つを認識ないし
確認する方法に向けられる。他の応用においては、連続
ワードストリングが認識され得るが、この場合、認識プ
ロセスの結果として、連続ワードストリングの個々のワ
ード要素の各々が認識される。本明細書において連続ワ
ードストリングとは、無音状態により境界を定められた
複数の認識可能な要素をいう。これは、例えば、境界が
演繹的に分る隔絶ワードの応用例に関して上述した商業
的装置に関係づけられる。しかしながら、こゝでは、境
界すなわち無音状態は未知であり、認識システムそれ自
体により決定されねばならない。加えて、試験されつゝ
ある要素は、もはやキーワード要素でなく、ワードスト
リングを形成するように一緒に一列に並べられた複数の
要素である。連続ワードストリングを認識するための技
術については、従来より種々の方法および装置が示唆さ
れている。しかしながら、これらの装置および方法は、
例えば、誤報率、話者に対する不依存性および実時間動
作においてやはり種々の欠点を有する。それゆえ、本発
明の主たる目的は、連続的なマークのない音声信号にお
ける連続ワードストリングの認識に有効性を発揮する音
声認識方法および装置を提供することである。本発明の
特定の目的は、未知の音声入力信号データの位相および
振幅歪に比較的不感知であり、未知音声入力信号の分節
速度の変化に比較的不感知であり、異なる話者したがつ
て異なる音声特性に等しく十分に応答し、信頼性があ
り、誤報率が低く、しかも実時間で動作するこの種の方
法および装置を提供することである。本発明について概
説すると、本発明は、可聴信号を分析する方法および装
置に関する。特定すると、可聴信号は音声信号であり、
方法および装置は、音声中のキーワードを認識する。各
キーワードは、少なくとも1つのターゲツトテンプレー
トを有するキーワードテンプレートにより特徴づけられ
る。各ターゲツトパターンは、少なくとも1つの短期間
パワスペクトルを表わし、各パターンは、少なくとも1
つの必須ドウエル時間位置と、それに続く少なくとも1
つの任意ドウエル時間位置を有している。一般に、各タ
ーゲツトパターンは、複数の必須および任意のドウエル
時間位置を有している。認識方法は、反復的フレーム時
間において、音声信号から該音声信号を表わす一連のフ
レームパターンを形成することを特徴とする。ついで、
各フレームパターンと各ターゲツトパターンの類似性に
関する測定数値が発生される。本方法は、さらに、ター
ゲツトパターンの必須および任意ドウエル時間位置の各
々に対して、この測定数値を使用して、いま形成された
音声表示フレームパターンと各ターゲツトパターンのド
ウエル時間位置との整列を表わす数値を累積し、この数
値に基づいて予定された事象が音声信号中に生じたか否
かの認識判断を行なうことを特徴とする。好ましくは、
この予定された事象は、「無音状態(サイレント)」の
認識である。他の側面として、前記累積段階は、(1)
各ターゲツトパターンの第2および後続のドウエル位置
に対して、先行のフレーム時間中の先行のターゲツトパ
ターンドウエル時間位置に対する累積スコアとターゲツ
トパターンと関連する現在の測定数値との和を累積し、
(2)各キーワードの第1ターゲツトパターンの第1の
必須のドウエル時間位置に対して、キーワードの終了と
関連される先行のフレーム時間中の最良の蓄積スコアと
キーワードの第1ターゲツトパターンと関連する現在測
定値との和を累積し、そして(3)各他のターゲツトパ
ターンの第1のドウエル位置に対して、同じキーワード
の先行のターゲツトパターンに対する最良の終了累積値
とターゲツトパターンと関連する現在測定値との和を累
積することを特徴とする。本発明の方法は、さらに、各
フレーム時間位置との関連において、そのフレーム時間
位置において終了する最良のスコアおよび有効性を有す
るキーワードのフレーム時間位置における識別および継
続時間を記憶し、そして各ドウエル時間位置の累積スコ
アとの関連において、そのドウエル時間位置における累
積スコアと関連するキーワードの時間位置長に対応する
ワード時間計数値を記憶することを特徴とする。その際
には、発生段階は、記憶されたキーワード識別および継
続時間情報を、ワードストリング中の各キーワードを決
定するためにトレースバツクすることを含む。さらに他
の側面として、本発明の方法は、ドウエル時間位置と対
応する各累積スコアと関連してキーワード継続時間計数
値を記憶することを特徴とする。この継続時間計数値
は、現在キーワードパターンに対する位置スコアを形成
するために累積された測数値の数、すなわち時間位置計
数値に対応する。さらに他の側面として、本方法は、累
積されたスコアの転送をシンタツクス制御要素に応答し
て方向づけることを特徴とする。本発明の装置は、ハー
ドウエア、ソフトウエアまたは両者の組合せのいずれに
おいても遂行できる。本発明の方法を実施するためのハ
ードウエアについては追つて詳細に説明する。以下、図
面を参照して本発明を好ましい具体例について説明す
る。本明細書に記載される特定の好ましい具体例におい
ては、音声認識は、到来可聴データ信号、一般に音声の
特定のアナログおよびデイジタル処理を行なう特別構成
の電子装置と、特定の他のデータ変換段階および数値評
価を行なうため本発明にしたがつてプログラムされた汎
用デイジタルコンピユータを含むシステムにより遂行さ
れる。本システムのハードウエア部分とソフトウエア部
分の間のタスクの分割は、音声認識を安価な価格で実時
間で遂行し得るシステムを得るためになされたものであ
る。しかしながら、この特定のシステムのハードウエア
で遂行されつゝあるタスクのある部分はソフトウエアで
十分遂行され得るであろうし、また本具体例のソフトウ
エアプログラミングで遂行されつゝあるタスクのある部
分は、他の具体例においては特定目的の回路で遂行し得
るであろう。この後者に関連しては、利用できる場合
に、装置のハードウエアおよびソフトウエアの実施形態
について説明する。本発明の1側面に依れば、信号が例
えば電話線により歪を生じた場合でも連続音声信号中の
ワードストリングを認識する装置が提供される。すなわ
ち、特に第1図において、10で指示される音声入力信
号は、任意の距離および任意数の交換機を包含する電話
線を介して炭素送話機および受話機により発生される音
声信号と考えることができる。それゆえ、本発明の代表
例は、電話システムを介して受信される音声データの連
続ワードストリングを認識することである。他方、入力
信号は、例えば、無線通信リンク例えば商業放送局、私
設通信リンクから取り出される音声信号、または装置近
傍に立つオペレータの音声入力信号のようなどのような
音声信号でもよい。以上の説明から明らかなように、本
発明の方法および装置は、一連の音響、音素、またはそ
の他の認識可能な符号を含む音声信号の認識と関係す
る。本明細書においては、「ワード]、「要素」、「一
連のターゲツトパターン」、「テンプレートパターン」
または「エレメントテンプレート」のいずれかについて
言及されるが、この5つの用語は、一般的なものであ
り、等価なものであると考えられる。これは、本方法お
よび装置により検出され認識され得るワードストリング
を構成するように結合する認識可能な一連の音響または
その代替物を表言する便利な方法である。これらの用語
は、単一の音素、音節、または音響から一連のワード
(文法的意味における)ならびに単一のワードに至るい
ずれをも包含するように広くかつ一般的に解釈されるべ
きである。アナログ−デイジタル(A/D)コンバータ
13は、線10上の到来アナログ音声信号データを受信
して、そのデータの信号振幅をデイジタル形式に変換す
る。例示のA/Dコンバータは、入力信号データを12
ビツトの2進表示に変換するが、その変換は、8000
回/秒の割合で起こる。他の具体例においては、他のサ
ンプリング速度が採用できる。例えば、高品質信号が利
用できる場合は、16KHzの速度を使用できるA/D
変換器13は、その出力を線15を介して自己相関器1
7に供給する。自己相関器17はデイジタル入力信号を
処理して、1秒間に100回短期間自己相関関数を発生
し、図示のように、線19を介してその出力を供給す
る。各自己相関関数は、32の値またはチヤンネルを有
し、各値は30ビットの解に計算される。自己相関器
は、第2図と関連して追つてより詳細に説明する。線1
9上の自己相関関数は、フーリエ変換装置21によりフ
ーリエ変換され、線23を介して対応する短期間窓処理
パワスペクトルを発生する。スペクトルは、自己相関関
数と同じ繰返し数で、すなわち100回/秒の割合で発
生され、そして各短期間パワスペクトルは、各16ビツ
トの解を有する31の数値期間を有する。理解されるよ
うに、スペクトルの31の期間の各々は、ある周波数バ
ンド内の単一のパーワを表わす。フーリエ変換装置はま
た、不要な隣接バンドレスポンスを減ずるためハニング
または類似の窓関数を含むのがよい。例示の具体例にお
いて、フーリエ変換ならびに後続の処理段階は、好まし
くは、本方法にしたがつて反復的に必要とされる演算を
スピード化するための周辺装置を利用して、適当にプロ
グラムされた汎用デイジタルコンピユータの制御下で遂
行されるのがよい。採用されるコンピユータは、マサチ
ユーセツツ所在のデイジタル・エクイツプメント・コー
ポレーシヨンにより製造されたPDP−11型である。
採用される特定のアレイプロセツサは、本出願の譲受人
に譲渡された米国特許第4,228,498号に記載さ
れている。第3図と関連して後述されるプログラムは、
これらの利用可能なデイジタル処理ユニツトの能力およ
び特性にほゞ基づいて設定される。短期間窓処理パワス
ペクトルは、25で指示されるように周波数レスポンス
について等化される。しかして、この等化は、追つて詳
細に示されるように各周波数バンドまたはチヤンネル内
に起こるピーク振幅の関数として遂行される。線26上
の周波数レスポンスを等化されたスペクトルは、100
/秒の割合で発生され、そして各スペクトルは、16ビ
ツトの精度で評価される31の数値期間を有する。到来
音声データの最終的評価を容易にするため、線26上の
周波数レスポンスを等価された窓処理スペクトルは、3
5で指示されるように振幅変換を受ける。これは、到来
スペクトルに非直線的振幅変換を課する。この変換につ
いては追つて詳細に記述するが、この点においては、未
知の到来音声信号が基準語彙のターゲツトパターンテン
プレートと整合し得る精度を改善するものであることを
言及しておこう。例示の具体例において、この変換は、
スペクトルを基準語彙の要素を表わすパターンと比較す
る前のある時点において周波数を等化された窓処理スペ
クトルのすべてについて遂行される。線38上の振幅変
換され等化された短期間スペクトルは、ついで、以下で
説明されるように40でエレメントテンプレートと比較
される。42で指示される基準パターンは、変換・等価
スペクトルを比較し得る統計態様の基準語彙の要素を表
わす。「サイレント」が検出される度に、いま受信され
たワードストリングの同一性に関して決定がなされる。
これは44で指示される。このようにして、比較の厳密
さにしたがつて候補ワードが選択され、例示の具体例に
おいては、選択工程は、キーワードの取逃しの可能性を
最小にするように設計される。第1A図を参照すると、
本発明の音声認識システムはコントローラ45を採用し
ているが、これは、例えば、PDP−11のような汎用
デイジタルコンピユータとし得る。例示の具体例におい
て、コントローラ45は、プリプロセツサ46から予処
理された音声データを受け取る。プリプロセツサについ
ては、第2図と関連して詳細に説明する。プリプロセツ
サ46は、線47を介して音声入力アナログ信号を受信
し、インターフエース線48を介して制御プロセツサす
なわちコントローラに処理されたデータを供給する。一
般に、制御プロセツサの動作速度は、汎用プロセツサで
あると、到来データを実時間で処理するに十分速くな
い。この結果、要素45の処理速度を有効に増すため
に、種々の特別目的のハードウエアを採用するのが有利
である。本発明の譲受人に譲渡された米国特許第4,2
28,498号に記載されるようなベクトル処理装置4
8aは、パイプライン効果を利用することにより相当増
大されたアレイ処理能力を提供する。加えて、第4、5
および6図と関連して詳述するように、尤度関数プロセ
ツサ48bは、装置の動作速度をさらに10倍増すため
ベクトルプロセツサと関連して使用できる。本発明の好
ましい具体例においては制御ブロセツサ45はデイジタ
ルコンピユータであるが、第10図と関連して説明され
る他の特定の具体例においては、処理能力の相当の部分
が、逐次解読プロセツサ49において制御プロセツサの
外部で実施される。このプロセツサの構造については、
第10図と関連して追つて詳細に説明する。このよう
に、こゝに例示される音声認識を実施するための装置
は、その速度、およびハードウエア、ソフトウエアまた
はハードウエアおよびソフトウエアの有利な組合せで実
施できる点において大なる変幻性を有するものである。
次にプロセツサについて説明する。第2図に例示される
装置において、固有の平均化の作用をもつ自己相関機能
は、線10を介して供給される到来アナログ可聴デー
タ、一般的には音声信号に作用するアナログ−デイジタ
ルコンバータ13により発生されるデイジタルデータ列
に対して遂行される。コンバータ13は、線15上にデ
イジタル入力信号を発生する。デイジタル処理機能なら
びにアナログ−デイジタル変換は、クロツク発振器51
の制御下で調時される。クロツク発振器は、256,0
00パルス/秒の基本タイミング信号を発生し、そして
この信号は、周波数分割器52に供給されて、8000
パルス/秒の第2のタイミング信号を得る。低速タイミ
ング信号は、アナログ−デイジタル変換器13ならびに
ラツチレジスタ53を制御する。しかして、このラツチ
レジスタは、次の変換が完了するまで最後の変換の12
ビツトの結果を保持するものである。自己相関積は、レ
ジスタ53に含まれる数に32ワードシフトレジスタ5
8の出力を乗算するデイジタルマルチプライヤ56によ
り発生される。レジスタ58は、循環モードで動作し、
高速クロツク周波数により駆動されるから、シフトレジ
スタデータの1循環は、各アナログ−デイジタル変換ご
とに遂行される。シフトレジスタ58に対する入力は、
1回の循環サイクル中に一度レジスタ53から供給され
る。デイジタルマルチプレクサ56に対する一方の入力
は、ラツチレジスタ53から直接供給され、他方の入力
は、シフトレジスタの現在出力からマルチプレクサ59
を介して供給される。乗算は高速クロツク周波数で遂行
される。このようにして、A/D変換から得られる各値
は、先行の31の変換値の各々と乗算される。技術に精
通したものには明らかであるように、それにより発生さ
れる信号は、入力信号を、それを32の異なる時間増分
だけ遅延した信号と乗算することと等価である(1つは
遅延0である)。0遅延相関を得るため、すなわち信号
の積を生ずるため、マルチプレクサ59は、シフトレジ
スタ60に各新しい値が導入されつゝある時点に、ラツ
チレジスタ53の現在値をそれ自体と乗算する。このタ
イミング機能は、60で指示される。これも技術に精通
したものには明らかなように、1回の変換とその31の
先行データから得られる積は、適当なサンプリング間隔
についてのエネルギ分布すなわちスペクトルを公正に表
わさない。したがつて、第2図の装置は、これらの複数
組の積の平均化を行なう。平均化を行なう累積工程は、
加算器65と接続されて1組の32の累積器を形成する
32ワードシフトレジスタ63により提供される。すな
わち、各ワードは、デイジタルマルチプレクサからの対
応する増分に加算された後、再循環され得る。この循環
ループは、低周波クロツク信号により駆動されるN分割
器69により制御されるゲート67を通る。分割器69
は、シフトレジスタ63が読み出されるまでに累積され
したがつて平均化される瞬間的自己相関関数の数を決定
するフアクタにより、低周波クロツクを分割する。例示
の具体例においては、読み出されるまでに80のサンプ
ルが累積される。換言すると、N分割器69に対するN
は80に等しい。80の変換サンプルが相関づけられ、
累積された後、分割器69は、線72を介してコンピユ
ータ割込み回路71をトリガする。この時点に、シフト
レジスタ63の内容は、適当なインターフエース回路7
3を介してコンピユータメモリに逐次読み込まれる。レ
ジスタ内の32の逐次のワードは、インターフエース7
3を介してコンピユータに順番に提示される。技術に精
通したものには明らかなように、周辺ユニツト、すなわ
ち自己相関器プリプロセツサからコンピユータへのこの
データ転送は、普通、直接メモリアクセス法により遂行
されよう。8000の初サンプリング速度で80のサン
プルが平均化されることに基づき、毎秒100の平均化
相関関数が供給されることが分ろう。シフトレジスタの
内容がコンピユータから読み出されている間、ゲート6
7が閉成されるから、シフトレジスタの各ワードは、0
にリセツトされ、累積プロセスの再開を可能にする。数
式で表わすと、第2図に示される装置の動作は下記のご
とく記述できる。アナログ−デイジタル変換器が時間列
S(t)を発生すると仮定すると(こゝにt=0,T
o,2To,…,To はサンプリング間隔(例示の具
体例において1/8000秒))、第2図の例示のデイ
ジタル相関回路は、始動時のあいまいさを無視すると、
次の相関関数を計算するものと考えることができる。 こゝにj=0,1,2,…,31、t=80To,16
0To ,…,80nTo,…… である。これらの相
関関数は、第1図の線19上の相関出力に対応する。第
3図を参照して説明すると、デイジタル相関器は、各1
0ミリ秒毎に1相関関数の割合で一連のデータブロツク
をコンピユータに連続的に伝送するように動作する。こ
れは第3図に77で指示される。各データブロツクは、
対応する細分時間間隔に誘導される自己相関関数を表わ
す。上述のように、例示の自己相関関数は、単位秒当り
100の32ワード関数の割合でコンピユータに提供さ
れる。この分析間隔は、以下において「フレーム」と称
される。第1の例示の具体例において、自己相関関数の
処理は、適当にプログラムされた専用デイジタルコンピ
ユータで遂行される。コンピユータプログラムにより提
供される機能を含むフローチヤートが第3図に示されて
いる。しかしながら、段階の種々のものは、ソフトウエ
アでなくてハードウエア(以下に説明する)によつても
遂行でき、また第2図の装置により遂行される機能のあ
るものは、第3図のフローチヤートの対応する修正によ
りソフトウエアでも遂行できることを指摘しておく。第
2図のデイジタル相関器は、瞬間的に発生される自己相
関関数の時間平均動作を遂行するが、コンピユータに読
み出される平均相関関数は、サンプルの順次の処理およ
び評価と干渉し合うようなある種の変則的不連続性また
は不均一性を含む。したがつて、データの各ブロツク、
すなわち各自己相関関数a(j,t)は、まず時間に関
して平滑化される。これは、第3図のフローチヤートに
おいて78で指示される。好ましい平滑法は、平滑化自
己相関出力as(j,t)が下式により与えられるもの
である。 as(j,t)=C0a(j,t)+C1a(j,t−T)+C2a(j,t −2T) (2) こゝにa(j,t)は式(1)において定義された不平
滑入力自己相関関数であり、as(j,t)は平滑自己
相関出力であり、jは遅延時間を表わし、tは実時間を
表わし、Tは連続的に発生される自己相関関数間の時間
間隔(フレーム)を表わし、好ましい具体例においては
0.01秒に等しい。重み付け関数C0,C1,C
2は、例示の具体例においては好ましくは1/4,1/
2,1/4 に選ばれるのがよいが、他の値も選択され
よう。例えば、20Hzのカツトオフ局波数をもつガウ
スのインパルスレスポンスを近似する平滑化関数をコン
ピユータソフトウエアで実施できよう。しかしながら、
実験によれば、式(2)に例示される実施容易な平滑化
関数で満足な結果が得られることが示された。上述のよ
うに、平滑化関数は、遅延の各値Jについて別々に適用
される。以下の分析は、音声信号の短期間フーリエパワ
スペクトルに関する種々の操作を含むが、ハードウエア
を簡単にしかつ処理スピードを上げるため、自己相関関
数の周波数領域への変換は、例示の具体例においては8
ビツトの算術で実施される。3KHz近傍のバンドパス
の高域の端では、スペクトルパワ密度が8ビツト量にお
ける解像に不十分なレベルに減ずる。それゆえ、システ
ムの周波数レスポンスは、6db/オクターブの上昇率
で傾斜される。これは79で指示される。この高周波数
の強調は、その変数すなわち時間遅延に関する自己相関
関数の二次微分を取ることにより遂行される。微分操作
は、次式のごとくである。 b(j,t)=−a(j+1,t)+2a(j,t)−a(j−1,t) (3) j=0に対する微分値を求めるために、自己相関関数は
0に関して対称であるから、a(−j,t)=a(+
j,t)であると仮定する。また、(32)に対するデ
ータはないから、j=31における微分値は、j=30
のときの微分値と同じであると仮定する。第3図のフロ
ーチヤートで示されるように、分析手続きの高周波強調
後の次の段階は、自己相関のピーク絶対値を見出すこと
により現在のフレーム間隔における信号パワを算出する
ことである。パワの概算値P(t)は次のごとくなる。 8ビツトスペクトル分析のための自己相関関数を用意す
るため、平滑化自己相関関数はP(t)に関してブロツ
ク標準化され(80にて)、各標準価値の上位8ビツト
がスペクトル分析ハードウエアに入力される。それゆ
え、標準化されかつ平滑化された自己相関関数は次のご
とくなる。 C(j,t)=127b(j,t)/P(t) (5) ついで、81で指示されるように、時間に関して平滑化
され、周波数強調され、標準化された各相関関数に余弦
フーリエ変換が適用され、31点のパワスペクトルを生
成する。余弦値のマトリツクスは次式で与えられる。す
なわち、 S(i,j)=126g(i)(cos(2πi/8000)f(j)), j=0,1,2,……,31 (6) こゝに、S(i,j)は、時刻tにおける、f(j)H
zに中心を置くバンドのスペクトルエネルギ、g(i)
=1/2(1+cos 2πi/63)は、サイドロー
ブを減ずるための(ハミング)窓関数エンベロープであ
る、および f(j)=30+1000(0.0552j+0.438)1/0.63Hz , (7) j=0,1,2,……,31 これは、主楽音ピツチいわゆる「メル」曲線上に等しく
離間された分析周波数である。明らかなように、これ
は、約3000〜5000Hzの代表的通信チヤンネル
のバンド幅の周波数に対する主ピツチ(メルスケール)
周波数軸線間隔に対応する。スペクトル分析は、−31
から+31までの遅れを加算を必要とするから、自己相
関が0に関して対称であるということを仮定すれば、J
の正値しか必要としない。しかしながら、遅れ0の項を
2度計算することを避けるために、余弦マトリツクスは
次のように調節される。 S(O,j)=126/2=63,余jに対して (8) かくして、計算されたパワスペクトルは次式により与え
られる。 こゝで第j番目の結果は周波数f(j)に対応する。こ
れも明らかなように、各スペクトル内の各点すなわち値
は、対応する周波数バンドを表わす。このフーリエ変換
は従来のコンピユータハードウエア内で完全に遂行でき
るが、外部のハードウエアマルチプレツクサまたは高速
フーリエ変換(FFT)周辺装置を利用すれば、工程は
かなりスピード化し得よう。しかしながら、この種のモ
ジユールの構造および動作は技術上周知であるから、こ
ゝでは詳細に説明しない。ハードウエア高速フーリエ変
換周辺装置には、周波数平滑機能が組み込まれるのが有
利であり、この場合、各スペクトルは、上述の好ましい
(ハミング)窓重み付け関数g(i)に従つて周波数が
平滑される。これは、ハードウエアによるフーリエ変換
の実施に対応するブロツク85の83で実施される。バ
ツクグラウンドノイズが相当ある場合、バツクグラウン
ドのパワスペクトルの概算値が、この段階においてS1
(j,t)から減算されねばならない。ノイズを表わす
ために選択したフレーム(1または複数)には、音声信
号を含ませてはならない。雑音フレーム間隔を選択する
最適のルールは、応用にしたがつて変わるであろう。話
者が例えば言声認識装置により制御される機械で相互通
信に掛わり合う場合、例えば、機械がその音声応答ユニ
ツトによる話しを終了した直後の間隔に任意にフレーム
を選択するのが便利である。拘束がより少ない場合に
は、過ぎ去つた1ないし2秒の間の音声入力の最小の振
幅のフレームを選択することによりノイズフレームを見
出すことができる。追つて詳細に説明されるように、最
小振幅「サイレント」パターン、実際には2つの代替的
の「サイレント」パターンの使用は、有利な装置動作を
もたらすことは明らかである。逐次の平滑パワスペクト
ルが高速フーリエ変換周辺装置85から受信されると、
以下で説明されるように、周辺装置85からのスペクト
ルに対するピークパワスペクトルエンベロープ(一般に
異なる)を決定し、それに応じて高速フーリエ変換装置
の出力を変更することにより通信チヤンネルの等化が行
なわれる。到来する窓処理パワスペクトルS1(j,
t)(こゝにjはスペクトルの複数の周波数に割り当て
られる)に対応しかつ該スペクトルにより変更された新
たに発生された各ピーク振幅は、各スペクトルチヤンネ
ルまたはバンドに対する高速アタツク、低速デケイ、ピ
ーク検出機能の結果である。ウインドードパワスペクト
ルは、対応するピーク振幅スペクトルのそれぞれの期間
に関して標準化される。これは、87で指示される。例
示の具体例においては、新しいウインドードスペクトル
を受け取る前に決定された「古い」ピーク振幅スペクト
ルp(j,t−T)が、新たに到来したスペクトルS1
(j,t)と周波数バンドと周波数バンドとを比較する
やり方で比較される。ついで新しいピークスペクトルp
(j,t)が、下記の規則にしたがつて発生される。
「古い」ピーク振幅スペクトルの各バンドのパワ振幅
は、この具体例においては固定分数、例えば1023/
1024と乗算される。これは、ピーク検出関数の低速
デケイ部分に対応する。到来スペクトルS1(j,t)
の周波数バンドJのパワ振幅が崩壊ピーク振幅スペクト
ルの対応する周波数バンドのパワ振幅より大きければ、
その(またはそれらの)周波数バンドに対する崩壊ピー
ク振幅スペクトル値は、到来するウインドードスペクト
ルの対応するバンドのスペクトル値と置き変えられる。
これは、ピーク検出関数の高速アタツク部分に応対す
る。数学的には、ピーク検出関数は次のように表現でき
る。すなわち、 p(j,t)=max p(j,t−T)・(1−E)・P(t)・S(j,t ),j=0,1,……,31 (10) こゝに、jは周波数バンドの各々に割り当てられ、p
(j,t)は生じたピークスペクトルであり、p(j,
t−T)は「古い」すなわち先行のピークスペクトルで
あり、S1(j,t)は新たに到来した部分的に処理さ
れたパワスペクトルであり、P(t)は時刻tにおける
パワ概算値であり、Eはデケイパラメータである。式
(10)にしたがうと、ピークスペクトルは、より高値
のスペクトル入力の不存在の場合、1−Eの率で通常崩
壊する。普通、Eは1/1024に等しい。しかしなが
ら、サイレントの期間中、特に通信チヤンネルまたは音
声特性の迅速な変化が予測されない場合、、ピークスペ
クトルのデケイを許すことは望ましくなかろう。サイレ
ントフレームを限定するためには、バツクグラウンドノ
イズフレームを選択するのに採用されたのと同じ方法が
採用される。過ぎ去つた128のフレームの振幅(P
(t)の平方根)が検査され、最小値が見つけられる。
現在フレームの振幅がこの最小値の4倍より小さけれ
ば、現在フレームはサイレントであると決定され、Eに
対して、値1/1024の代わりに値「0」が置き代え
られる。ピークスペクトルが発生された後、生じたピー
ク振幅スペクトルp(j,t)は、各周波数バンドピー
ク値を新たに発生されたピークスペクトルの隣接する周
波数に対応するピーク値と平均することにより、周波数
が平滑化される(89)。しかして、平均値に寄与する
全周波数バンド幅は、フオーマント周波数間の代表的周
波数間隔に概ね等しい。音声認識の技術に精通したもの
には明らかなように、この間隔は、約1000Hzであ
る。この特定の方法による平均化により、スペクトル内
の有用情報、すなわちフオーマント共鳴を表わす局部的
変動が維持され、他方、周波数スペクトルの全体的な強
調は抑制される。好ましい具体例においては、ピークス
ペクトルは、7つの隣接する周波数バンドをカバーする
移動平均関数により周波数に関して平滑化される。平均
関数は次のごとくである。 パスバンドの終端において、P(k,t)は、0より小
さいkおよび31より大きいkに対して0となる。標準
化エンベロ−プh(j)は、実際に加算された有効デー
タ要素の数を考慮に入れる。かくして、h(0)=7/
4、 h(1)=7/5、 h(2)=7/6、h
(3)=1,……,h(28)=1,h(29)=7/
6、h(30)=7/5,そしてh(31)=7/4と
なる。得られた平滑化ピーク振幅スペクトルe(j,
t)は、ついで、いま受信されたパワスペクトルを標準
化し、周波数等化するのに使用されるが、これは到来平
滑化スペクトルS1(j,t)の各周波数バンドの振幅
値を、平滑化ピークスペクトルe(j,t)の対応する
周波数バンド値で分割することにより行なわれる。数学
的にこれは、次のように表わされる。 Sn(j,t)=(S1(j,t)/e(j,t)32767 (12) こゝに、Sn(j,t)は、ピーク標準化され平滑化さ
れたパワスペクトルであり、jは各周波数バンドに対し
て割り当てられる。このステツプは、91で指示されて
いる。こゝで、周波数等化されかつ標準化された一連の
短期間パワスペクトルが得られるが、このスペクトル
は、到来音声信号の周波数含分の変化が強調され、一般
的な長期間周波数強調または歪は抑制されたものであ
る。この周波数補償方法は、補償の基準が全信号または
各周波数バンドのいずれにおいても平均パワレベルであ
る通常の周波数補償システムに比して、電話線のような
周波数歪を生ずる通信リンクを介して伝送される音声信
号の認識において非常に有利であることが分つた。逐次
のスペクトルは種々処理され、等化されたが、到来音声
信号を表わすデータはなお100/秒の割合で生ずるス
ペクトルを含んでいることを指摘しておく。91で指示
されるように標準化され、周波数等化されたスペクトル
は、91で指示されるように振幅変換を受ける。これ
は、スペクトル振幅値に非直線的なスケール操作をなす
ことにより行なわれる。Sn(j,t)(式12から)
のごとき個々の等化され標準化されたスペクトルを選択
すると(こゝにjはスペクトルの異なる周波数バンドを
指示し、tは実時間を表わす)、非直線スケール化スペ
クトルx(j,t)は、次の直線分数関数により定義さ
れる。 こゝにAはj=0〜31までのスペクトルSn(j,
t)の平均値であり、下記のように定義される。 こゝで、jはパワスペクトルの周波数バンドを指示す
る。スペクトルの31の期間は、次式のようにAの対数
により置き代えられる。すなわち、 x(31,t)=16log2A (15) このスケール関数(式13)は、短期間平均値Aから大
きく偏つたスペクトル強度に対して柔軟なスレツシヨル
ドおよび漸進的な飽和の作用を及ぼす。数学的に述べる
と、平均近傍の強度に対して概ね直線的であり、平均か
ら離れた強度に対して概ね対数的であり、極端な強度値
に対して実質的に一定である。対数スケールの場合、関
数x(j,t)は0に関して対称であり、聴覚神経を刺
激するような割合の関数を示唆するようなスレツシヨル
ドおよび飽和の振舞を示す。実際に、全認識システム
は、この特定の非直線スケール関数の場合、スペクトル
振幅の直線または対数スケールのいずれかの場合よりも
相当良好に機能する。このようにして、振幅変換され、
周波数レスポンスを等化され、標準化された一連の短期
間パワスペクトルx(j,t)(こゝに、t=0.0
1,0.02,0.03,0.04秒、j=0,…,3
0(発生されたパワスペクトルの周波数バンドに対応)
が発生する。各スペクトルに対して32ワードが用意さ
れ、A(式15)、すなわちスペクトル値の平均値の値
は、32ワードとして記憶される。以下において「フレ
ーム」として言及されるこの振幅変換された短期間パワ
スペクトルは、例示の具体例においては、95で指示さ
れるように、256の32ワードスペクトルに対する記
憶容量をもつフアーストイン・フアーストアウト循環メ
モリに記憶される。かくして、例示の具体例において
は、2.56秒の音声入力信号が分析のために利用可能
となる。この記憶容量は、もし必要ならば、分析および
評価のため異なる実時間でスペクトルを選択し、したが
つて分析上必要に応じて時間的に前進、後進できるよう
な変幻性をもつ認識システムを提供する。このように、
最後の2.56秒に対するフレームは循環メモリに記憶
され、必要なときに利用できる。例示の具体例において
は、動作中、各フレームは2.56秒記憶される。かく
して、時刻t1において循環メモリに入つたフレーム
は、2.56秒後、時刻t+2.56秒に対応する新し
いフレームが記憶されるとき、メモリから失なわれる、
すなわちシフトされる。循環メモリ中を通るフレーム
は、好ましくは実時間において既知の範囲のワードと比
較され、ワードストリングと呼ばれるワード群において
入力データを決定し識別させる。各語彙ワードは、複数
の非重複のマルチフレーム(好ましくは3フレーム)デ
ザインセツトパターンに形成され複数の処理パワスペク
トルを統計的に表わすテンプレートパターンにより表わ
される。これらのパターンは、語彙ワードの意味のある
音響事象をもつともよく表わすように選択されるのがよ
く、そして94で記憶される。デザインセツトパターン
を形成するスペクトルは、第1図に図示される線10上
の連続する未知の音声入力を処理するため、上述のシス
テムを使つて種々の状況で話されるワードに対して発生
される。このように、各語彙ワードは、それと関連する
一般に複数の一連のデザインセツトパターンP(i)1
,P(i)2,… を有しており、各パターンは、短
期間スペクトルの領域においてそのi番目のキーワード
についての1つの指示を与える。各キーワードに対する
デザインセツトパターンの集まりは、ターゲツトパター
ンを発生するについての統計的基準を形成する。本発明
の例示の具体例において、デザインセツトパターンP
(i)jは各々、直列に配列された3つの選択されたフ
レームを構成する96要素配列と考えることができる。
パターンを形成するフレームは、時間に関する平滑に起
因する不要相関を避けるため少なくとも30ミリ秒離間
されるべきである。本発明の他の具体例においては、フ
レームを選択するため他のサンプリング法を実施でき
る。しかしながら、好ましい方法は、フレームを一定継
続時間、好ましくは30ミリ秒離間してフレームを選択
し、非重幅デザインセツトパターンをキーワードを限定
する時間間隔中離間させる方法である。すなわち、第1
のデザインセツトパターンP1は、キーワードの開始点
近傍の部分に対応し、第2のパターンP2は時間の後の
部分に対応し、以下同様であり、そしてパターンP1,
P2,……は、一連のターゲツトパターンに対する統計
的基準、すなわちワードテンプレートを形成し、到来音
声データはこれに整合されるのである。ターゲツトパタ
ーンはt1,t2……は、各々、P(i)jが独立ラプ
ラシアン変数より成ることを仮定することにより対応す
るP(i)jから発生される統計データよりなる。この
仮定は、以下で説明される到来データとターゲツトパタ
ーン間に尤度統計データが生成されることを可能にす
る。かくして、ターゲツトパターンは、エントリとし
て、集められた対応するデザインセツトパターン配列エ
ントリに対する平均値、標準偏差およびエリヤ標準化率
を含む配列より成る。より精確な尤度統計データについ
ては後で説明する。技術に精通したものには明らかなよ
うに、ほとんどすべてのワードは、2以上の文脈上およ
び/または地域的な発音を有し、したがつてデザインセ
ツトパターンの2以上の「スペリング」を有している。
かくして、上述のパターン化スペリングP1,P2……
を有する語彙ワードは、実際上、一般にP(i)1,P
(i)2,…、i=1,2,…,Mとして表言できる。
こゝにP(i)jの各々は、第j番目のクラスのデザイ
ンセツトパターンについての可能な代替的記述方法であ
り、各ワードに対して全部でMの異なるスペリングがあ
る。それゆえ、ターゲツトパターンt1,t2,…,t
iは、もつとも一般的意味において、各々、第i番目の
グループまたはクラスのデザインセツトパターンに対す
る複数の代替的統計的スペリングを表わす。このよう
に、例示の具体例において、「ターゲツトパターン」な
る用語は、もつとも一般的意味において使用されてお
り、したがつて、各ターゲツトパターンは、2以上の許
容し得る代替的「統計的スペリング」を有し得る。到来
する未知の音声信号および基準パターンを形成する音声
信号の予備処理は、これで完了する。次に記憶されたス
ペクトルの処理について説明する。米国特許第4,24
1,329号、第4,227,176号および第4,2
27,177号に記載される、音声パターンを検出ワー
ドに結び付けるキーワード認識法のより深い研究によれ
ば、それがより一般的でおそらく優れた方法の特別の場
合であることが分つた。第4図を参照して説明すると、
ワード認識の探索は、抽象的な状態空間中に適当な路を
見つける問題として表わすことができる。この図におい
て、各円は、ドウエル(引延し)時間位置またはレジス
タとも指称される可能な状態を表わし、決定プロセスは
これを通ることができる。垂直鎖線120、122間の
空間は、パターンが現在の音素に整合するかしないかを
決定する際に決定プロセスが通過し得る仮定の状態を各
々表わす。この空間は、必須のドウエル時間部分124
と、任意のドウエル時間部分126に分けられる。必要
なドウエル時間部分は、「現在の」音素またはパターン
の最小継続時間を表わす。任意または必須ドウエル時間
部分内の各円は、形成されるフレームの連続体のフレー
ム時間を表わし、フレームからフレームまでの0.01
秒の間隔に対応する。かくして、各円は、1つのワード
スペリングにおける仮定の現在音素位置を表わし、そし
て(0.01秒の)フレームの数は、現在の音素が始ま
つてから経過した時間を仮定し、その音声またはターゲ
ツトパターンにおけるそれより前の円の数に対応してお
り、パターンの現在の継続を表わす。1つのパターン
(音素)が始まり、最小のドウエル時間間隔が経過した
後、次のターゲツトパターン(音素)の第1の節点すな
わち位置(円)128に進むには数本の可能な路があ
る。これは、スペリングの次のパターン(音素)へ移動
することの決定がいつなされるかに依存する。これらの
決定の可能性は、この図においては,円128に向う数
本の矢により表わされる。次のパターン(音素)の始点
は円128により表わされているが、次のパターンへの
この変換は、現在のパターン(音素)の任意のドウエル
時間中の任意の節点すなわち位置から、または必須ドウ
エル時間間隔の最後の節点からなされよう。米国特許第
4,241,329号、第4,227,176号および
4,227,177号に記載のキーワード認識方法は、
次のパターン(音素)に関する確度スコアが現在のパタ
ーン(音素)に関する確度スコアより良好であるような
第1の節点で変換を行なう。すなわち、フレームが、現
在の音素またはパターンより次の音素またはパターンと
よく整合する点でなされている。他方、全ワードスコア
は、フレーム当りの(すなわち路に含まれる節点当り
の)平均パターン(音素)スコアである。現在の節点ま
でのワードスコアに適用される「全スコア」の定義と同
じ定義が、変換をいつなすべきかを決定するのに使用で
きる。すなわち、次のパターンへの変換を、例えば変換
指示線130に対応する最初の機会でなすべきか、ある
いは例えば変換指示線132に対応するもつと後の時点
になすべきかの決定に使用できる。最適には、節点当り
の平均スコアが最良であるような路を次のパターン(音
素)中に選ぶことになる。米国特許第4,241,32
9号、第4,227,176号および第4,227,1
77号に記載される標準的キーワード法は、次のパター
ン(音素)に移動すべきことの決定をなした後潜在的な
路について試験をしないから、平均スコア/節により測
定されるところにしたがつてほゞ最適の決定をなすこと
になろう。したがつて本発明は、キーワード認識に平均
スコア/節法を採用する。問題は、追つて詳細に説明さ
れるワードストリング認識と関連して起こり、含まれる
節点の数によりすべての部分的ワードスコアを標準化す
るか(これは計算上不効率的である)、あるいは累積値
をバイアスして明白な標準化を不必要としなければなら
ない。クローズドボキヤブラリータスクにおいて使用す
べき自然バイアス値は、現在の分析時間で終了する最良
のワードに対する不標準化スコアである。したがつて、
全節点における累積スコアは、つねに、同じ数の基本的
パターンスコアの総和となろう。さらに、スコアは、こ
のバイアス値により現在の分析節点で終わる最良のワー
ドストリングのスコアに変換される。平均スコア/節点
による決定法は、米国特許第4,228,498号に記
載されるベクトルプロセツサで動的プログラミング技術
を使用することにより効率的に実施できる。この態様で
プログラム設定されるとき、処理速度は、より多くの仮
定試験が必要とされるとしても、米国特許第4,24
1,329号、第4,227,176号および第4,2
27,177号に記載される標準的キーワード認識法よ
りもずつと速い。一般的にいつて、ワードストリングを
認識するためには、プログラムに、各分析節点で終わる
仮定するのに最良の語彙ワードの名前を記憶させる。ま
た、この最良のワードが始まつた節点(時間)も記憶す
る。ついで、発声の終りからバツクトレーシングし、記
憶されたワードの名前に留意し、現在のワードの指示さ
れた開始点に次の前述のワードを見つけることにより、
最良のワードストリングが発見される。語彙ワードとし
てサイレントを含ませると、ワードストリングに含まれ
るワードの数を特定することは不必要となる。ストリン
グを見つけるためのバツクトラツキングの動作は、サイ
レントワードが最良のスコアを有するときに実行され、
そして先のサイレントが次の検出されるときに終了す
る。かくして、話者が息を止める度にストリングが見出
される。こゝに記述されるワードストリング識別法は、
個々のキーワードの検出よりも抽出レベルが高い方法で
ある。ワードストリングスコアにより、発声中のすべて
の音声をあるワードストリングに強性的に含ませるか
ら、単純なワードスボツテイング法よりも有利である。
後者の方法は、長いワード中に誤種のワードを検出する
ことが多い。有利なことは、ワードストリングケースに
タイミングパターンが必要でないことである。これは、
ワード連結器が各ワード終了の仮定ごとにワード開始時
間を出力するからである。もつとも簡単なストリング連
結器は、これらのワード開始時間が正しいことを仮定す
る。サイレントの検出で、ワードストリングがいま終つ
たこと、および最後のワードの開始点が先のワードの終
了点で(これもサイレントの場合もある)あることを仮
定する。通常、ストリングの各ワード対間には文脈に依
存する変換はないから、装置で、先行のワードの最良の
終了点を見つけるように各ワードの開始点の近傍を探索
することができるようにするのが好ましかろう。次に、
ハードウエアおよびソフトウエアの具体例を含む方法お
よび装置について詳細に説明する。第3図を参照して説
明すると、まず、到来連続音声データを表わす95で記
憶されたスペクトルまたはフレームは、下記の方法にし
たがつて語彙のキーワードを表わす記憶されたターゲツ
トパターンテンプレート(96)と比較される。各10
ミリ秒のフレームに対して、記憶された基準パターンと
比較のためのパターンは、現在のスペクトルベクトルS
(j,t)、3フレーム前のスペクトルS(j,t−
0.03)、および6フレーム前のスペクトルS(j,
t−0.06)を隣接させて下記の96要素パターンを
形成することにより97で形成される。 上述のように、記憶された基準パターンは、認識される
べき種々の音声パターンクラスに属する先に集められた
96要素パターンの平均値、標準偏差およびエリヤ標準
化フアクタより成る。比較は、入力音声が特定のクラス
に属することを予測する値x(j,t)の確率モデルに
より遂行される。確率モデルについてはガウスの分布を
利用できるが(例えば上述の米国特許第4,241,3
29号、第4,227,176号および第4,227,
177号参照)、ラプラス分布、すなわち (こゝにmは統計平均、S1は変数xの標準偏差であ
る)は、計算が少なくてすみ、例えば米国特許第4,0
38,503号に記載される話者に不依存性の隔絶ワー
ド認識法におけるガウスの分布とほとんど同様に機能す
ることが分つた。未知の入力パターンxと第k番目の記
憶基準パターン間の類似の程度L(x|k)は、確率の
対数に比例し、次の式で100で算出される。 一連のパターンの尤度スコアLを結合して話されたワー
ドまたはフレーズの尤度スコアを形成するため、各フレ
ームに対するスコアL(x|k)は、そのフレームに対
する全基準パターンの最良の(最小の)スコアを減ずる
ことにより調節される。すなわち、 したがつて、各フレームに対する最良の適合パターン
は、0のスコアを有するであろう。仮定された一連のパ
ターンに対する調節されたスコアは、フレームごとに累
積され、指示された一連のシーケンスを支持する決定が
正しい決定となるような、確率に直接に関係づけられた
シーケンスコアを得ることができる。記憶された既知の
パターンに対する未知の入力スペクトルパターンの比較
は、K番目のパターンに対する下記の関数を計算するこ
とにより遂行される。すなわち、 通常のソフトウエアで実施される計算においては、 に下記の命令が実行されよう。 1.x−uを計算せよ 2.x−uの符号を試験せよ 3.x−uが負ならば、絶対値を形成するように否定せ
よ 5.結果をアキユムレータに加えよ 20ワード語彙を有する代表的音声認識システムにおい
ては、約222の異なる基準パターンが設けられよう。
これを求めるに必要とされるステツプの数は、間接動作
を含まないと、5×96×222=10560ステツプ
であり、これが、実時間スペクトルフレーム速度に遅れ
ないようにするため、10ミリ秒以内で実行されなけね
ばならない。それゆえ、プロセツサは、尤度関数を丁度
求めるためには、ほゞ1100万/秒の命令を実行でき
なければならない。必須の速度を考慮に入れて、米国特
許第4,228,498号に開示されるベクトルプロセ
ツサシステムと適合する専用の尤度関数ハードウエアモ
ジユール200(第4図)が採用される。この専用ハー
ドウエアにおいては、上述の5つ 時に遂行されるから、実際には、1つの命令を実行する
のに要する時間で10の命令が遂行される。基本的ベク
トルプロセツサは800万(命令)/秒の速度で動作す
るから、確度関数に対する有効計算速度は、専用ハード
ウエア200が採用されると約8000万(命令)/秒
となる。第5図を参照すると、ハードウエアモジユール
200は、10のステツプの同時の実行を可能にするた
め、ハードウエアによるパイプ処理および並列処理の組
合せを採用している。2つの同一の部分202,204
は、各々、独立の入力データ変数について5つの算術演
算ステツプを遂行しており、結果はその出力に接続され
た加算器206により結合される。加算器206からの
加算値の累積は、式(19)の1〜96の加算であり、
そしてこの値は、米国特許第4,288,498号に記
載される標準的ベクトルプロセツサの演算ユニツトで処
理される。動作において、パイプライン結合レジスタ
は、以下の処理段階における中間データを保持する。 1. 入力変数(クロツク作動レジスタ208、21
0、212、214、216、218) 2. x−uの絶対値(クロツク作動レジスタ220、
222) 3. 乗算器の出力(クロツク作動レジスタ224、2
26) 入力データがクロツク作動レジスタ208〜218に保
持されると、x−uの大きさが、減算・絶対値回路によ
り決定される。第6図を参照すると、減算・絶対値回路
228、230は、各々第1および第2の減算器(一方
はx−uを算出、他方はu−xを算出)および正の結果
を選択するためのマルチプレクサ236を備えている。
レジスタ208、210から出る線238、240上の
入力変数xおよびuは、それぞれ−128〜+127の
8ビツト数である。8ビツト減算器の差出力は9ビツト
にオーバーフローすることがあるから(例えば127−
(−128)=255)、オーバーフロー状態を取り扱
うため余分の回路が採用される。状態はオーバーフロー
検出器235により決定される。しかして、その入力
は、「x」の符号(線235a上)、「u」の符号(線
235b上)および「x−u」の符号(線235c上)
である。次に第7図を参照すると、オーバーフロー検出
器は、この例示の具体例においては、3入力ANDゲー
ト268、270およびORゲート272を有する組合
せ回路である。第8図の真値表は、オーバーフロー条件
を入力の関数として表わしている。オーバーフロー条件
は、マルチプレツクサ236、(これは正の減算器出力
を選択する回路である)で4つの選択を行なうことによ
り処理される。達択は、線242および244上の2進
レベルで定められる。線242上のレベルは、x−uの
符号を表わす。244上の符号は、1ならばオーバーフ
ローを表わす。かくして、選択は次のごとくなる。 線224 線224 0 0 減算器232の出力を選択 1 0 減算器234の出力を選択 0 1 1ビツトシフトダウンされた減算器232
を選択 1 1 1ビツトシフトダウンされた減算器234
を選択 マルチプレツクサはこのように制御されて、8極4位置
スイツチのように作用する。シフト動作は、組合せによ
り減算出力を適当なマルチプレツクサに接続することに
より遂行される。シフトは、算術的に2で分割する効果
をもつ。減算中にオーバーフローが起こると、マルチプ
レツクサの出力は、減算器の出力を2で分割した出力と
なる。それゆえ、最終結果を2で乗算して正しいスケー
ルフアクタを取り戻すことができるように、計算の後段
でこの条件を思い出させることが必要である。この復旧
は、最後のパイプ処理レジスタの後のマルチプレツクサ
で行なわれる。それゆえ、パイプライン処理レジスタ2
20、222、224、226には余分のビツトが設け
られており、第2のマルチプレツクサ248、250を
制御する。後者のマルチプレツクサは、オーバーフロー
ビツトがセツト(1に等しい)の場合、それぞれ8×8
ビツトの乗算器252、254の乗算積を1ビツトだけ
シフトアツプし、2を乗算する。乗算演算は、8ビツト
数を受け入れその積を出力するTRW MPY−8−H
jのごとき標準的集積回路装置で実施できる。かくし
て、乗算器252、254は、各クロツ の値は余分のデータレジスタ256、258により正し
く調時される)。乗算器252、254の出力は、レジ
スタ224、226にバツフア記憶され、線260、2
62を介し、加算器206を経て残りの回路に出力され
る。同じ専用ハードウエアモジユールは、マトリツクス
乗算において必要とされるような2ベクトルの内部積を
計算するのにも採用できる。これは、減算・絶対値回路
228、230において側路を可能とするゲート回路2
64、266で遂行され 処理レジスタ220、222に直接加えられる。次に、
ワードレベルパターン整列について説明する。未知の入
力音声と各語彙ワードテンプレート間の対応を最適化す
るためには、動的なプログラミング(101)が採用さ
れるのが好ましい。各ワードテンプレートは、上述の一
連の基準パターン統計データだけでなく、各基準パター
ンと関連する最小および最大のドウエル時間を含むのが
よい。動的プログラミング法にしたがえば、各語彙ワー
ドに対して1つの記憶レジスタが提供される。レジスタ
の数は、そのワードを構成する基準パターンの最大のド
ウエル時間の和に等しい。すなわち、もつとも長い許容
ワード継続時間に比例する。これらのレジスタは、第4
図の円に対応し、各円に対して1つのレジスタがある。
入力音声の各フレームに対して、全レジスタが読み取ら
れ、書き込まれる。各レジスタは、追つて詳述されるよ
うに、指示された語彙ワードが話されつゝあるというこ
と、およびそのワードにおける現在位置が、そのレジス
タの特定の基準パターンおよびドウエル時間に対応する
という仮定に対応する累積された尤度スコアを含む。全
レジスタは、低い尤度スコアを含むようにイニシヤライ
ズされ、上記の仮定が最初いずれも容認できるほどに起
こりそうでないことを指示する。レジスタ更新の規則は
下記のごとくである。各ワードテンプレートの最初のレ
ジスタ(すなわちそのワードがいま発声され始めたとい
う仮定に対応するレジスタ)は、(a)そのワードの第
1の基準パターンに関する現在のフレームの尤度スコア
と、(b)全語彙ワードのすべての最後のレジスタの最
良のスコア(すなわち、あるワードが先行のフレーム上
で完了されたという仮定に対する累積尤度スコア)の和
を含む。ワードテンプレートの第2のレジスタは、
(a)そのワードの第1の基準パターンに関する現在の
フレームの尤度スコアと、(b)先行のフレームからの
第1のレジスタの内容の和を含む。かくして、第2のレ
ジスタは、指示されたワードが発声されつゝあり、それ
が先行のフレームで始まつたという仮定のスコアを含
む。最小および最大の継続時間の間のドウエル時間(任
意ドウエル期間)に対応するこれらレジスタの更新処理
中、各逐次の「現在フレーム」に対する任意的ドウエル
期間に対応するレジスタに、最良の累積された尤度スコ
ア(レジスタの内容)を記憶するため、別個のメモリレ
ジスタが採用される。先行のフレーム時間に見出された
この最良のスコアは、そのワードに対する次のターゲツ
トパターンまたはテンプレートの必須ドウエル時間に対
応する第1のレジスタの次の内容を計算するのに使用さ
れる。このように、次の基準パターンの最初のレジスタ
の現在の内容は、その最良のスコア(先行するターゲツ
トパターンの)を、前記の次の基準またはターゲツトパ
ターンに関する現在の入力フレームの尤度スコアに加え
ることにより発生される。第4図において、基準パター
ンの必須ドウエル間隔の第1のレジスタ128に至る多
重の矢印は、任意ドウエル時間レジスタまたは状態から
必須ドウエル時間レジスタまたは状態への変換が、任意
ドウエル時間間隔中の任意の時点に、または必須ドウエ
ル時間間隔の最後のレジスタから生ずることを指示する
ことを意味している。かくして、現在の情報に基づく
と、ワードテンプレートと入力パターン間の最良の適応
は、次のパターンが丁度始まりつゝあるとき、先行のパ
ターンが、先行の任意ドウエル期間の最良のスコアを含
むレジスタ+先行の必須時間間隔の最後のレジスタ(例
示の具体例においてレジスタ300)に対応する継続時
間をもつたということを仮定するものである。動的プロ
グラミングの理論によれば、全部の可能なドウエル時間
に対応する先に累積されたスコアを保存しておく必要は
ない。それは、この理論によると、低スコアを生じたド
ウエル時間変換点は、将来の全処理段階において低スコ
アを発生し続けるからである。分析は、全ワードテンプ
レートの全基準パターンの全レジスタを使つて上述の態
様で進行する。各ワードテンプレートの最後のパターン
の最後のレジスタ(単数または複数)は、ワードがいま
丁度終了したという仮定のスコアを含む。尤度スコアの
累積中、一連の継続時間計数値は、各フレーム時間で終
了する最良のワードの継続時間を決定するため維持され
る。計数は、ワードの第1テンプレートパターンの第1
レジスタで「1」で開始される。テンプレートパターン
の各第2および後続のレジスタに対して、種々のレジス
タと関連される計数値は「1」だけインクリメントされ
る。しかしながら、基準パターン(1つのワードの第1
基準パターン以外の)の開始点に対応する各レジスタ、
すなわち例えば必須ドウエル時間間隔の第1レジスタ1
28については、先行のフレーム時間において最良の尤
度スコアを有する先行の基準パターンの任意ドウエル時
間レジスタ(または最後の必須ドウエル時間レジスタ)
の計数値が、レジスタに対する継続時間計数値を形成す
るようにインクリメントされる。追つて詳細に記載され
るバツクトラツキング機構を提供するため、各フレーム
時間ごとに、その時間で終わる最良スコアのワードおよ
びその継続時間についての情報は、循環バツフアメモリ
に転送される。一連のワードが終了すると、記憶された
ワード継続時間は、最後の「最良」ワードの終端から、
その継続時間を逆上つて、「最後のワード」直前で終了
する最良の先行ワードに至るまでなど、ワードストリン
グの全ワードが識別されてしまうまでバツクトレーシン
グすることを可能にする。連続的に発声される語彙ワー
ドのストリングは、サイレントにより境界を定められ
る。それゆえ、ワードテンプレートの1つが、サイレン
トまたはバツクグラウンドノイズに対応している。サイ
レントワードが最良の尤度スコアを有すれば、一連のワ
ードが丁度終了したことが推定される。認識のプロセス
の最後のイニシヤライズ以後サイレント以外のワードが
最良のスコアを有したか否かを知るため、フラグレジス
タが試験される。「サイレント」以外の少なくとも1ワ
ードが最良のスコアを有すれば(103)、循環バツフ
ア内のワードストリングがバツクトレースされ(10
5)、生じた認識されたメツセージが、表示装置または
他の制御装置に伝達される。次いで、循環バツフアはク
リヤされてメツセージの反復伝達を阻止し、フラグレジ
スタはクリヤされる。このようにして、装置は次のワー
ドストリングを認識するようにイニシヤライズされる
(107)。次に、基準パターンのトレーニングについ
て説明する。基準パターンの構成のためサンプル平均u
およびバリアンスS1を得るためには、各語彙ワードの
多数の発声が音声識別システムに装入され、対応する予
処理されたスペクトルフレームの全統計データが求めら
れる。装置の重要で好結果をもたらす動作は、どの入力
スペクトルフレームがどのターゲツトまたは基準パター
ンに対応すべきかの選択である。入力ワードに対して人
間により選ばれた重要な音響的音素のような十分な情報
が不存在の場合、話されたワードの始点と終点間の時間
間隔は、多数の一様に離間されたサブインターバルに分
割される。これらのサブインターバルの各々は、唯一の
基準パターンと対応せしめられる。各間隔において始ま
る1または複数の3フレームパターンが形成され、その
間隔と関連する基準パターンにしたがつて分類される。
同じ語彙ワードの後続の例は、同様に、同数の一様に離
間された間隔に分割される。対応する順番の間隔から抽
出された3フレームパターンの要素の平均値およびバリ
アンスは、語彙ワードの利用可能な全列について累積さ
れ、そのワードに対する1組の基準パターンを形成す
る。間隔の数(基準パターンの数)は、語彙ワードに含
まれる単位の言語学的音素当り約2または3とすべきで
ある。最良の結果を得るためには、記録された音声波形
およびスペクトルフレームの人間による試験を含む手続
きにより、各語彙ワードの始点と終点がマークされる。
この手続を自動的に実施するためには、装置がワードの
境界を正確に見つけるように、ワードを1時に1つずつ
話し、サイレントにより境界を定めることが必要であ
る。基準パターンは、隔絶して話された各ワードの1つ
のこのようなサンプルからイニシヤライズされよう。し
かして、全バリアンスは、基準パターンにおいて都合の
よい定数に設定される。その後、トレーニング資料は、
認識されるべき発声を表わしかつ認識プロセスにより見
出されるようなワードおよび分節境界をもつ発声を含む
ことができる。適当数のトレーニング発声を含む統計的
データが累積した後、そのようにして見出された基準パ
ターンが、初基準パターンの代わりに利用される。次い
で、トレーニング資料による2回目のパスが行なわれ
る。このとき、ワードは、第3図におけるように認識プ
ロセツサによりなされた決定に基づいてインターバルに
分割される。各3フレーム入力パターン(または、各基
準パターンに対する1つの代表的入力パターン)が、前
述のパターン整列法によりある基準パターンと関連づけ
られる。平均値およびバリアンスは、それらが認識装置
により使用される方法と完全に適合した態様で誘導され
る最終の1組の基準パターンを形成するように1秒間累
積される。各トレーニングパス中、認識プロセツサによ
り正しく認識されないトレーニングフレーズを無視する
のが好ましい。これは、誤認識された発声は、インター
バル境界を不完全に設定したかも知れないからである。
そのトレーニングパスの完了の際、先に誤認識されたフ
レーズは、新しい基準パターンで再度試みることがで
き、そのとき認識が成功すれば、基準パターンはさらに
更新できる。誤認識されたフレーズを無視することに対
する代わりの方法は、各トレーニング発声に対してマル
チプルワードテンプレートを形成することである。この
テンプレートは、発声中の各ワードに対するテンプレー
トを正しい順番で結び付けたものである。話者は、指示
されたワード列を話すことを台本により促進され、認識
プロセツサは、マルチプルテンプレートおよびサイレン
トテンプレートのみを参照する。そのとき、ワード境界
および基準パターンの分類は、所与の台本および利用可
能な基準パターンに対して最適となろう。この手続の不
利な点は、トレーニング台本による多数回の試験が必要
とされることがあることである。最高に可能な確訳精度
を得るためには、認識されるべき語彙に対して先に決定
された1組の話者不依存性の基準パターンでトレーニン
グ手続きを始めるのが好ましい。話者不依存性のパター
ンは、少なくとも数人の異なる話者により話される認識
されるべきフレーズを表わすフレーズから得られる。ワ
ードの境界は、記録された音声波形の人間による試験に
より決定されよう。ついで、叙上の2段階手続きが、話
者不依存性パターンを発生するために採用される。すな
わち1回目のパスにおいては、各ワード内にサブインタ
ーバルが均一に離間される。2回目のパスにおいては、
第1パスによる基準パターンを使つて認識プロセスによ
りサブインターバルが決定される。全話者についての全
体的統計が、各パスにおいて誘導される。特定の話者に
対してシステムをトレーニングするためには、話者不依
存性のパターンが、1回目のトレーニングパスのパスの
結果であつたかのごとく採用され、そして2回目のパス
の手続のみが遂行される(おそらく2度)。最小(必
須)および最大(必須+任意)ドウエル時間は、好まし
くはトレーニングプロセス中に決定されるのがよい。本
発明の好ましい具体例においては、装置は、上述のよう
に数人の話者を使つてトレーニングされる。さらに、上
述のように、本認識法では、トレーニング手続き中、上
述の方法にしたがつてパターンの境界が自動的に決定さ
れる。このようにして境界が記録され、装置により識別
された各キーワードに対してドウエル時間が記憶され
る。トレーニング工程の終了時に、各パターンに対する
ドウエル時間が試験され、パターンに対する最小および
最大のドウエル時間が選ばれる。本発明の好ましい具体
例においては、ドウエル時間のヒストグラムが形成さ
れ、最小および最大ドウエル時間は、第25および第7
5、100分位数に設定される。これは、低誤報率を維
持しながら高認識精度を与える。代わりに、最小および
最大ドウエル時間の他の選択も可能であるが、認識精度
と誤報率との間には交換条件がある。すなわち、もしも
最小ドウエル時間および最大ドウエル時間が選択される
と、一般に、高誤報率の犠牲でより高い認識精度が得ら
れる。次にシンタツクスプロセツサについて説明する。
2または3の特定のワードテンブレートの結合は、決定
プロセスにおけるシンタツクス制御の平凡な例である。
第9図を参照すると、奇数(1、3、5、7、・・・)
のワードを含むワード列を検出するためのシンタツクス
回路308は、各語彙ワードに対して維持される独立の
2組のパターン整列レジスタ310、312を有してい
る。第1テンプレートに入るスコアは、サイレントに対
するスコアまたは1組の第2テンプレ一トの最良スコア
のいずれか良い方のものである。第2のテンプレートに
入るスコアは、第1組のテンプレートの最良のスコアで
ある。このスコアはまた、ノード313にある第2のサ
イレント検出テンプレートに送られる。ノード313に
ある検出テンプレートにより測定されて発声の終端のサ
イレントが検出されると、発声されたワードのラベルお
よび継続時間が、第1および第2組のテンプレートのト
レースバツクバツフアから交互にトレースバツクされ得
る。重要なことは、サイレント検出テンプレートの位置
で、奇数のワードを有するワード列の後のサイレントの
みが検出され得ることが保証されることである。若干複
雑なシンタツクス網は、第9図のノード313aのよう
な各シンタツクスノードと、容認できるワードストリン
グ長のリストを関連づけることにより実施できる。例え
ば、奇数のワードを含む任意のストリングを容認する第
9図のシンタツクス網において、ストリング長は、第2
のサイレントレジスタ313aの入力におけるストリン
グ長を試験することにより、特定の奇数、例えば5に固
定できる。その点におけるストリングの長さが5でなけ
れば、レジスタは不活性となり(その分析インターバル
に対して)、そのレジスタからストリングスコアは報告
されないが、ストリング長が5であると、ストリングの
検出が報告され得る。同様に、第1語彙レジスタ310
は、到来ストリング長が0、2または4のとき可能化さ
れ、第2レジスタは、到来ストリング長が1または3の
ときのみ可能化され得る。5ワードストリングに対する
最適の結果を得るためには、全部で5組の動的プログラ
ミングアキユムレータを必要としようが、本方法によれ
ば、これよりも少ない数のアキユムレータに、普通の認
識精度に若干の低減をもたらすだけで多重の役割を遂行
させることができる。次に本音声認識方法を使用して実
施された装置について説明する。本発明の好ましい具体
例においては、第2図のプリプロセツサにより遂行され
た信号およびデータ操作以上の操作が、デイジタルデー
タ・エクイツプメント・コーポレーシヨンPDP−11
型コンピユータと米国特許第4,228,498号に記
載されるごとき専用ベクトルコンピユータプロセツサと
の組合せで実施される。本発明の方法は、コンピユータ
のプログラミングの利用に加えて、ハードウエアを利用
して実施できる。動作について説明すると、本発明の装
置10は、動的プログラミング技術にしたがつて動作す
る。各新しい尤度スコア列、すなわち既知の予定された
順の各基準パターン列に関する尤度スコア列は、コンピ
ユータから線320を経て、メモリ322および324
の1つの既存のスコアに供給される。メモリは、(a)
各可能なワードの終了に対応するスコアを受信するシン
タツクスプロセツサ308、(b)メモリ選択および次
の音索信号に依存してメモリ322および324の出力
に取つて代わる最小スコアレジスタ326、および
(c)他の制御およびクロツク信号の制御下で、以下の
ように交互に機能する。動作において、回路は、第4図
の各円に対応するレジスタを更新し、各休止ないしサイ
レントの認識で最良の整合を達成し得る決定機構を提供
するための規則にしたがつて動作する。メモリ322お
よび324は、同じ形態を有しており、10ミリ秒ごと
に、すなわち新しいフレームが分析されるごとに交換さ
れる。メモリは各々複数の32ビツトワードを有してお
り、そして32ビツトワードの数は、機械語彙のワード
と関連されるレジスタ(すなわち第4図の円)に対応し
ている。最初、一方のメモリ、例えば322が、「悪
い」尤度スコア、すなわち本例においては大きい値を有
するスコアを記憶している。その後、メモリ322は、
線320を介してベクトルプロセツサから供給される新
しい尤度スコアの順序に対応する予定された順序で逐次
読み出され、そしてスコアは以下に記載されるように更
新され、他方のメモリ324に再書込みされる。次の1
0ミリ秒フレームにおいては、メモリ324からいまは
古くなつたスコアが読み出され、他のメモリ322に書
き込まれる。この交番機能は、シンタツクスプロセツサ
308、最小スコアレジスタ326および他の制御およ
びクロツク信号の制御下で続く。前述のように、メモリ
322および324の各ワードは、32ビツト数であ
る。下位16ビツト、すなわちビツト0〜15は、累積
尤度スコアを記憶するのに採用される。また、ビツト1
6〜23は、音素継続時間を記録するのに採用され、ビ
ツト24〜31は、そのレジスタにおけるワード継続時
間を記憶するのに採用される。コンピユータから到来す
る尤度スコアは、パターンスコアメモリ328に各フレ
ーム時間ごとに記憶される。この情報は、非常に高速の
データ転送速度で、コンピユータからバーストとして供
給され、そして第10図の回路において採用される低速
度でパターンスコアメモリから読み出される。シンタツ
クスプロセツサまたは最小スコアレジスタからの中介制
御がない場合、選択されたメモリ322または324の
出力は、対応する選択されたゲート330または332
を介して線334に供給される。線334は、尤度スコ
ア、音素またはターゲツトパターン継続時間計数値、お
よびワード継続時間計数値をそれぞれ更新する加算器3
36、338、340に接続されている。かくして、メ
モリ322、324の一方から来る先行フレームのスコ
アに対応する尤度スコアは、線342を介してパターン
スコアメモリから出力され、古い尤度スコアに加えら
れ、そして書込みに使用されていないメモリに記憶され
る。メモリの選択機能は、線344上の信号レベルによ
り提供される。同時に、ワードおよび音素継続時間計数
値は1だけインクリメントされる。同様に、ワード継続
時間カウンタ、音索継続時間計数値および尤度スコアが
通常更新される。上述の普通の更新ルールに対する2つ
の例外は、新しい音素の開始および新しいワードの開始
に対応して起こる。新しい音声の開始時に(これは新し
いワードの開始時ではない)、音素の第1レジスタは、
普通の規則にしたがつて更新されないが、代つて、線3
42上の尤度スコアが、先行基準フレームまたは音素任
意ドウエル時間のレジスタまたは先行音素必須ドウエル
時間の最終レジスタからの最小スコアに加えられる。こ
れは、最小スコアレジスタ326を採用することにより
実施される。最小スコアレジスタの出力は、前の音素に
対する先行のフレーム時間における最小スコアを表わ
す。このスコアは、新しいスコアが提供されるとき最小
スコアレジスタの内容を連続的に更新することにより得
られる。新しい最小スコアは、減算演算要素346の符
号ビツト出力を採用することにより最小スコアレジスタ
中に負荷される。要素346は、現在の最小スコアをい
ま更新されたレジスタからの新しい最小スコアと比較す
る。最小スコアレジスタは、さらに、最小スコアを有す
るレジスタに対応するワード継続時間計数値および音素
継続時間計数値を記憶する。この情報はすべて、新しい
音素の開始時に線334に出力される。この出力プロセ
スは、新音素の開始時に可能化されるゲートと、新しい
音素の開始中ゲート332および330を不能化する制
御信号の組合せを使つて制御される。シンタツクスプロ
セツサ308は、新しいワードに対する第1音素の第1
レジスタを、先行のフレームで終わるワードのシンタツ
クスを考慮に入れたワードの最良のスコアで更新するの
に採用される。かくして、新しいワードの第1、音素の
第1レジスタに対応するレジスタのスコアが、到来尤度
スコアにより更新されるとき、採用されるのはメモリ3
22、324の一方の出力でない。代わつて先行のフレ
ームで終わるワードの、好ましくはシンタツクスを考慮
に入れた最良の尤度スコアが利用される。この機能は、
ゲート330および332を不能化し、同時にゲート3
50を可能化して、レジスタ352に記憶された最艮の
利用可能なスコアを線334上に供給し、線342上の
到来パターン尤度スコアと加えることにより可能とな
る。このようにして、基準フレームのドウエル時間に対
応する各レジスタは、このハードウエアの具体例におい
て連続的に更新されるのである。尤度スコアでサイレン
トワードを表わすと、シンタツクスプロセツサは、ハー
ドウエアまたはコンピユータ装置が認識されたワードを
決定するためにバツクトレースを行なうことを可能にす
るに必要な制御システムを提供するように設計される。
以上の説明を考察すれば、本発明の種々の目的が達成さ
れ、利益ある効果が得られたことが分ろう。こゝに開示
されるワートストリング連続音声認識方法および装置
は、特定の応用として隔絶された音声の認識を含むこと
が理解されよう。技術に精通したものであれば、こゝに
開示される具体例の追加、削除、変更が特許請求の範囲
内において明らかであろう。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US309208 | 1981-10-05 | ||
| US06/309,208 US4489435A (en) | 1981-10-05 | 1981-10-05 | Method and apparatus for continuous word string recognition |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP57174094A Division JPS58134699A (ja) | 1981-10-05 | 1982-10-05 | 連続ワ−トストリング認識方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0736475A true JPH0736475A (ja) | 1995-02-07 |
Family
ID=23197169
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP57174094A Pending JPS58134699A (ja) | 1981-10-05 | 1982-10-05 | 連続ワ−トストリング認識方法および装置 |
| JP3317576A Pending JPH0736475A (ja) | 1981-10-05 | 1991-09-26 | 音声分析における基準パターン形成方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP57174094A Pending JPS58134699A (ja) | 1981-10-05 | 1982-10-05 | 連続ワ−トストリング認識方法および装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US4489435A (ja) |
| JP (2) | JPS58134699A (ja) |
| CA (1) | CA1182222A (ja) |
| DE (1) | DE3236832C2 (ja) |
| FR (1) | FR2520912B1 (ja) |
| GB (2) | GB2107101B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003524795A (ja) * | 1999-02-08 | 2003-08-19 | クゥアルコム・インコーポレイテッド | スピーチエネーブル装置のユーザインターフェースの完全性をテストする方法および装置 |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4624008A (en) | 1983-03-09 | 1986-11-18 | International Telephone And Telegraph Corporation | Apparatus for automatic speech recognition |
| JPS60179797A (ja) * | 1983-10-27 | 1985-09-13 | 日本電気株式会社 | パタンマツチング装置 |
| US5218668A (en) * | 1984-09-28 | 1993-06-08 | Itt Corporation | Keyword recognition system and method using template concantenation model |
| US4718094A (en) * | 1984-11-19 | 1988-01-05 | International Business Machines Corp. | Speech recognition system |
| US4811399A (en) * | 1984-12-31 | 1989-03-07 | Itt Defense Communications, A Division Of Itt Corporation | Apparatus and method for automatic speech recognition |
| US5241649A (en) * | 1985-02-18 | 1993-08-31 | Matsushita Electric Industrial Co., Ltd. | Voice recognition method |
| JPH0632012B2 (ja) * | 1985-03-25 | 1994-04-27 | 株式会社東芝 | 音声認識装置 |
| WO1987002816A1 (en) * | 1985-10-30 | 1987-05-07 | Central Institute For The Deaf | Speech processing apparatus and methods |
| US4820059A (en) * | 1985-10-30 | 1989-04-11 | Central Institute For The Deaf | Speech processing apparatus and methods |
| US4797929A (en) * | 1986-01-03 | 1989-01-10 | Motorola, Inc. | Word recognition in a speech recognition system using data reduced word templates |
| US5023911A (en) * | 1986-01-10 | 1991-06-11 | Motorola, Inc. | Word spotting in a speech recognition system without predetermined endpoint detection |
| JPS62232000A (ja) * | 1986-03-25 | 1987-10-12 | インタ−ナシヨナル・ビジネス・マシ−ンズ・コ−ポレ−シヨン | 音声認識装置 |
| US4831550A (en) * | 1986-03-27 | 1989-05-16 | International Business Machines Corporation | Apparatus and method for estimating, from sparse data, the probability that a particular one of a set of events is the next event in a string of events |
| US4882757A (en) * | 1986-04-25 | 1989-11-21 | Texas Instruments Incorporated | Speech recognition system |
| US5159637A (en) * | 1988-07-27 | 1992-10-27 | Fujitsu Limited | Speech word recognizing apparatus using information indicative of the relative significance of speech features |
| US5454062A (en) * | 1991-03-27 | 1995-09-26 | Audio Navigation Systems, Inc. | Method for recognizing spoken words |
| US5592389A (en) * | 1990-12-03 | 1997-01-07 | Ans, Llp | Navigation system utilizing audio CD player for data storage |
| US5748840A (en) * | 1990-12-03 | 1998-05-05 | Audio Navigation Systems, Inc. | Methods and apparatus for improving the reliability of recognizing words in a large database when the words are spelled or spoken |
| JPH04362698A (ja) * | 1991-06-11 | 1992-12-15 | Canon Inc | 音声認識方法及び装置 |
| US5199077A (en) * | 1991-09-19 | 1993-03-30 | Xerox Corporation | Wordspotting for voice editing and indexing |
| US5379420A (en) * | 1991-12-26 | 1995-01-03 | Trw Inc. | High-speed data searching apparatus and method capable of operation in retrospective and dissemination modes |
| WO1993018484A1 (en) * | 1992-03-10 | 1993-09-16 | Oracle Corporation | Method and apparatus for comparison of data strings |
| JP2524472B2 (ja) * | 1992-09-21 | 1996-08-14 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 電話回線利用の音声認識システムを訓練する方法 |
| JP2818362B2 (ja) * | 1992-09-21 | 1998-10-30 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 音声認識装置のコンテキスト切換えシステムおよび方法 |
| US5425129A (en) * | 1992-10-29 | 1995-06-13 | International Business Machines Corporation | Method for word spotting in continuous speech |
| US5671328A (en) * | 1992-12-30 | 1997-09-23 | International Business Machines Corporation | Method and apparatus for automatic creation of a voice recognition template entry |
| US5615296A (en) * | 1993-11-12 | 1997-03-25 | International Business Machines Corporation | Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors |
| US5642444A (en) * | 1994-07-28 | 1997-06-24 | Univ North Carolina | Specialized image processing system architecture and method for image data arrays |
| US5684925A (en) * | 1995-09-08 | 1997-11-04 | Matsushita Electric Industrial Co., Ltd. | Speech representation by feature-based word prototypes comprising phoneme targets having reliable high similarity |
| US5825977A (en) * | 1995-09-08 | 1998-10-20 | Morin; Philippe R. | Word hypothesizer based on reliably detected phoneme similarity regions |
| US5822728A (en) * | 1995-09-08 | 1998-10-13 | Matsushita Electric Industrial Co., Ltd. | Multistage word recognizer based on reliably detected phoneme similarity regions |
| DE19540859A1 (de) * | 1995-11-03 | 1997-05-28 | Thomson Brandt Gmbh | Verfahren zur Entfernung unerwünschter Sprachkomponenten aus einem Tonsignalgemisch |
| US5842161A (en) * | 1996-06-25 | 1998-11-24 | Lucent Technologies Inc. | Telecommunications instrument employing variable criteria speech recognition |
| US5926652A (en) * | 1996-12-20 | 1999-07-20 | International Business Machines Corporation | Matching of wild card patterns to wild card strings associated with named computer objects |
| US6122613A (en) * | 1997-01-30 | 2000-09-19 | Dragon Systems, Inc. | Speech recognition using multiple recognizers (selectively) applied to the same input sample |
| US6092044A (en) * | 1997-03-28 | 2000-07-18 | Dragon Systems, Inc. | Pronunciation generation in speech recognition |
| DE19723293A1 (de) * | 1997-06-04 | 1998-12-10 | Siemens Ag | Mustererkennungsverfahren |
| JP4279909B2 (ja) * | 1997-08-08 | 2009-06-17 | ドーサ アドバンスズ エルエルシー | 音声認識装置における認識対象表示方式 |
| US6272455B1 (en) * | 1997-10-22 | 2001-08-07 | Lucent Technologies, Inc. | Method and apparatus for understanding natural language |
| US7085710B1 (en) * | 1998-01-07 | 2006-08-01 | Microsoft Corporation | Vehicle computer system audio entertainment system |
| DE19804047C2 (de) * | 1998-02-03 | 2000-03-16 | Deutsche Telekom Mobil | Verfahren und Einrichtung zur Erhöhung der Erkennungswahrscheinlichkeit von Spracherkennungssystemen |
| US6243678B1 (en) * | 1998-04-07 | 2001-06-05 | Lucent Technologies Inc. | Method and system for dynamic speech recognition using free-phone scoring |
| US6393399B1 (en) | 1998-09-30 | 2002-05-21 | Scansoft, Inc. | Compound word recognition |
| US7120582B1 (en) | 1999-09-07 | 2006-10-10 | Dragon Systems, Inc. | Expanding an effective vocabulary of a speech recognition system |
| US6493667B1 (en) * | 1999-08-05 | 2002-12-10 | International Business Machines Corporation | Enhanced likelihood computation using regression in a speech recognition system |
| JP3834169B2 (ja) * | 1999-09-22 | 2006-10-18 | 日本放送協会 | 連続音声認識装置および記録媒体 |
| US6931292B1 (en) * | 2000-06-19 | 2005-08-16 | Jabra Corporation | Noise reduction method and apparatus |
| US7080011B2 (en) * | 2000-08-04 | 2006-07-18 | International Business Machines Corporation | Speech label accelerators and techniques for using same |
| US6832194B1 (en) * | 2000-10-26 | 2004-12-14 | Sensory, Incorporated | Audio recognition peripheral system |
| JP2002149187A (ja) * | 2000-11-07 | 2002-05-24 | Sony Corp | 音声認識装置および音声認識方法、並びに記録媒体 |
| EP1363271A1 (de) | 2002-05-08 | 2003-11-19 | Sap Ag | Verfahren und System zur Verarbeitung und Speicherung von Sprachinformationen eines Dialogs |
| DE10220524B4 (de) | 2002-05-08 | 2006-08-10 | Sap Ag | Verfahren und System zur Verarbeitung von Sprachdaten und zur Erkennung einer Sprache |
| EP1652173B1 (en) * | 2002-06-28 | 2015-12-30 | Chemtron Research LLC | Method and system for processing speech |
| US20040064315A1 (en) * | 2002-09-30 | 2004-04-01 | Deisher Michael E. | Acoustic confidence driven front-end preprocessing for speech recognition in adverse environments |
| US6960098B1 (en) * | 2004-07-13 | 2005-11-01 | Mei-Chuan Tseng | Pipe component pre-embedded socket structure |
| WO2007057879A1 (en) * | 2005-11-17 | 2007-05-24 | Shaul Simhi | Personalized voice activity detection |
| US20080177536A1 (en) * | 2007-01-24 | 2008-07-24 | Microsoft Corporation | A/v content editing |
| US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
| EP2128641B1 (en) * | 2008-05-26 | 2010-09-22 | U-blox AG | A method of processing a digital signal derived from an analog input signal of GNSS receiver, a GNSS receiver base band circuit for carrying out the method and a GNSS receiver |
| CN101887720A (zh) * | 2009-05-13 | 2010-11-17 | 鸿富锦精密工业(深圳)有限公司 | 声讯语义辨识系统及方法 |
| US11024302B2 (en) * | 2017-03-14 | 2021-06-01 | Texas Instruments Incorporated | Quality feedback on user-recorded keywords for automatic speech recognition systems |
| US10311874B2 (en) | 2017-09-01 | 2019-06-04 | 4Q Catalyst, LLC | Methods and systems for voice-based programming of a voice-controlled device |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3816722A (en) * | 1970-09-29 | 1974-06-11 | Nippon Electric Co | Computer for calculating the similarity between patterns and pattern recognition system comprising the similarity computer |
| GB1435779A (en) * | 1972-09-21 | 1976-05-12 | Threshold Tech | Word recognition |
| US4059725A (en) * | 1975-03-12 | 1977-11-22 | Nippon Electric Company, Ltd. | Automatic continuous speech recognition system employing dynamic programming |
| GB1557286A (en) * | 1975-10-31 | 1979-12-05 | Nippon Electric Co | Speech recognition |
| US4038503A (en) * | 1975-12-29 | 1977-07-26 | Dialog Systems, Inc. | Speech recognition apparatus |
| JPS592040B2 (ja) * | 1976-08-24 | 1984-01-17 | 日本電信電話株式会社 | 音声認織装置 |
| US4107460A (en) * | 1976-12-06 | 1978-08-15 | Threshold Technology, Inc. | Apparatus for recognizing words from among continuous speech |
| US4156868A (en) * | 1977-05-05 | 1979-05-29 | Bell Telephone Laboratories, Incorporated | Syntactic word recognizer |
| US4228498A (en) * | 1977-10-12 | 1980-10-14 | Dialog Systems, Inc. | Multibus processor for increasing execution speed using a pipeline effect |
| US4301329A (en) * | 1978-01-09 | 1981-11-17 | Nippon Electric Co., Ltd. | Speech analysis and synthesis apparatus |
| US4227176A (en) * | 1978-04-27 | 1980-10-07 | Dialog Systems, Inc. | Continuous speech recognition method |
| US4227177A (en) * | 1978-04-27 | 1980-10-07 | Dialog Systems, Inc. | Continuous speech recognition method |
| US4241329A (en) * | 1978-04-27 | 1980-12-23 | Dialog Systems, Inc. | Continuous speech recognition method for improving false alarm rates |
| JPS5525150A (en) * | 1978-08-10 | 1980-02-22 | Nec Corp | Pattern recognition unit |
| JPS597120B2 (ja) * | 1978-11-24 | 1984-02-16 | 日本電気株式会社 | 音声分析装置 |
| US4238597A (en) * | 1979-04-26 | 1980-12-09 | General Electric Company | Process for producing copolyester-carbonates |
| JPS56116148A (en) * | 1980-02-15 | 1981-09-11 | Nec Corp | Audio typewriter |
| JPS57174093A (en) * | 1981-04-21 | 1982-10-26 | Syst Nogyo Center:Kk | Methane fermentation method and apparatus |
-
1981
- 1981-10-05 US US06/309,208 patent/US4489435A/en not_active Expired - Lifetime
-
1982
- 1982-09-21 GB GB08226886A patent/GB2107101B/en not_active Expired
- 1982-09-21 GB GB08501044A patent/GB2159997B/en not_active Expired
- 1982-10-04 FR FR8216619A patent/FR2520912B1/fr not_active Expired
- 1982-10-05 DE DE3236832A patent/DE3236832C2/de not_active Expired - Fee Related
- 1982-10-05 JP JP57174094A patent/JPS58134699A/ja active Pending
- 1982-10-05 CA CA000412843A patent/CA1182222A/en not_active Expired
-
1991
- 1991-09-26 JP JP3317576A patent/JPH0736475A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003524795A (ja) * | 1999-02-08 | 2003-08-19 | クゥアルコム・インコーポレイテッド | スピーチエネーブル装置のユーザインターフェースの完全性をテストする方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS58134699A (ja) | 1983-08-10 |
| GB8501044D0 (en) | 1985-02-20 |
| CA1182222A (en) | 1985-02-05 |
| DE3236832A1 (de) | 1983-09-01 |
| FR2520912B1 (fr) | 1987-02-27 |
| GB2159997A (en) | 1985-12-11 |
| GB2107101B (en) | 1986-01-15 |
| US4489435A (en) | 1984-12-18 |
| FR2520912A1 (fr) | 1983-08-05 |
| GB2159997B (en) | 1986-05-29 |
| GB2107101A (en) | 1983-04-20 |
| DE3236832C2 (de) | 1995-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH05232984A (ja) | 音声分析における基準パターン形成方法 | |
| US4489435A (en) | Method and apparatus for continuous word string recognition | |
| JPS58134698A (ja) | 音声認識方法および装置 | |
| US5791904A (en) | Speech training aid | |
| CN102779508B (zh) | 语音库生成设备及其方法、语音合成系统及其方法 | |
| Schulze-Forster et al. | Phoneme level lyrics alignment and text-informed singing voice separation | |
| US6553342B1 (en) | Tone based speech recognition | |
| CN112750446B (zh) | 语音转换方法、装置和系统及存储介质 | |
| CN107871496B (zh) | 语音识别方法和装置 | |
| JPS62231997A (ja) | 音声認識システム及びその方法 | |
| JP2017097162A (ja) | キーワード検出装置、キーワード検出方法及びキーワード検出用コンピュータプログラム | |
| KR20010102549A (ko) | 화자 인식 방법 및 장치 | |
| Wilpon et al. | An investigation on the use of acoustic sub-word units for automatic speech recognition | |
| EP0118484B1 (en) | Lpc word recognizer utilizing energy features | |
| Choi et al. | A melody-unsupervision model for singing voice synthesis | |
| Dar et al. | Bi-directional LSTM-based isolated spoken word recognition for Kashmiri language utilizing Mel-spectrogram feature | |
| CN112750445B (zh) | 语音转换方法、装置和系统及存储介质 | |
| CN114333828A (zh) | 用于数码产品的快速语音识别系统 | |
| Singh et al. | Phoneme based Hindi speech recognition using deep learning | |
| CN121354598A (zh) | 基于语音识别的英语发音纠错训练方法 | |
| Yalova et al. | Automatic Speech Recognition System with Dynamic Time Warping and Mel-Frequency Cepstral Coefficients. | |
| Wolf | Speech signal processing and feature extraction | |
| JPS59126599A (ja) | 連続ワ−ドストリング認識方法および装置 | |
| Sigmund | Search for keywords and vocal elements in audio recordings | |
| JPS59127099A (ja) | 連続音声認識の改良 |