JPH0581918B2

JPH0581918B2 -

Info

Publication number: JPH0581918B2
Application number: JP25746888A
Authority: JP
Inventors: Fuitsutsuhaa Buraun Piitaa; Binsento Desooza Piitaa; Nahamoo Deuido; Aren Piichenii Maikeru
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1987-10-30
Filing date: 1988-10-14
Publication date: 1993-11-16
Also published as: JPH01137297A; EP0314908A3; EP0314908B1; EP0314908A2; DE3876379T2; DE3876379D1

Description

【発明の詳細な説明】

以下にしたがつてこの発明を説明する。Ａ産業上の利用分野Ｂ従来の技術（第１図）Ｃ発明の要旨Ｄ実施例 D1 ラベルおよびマルコフ・モデル単語ベース
フオームの相互依存的な特定（第２図〜第１２
図） D2 フイーニーム・マルコフ・モデル単語ベー
スフオームの構築（表１） D3 遷移確率およびラベル出力確率の決定（表
１） D4 カウント値の決定（第１５図、第１６図お
よび第１７図） D5 音声認識システム環境（第１８図）Ｅ発明の効果Ｆ表１Ａ産業上の利用分野この発明はラベル・アルフアベツト中のラベル
がマルコフ・モデルの出力を表わすようなマルコ
フ・モデルのシーケンスとして単語を確率的に記
述することによつて音声の認識を行う音声認識装
置に関する。Ｂ従来の技術言語処理においては、音声学者が単語を音声要
素のシーケンスに分割するのが通常である。この
音声要素は国際音声アルフアベツトから選ばれる
のが普通である。典型的な例では、音声学者は単
語を聞き、自らの専門知識に基づいてその単語の
継続部分を対応する音声要素に対応付けその単語
の音声学的スペルを決定する。そのような音声学的シーケンスは標準的な辞書
に供給されてきた。またその音声学的シーケンス
は一般的に音声認識に適用されてきており、また
具体的にはマルコフ・モデルの音声認識に適用さ
れてきた。マルコフ・モデル音声認識の場合、種々の音声
学的要素が対応するマルコフ・モデルで表現され
る。したがつて各単語は音声学的マルコフ・モデ
ルのシーケンスに対応付けられる。第１図は１つの音声学的要素を記述する単純な
マルコフ・モデルを示している。この音声学的要
素のマルコフ・モデルの例は７つの状態S1〜S7
と状態から状態へと延びる13個のアーク（遷移）
とを有している。いくつかのアークは自己回帰的
に単にループするのみであり、他のアークは１の
状態から他の状態への推移している。学習セツシ
ヨンにおいては、既知の単語が発声され、各マル
コフ・モデルの各アークの確率が決定され、スト
アされる。いくつかのアークは空アークと呼ばれ、破線で
示されている。非空アークは実線で示されてい
る。各非空アークには、複数のラベル出力確率が
関係付けられている。ラベル出力確率は所与のマ
ルコフ・モデルの所与の非空アークにおいて所与
のラベルが出力される確率である。これらラベル
出力確率も学習セツシヨンで決定される。認識過程においては、マルコフ・モデルは音響
プロセツサと関連して使用される。音響プロセツ
サは、簡単にいえば、入力音声を受け取り、継続
した時間間隔ごとに予め定められたパラメータに
基づいて処理を行うものである。従来のパラメー
タの例は種々の周波数バンドにおけるエネルギ振
幅を含んでいた。各パラメータ特性（たとえば各
周波数の振幅）をベクトルの要素として扱い、こ
れら振幅を合わせて音声空間におけるベクトルを
記述する。音響プロセツサは複数の予め定められ
たプロトタイプ・ベクトル（このベクトルは予め
定められたベクトル要素すなわちパラメータの値
を有している）を保持しており、各プロトタイ
プ・ベクトルに１つのラベルを割り当てている。
継続した時間間隔ごとに、発声入力に応じて音響
プロセツサ２０２がベクトルを生成する。このベ
クトルは特徴ベクトルと呼ばれる。特徴ベクトル
の各要素は、所与の時間間隔についてのパラメー
タのうちの対応するものの振幅に該当する。各時
間間隔についてその特徴ベクトルに最も近いプロ
トタイプ・ベクトルのラベルが選択される。そし
て各時間間隔で１個のラベルが音響プロセツサか
ら生成される。音響プロセツサが生成するラベルは、マルコ
フ・モデルのアークに沿つてラベル出力として生
成されるラベルと同一のものである。学習セツシ
ヨンにおいてアーク確率およびラベル出力確率が
割り当てられたのち、音響プロセツサがあるラベ
ル・ストリングを生成した場合の所定のマルコ
フ・モデルまたはマルコフ・モデルのシーケンス
のゆう度を決定する手順が実行される。このシー
ケンスは単語ベースフオームに対応する。すなわ
ち、音響プロセツサが音声の継続時間間隔におい
てラベルf₁、f₂、f₃…を生成する場合に、マルコ
フ・モデル（またはマルコフ・モデルのシーケン
ス）の各パスに沿つて処理が行われ、生成ストリ
ングを出力するゆう度が決定される。語彙中の単
語についてこの計算を実行してその単語のゆう度
の測定値とする。マルコフ・モデル音声認識装置の精度は(a)ラベ
ル・アルフアベツト中のラベルのパラメータ値を
適切に選定するかどうか、(b)マルコフ・モデルの
構造およびアークの統計値を適切に選定するかど
うかに大幅に依存している。音声学者に依拠して
単語の構成部分を定義するとモデル化に恣意を含
むこととなり単語ベースフオームの一貫性がなく
なりやすいことがわかつている。そして精度は満
足のゆくものでないこともわかつている。なお単
語ベースフオームは単語を構成する部分からなる
シーケンスである。さらに、ラベル・アルフアベツトに固定したパ
ラメータ値を用いると、予め定められたクラスタ
リング・アルゴリズムに依存し、最適な認識は得
られなかつた。Ｃ発明の要旨この発明によれば、ラベル・パラメータ値およ
びマルコフ・モデル単語ベースフオームは相互に
依存して決定される。すなわち初めにアルフアベ
ツト中のラベルのパラメータ値が特定される。つ
ぎにマルコフ・モデル単語ベースフオームが定義
される。そしてアルフアベツト中のラベルのパラ
メータ値が、単語ベースフオームを定義するのに
用いたデータに基づいて再度特定される。この発明ではラベル・パラメータ値を固定して
しまうのでなく、ラベルの特定および単語ベース
フオームの定義を相互に従属するようにしている
のである。この発明では、音声学的要素に対応するのでは
なく、ラベルに対応するマルコフ・モデルを採用
している。ラベルごとにラベル関連のすなわち
「フイーニミツク」（fenemic）なマルコフ・モデ
ルが存在する。そのようなモデルは複数のアーク
を有しており、そのアークのうち少なくとも１つ
は非空アークすなわちラベルを生成できるアーク
である。音声のゆらぎに起因して、モデル集合の
うちのｊ番目のマルコフ・モデル（これはラベ
ル・アルフアベツト中のｊ番目のラベルに対応す
る）は典型的にはｊ番目以外のラベルがゼロでな
い確率で衆力されるアークを含んでいる。各単語
はフイーニーム・マルコフ・モデルのシーケンス
として記述される。所定の単語ベースフオームに対応する単語が発
生されると、フイーニーム・マルコフ・モデルの
シーケンスが音響プロセツサにより生成されたラ
ベルと整列させられる。そのシーケンス中の各フ
イーニーム・マルコフ・モデルごとに、そのモデ
ルに整列させられたラベルが識別される。さらに
そのラベルのもとになつて特徴ベクトルが識別さ
れる。所与のフイーニーム・マルコフ・モデルに
整列させられるすべての特徴ベクトルの平均値お
よび共分散値を用いて所与のフイーニーム・マル
コフ・モデルに関連付けられたプロトタイプ・ベ
クトルを再特定する。このような処理をすべての
フイーニーム・マルコフ・モデルのすべてについ
て行い再特定されたラベルすなわち再特定された
パラメータ値を有するラベルからなる新しいラベ
ル・アルフアベツトを生成する。この再特定ラベル・アルフアベツトを用いて単
語ベースフオーム構造および確率を更新する。このような操作は再帰的に行える。すなわち更
新した単語ベースフオーム・データを用いて再度
アルフアベツト中のラベル・パラメータを再特定
でき、さらにこの再特定されたラベルを用いて単
語ベースフオーム・データを更新することができ
る。この操作は所望回数行う。ラベル・パラメータ値および単語ベースフオー
ムを相互に従属的にすることにより音声認識の効
率および精度が向上する。Ｄ実施例 D1 ラベルおよびマルコフ・モデル単語ベース
フオームの相互依存的な特定以下この発明の一実施例について説明しよ
う。第２図において、音声入力は音響プロセツサ
２０２に供給される。音声入力は音響的な形態
をしている。音響プロセツサ２０２には200個
のラベルL1、L2、L3、…、L200からなるアル
フアベツトのパラメータがストアされている。
ラベル・パラメータ値は表１に示されるように
「ラベル」の見出しの下でメモリにストアされ
ている。ロケーシヨン１〜l¹¹にはラベル・パラメー
タ値f₁ ¹¹〜f_l11¹¹がそれぞれ保持されている。た
だしlⁱⁿはｉ番目の単語のｎ番目の発声に含まれ
るラベルの個数を表わす。音声を座標空間として把握すると、各ラベル
はその空間における個々のクラスタを特定す
る。すなわち音声空間中のベクトルの各クラス
タは対応するプロトタイプ・ベクトルで表現さ
れ、各プロトタイプ・ベクトルは対応するラベ
ルで特定される。音声入力に対して音響プロセ
ツサ２０２はラベル・ストリングを出力する。
ここで継続するラベルの各々は音声の時間間隔
に対応する。簡単にいえば、音響プロセツサ２
０２は音声入力を変換して時間間隔ごとに継続
して特徴ベクトルを生成し、この特徴ベクトル
にラベルを割り当てる。時間間隔の各々について、パラメータ値に基
づいて特徴ベクトルが決定され、この特徴ベク
トルがどのクラスタに属するかの判断がなされ
る。判断されたクラスタを特定するラベルがそ
の時間間隔の出力として送出される。音響プロセツサ２０２の好ましい形態は米国
特許出願第665401号に記載されている。この例
では各特徴ベクトルの要素を表わすパラメータ
は「神経発火率」であり、各神経発火率は個々
の周波数バンドに対応する。各バンドの神経発
火率は人間の耳のモデルおよびそのモデルから
導かれた（周波数バンドごとの）神経発火式に
基づいて決定される。各神経発火率（対応する
周波数バンドの）は各特徴ベクトルの１つの要
素である。任意の公知のクラスタリング手法を
用いて、神経発火率の要素を有する実現可能な
特徴ベクトルをすべて包含する座標空間を個別
なクラスタに分割する。これらクラスタは各々
対応するプロトタイプ・ベクトルを有し、それ
ぞれラベルL1、L2、L3、…、L200により特定
される。継続する時間間隔（たとえば百分の一
秒）ごとに、好ましくは20の神経発火率が決定
される。決定された神経発火率を要素として有
する特徴ベクトルは200個のクラスタ（すなわ
ちプロトタイプ・ベクトル）の各々と比較さ
れ、所定の目安でどのクラスタに最も近いかが
決定される。そして最も近いプロトタイプ・ベ
クトルのラベルがその音声の時間間隔における
音響プロセツサの出力とされる。音声の継続時間間隔にラベルを割り当てる処
理に用いる音響波形を用意する際に、音声のア
ナログ波形がデジタル化され、時間間隔が区切
られ、デジタル信号が高速フーリエ変換され
る。音響プロセツサ２０２の出力はラベルf₁f₂f₃
…および特徴ベクトルy₁y₂y₃…を含む。すなわ
ち音声の各時間間隔に、対応する特徴ベクトル
と対応するラベルとが取り出される。ラベルf₁f₂…はベースフオーム学習部２０４
に供給される。このベースフオーム学習部２０
４を用いて各単語ベースフオームにおいてマル
コフ・モデルに適用されるべき確率を決定す
る。ここで各「ベースフオーム」はマルコフ・
モデルの予め定められたシーケンスを表わす。
各マルコフ・モデルごとにメモリの記憶域が割
り当てられ（表１参照）、アーク確率およびラ
ベル確率が保持される。学習セツシヨンでは既
知のテキストを発声し、確率が計算される。既知のテキストについては、対応する既知の
マルコフ・モデル・シーケンスが存在する。話
者が既知のテキストを音響プロセツサ（たとえ
ばプロセツサ２０２）に入力したとき、ラベ
ル・ストリングが生成される。周知のフオワー
ド・バツクワード・アルゴリズムを用いて（詳
細は後述する）、アークの確率および非空アー
クでラベルを出力する確率がベースフオーム学
習部２０４で計算される。ベースフオーム学習
部２０４で計算された確率統計値はベースフオ
ーム構築部２０６に供給される。ベースフオー
ム構築部２０６は各単語のマルコフ・モデル・
シーケンスを決定する。各単語のマルコフ・モ
デル・シーケンス、ならびにマルコフ・モデル
のアーク確率および各非空アークのラベル出力
確率はベースフオーム辞書２０８に含まれる。
ベースフオーム辞書２０８の記憶構造は表１の
見出し「ベースフオーム」および「統計値」の
欄に示されるとおりである。具体的にはベースフオーム辞書２０８はつぎ
の種類のデータ項目を記憶する。 NNODES_i：ｉ番目の単語ベースフオームのノ
ードの数 NID_ij：ｉ番目の単語ベースフオームのｊ番目
のノードの識別子 NT_ij：ノードNID_ijからのアーク（遷移）の数 T_ijk：ノードNID_ijからのｋ番目のアークが到
達するノードの識別子 S_ijk：アークT_ijkの統計値ポインタ、空アーク
には０がポイントされ、非空アークには表１
の行がポイントされる。表１の「ベースフオーム」および「統計値」
に記憶されるデータ項目は重要である。この点
は以下で説明する。学習時、ベースフオーム・データ（すなわち
マルコフ・モデル・シーケンスおよび確率統計
値）および継続した音声時間間隔に対応する特
徴ベクトルはラベル再特定部２１０に供給され
る。ラベル再特定部２１０は、単語ベースフオ
ーム構築時に生成されたデータに基づいて、ラ
ベルに関連するプロトタイプ・ベクトルおよび
クラスタを定義し直す。第２図の装置の動作が第３図に示される。第
３図はこの発明の４つの主たるステツプを示
す。ステツプ302では単語ベースフオームが構
築させられる。より詳しくいえば、マルコフ・
モデルのシーケンスおよびこれらマルコフ・モ
デルの統計値がコンピユータ・メモリにストア
される。この点については後に詳細に説明す
る。学習時には、単語が既知の順序で発声さ
れ、この発声に応じてラベルが生成される。マ
ツチング手順のステツプ304では（以下ビター
ビ整列という）、学習テキストの発声に応じて
生成された継続した部分ラベル・ストリングが
単語ベースフオーム中の各マルコフ・モデルに
関連付けられる。したがつて、学習テギスト中
の第１の発声単語中の第１のマルコフ・モデル
に対して整列させられた部分ラベル・ストリン
グがある。また学習テキスト中の第１の発声単
語中の第２のマルコフ・モデルに対して整列さ
せられた部分ラベル・ストリングがある。さら
に第１の単語の最後のマルコフ・モデルに対し
て整列させられた部分ラベル・ストリングがあ
る。学習テキストの他の単語についても同様で
ある。各ラベルはプロトタイプ・ベクトルに対応
し、各ラベルの選択は、音声の単位時間間隔に
おいて入力された特徴ベクトルを各プロトタイ
プ・ベクトルに比較して行われる。最も近いプ
ロトタイプ・ベクトルのラベルがその時間間隔
に割り当てられる。この発明によれば、マルコフ・モデル組中の
各マルコフ・モデルがラベル・アルフアベツト
中のラベルにそれぞれ対応し、好ましくは第１
図の音声学的要素のマルコフ・モデルより単純
になつている。構成の一例（フイーニーム・マ
ルコフ・モデルと呼ぶ）400が第４図に示され
る。「フイーニーム」は「ラベル」と等価な表
現である。具体的には、フイーニーム・マルコ
フ・モデル400は２つの状態S1およびS2、状態
S1からS1自体に戻つてくる非空ループ・アー
ク、状態S1からS2に伸びる非空アークおよび
状態S1からS2に伸びる空アークを有している。
３つのアークの各々はそれぞれそれが採られる
確率すなわちｐ〔tr1〕、ｐ〔tr2〕およびｐ〔tr3〕
を有している。これら確率は学習時に計算され
る。非空アークにはラベル出力確率があり、第
１のアークには P₁L1 L2 〓 L200 があり、第２のアークには P₂L1 L2 〓 L200 がある。マルコフ・モデルをフイーニーム・マルコ
フ・モデルとして定義すると、音声学的要素で
はなくてラベルに対応するモデルのシーケンス
として単語ベースフオームが特徴付けられるこ
とがわかる。すなわち、単語“THE”を音声
学的要素のマルコフ・モデルのシーケンス（第
１図）として定義するかわりに（モデルの１つ
１つが音声学的要素DH、UH1およびXXに対
応する）、第３図に示すような約60個のフイー
ニーム・マルコフ・モデルのシーケンスで定義
する。たとえば単語“THE”は
F₃₀F₃₀F₃₀F₃₂F₁₂…F₅というフイーニーム・マ
ルコフ・モデルのシーケンスによつて表わされ
る。ここでF_tはアルフアベツト中のｔ番目のラ
ベルに対応する。実際に単語“THE”が発声
されるとき、生成されたラベルと発声に対応す
るモデルとは一対一には関係付けられないであ
ろう。時間軸上の音声の変形、ノイズおよび文
脈により音声の変形のためである。したがつ
て、単語“THE”はたとえばF₃₀F₃₀F₃₀F₃₂F₁₂
…F₅のフイーニーム・マルコフ・モデルから
なるとしても、実際の発生ラベルがL30−L30
−L30−L32−L12…である必要はない。０個
の、１個または２個以上のラベルが所定のフイ
ーニーム・マルコフ・モデルに対応する単語セ
グメントの発声に応じて生成されるかもしれな
い。この事実は、各フイーニーム・マルコフ・
モデルについて学習時にストアされる遷移確率
およびラベル出力確率によつて表わされる。通
常所定のフイーニーム・マルコフ・モデルに対
応するラベルの確率は高い（たとえばフイーニ
ーム・マルコフ・モデルF₂₀についてラベル
L20の確率は高い）。そして１つの発声につい
て、フイーニーム・マルコフ・モデルはそれに
対応するラベルのみ出力することができる。し
かし、各マルコフ・モデルに多くの非零の確率
があることは、他のラベルも同様に出力される
かもしれないということを示している。上述の
例では、発声時単にラベルL30を第１のフイー
ニーム・マルコフ・モデルF₃₀が生成するかも
しれないし、また発声によつては、ラベル
L28、L30およびL28のストリングを生成する
かもしれないし、さらに他のラベル・ストリン
グを生成するかもしれない。単語ベースフオームをどのようにメモリに記
憶するかは表１の見出し「ベースフオーム」お
よび「統計値」の部分に示されている。用語
「アーク」および「遷移」は同義であり、また
「ノード」および「状態」が同義であることを
付け加え、メモリ項目についての検討に移るこ
とにする。メモリの「ベースフオーム」部のロ
ケーシヨン１に第１のベースフオームのノード
の個数すなわちNNODESが保持される。ロケ
ーシヨン２には第１の単語ベースフオームの第
１ノードの識別子すなわちNID₁₁が保持され
る。ロケーシヨン３にはノードNID₁₁から伸び
るアークの個数に対応する値が保持される。ロ
ケーシヨン４にはノードNID₁₁から伸びる第１
のアークの宛先ノードの識別子が保持される。
ロケーシヨン５には統計識別子S₁₁₁が保持され
る。この統計識別子S₁₁₁はアークT₁₁₁のデータ
をポイントする。さらに他のデータも保持され
る。テーブル１の「統計値」のメモリ部には、各
アークにおいて各ラベルが生成される確率がス
トアされる。第１の行にはP₁₁からP_INLABELS
（NLABELSはアルフアベツト中のラベルの個
数）が付され、ラベルL1が第１のアークで生
成される確率、ラベルL2が第１のアークで生
成される確率…アルフアベツト中の最後のラベ
ルが第１のアークで生成される確率がストアさ
れている。好ましくはアルフアベツト中のラベ
ルの個数は200である（NLABELS＝200）。第
２の行は第２のアークにおけるラベル確率に関
する。最後の行は最後のアークに適用されるラ
ベル確率に関する。アークの個数はNARCSに
よつて表わされている。第４図を参照して、「ベースフオーム」部お
よび「統計値」部に保持されているデータ項目
が重要であることを示す。典型的な単語（この
例では英単語）、60個から100個のフイーニー
ム・マルコフ・モデルが連結される。１つのフ
イーニーム・マルコフ・モデルの状態S2はつ
ぎのフイーニーム・マルコフ・モデルの状態
S1である。ｉ番目の単語が70個のフイーニー
ム・マルコフ・モデルを含んでいるならば、
NNODES_iは「ベースフオーム」部のロケーシ
ヨン１に71としてストアされる。71個のノード
の各々はロケーシヨン２、ロケーシヨン（３＋
２×NT₁₁＋１）、特にストアされている対応す
るID番号を有する。第４図に示すようなフイ
ーニーム・マルコフ・モデルでは各ノード（状
態）から伸びるアークの個数は同一である。ア
ークには自己ループ・アークと当該ノードおよ
び次のノードの間のアークとがある。後者には
(a)空アークと(b)非空アークとがある。したがつ
てこの例のNT_ijは３つである。自己ループに
ついてはｋ＝１とする。そうするとT₁₁₁は第１
のノードを特定する値を含む。第１のノードか
らの他の２つのアークはともに第２のノードに
伸びる。したがつてT₁₁₂およびT₁₁₃は第２ノー
ドを宛先ノードとして特定する。１つの単語ベ
ースフオームからつぎの単語ベースフオームへ
と推移しながら、また各単語ベースフオーム中
のノードからつぎのノードへ推移しながら、
「ベースフオーム」部はベースフオームに関連
するデータ項目の記憶域を割り当てる。一般的にいえば、ポインタS_ijkは所定のｉ番
目のベースフオームのｋ番目のアークに適用さ
れる確率をポイントする。第１のアークについ
てはメモリの「統計値」部の第１行が適用され
る。第２のアークについては第２行が適用さ
れ、ベースフオームのすべてのアークについて
も以下同様となる。フイーニーム・マルコフ・モデルの単語ベー
スフオームの構築については米国特許出願第
697174号および第738933号に記載がある。第３図において、ステツプ302のベースフオ
ームは好ましくはフイーニーム・マルコフ・モ
デルのシーケンスであり、ステツプ304のビタ
ービ整列では各フイーニーム・マルコフ・モデ
ルをラベルに関連付けていることに留意された
い。ステツプ304において所定のフイーニーム・
マルコフ・モデルに整列させられ関連付けられ
たラベルが特定される。またそのフイーニー
ム・マルコフ・モデルに対応するラベルを導出
した特徴ベクトルが特定される。各フイーニー
ム・マルコフ・モデルに対して零個、１個また
は２個以上の特徴ベクトルが特定される。ステ
ツプ306では各フイーニーム・マルコフ・モデ
ルに対して特定された特徴ベクトルが結合さ
れ、平均値および共分散値が計算される。単語
“THE”のフイーニーム・マルコフ・モデルの
シーケンスの一例すなわちF₃₀F₃₀F₃₀F₃₂F₁₂…
を再度参照する。そして最初のF₃₀はラベル
L30に整列させられ、つぎのF₃₀はラベルL28、
L30およびL28に整列させられ、３番目のF₃₀は
どのラベルとも整列させられないとする。ステ
ツプ306において、ラベルL30の生成に寄与し
た特徴ベクトル（最初のラベルF₃₀）、ラベル
28、ラベル30およびラベル28の生成に寄与した
特徴ベクトル（第２番目のラベルF₃₀）および
無の特徴ベクトルの平均を計算する。フイーニ
ーム・マルコフ・モデルF₃₀の共分散値もまた
計算される。同様にフイーニーム・マルコフ・
モデルの各々について平均値および共分散値が
ステツプ306で計算される。所与のフイーニー
ム・マルコフ・モデルについて決定された平均
値および共分散値は当該フイーニーム・マルコ
フ・モデルに対応するラベルのプロトタイプ・
ベクトル（すなわちパラメータ値）およびクラ
スタを定義する。各フイーニーム・マルコフ・モデルについて
計算した平均値および共分散値を用いてステツ
プ308において入力音声データを再ラベル付け
する。具体的には所定の時間間隔の音声に対応
するラベルを選択する際に、その音声に対して
生成された特徴ベクトルを、各ラベルにつき特
定された平均値および共分散値（ステツプ306
で特定する）と比較する。すなわちラベルｊに
対応するフイーニーム・マルコフ・モデルの平
均値および共分散値を用いて入力特徴ベクトル
およびｊの間の距離を求める。簡単にいえば、
ｊ番目のラベルに応じたフイーニーム・マルコ
フ・モデルの平均値および共分散値に基づいて
ｊ番目のラベルを特定しなおすのである。ラベルの新しい仕様は第２図の音響プロセツ
サ２０２に供給される。そして特定しなおされ
たラベルに基づいて音響プロセツサ２０２が音
声のラベル付けを行う。ステツプ302において、再特定されたラベル
に基づいてフイーニーム・マルコフ・モデルの
シーケンスおよび対応する統計値が新しい単語
ベースフオームとして更新され、構築される。
ステツプ302から308は好ましくは数回繰り返さ
れる。ラベルの仕様およびベースフオームの構
築を合致させることにより音声認識が改善され
る。第５図はラベル再特定部２１０を示してい
る。第５図においてラベル再特定部２１０はビ
タービ整列プロセツサ５０２を含む。このプロ
セツサは入力として(a)直近に構築された単語ベ
ースフオーム、(b)学習時に決定された統計値お
よび(c)学習時に生成されたラベル・ストリング
を受け取る。すでに述べたように、ビタービ整
列プロセツサ５０２の目的は単語ベースフオー
ムにおいてラベル部分ストリングをマルコフ・
モデルにマツチングさせることである。ビタービ整列プロセツサ502の動作を第６図
を参照して説明する。第６図ではつぎのように
定義する。 Pⁱ _j＝発声単語テキスト中の第ｉ番目の単語の第
ｊ番目のフイーニーム・マルコフ・モデル d_i＝発声単語テキスト中の第ｉ番目の単語に関
連するフイーニーム・マルコフ・モデルの個
数 fⁱⁿ _k＝ｎ回目の発声に係る第ｉ番目の単語の第ｋ
番目のラベル l_io＝発声単語テキスト中のｎ回目の発声に係る
第ｉ番目の単語に関連するラベルの個数 vⁱⁿ _k＝発声単語テキスト中のｎ回目の発声に係
る第ｉ番目の単語の第ｋ番目のラベルのマツ
ピング第６図において、少なくともいくつかの語彙
単語が２度以上発声されると仮定する。ステツ
プ602では、ビタービ整列プロセツサ５０２が
ラベルfⁱⁿ _k（l_io≧ｋ≧１）を読み込む。すなわち
学習時に音響プロセツサ２０２によつて生成さ
れたラベル・ストリング中のラベルが特定され
る。ステツプ604では、学習テキスト中の既知
の単語の１つのｊ番目のフイーニーム・マルコ
フ・モデルが特定される。すなわちビタービ整
列プロセツサ５０２がPⁱ _j（d_i≧ｊ≧１）を読み
込む。ステツプ606では、ｋ番目のラベルが値
Vⁱⁿ _kにマツピングされる。この値Vⁱⁿ _kはステツプ
608でメモリにストアされる。各単語の各発声
について、その発声のｋ番目のラベルが、決定
されストアされたVⁱⁿ _k値を保持する。表１の「ビタービ整列」部は値Vⁱⁿ _kを保持し、
再ラベル付部２１０に関連するメモリを示す。
第１の単語の１回目の発声に応じたラベルの
Vⁱⁿ _k値は第１行のメモリ・ロケーシヨン１〜l¹¹
に配置される。第２行のロケーシヨンl¹¹＋１
からl¹¹＋l¹²は第１の単語の２回目の発声のVⁱⁿ _k
値を保持する。最終行（示していない）には、
最終単語の最終回の発声に応じたラベルのVⁱⁿ _k
値がストアされている。行の継続したエントリ
が、ｉ番目の単語のｊ番目の発声に応じて継続
して生成されたラベルに対応することは明らか
である。 Vⁱⁿ _k値は発声単語のｋ番目のラベルと発声単
語のベースフオーム中のマルコフ・モデルとの
間の関係を表わしている。第７図において、第
１番目の単語はフイーニーム・マルコフ・モデ
ルのシーケンスF₇F₈F₁₀F₂₀…を有する。第１の
単語を１回目に発声したとき、音響プロセツサ
２０２はラベルL10、L7、L7、L8、L8、L20、
L21…を発声した。まるラベルL10を調べ、ビ
タービ整列プロセツサ５０２はラベルL10をフ
イーニーム・マルコフ・モデルF₇にマツピン
グさせ、その結果を表１のメモリ・ロケーシヨ
ン１にストアする。つぎの２つのラベルL7お
よびL7もまたフイーニーム・マルコフ・モデ
ルF₇に整列させられる。したがつて表１の
「ビタービ整列」部の第１行のロケーシヨン２
および３はF₇へのマツピングを保持する。つ
ぎの２つのラベルL8およびL8はフイーニー
ム・マルコフ・モデルF₈に整列させられ、そ
のVⁱⁿ _k値をロケーシヨン４および５にストアし
てマツピングを表わす。ラベルL20およびL21
はフイーニーム・マルコフ・モデルF₂₀に整列
させられ、以下同様である。第７図に示すよう
に、以降の単語および以降の発声につき繰り返
される。ラベルとマルコフ・モデルとがどのように整
列させられるかについては多くの論文で検討が
なされている。たとえばL.R.Bahl、F.Jelinek
およびR.L.Mercerの“Continuous Speech
Recognition by Statistical Methods”、
Proceedings of IEEE、Vol.64、pp.532−556
および“Ａ Maximum Likelihovel
Approach to Continuous Speech
Recognition”、Vol.PAM−５、No.２に記載
があるので、参照されたい。第５図に戻る。第５図において、ビタービ整
列プロセツサからの整列結果は平均値共分散値
推定部５０４に供給される。平均値共分散値推
定部５０４は入力として、継続した特徴ベクト
ルも受けとる。この特徴ベクトルは音響プロセ
ツサ２０２（第２図）がラベルを作るために用
いるものである。単語の各発声ごとに生成され
る特徴ベクトルは表１の「特徴ベクトル」部に
ストアされている。ベースフオームの構造もま
た平均値共分散値推定部５０４に入力として供
給されている。平均値共分散値推定部５０４は
第８図に示すように動作する。先に検討したよ
うに推定部５０４は順次に１つのフイーニー
ム・マルコフ・モデルに対して生成されたラベ
ルに関するすべての特徴ベクトルの平均値を生
成する。また各フイーニーム・マルコフ・モデ
ルに関連する特徴ベクトルの共分散値も計算さ
れる。平均値および共分散値を計算する際に、推定
部５０４はまずステツプ800においてすべての
平均値および共分散値をゼロに初期設定する。
すなわち、ｉ番目のフイーニーム・マルコフ・
モデルの平均ベクトルＭ(i)、共分散マトリクス
Ｃ(i)およびカウント値COUNT(i)がゼロに設定
される。マルコフ・モデルの総個数は変数
Nphonesで特定される。ステツプ802において第１の単語が選ばれる。
ステツプ804では選択された単語のフイーニー
ム・マルコフ・モデルがP^wordとして読み出さ
れる。選択単語の最初の発声について、最初の
フイーニーム・マルコフ・モデルが選ばれる
（ステツプ806および808）。ステツプ810では、
ｉ番目の単語のｊ回目の発声のｋ番目のラベル
の特徴ベクトルおよびそのVⁱⁿ _k値が読み出され
る。ステツプ812では、第１０図に示すように
して平均値および共分散値が計算される。すなわち、ｊがVⁱⁿ _kの値に設定され、平均値
Ｍ（P^word _j）が更新される。この更新は選択され
た単語のｊ番目のマルコフ・モデルの前の値Ｍ
（P^word _j）に特徴ベクトルyⁱⁿ _kを付加して行われ
る。共分散マトリクスＣ（P^word _j）も同様にyⁱⁿ _k×
（yⁱⁿ _k）^Tを共分散の先のセツトに付加して更新さ
れる。カウントCOUNT（P^word _j）は先の値に１
を付加して増分される。平均値、共分散値およ
びCOUNT値の各々は当初ゼロとされることを
思い出されたい。ステツプ814および816で規定されるループに
応じて各ｋ番目のラベルの平均値、共分散値が
累積されていく。平均値、共分散値および
COUNT値の累積値は継続したラベルにつき、
ｋが所定の単語（すなわち最初の繰り返しの最
初の単語）およびその発声に対して整列させら
れる特徴ベクトルの個数を上まわるまで計算さ
れ続ける。平均値、共分散値およびCOUNTの
累積プロセスでは継続する発声についてステツ
プ810から820を繰り返す。これは第１の単語の
すべての発声が検査され、処理されるまで続け
られる。つぎの単語についてステツプ804から
822が繰り返される。すべての単語のすべての
発声が処理されたのち（ステツプ824）、ステツ
プ826において平均値Ｍ(i)および共分散値Ｃ(i)
が推定される。ステツプ826の詳細は第１１図に示される。
第１１図において、ｉ番目のフイーニーム・マ
ルコフ・モデルについて、平均値Ｍ(i)がＭ(i)／
COUNT(i)として計算され、共分散値Ｃ(i)がＣ
(i)＝〔Ｃ(i)／COUNT(i)〕＋Ｍ(i)Ｍ(i)^Tとして計
算される。Ｍ(i)^TはＭ(i)の転置マトリクスであ
る。再び表１に戻る。表１において、再ラベル付
部２１０のメモリにおける平均値および共分散
値の記憶態様が示される。メモリの第１行はロ
ケーシヨン１からＮを有し、平均値M₁(1)から
M₁(N)を保持している。ただしＮは所定の１つ
のラベルの特徴ベクトルの個数であり、M_iは
ｉ番目のラベルの平均値である。メモリの第２
行はロケーシヨン（NT₁）から2Nを有し、平
均値M₂(1)からM₂(N)を保持している。平均値用
のメモリの最後の行はロケーシヨン〔Ｎ×
（n_phpoes−１）＋１〕からＮ×n_phpoesを有し、平
均値Mn_phpoes(1)からMn_phpoes(N)を保持している。
ただしn_phpoesはマルコフ・モデルの個数であ
る。共分散値の記憶態様も表１に示される。第１
の行はロケーシヨン１から〔Ｎ×（Ｎ＋１）／
２〕を有し、これらロケーシヨンが共分散値
C₁（１、１）からC₁（Ｎ、Ｎ）を保持している。
最終行はロケーシヨン〔（n_phpoes−１）×Ｎ×
（Ｎ＋１）／２〕＋１からn_phpoes（Ｎ×（Ｎ＋
１）／２）を有し、これらロケーシヨンが共分
散値Cn_phpoes（１、１）からCn_phpoes（Ｎ、Ｎ）保
持している。推定部５０４で計算された平均値および共分
散値は、音響プロセツサ２０２（第２図）によ
つて生成されたパラメータ・ベクトルとともに
ラベル特定部５０６に供給される。ラベル特定
部５０６は第１２図のフローチヤートにしたが
つてラベル・アルフアベツト中のラベルの定義
を更新する。第１２図において、特徴ベクトルy^word、^nutt _k
が読み出される。最初の繰り返しでは、最初の
単語の最初の発声に対して生成されたラベル・
ストリング中の最初の特徴ベクトルすなわち
y¹、¹ ₁が読み出される（ステツプ850、851、852
および854参照）。この特徴ベクトルに最も近い
マルコフ・モデルがステツプ854で決定される。
ステツプ854は第１３図で詳細に示される。第１３図において、現に読んでいる特徴ベク
トルと各マルコフ・モデルにつきストアされて
いる平均値および共分散値との間の距離が測定
される。Ｍ(j)はｊ番目のフイーニーム・マルコ
フ・モデルの平均値に対応し、Ｃ(j)はｊ番目の
フイーニーム・マルコフ・モデルの共分散値に
対応するとすると、距離測度はつぎのように定
義される。ｄ←log（detC(j)）＋〔y^word、^nutt _k−Ｍ(j)〕^TＣ(j)^-1 ×（y^word、^nutt _k−Ｍ(j)）距離の測定は、順次フイーニーム・マルコ
フ・モデルにつき実行され、ｄ値を最小にする
ｊの値がj_nioとしてストアされる。これがｋ番
目の特徴ベクトルに最も近いフイーニーム・マ
ルコフ・モデルである。第１２図において、ｋ番目の特徴ベクトルが
順次処理され、この処理は１つの単語の１つの
発声における各特徴ベクトルについて最も近い
フイーニーム・マルコフ・モデルを決定するま
で続けられる（ステツプ854、856および858参
照）。現行単語の継続する発声もステツプ852か
ら856にしたがつて処理され、現行単語のすべ
ての発声が処理されるまでこの処理が続く。し
たがつて現行単語の発声の各々につき順次、す
べての特徴ベクトルが処理されそれぞれ最も近
いフイーニーム・マルコフ・モデルが決定され
ていく。こののち、つぎの単語が選択され、ｎ
個の単語についてステツプ850から866が適用さ
れる。第１２図を吟味すると、各フイーニーム・マ
ルコフ・モデルについて平均値および共分散値
がストアされていることがわかる。所定のフイ
ーニーム・マルコフ・モデルの平均値および共
分散値は、そのフイーニーム・マルコフ・モデ
ルに対応するラベルのプロトタイプ・ベクトル
およびクラスタを定義している。したがつて、
生成された特徴ベクトルについて、ｊ番目のマ
ルコフ・モデルおよびj_nio番目のラベル（j_nio番
目のフイーニーム・マルコフ・モデルに対応す
る）の平均値および共分散値とを用いて距離が
測定される。再定義されたラベルおよびそれに対応するフ
イーニーム・マルコフ・モデルが与えられる
と、更新されたデータに基づいて新しい単語ベ
ースフオームが構築される。フイーニーム単語
ベースフオームの構築については先の米国特許
出願第845155号および第845201号に記載があ
る。表１のメモリの「ベースフオーム」部および
「統計値」部は新たなベースフオームおよび統
計値として更新される。 D2 フイーニーム・マルコフ・モデル単語ベー
スフオームの構築フイーニーム・マルコフ・モデル・ベースフ
オームを構築する簡易な手法では、既知の時間
に各単語を一度発声する。既知の時間に既知の
１つの単語について音響プロセツサ２０２（第
２図）によつて生成されたラベル・ストリング
がストアされる。たとえば既知の単語XXXに
対してラベルL1−L5−L5−L6−…が生成され
たとしよう。単一発声手法に基づいて、単語
XXXのフイーニーム・マルコフ・モデル・ベ
ースフオームがF₁F₅F₅F₆…となる。以上のかわりに、好ましいフイーニーム・マ
ルコフ・モデル単語ベースフオームが１つの単
語についての複数の発声に基づいて構築され
る。この手法では、単語ベースフオームが所定
の単語の発音の変化を記述する。この目的を達
成する１つの方法が米国特許出願第738933号に
記載されている。この米国特許出願の手法ではフイーニーム・
ベースフオームを語彙中の各単語セグメント
（たとえば各単語、予め定められた音節または
それらの部分）に対して構築する際に、つぎの
ようなステツプを実行する。具体的にはこの手
法は、(a)単語セグメントの複数の発声の各々を
それぞれラベル・ストリングに変形し、(b)フイ
ーニーム・マルコフ・モデルの組を定義し、(c)
複数のラベル・ストリングを生成するのに最も
適した単一のモデルP1を決定し、(d)複数のラ
ベル・ストリングを生成するのに最も適した
P1P2またはP2P1の形の２つのモデルからなる
ベースフオームを決定し、(e)各ラベル・ストリ
ングに、最適の２モデル・ベースフオームを整
列させ、(f)各ラベル・ストリングを左部分およ
び右部分に分割し、左部分の２モデル・ベース
フオームの第１のモデルに対応させ、右部分を
第２のモデルに対応させ、(g)左部分を左サブ・
ストリングとして特定し、右部分を右サブ・ス
トリングとして特定し、(h)左サブ・ストリング
の組を複数の発声に対応するラベル・ストリン
グの組と同様の態様で処理し、単一モデル・ベ
ースフオームが２モデル・ベースフオームより
も高い確率でサブストリングを生成するときに
サブ・ストリングの分割を止め、(i)右サブ・ス
トリングの組を複数の発声に応じたラベル・ス
トリングの組と同様の態様で処理し、単一モデ
ル・ベースフオームが２モデル・ベースフオー
ムよりも高い確率でサブストリングを生成する
ときにサブ・ストリングの分割を止め、(j)未分
割の単一モデルを、これに対応するラベル・サ
ブ・ストリングと同一の順次で連結するという
ステツプを有する。具体的には、以上の手法は
さらに(k)連結ベースフオームをラベル・ストリ
ングの各々に整列させ、連結ベースフオーム中
の各モデルに対して各ラベル・ストリング中の
サブ・ストリングを特定し、サブ・ストリング
を共通サブ・ストリングの組であるところの所
定のモデルに対応させ、(l)共通サブ・ストリン
グの組ごとにその共通サブ・ストリングを最も
高い結合確率で生成するモデルを決定し、(m)共
通サブ・ストリングごとに連結ベースフオーム
中のモデルを、最高連結確率のモデルで置き換
えるというステツプを有する。モデルの置換が
行われたベースフオームはより洗練されたもの
になる。ステツプ(k)から(m)を繰り返しモデルの
置換がすべて終了すると、ベースフオームは一
層洗練されたものとなる。第１４図のフローチヤートは複数の発声から
フイーニーム単語ベースフオームを構築する好
ましい手法を示している。このフローチヤート
において、用語「フオーン」はマルコフ・モデ
ルに対応する。したがつて単一フオーン・ベー
スフオームは単一マルコフ・モデルからなるベ
ースフオームである。またP1およびP2は２つ
のフオーンに対応する。すなわち２つのマルコ
フ・モデルに対応する。基本的には分割および
一致の手法が採用されている。 D3 遷移確率およびラベル出力確率の決定表１にストアされる遷移確率およびラベル出
力確率は「カウント」によつて定義される。
「カウント」は典型的には所定のイベントが起
こる回数（予想回数）と定義できる。ここで
は、「単一カウント」および「累積カウント」
を考える。とくに規定しないかぎり、「カウン
ト」は「単一カウント」を意味するのに用いら
れる。確率項目は学習時に蓄積されたデータに基づ
いて計算される。この学習時には、既知の単語
が発声され、ラベル・ストリングが生成され
る。各単語はフイーニーム・マルコフ・モデル
の既知のシーケンスとして表わされる。すなわち確率項目に対する推定値Θおよび学
習時のラベル・ストリングが与えられると、所
定の遷移τ_iおよび状態S_jが(a)所定のラベルスト
リングＹ、(b)定義された推定値Θ′および(c)所
定の時間ｔにおいて起こる確率として「単一カ
ウント」が計算される。このような単一カウン
トの各々は周知のフオワード・バツクワード・
アルゴリズムを用いて決定される。以上の定義によれば単一カウントは Pr（S_j、τ_i｜Ｙ、Θ′、ｔ）によつて表わされる。このような単一カウントを計算する際に、
Θ′はPr′として特徴付けられる確率において暗
に含まれるとして省略することができる。ベイ
ズ理論を適用して上の式はつぎのようになる。 Pr′（τ_i、S_j、Ｙ｜ｔ）／Pr′(Y) Pr′は周知のフオワード・バツクワード・ア
ルゴリズムでパラメータΘ′を用いて計算され
たフオワード・パス確率から得られた確率であ
る。問題はつぎの確率を計算することに帰着す
る。 Pr′（τ_i、S_j、Ｙ｜ｔ）、すべてのｉ、ｔについ
てこの式はｉ、ｔの各々について所定のマルコ
フ・モデルがラベル・ストリングＹを生成し、
かつマルコフ・モデルが時刻ｔにおいて遷移τ_i
をとる確率を表わす。各時刻ｔにおける個々のS_j、τ_i、Ｙおよび
Θ′に対する単一カウントを合計することによ
つて、遷移の「累積値」が対応する遷移確率項
目に対して決定される。遷移累積値は確率値の
合計であるから、１を上まわることがありう
る。各遷移確率項目について、それぞれの累積
カウントがストアされる。所定の遷移τ_iの累積
カウントをその遷移τ_iと最初の状態と同一とす
るすべての遷移の累積カウントの合計で割るこ
とにより、その遷移確率項目の現在の確率値が
計算される。現在の確率値は好ましくはストア
されその遷移確率項目に関連付けられる。各遷移確率項目は好ましくはつぎのような推
定式で定義される。

【化】以上の式から各遷移確率がカウントによつて
定義されることがわかる。分子は累積カウント
である。すなわち時刻Ｔ＋１にいたるまでの任
意の時刻で所定の遷移τ_iをとる単一カウントの
合計である。他方分母は実現可能なすべての遷
移τ_iからτ_kにわたつてとられる単一カウントの
合計を表わす。ただし、その遷移は時刻Ｔ＋１
までの間のもので、τ_iと同一の最初の状態を有
するものである。さらに任意の非空遷移における各ラベル出力
確率もまた好ましくはカウントの形で表わされ
ることに留意されたい。すなわちラベルf_hが所
定の遷移τ_iおよび状態S_jにおいて生成される推
定ラベル出力確率は数学的に

【化】で表わされる。ここでf_hはラベル・アルフアベ
ツトから選択された個々のラベルを意味し、y_t
は時間間隔ｔで生成されたラベルに対応する。分子における被加算項の各々は、生成ラベル
出力がストリングＹのときに、ストリングＹ中
で生成されたラベルy_tがラベルf_hであり、ラベ
ルy_tが状態S_jからの遷移τ_iで生成される確率を
意味する。分子の加算値はラベル「出力累積カウント」
であり、好ましくは対応するラベル出力確率項
目に関連してストアされる。個々のS_j、τ_i、Ｙ
およびΘ′について、このような累積カウント
を、すべてのラベル時間にわたる単一カウント
の加算値で割つて、対応するラベル出力確率項
目について現在の確率値を決定する。カウント調整の各繰り返しののち、遷移確率
およびラベル出力確率を容易に計算することが
できる。 D4 カウント値の決定カウント値を決定するには、周知のフオワー
ド・バツクワード・アルゴリズムを用いる。す
べてのｉ、ｊ、ｔの値についてPr′（S_j、τ_i｜Ｙ、
ｔ）の値が決定され、対応するカウントとして
ストアされる。フオワード・バツクワード・アルゴリズムの
基本概念について第１５図、第１６図および第
１７図を参照して説明する。第１５図におい
て、単語ベースフオームの一例のうちの６個の
フイーニーム・マルコフ・モデルF_A、F_B、F_C、
F_D、F_EおよびF_Fが示されている。単語ベース
フオームは典型的には60から100個のフイーニ
ーム・マルコフ・モデルからなるけれども、説
明の都合上単語ベースフオームの一例はS〓か
ら始まつて状態S〓で終るものとする。例示と
して、この単語例が音響プロセツサ２０２で処
理されるときに、状態〓およびS〓の間で４つの
ラベルf_a、f_b、f_cおよびf_dが生成されるとする。既知の手法により、または無音時の測定によ
り、単語例の終点が時間間隔t₄であるとわかつ
ているとする。各時間間隔は、１個のラベルを
生成する期間であることに留意されたい。好ま
しくは、時間間隔は1/100秒である。状態S〓からS〓の間に４つのラベルを生成し
て時刻t₄で終了するパスが複数あることがわか
る。第１６図のトレリスは採ることが可能な任意
のパスを示している。すなわち、トレリスの点
ａは時刻t₀においてベースフオームの第１のマ
ルコフ・モデルF_Aが第１の状態であることを
示す。点ａから点ｂへと下方に進むのは、状態
S〓へとマルコフ・モデルF_Aの空遷移が採られ
たことを示す。点ａの右へ水平方向に進むの
は、モデルF_Aの非空ループが採られ第１のラ
ベルが生成されたことを意味する。点ａの右斜
め下に進むのは、状態S〓から状態S〓への非空
アークが採られ、第１のラベルが生成されたこ
とを示す。同様のことは他の時間間隔について
もあてはまる。時間間隔t₄で終了し、状態S〓からS〓に伸びな
がら４つのラベルを生成する際に、点ａ−ｂ−
ｃ−ｄ−ｅ−ｆに沿う１つのパスを進むことが
できる。４つのラベルは、アークｃ−ｄ、ｄ−
ｅ、ｅ−ｆおよびｆ−ｇで生成される。第２の
パスはａ−ｂ−ｃ−d′−e′−f′−g′−ｇの点に
沿うものである。４つのラベルはアークd′−
e′、e′−f′、f′−g′およびg′−ｇで生成される。
さらに第３のパスはａ−ｂ−ｃ−d′−e″−g″−
h″−g′−ｇに沿うものである。この３番目のパ
スではアークf″−g″、g″−h″、h″−g′および
g′−ｇにおいてラベルが生成される。他のいく
つかのパスも可能である。フオワード・バツクワード・アルゴリズムを
採用する際に、状態S_jからS_hへアークτ_iをとお
つて時刻ｔにラベルf_tを出力する確率が決定さ
れる。第１７図に示すように、これは確率積に
おける３つの要素を計算することにより行われ
る。第１に、初期状態S〓から状態S_jに致り、ラベ
ルf₁からf_t-1を生成する種々のパスに基づいて
確率Pr′（S_j、τ_i、｜Ｙ、ｔ）についてのフオワー
ド・パス・確率を決定する。この要素をα_t(j)と
表記する。第２の積要素は状態S_jから遷移τ_iを
採りながらラベルf_tを出力する確率である。こ
れは、 Pr（τ_i｜S_j）Pr（f_t｜S_j、τ_i）のように表わされる。この第２の要素は、遷移確率項目（遷移τ_iで
の）につきストアされた現在の値およびラベル
出力確率項目（ラベルf_hについての）につきス
トアされた現在の値に依存する。これらは先に
定義されている。第３の積要素はβ_t+1(k)と表記される。この第
３の要素は状態S_h（時刻ｔ＋１で）で始まつて
ラベルf_t+1からf_Tを生成する確率を表わす。 τ_iが空遷移を表わすとき、上述の要素は簡略
化される。調べている遷移において個々のラベ
ルを生成するという要請がないからである。 α確率はPr（Ｓ、ｔ）とも定義できる。継続
するαは時刻ｔ＝１から始まつて回帰的につぎ
の式に応じて決定することができる。 α₁(1)＝1.0 α_t＝Σ〓〓_n(S)α_t-1（σ）Pr（f_t、σ→Ｓ）＋Σ〓〓_o(S)α_t（σ）Pr（σ→Ｓ）（ｔ＞１のとき）ただしｎ(S)は状態Ｓへの空遷移を有する状態
の組を示し、ｍ(S)は状態Ｓへの非空遷移を有す
る状態の組を表わす。フオワード・パスにした
がつて、順次時刻１、２、…、Ｔ＋１につい
て、Ｓ＝１、２、…、S_Fのα_t(S)の値が順次計算
される。ただしS_Fは最終マルコフ・モデル状態
である。これはαの式を順次解くことによつて
達成される。計算は時間軸上前向きに進行し、
またステートについても前向きに進行する。バツクワード・パスでは、時刻ｔで状態Ｓを
出発しラベル・ストリングを出力する確率β_t(S)
が決定される。βはαと同様の計算を満たす。
主たる相違は、フオワード・パスが状態１を出
発して時間について前向きに推移するのに対
し、バツクワード・パスは最終状態（S_F）を出
発して時間について後向きに推移する点であ
る。またバツクワード・パスでは状態について
も後向きとなる。Ｎ(S)がＳから出発して空遷移を介して推移す
る状態の組を表わし、Ｍ(S)がＳから出発して非
空遷移を介して推移する状態の組を表わすとす
ると、つぎの式が成立する。 β_T+1（S_F）＝1.0 β_t(S)＝Σ〓〓_M(S)Pr（f_t、Ｓ→σ）β_t+1（σ）＋Σ〓〓_N(S)Pr（Ｓ→σ）β_t（σ）（ｔ≦Ｔのとき）バツクワード・パスでは時刻Ｔ＋１、Ｔ、
…、１、状態S_F、S_F-1、…、１について順次上
述の式を用いてβ_t(S)の値が決定される。上述の３つの要素が所定のｉ、ｊ、およびｔ
について決定されれば、対応するカウント値を
容易に計算できる。 D5 音声認識システム環境相互依存的に定義されるラベルおよび単語ベ
ースフオームは米国特許出願第845155号の音声
認識システム等に用いられる。マルコフ・モデル音声認識システム1000の全
体の構成を第１８図に示す。第１８図の構成は
音響プロセツサ１００２を具備する。音響プロ
セツサ１００２は第２図の音響プロセツサ２０
２と同様に動作する。したがつて、継続した時
間間隔（たとえば1/100秒）において、再定義
されたラベルからなるアルフアベツトから継続
してラベルを選択する。これらラベルは継続し
た時間間隔で検出される特徴ベクトルに対応す
る。ラベルはスタツク・デコーダ１００４に供給
される。スタツク・デコーダ１００４は音響マ
ツチ・プロセツサ１００６、言語モデル・プロ
セツサ１００８およびワークステーシヨン１０
１２に結合されている。音響マツチ・プロセツ
サ１００６は音響プロセツサ１００４により生
成されたラベルを、再定義されたラベルと相互
依存的に構築された単語ベースフオーム（第３
図のステツプ302）にマツチングさせる。学語
ベースフオームの統計データは表１に示すよう
にストアされている。音響マツチ・プロセツサ
１００６は単語ベースフオーム（すなわち語彙
単語のそれぞれのマルコフ・モデル・シーケン
ス）を含み、アークおよびラベル出力について
確率がストアされている。確率統計値は学習時
に決定される。単語ごとのマルコフ・モデル・シーケンスは
ベースフオーム辞書２０８（第２図）から導出
される。すなわち最後にラベルが再定義され、
ベースフオームがそれから構築されたのち、そ
のベースフオームのマルコフ・モデル・シーケ
ンスが第１８図の音声認識装置のためにセツト
される。話者ごとに、同一のマルコフ・モデ
ル・シーケンスが適用される。音声学的マルコ
フ・モデルの場合に単語「THE」がすべての
話者に対して同一の３つのマルコフ・モデル・
シーケンスDH−UHI−XXで表わされたよう
に、この発明でも話者と無関係に各単語のフイ
ーニーム・マルコフ・モデル・シーケンスを一
意に決定する。しかしながら、所定の単語のフイーニーム・
マルコフ・モデル・シーケンスに適用される確
率統計値は話者ごとに異なる。換言すれば、ラ
ベル・アルフアベツトが話者ごとに区分として
おり、それは当該話者を特徴付けるパラメータ
値を有している。話者のラベル・アルフアベツ
トに基づいて、またその話者が発声したテキス
ト例に応じて生成されたラベルに基づいて（テ
キスト例は既知のフイーニーム・マルコフ・モ
デル・シーケンスに対応する）、マルコフ・モ
デルのアークおよびラベル出力の確率が当該話
者について決定される。したがつて、相互依存的にラベルを再定義
し、単語ベースフオームを構築することによ
り、各単語について統一的なフイーニーム・マ
ルコフ・モデル・シーケンスを定義することが
できる。各単語にそのようなシーケンスが付与
されれば、各話者はテキスト例を発声して学習
を行う。すなわちフイーニーム・マルコフ・モ
デルの確率を計算し、ストアする。所定のラベル・ストリングに対して、音響マ
ツチ・プロセツサ１００６は語彙中の単語との
尤度を決定する。この決定はフイーニーム・マ
ルコフ・モデルにつき計算されストアされた音
響的な確率データに基づいて行われる。言語モデルは予め記憶された単語シーケン
ス・データに基づく。典型的には数百万語の単
語を走査してｍ個の単語（１ｍ）からなるシ
ーケンスの各々が起こる回数を求める。当該単
語がつぎの単語となる言語モデルのスコアを決
定する際、言語モデル1008は当該単語を２つの
もつともらしい先行単語に連結し、対象トリグ
ラム（三連字）を形成する。単語シーケンスの
データベースおよびデータベース・テキスト中
で当該トリグラムが発生した回数を参照して文
脈の尤度を決定する。データベース中でそのト
リグラムが発声していなかつたら、当該単語
と、もつともらしい先行の１単語とを考慮して
バイグラム（二連字）を形成する。そしてその
単語対のデータベース中の回数を取り出す。単
語対がデータベース中で起こつていなかつた
ら、当該単語が単独でデータベース中で起こる
尤度を考慮する。言語モデル・プロセツサ１０
０８のより詳細な説明は米国特許出願第844904
号に記載されている。言語モデル・プロセツサ
１００８は、同音意義語や音響的に類似してい
る句の間の違いを判別するのに有益である。スタツク・デコーダ１００４は音響プロセツ
サ１００６および言語モデル・プロセツサ１０
０８からの入力を用いて、どの単語シーケンス
が所定の入力音声に対応する単語シーケンスと
考え得るかを決定する。このスタツク・デコー
ダ１００４の詳細は米国特許出願第738911号に
記載されている。ラベルとマルコフ・モデル単語ベースフオー
ムとを相互依存的にすることにより、第１８図
の音声認識システムの性能が向上する。第１８図の音声認識システムの好ましい態様
は(a)スタツク・デコーデイングを実現する
IBM4381メインフレーム・コンピユータと、
(b)(i)詳細音響マツチングと、詳細音響マツチを
行うべき候補単語のリストを生成する概算音響
マツチングとを実現し、(ii)入力音声をラベルに
変換する音響処理を行う３つのFPS 190Lアレ
イ・プロセツサと、(c)言語モデルの統計値をス
トアするIBM 3350 DASDユニツトの１バン
クとを含む。上述の相互依存的なラベルの再定義およびベ
ースフオームの構築は、具体的な例では、
IBM3090メインフレーム・コンピユータで実
現され、つぎのような項目をストアするに足る
メモリ・ストレージが用いられた。特徴ベクトル …10Kバイト／単語単語ベースフオーム …1Kバイト／単語確率 …200Kバイト整列データ …4Kバイト／単語ラベル（プロトタイプ・ベクトル）データ
…200KバイトラベルID（フイーニーム） …200バイト／単語Ｅ発明の効果以上説明したようにこの発明によれば、フイー
ニーム・マルコフ・モデル単語ベースフオームを
用いて認識を行うに際し、ラベル・アルフアベツ
トのラベル（ラベル・プロトタイプ）をベースフ
オームを用いて再定義し、さらに、再定義したラ
ベル・アルフアベツトのラベルを用いてベースフ
オームを再構築するようにして、認識の精度を向
上させることができる。Ｆ表１

【表】 …

ロケーシヨン値 l^１１N＋1 l^１
１N＋2 ・・・ (l^１１＋1)N
y^１２ _１(1)
y^１２ _１(2) ・・・ y^１２ _１(N)

【表】

【表】 …

【表】 …

ロケーシヨン値 (NARCS−1)NLABELS＋1
・・ NARCS＊NLABELS
P_{ＮＡＲＣＳ１}
・・ P_{ＮＡＲＣＳＩＮＬＡＢＥ
ＬＳ}

【図面の簡単な説明】

第１図は従来例を説明する図、第２図はこの発
明の一実施例を全体として示すブロツク図、第３
図は第２図例のラベル再定義およびベースフオー
ム再構築の動作を説明するフローチヤート、第４
図はフイーニーム・マルコフ・モデルを示す図、
第５図は第２図例のラベル再特定部の構成例を示
すブロツク図、第６図はビタービ整列のステツプ
を示すフローチヤート、第７図はビタービ整列の
プロセスを示す図、第８図は再定義ラベルの平均
値および共分散値を推定するステツプを示すフロ
ーチヤート、第９図は第８図の各値を初期化する
ステツプを示すフローチヤート、第１０図は第８
図の各値を累積するステツプを示すフローチヤー
ト、第１１図は第８図の各値を最終的に推定する
ステツプを示すフローチヤート、第１２図は音声
データのラベル付のステツプを示すフローチヤー
ト、第１３図は所定の特徴ベクトルに最も近いマ
ルコフ・モデルを決定するステツプを示すフロー
チヤート、第１４図は第１４Ａ図および第１４Ｂ
図の組合せ図、第１４Ａ図および第１４Ｂ図は複
数の発声からマルコフ・モデル単語ベースフオー
ムを構築するステツプを示す図、第１５図はフイ
ーニーム・マルコフ・モデル・シーケンスを示す
図、第１６図は第１５図例のトレリスを示す図、
第１７図はフオワード・バツクワード計算を説明
するための図、第１８図はこの発明の一実施例が
適用される音声認識システム環境を示すブロツク
図である。２０２……音響プロセツサ、２０４……ベース
フオーム学習部、２０６……ベースフオーム構築
部、２０８……ベースフオーム辞書、２１０……
ラベル再特定部。

Claims

【特許請求の範囲】１音声入力に応じてラベル・アルフアベツトの
ラベルを時間間隔ごとに順次出力する音響プロセ
ツサと、複数のアークを有するマルコフ・モデルのシー
ケンスにより特徴付けられるマルコフ・モデル単
語ベースフオームとして各語彙単語の統計データ
をストアする辞書手段であつて、各マルコフ・モ
デルの各アークの確率および各マルコフ・モデル
の所定の１または複数アークの各々において上記
ラベル・アルフアベツト中の各ラベルが出力され
る確率をストアする記憶部を有するものと、上記音響プロセツサに結合させて、上記ラベ
ル・アルフアベツト中のラベルを再定義する再定
義手段と、上記辞書手段に結合されて、上記マルコフ・モ
デル単語ベースフオーム用にストアされているデ
ータを上記音響プロセツサにより生成された再定
義ラベルに基づいて更新する手段とを有し、上記再定義手段は上記マルコフ・モデル単語ベ
ースフオーム用に更新されストアされたデータに
基づいてラベルを再定義できるようにした音声認
識装置。