JPH07506198A - 複合エキスパート - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 複合エキスパート 発明の背景 本発明は、音声認識に関するものあり、より詳細には、連続的な音声（話音）を 解析する複数のシステム或いは比較情報源の各々により与えられるスコアに対し て与えるべき重要性或いは相対重み（ｒｅｌａｔｉｖｅ　ｗｅｉｇｈｔ）を調整 する方法に関するものである。スコアを生成するシステム或いは情報源を、以下 、”エキスパート”と称する。

本技術分野の当業者により理解されているように、文脈上の知識（ｃｏｎｔｅｘ ｔｕａｌｋｎｏｗｌｅｄｇｅ）を適用し、或いは、利用することにより、音響的 な音声アナライザによる単語認識の正確さを、向上させることが可能である。言 い換えれば、最も確実そうな候補を、予め決められた単語モデルの５當から選択 し、未知の音声セグメントに適用することは、与えられた候補が、解析されてい る音声のシーケンスにおける先行する単語に、適切に続いていることが確実であ るかどうかを考慮することにより、向上され得る。さらに、たとえば、まず、先 行する単語のみを利用し、さらに、２或いは３の先行する単語を利用することに より、多重言語的システム（ｍｕｌｔｉｐｌｅ　ｌｉｎｇｕｉｓｔｉｃ　ｓｙｓ ｔｅｍ）或いは多重言語的解析を適用することができる。本発明に関連するこれ らシステムの各々は、”エキスパートであると考えられる。さらに、人力音声の 音響的な解析を実行する種々の方法が存在するため、たとえば、周知のスフィン クス認識システム（Ｓｐｈｉｎｘ　ｒｅｃｏｇｎｉｚｅｒ　５ｙｓｔｅ＋＋＋） により利用される３つのいわゆるコードブックなど、一つ以上の音響的なエキス パートが存在し得る。一般には、このようなエキスパートの各々は、未知の音声 が認識装置の５當の与えられたモデルに整合する最尤性（ｌｉｋｅｌｉｈｏｏｄ ）を示すスコアを戻すことが従来からなされている。これらスコアは、一般に、 マイナスログの確率として示される。

いくつかのエキスパートシステムについてのスコアを組合せ、全体としての整合 の最尤性を達成するためには、異なるエキスパートについての相対重要性（ｒｅ ｌａｔｉｖｅ　ｉｍｐｏｒｔａｎｃｅ）　、即ち重み付けを決定するための評価 がなされなければならない。この重み付けは、しばしば、本質的には、任意に、 システム設計者の経験に基づいて決定される。スコアのそれぞれが、良好で、独 立した確率評価となる場合には、これらを、単純に掛は算することにより結合す ることができる。しがしながら、一般的には、これらスコアは、独立してはおら ず、むしろ、相互に関連している。

独立した単語の認識装置の場合には、認識すべき種々の個々の単語の音響的なサ ンプルを含むトレーニングデータベースが存在するならば、相対重みを改善する ために統計的な方法を適用することができる。しかしながら、理解されるように 、独立した単語の前後関係で生成された発声サンプルは、連続的な音声（話合） 認識に対して最も正確とはならない。なぜなら連続した話合においては、フレー ズ内で発声された単語の間の相互調音或いは相互作用ががなり存在するがらであ る。しかしながら、有用な５曽の中に予期される個々の単語の適切な順列（組合 せ）をすべて包含させるためには、データベースは殆ど限界がなくなってしまう ので、フレーズの語曽を形成することは実現不可能である。したがって、認識装 置の５會は、必然的に、個々の単語から形成される必要がある。

本発明は、連続的な音声認識装置における多重的なエキスパートにより生成され るスコアに与えるべき相対重みを調整する方法に関するものであり、この目的の ためのトレーニングデータが、分離した単語というよりもむしろ多重的な単語フ レーズの形態をなして得られる。しかしながら、多重的な単語フレーズの文脈に おいて、真である個々の単語は、真である多重的な単語の仮定解（Ｈｙｐｏｔｈ ｅｓｅｓ）の一部とも、また、偽である多重的な単語の仮定解の一部ともなり得 るため、この問題に数学的な方法（ｎｕｍｅｒｉｃａｌ　ｍｅｔｈｏｄ）を適用 することは、直接的ではなく、また自明ではない。

ａ；１述【、たように、認識すべきフレーズの諸量を形成することは、実現不可 能であるが、むしろ、連続的な音声（話合）認識においてすら、認識装置は、本 質的には、甲語毎に、或いは、音ごとに、それを基礎として処理がなされるよう になっており、システム全体で使用されるエキスパートの各々は、未知の音声セ グメントの各々と、システムの諸量における単語モデルとの間の整合の最尤性を 表すスコアを与える。このような状況において、“単語”という語は、日本人の 話す言語を形成するモーラ、音素、或いは、英語のシラブルなどのサブワード片 （フラグメント）を含む包括的な意味で用いられる。

本発明にかかる方法は、その大部分を以下のような認識に基づいている。即ち、 多重エキスパートにより提起された複数の多重的な単語の仮定解の累積されたス コアを比較し、解析することができる目的関数を推論することができること、及 びいくつかのエキスパートについての相対重み係数は、この目的関数の成果を最 大にするようにシステマティックに調整されることができ、それにより、システ ムの認識精度を向上させることができるという認識である。

発明の概要 本発明にかかる方法においては、連続的な音声認識装置において音響学的なエキ スパートおよび言語学的なエキスパートにより生成されるそれぞれのスコアに与 えられる相対重み係数が、多重的な単語フレーズ（ｍｕｌｔｉｐｌｅ　ｗｏｒｄ 　ｐｈｒａｓｅｓ）内で認識すべき単語を利用した音声トレーニングデータを用 いて調整される。多重用語フレーズは、音響学的なエキスパートに供され、それ により、各フレーズごとに、各々が対応する累積されたスコアを有する複数の多 重的な単語の仮定解が決定される。この仮定解は、言語学的なエキスパートに供 され、各仮定解ごとに、対応する累積されたスコアが決定される。累積された音 響学的なスコアおよび言語学的なスコアは、各仮定解ごとに、初期的に任意に選 択された重み係数を用いて、結合され、結合された仮定解のスコアが、それぞれ 得られる。供されたフレーズに対して、いずれかの仮定解力慎である場合に、目 的関数は、真の仮定解の組み合わされたスコアと、少なくとも一つの偽の仮定解 の組み合わされたスコアとの間の相違の関数として可変的な値を有するように算 出される。目的関数の値は、真の仮定解を生成する全てのフレーズにわたって累 積され、重み係数の調整のベクトル方向が算出され、累積された目的関数の値が 改善される。次いで、このベクトル方向における係数の調整がなされる。方向を 決定するステップおよび調整ステップは、係数ごとの最善の値をめるために繰り 返されることが好ましい。

図面の簡単な説明 図１は、本発明にかかる方法を示すフローチャートであり、連続音声認識装置に おける複数のエキスパートにより生成されたそれぞれのスコアに与えるべき比較 重み係数の調整を説明する図である。

好適な実施例の説明 前述したように、有効な語’１（ｅｆｆｅｃｔｉｖｅ　ｖｏｃａｂｕｌａｒｙ） が非常に多いため、音響学的な音声アナライザに、多重的な単語フレーズのモデ ルを設けることは実際的ではない。むしろ、音響学的なエキスパートは、必然的 に、単語ごとに基づいて、或いは、モーラ（ｚｏｒａ）ごとに基づいて実行され 、そのＤｌｌの中の個々のモデルに、未知の音声の各々を整合させるべく試みる 必要がある。確実そうな候補だけを、各セグメントに対して選択することにより 、音響学的なエキスパートは、各単語ごとの候補の順列（ｐｅｒｍｕｔａｔｉｏ ｎ）に基づいて複数の多重的な単語の仮定解（ｈｙｐｏｔｈｅｓｉｓ）を生成す ることができる。最も確実そうなフレーズを、多重的な（ｍｕｌｔｉｐｌｅ）仮 定解から選択することは、音響学的なスコアをそのまま用いることたけではなく 、少なくとも一つの言語学的なエキスパートにより提供されるスコアを用いるこ とによりなされる。本発明のある実施態様によれば、音響学的スコアおよび言語 学的スコアに適用すべき相対重み（ｒｅｌａｔｉｖｅ　ｗｅｉｇｈｔｉｎｇ）は 、多重的な単語フレーズにおいて認識すべき単語を利用するトレーニングデータ に基づいて調整される。

本発明にかかる方法は、複合関数（ｃｏｍｐｏｓｉｔｅ　ｆｕｎｃｔｉｏｎ）を 利用し、トレーニングデータ内の発音人力（ｉｎｐｕｔ　ｕｔｔｅｒａｎｃｅ） から得られた仮定解を解析している。

ここに例示として記載された実施例は、日本語の連続音声アナライザーに基づい たものであり、したがって、仮定解の各々は、モーラのシーケンスとなる。複合 関数は、仮定解が正しいこと、すなわち、仮定解が、正しいモーラのシーケンス であることの最尤性（ｌｉｋｅｌｉｈｏｏｄ）の尺度（ｍｅａｓｕｒｅ）である 複合スコアを提供する。

前述したように、個々のエキスパート出力は、一般に、マイナスログの確率とし て与えられる。

特に、ここに例示された実施例において、音響学的なエキスパートの出力および 言語学的なエキスパートの出力は、同様に取り扱われ、したがって、複合関数は 、”同質（ｈｏｍｏｇｅｎｅｏｕｓ）”なものとして示される。他の有用な複合 関数は、後述する。この例において使用された特定の複合関数は、次のようであ る。

ここに、ｍは、仮定解のモーラ、Ｐｅ　（ｍ）は、モーラｍを観察するエキスパ ートｅについて推論された確率、Ｗは、重みのベクトル、Ｗｅは、あるエキスパ ートｅに対する重みである。

本発明の重要な目的は、全体としての認識の精度を最適化するラムダの組を見出 し、決定するために数学的な方法を用いることにある。これを達成するために、 本発明にかかる方法は、目的関数を利用し、その最小化が精度に関係している。

この目的関数は、複合関数か、同一のテストフレーズを表現し、或いは、同一の テストフレーズにより得られる真の仮定解と偽の仮定解とを識別する程度を測る （ｍｅａｓｕｒｅ）ことを目的としている。

ＩＩＩ用される特定の目的関数は、真の仮定解と偽の仮定解とを比較する。トレ ーニングデータを用いてラムダを調整する際に、汽の仮定解を生成するテストフ レーズのみが利用される。真の仮定解を生成しないテストフレーズは、無視され る。

さらに、特に例示された実施例において、真の仮定解は、他の偽の仮定解の一つ と比較される。

この一つの偽の仮定解は、複合関数にしたがって、偽の仮定解のうち最も良いス コアを有するものとして選択される。以下、この選択された偽の仮定解は、これ か偽の仮定解の中で最も良いスコアを有しているため、最も困難な、すなわち、 最も真の解と混同しやすい偽であるという意味で、最も偽（ｗｏｒｓｔ　１ｎｎ ｃｏｒｒｅｃｔ）と称される。実際に、個々のテストフレーズに関して、最も偽 であるものが、真の仮定解よりも良いスコアを有する可能性すらある。本発明の 調整関数或いは学習関数は、ラムダを調整し、真の仮定解を生成するテストフレ ーズのグループ全てに対して、最も偽の仮定解に対する真の仮定解の識別性を向 上させる。ある目的関数は、次式により示される。

ＳｍｎｎｔｈｃｄＥｒｒｏｒＲａｔｅ（１１／　）＝ＣＦは、上に定義したＣ　 Ｆ　ｈｏｍｏｇｅｎｅｏｕｓなどの複合関数ｒｃｏｒｒｅｃｔＪは、特定のフレ ーズに対する真の仮定解、ｒＷｏｒｓｔｌｎｃｏｒｒｅｃｔＪは、この発音テス トについて最も真のスコアに近い、或いは遠い、すなわち、”最も偽”の仮定解 、［ＮｐＨｒａｓｅｓＪは、トレーニングに用いられるデータセットのフレーズ 数である。

本技術分野において理解されているように、ングモイド関数などの非線形関数を 用いることは、極端なケースが、全ての結果にあまりに大きな影響を与えること を防止するのに有用である。

ラムダ値を最適化するために用いられる技法は、最急降下法（ｇｒａｄｉｅｎｔ 　ｄｅｓｃｅｎｔ）を形成することである。この手順は、基本的に、ある特定の 任意に選択されたラムダ配置により開始し、そのラムダの組合せにおける目的関 数の勾配を見出し、勾配方向に、少しのステップを移動することによる。これが 繰り返されて、局地的な最小値が見出される。

目的関数の勾配を見出すために、複合関数の勾配を見出すことか必要である。

これは、次式のように決定される。

前述したように、この方法は、多重的な単語テスト或いはトレーニングフレー真 の仮定解および最も偽の仮定解についても複合関数の勾配を用いて、コスト即ち 、目的関数の勾配が、本質的には、次式のように算出され得る。

目的関数の勾配は、ラムダの調整のベクトル方向、即ち、累積された目的関数の 値を改善する係数を与える。このようなベクトル方向を算出するごとに、これに 続いて、この方向におけるステップの変更がなされる。最急降下法において従来 からなされているように、これは繰り返され、最小値が見つけたされる。マルチ プルエキスパート音声認識装置における係数に適用された、最急降下法の特定の コンピュータの実行（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）は、前に特定したマイク ロフィッシュの付録に与えられている。この特定の実施例において、実際に、ス テップサイズは、周知のサーチ技法にしたがって適用可能である。これは、小さ な値で開始し、このサイズのステップが、目的関数を損ない始めるまで大きくな り、次いで、最小値がシークされるにしたかって、ステップサイズが減少させら れる。

前述したように、本発明にかかる方法は、マルチプルエキスパートにより提起さ れた複数の多重的な単語の仮定解の累積されたスコアを比較し、解析することか できる目的関数を推論することができるという認識に、その大部分が基づいてい る。実際には、この認識は、重み係数を改善する反復的プロセスにより具体化さ れている。このようなプロセス或いは方法は、図１に示されている。

前述したように、記載されてきた特定の例は、全てのエキスパート、音響学的ズ の収集成いはリストを利用している。このリストは、ブロック１１で示されるよ うに初期化される。このリストは、ブロック１３に示されるように、引き続いて 処理され、ブロック１５に示されるように、各フレーズは、順に、音響学的なエ キスパートに適用され、複数の多重的な単語の仮定解を生成する。仮定解の各々 に関連して、音響学的なスコアは、仮定群内の単語（ｗｏｒｄｓ）に対応してい る。

ブロック１７に示されるように、仮定解は、順に、少なくとも一つの言語学的な エキスパートに供され、それにより、仮定解の各々に対して、対応する言語学的 なスコアが生成される。

ブロック１９に示されるように、選択された複合関数は、仮定解の各々に与えら れ、現在のラムダ或いは重み値を用いて、それぞれのコスト値が得られる。与え られたテスト或いはトレーニングフレーズに対して、全ての仮定解が真ではなか った場合に、全ての対応するスコアはトレーニング手続（ｐｒｏｃｅｄｕｒｅ） において利用されない。むしろ、そのフレーズについての値は無視され、ブロッ ク２１に示されるように、処理のために、新たなフレーズが選択される。

真の仮定解を生成するテストフレーズに対して、最も偽の、即ち最も混同しやす い偽の仮定解も特定される。これは、最も高いスコアを備えた真ではない仮定解 となる。このステップは、ブロック２３に示されている。次いで、目的関数が、 ブロック２５に示されるように、真の仮定解および最も偽の仮定解に、与えられ 、ブロック２７に示されるように、目的関数の値が、次に続くテスト或いはトレ ーニングフレーズにわたって累積される。ひとたび、ブロック２９に示されるよ うに、全てのテストフレーズが処理されると、ブロック３１に示されるように、 累積コスト（ｃｕｍｕｌｔｉｖｅ　ｃｏｓｔ）関数のベクトル勾配が決定される 。次いで、ブロック３３に示されるように、ラムダが、その方向にステップイン され、ブロック３５に示されるように、最小値が見出されるまで、この処理が、 反復して繰り返される。この点で、ラムダ或いは重み係数は、最適値に調整され 、この最適値により、与えられた音響学的なエキスパートの特性および言語学的 なエキスパートの特性の組に対する最良の認識結果が生成される。

他の実施例 ｔものおよび言語学的なものの双方が、本質的に同様に取り吸われるといつＸ啄 で、同質的な例である。他のアプローチでは、音響学的なエキスパートと言語学 的なエキスパートとが幾分異なって取り扱われるマルコフモデルにより近い目的 関数を用いている。この場合、複合関数は次式のように表される。

Ｎｍｈｒｓ　ＮＥＪＩＤｅｎＳ であるので、音声以外のエキスパートｅについて多くの音声認識システムにおい て、ラムダを制限して（ｃｏｎｓｔｒａｉｎ）　、それらの合計か１になるよう にするのが一般的である。特に、“マルコフ”システムにおいて、ラムダを確率 として解釈することができ、その場合に、それらは合計が１になるばかりでなく 、負ではない。同質的なシステムにおいては、この解釈は不可能であるか、ラム ダの金言１か１になることをめ、ゼロに収束し、或いは、無限大に発散すること を防止することか望ましい。これは、次の２つの方法によって達成される。１つ には、ラムダの一つを１マイナス他の合計にするように定義することであり、も う１つは、コスト関数に、ラムダの一つと全体との間の相違（発散）に依存する 項（ｔｅｒｍ＞を加えることである。これらのうちの前者は、比較的直接的であ るか、データセットをめる際に、勾配（ｇｒａｄｓ）の算出か複雑である。後者 の方法は、独立して計算された項にトレーニングデータを加える。各コスト関数 に以下の式が加えられる。

ここに、ｅは、関連するエキスパート（すなわち、同質的な場合には全てのエキ スパート、マルコフケースではＬＭエキスパート）にわたって変動する、ベータ は、制限（ｃｏｎｓｔｒａｉｎｔ）がどのくらい重要であるかを制御する重み付 は項である。

この新たな項の勾配は、次式のように表される。

前述したコスト関数の一つの合計である目的関数を考えた場合に、その勾配は、 上に算出された対応する勾配（ｇｒａｄ）とｒ　ＢｅｔａＣｏｓｔ　Ｊの勾配と の合計となる。目的関数を最小化することは、１に近い合計を有し、認識に際し て良好なラムダ値に向けられている。

以上の説明から、本発明のいくつかの目的が解決され、他の有利な結果が達成さ れることが理解されるであろう。

本発明の範囲を逸脱することなく、上述した構成に種々の変更を加えることが可 能であり、上述した説明および添付図面に示された全ての事項は、例示として解 釈され、発明の範囲を制限するものではないことに留意すべきである。

図面 図１

Claims (7)

【特許請求の範囲】
1. １．連続的な音声認識装置において生成されるスコアに、それぞれ与えられる相 対重み係数を調整する方法であって、前記音声認識装置が、音響学的なエキスパ ートと言語学的なエキスパートとを含む複数のエキスパートを有し、前記音響学 的なエキスパートおよび言語学的なエキスパートが、システムの語彙から仮定さ れた各単語に対するそれぞれのスコアを生成するように構成され、前記方法が、 多重的な単語フレーズ内で認識すべき単語を用いて連続的な音声トレーニングデ ータを得て、 前記多重的な単語フレーズを、少なくとも一つの音響学的エキスパートに供し、 それにより、各フレーズごとに、各々が、対応する累積された音声的なスコアで あって、整合の最尤性（ｌｉｋｅｌｉｈｏｏｄ）を示す音響学的スコアを有する 複数の多重的な単語の仮定解を決定し、 前記仮定解を、少なくとも一つの言語学的なエキスパートに供し、それにより、 各仮定形ごとに、整合の最尤性を示す対応する累積された言語学的スコアを決定 し、 各仮定解に対して、初期的に任意に選択された重み係数を用いて、前記累積され た音響学的スコアおよび言語学的スコアを組み合わせ、それにより、それぞれ、 組み合わされた仮定解スコアを得て、 供されたフレーズの各々ごとに、何れかの仮定解が真であることを決定し、真の 仮定解が存在する場合に、真の仮定解の組み合わされたスコアと、少なくとも一 つの偽の仮定解の組み合わされたスコアとの間の相違の関数として可変的な値を 有する目的関数を算出し、 少なくとも一つの真の仮定解を生成する全てのフレーズにわたって、目的関数の 値を累積し、 累積された目的関数の値を改善する前記係数を調整するベクトル方向を算出し、 前記方向に、前記係数を調整することを特徴とする方法。
2. ２．仮定解における前記一つの偽の仮定解が、最善のスコアを有し、かつ、真の 仮定解ではないことを特徴とする請求項１に記載の方法。
3. ３．前記目的関数が、全ての単語及び複数のエキスパートにわたって、各単語ご との重み付けられたスコアを合計したものに対応することを特徴とする請求項１ に記載の方法。
4. ４．前記目的関数の値の累積が、真の仮定解についての目的関数の値と、最善の スコアを有し、かつ、真の仮定解ではない仮定解についての目的関数の値との間 の差異を全てのテストフレーズにわたって合計したものに対応することを特徴と する請求項３に記載の方法。
5. ５．合計の前に、差異の各々に対して、シグモイド関数が与えられることを特徴 とする請求項４に記載の方法。
6. ６．前記シグモイド関数が、 Ｓｉｇ（ｘ）＝（１／１＋ｅ）−ｘ により定義されることを特徴とする請求項５に記載の方法。
7. ７．連続的な音声認識装置において生成されるスコアに、それぞれ与えられる相 対重み係数を調整する方法であって、前記音声認識装置が、音響学的エキスパー トと言語学的エキスパートとを含む複数のエキスパートを有し、前記音響学的エ キスパートおよび言語学的エキスパートが、システムの語彙から仮定された各単 語に対するそれぞれのスコアを生成するように構成され、前記方法が、多重的な 単語フレーズ内で認識すべき単語を用いて連続的な音声トレーニングデータを得 て、さらに、 （ａ）前記多重的な単語フレーズを、少なくとも一つの音響学的エキスパートに 供し、それにより、各フレーズごとに、各々が、対応する累積された音響学的ス コアであって、整合の最尤性を示す音響学的スコアを有する複数の多重的な単語 仮定解を決定し、 （ｂ）前記仮定解を、少なくとも一つの言語学的エキスパートに供し、それによ り、各仮定解ごとに、整合の最尤性を示す対応する累積された言語学的スコアを 決定し、 （ｃ）各仮定整に対して、初期的に任意に選択された重み係数を用いて、前記累 積された音響学的スコアおよび言語学的スコアを組合せ、それにより、それぞれ 、組み合わされた仮定解スコアを得て、 （ｄ）供されたフレーズの各々ごとに、何れかの仮定解が真であることを決定し 、真の仮定解が存在する場合に、真の仮定解の組み合わされたスコアと、少なく とも一つの偽の仮定解の組み合わされたスコアとの間の相違の関数として可変的 な値を有する目的関数を算出し、 （ｅ）少なくとも一つの真の仮定解を生成する全てのフレーズにわたって、目的 関数の値を累積し、 （ｆ）累積された目的関数の値を改善する前記係数を調整するベクトル方向を算 出し、 （ｇ）前記方向に、前記係数を調整するステップを備え、前記ステップ（ａ）な いし（ｇ）を操り返すことを特徴とする方法。