JP5268825B2

JP5268825B2 - モデルパラメータ推定装置、方法及びプログラム

Info

Publication number: JP5268825B2
Application number: JP2009189111A
Authority: JP
Inventors: 隆伸大庭; 貴明堀; 篤中村
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2009-08-18
Filing date: 2009-08-18
Publication date: 2013-08-21
Anticipated expiration: 2029-08-18
Also published as: JP2011039965A

Description

本発明は、シンボル系列の並べ替え問題におけるモデル学習に用いるモデルパラメータ推定装置、方法及びプログラムに関する。

音声認識や機械翻訳では、暫定的な複数の認識結果や翻訳結果（単語系列）を出力し、その中から誤りの少ない（正解に近い）系列を見つけることで、認識や翻訳の精度を改善することができる。音声認識機や機械翻訳機が出力する個々の正解候補の単語列をシンボル系列、出力される複数の正解候補の組をリストと呼ぶとき、このようなリストからの正解シンボル系列の抽出は、一般に各シンボル系列にスコアを付与し、リスト内のシンボル系列をスコア順に並べ替えることにより行う。すなわち、通常は最も大きなスコアを持つ単語列が認識・翻訳結果であり、仮にそうでない場合にも順次スコアの高いシンボル系列を検証することで正解に近いシンボル系列の効率的な結果の抽出を実現している（音声認識につき非特許文献１、２、５参照、機械翻訳につき非特許文献３、４参照）。

シンボル系列からなるリストから目的のシンボル系列を抽出する際には、一般に、予め学習により得られたモデルが用いられる。以下、予め用意されたモデルを用いて正解に近い系列を見つける方法を図７を用いて説明する。

まず、複数のシンボル系列からなるリストを読み込む（Ｓ１１）。各シンボル系列は一般に素性（特徴）ベクトルにより表現され、素性には単語、品詞、音素などのN-gramや共起、構文解析や係り受け解析を適応した結果から得られる依存関係の頻度、boolean（有無を二値表現したもの）などが用いられる。もっとも、リストの形態は必ずしも素性ベクトルの列に限られず、ネットワークのような表現形態であっても最終的に素性ベクトルが抽出できる形態であればよい。なお、シンボル系列は次のような方法により素性ベクトルで表現することができる（非特許文献３参照）。例えば、シンボル集合｛○、×、△｝からなるシンボル系列○○×○を素性ベクトルで表現する方法を考える。ある１つのシンボルがシンボル系列に出現した場合に１、出現しない場合に０の素性値をとるとした時、シンボル系列○○×○には、○と×は出現するため１、△は出現しないので０となる。素性ベクトルは、このような素性につき[１、１、０]^Ｔのようにベクトル表現したものである。シンボル系列として自然言語の単語列を扱う時には、各シンボル系列の構文解析結果やそのスコアなどの付加的な情報を加えてから、それらの情報も含めて素性ベクトルを作成する場合もある。

次に、学習で得られたモデルを参照し、シンボル系列に応じたスコアを付与する（Ｓ１２）。スコアの算出方法は多様である。ベクトルｗが予め学習により得られたモデルパラメータであるとき、素性ベクトルにより表現されたシンボル系列ｆ_i,jのスコアＳ_ｗ(ｆ_i,j)は、例えばＳ_ｗ(ｆ_i,j)＝ｗ^Ｔ・ｆ_i,jにより算出することができる（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各リストｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））、Ｔは行列の転置）。

そして、付与されたスコアに従いシンボル系列ｆ_i,jを並べ替えることで、リスト内のシンボル系列を正解に近い順に整列することができる（Ｓ１３）。

また、スコア算出に用いるモデルパラメータｗを推定する方法を図８を用いて、以下説明する。

まず、複数のシンボル系列からなるリストを複数読み込む（Ｓ２１）。読み込むリストの数が多いほど、様々なデータに対して高精度に機能するモデルパラメータが得られることを期待できる。また、各リストの正解シンボル系列もあわせて読み込む。ただし、正解のシンボル系列と同一のシンボル系列が各リストに含まれていても、含まれていなくてもよい。

次に、読み込まれた情報をもとにモデルパラメータｗを学習により推定する（Ｓ２２）。パラメータの推定は正解シンボル系列に他のシンボル系列より高いスコアが付与されるように行う。つまり、正解シンボル系列に付与されたスコアより大きなスコアが付与されるシンボル系列の数ErrorCountを小さくするようにモデルパラメータｗを決めればよい。例えば、式(1)を最小化するｗを求める。

ここで、Ｉ(x)はｘの値が正の時に０、それ以外の時に１を与える関数、ｆ_i,0は正解シンボル系列、Ｎはリストの数、ｎ_ｉはリストｉに含まれるシンボル系列の数である。

もっとも、音声認識機や機械翻訳機から出力される各シンボル系列ｆ_i,jには通常、任意の評価尺度（例えばリスト内での単語誤り率の順位など）に基づく重要度ｅ_i,jが付与されているため、これをパラメータの推定に用いることで推定精度を高めることができる。例えば、非特許文献３にて開示されているExpLoss Boosting(ELBst)法によれば、式(2)のＬの値を最小化するｗを求めればよい。

式(2)においては、特に素性値が０、１の二値である時に効率的にｗを推定するアルゴリズムが存在する。

Z.Zhou, J.Gao, F.K.Soong, and H.Meng,"A Comparative Study of Discriminative Methods for Reranking LVCSR N-Best Hypotheses in Domain Adaptation and Generalization," Proceedings of ICASSP, 2006, Vol.1, p.141-144 小林彰夫, 佐藤庄衛, 尾上和穂, 本間真一, 今井亨, 都木徹,「単語ラティスの識別的スコアリングによる音声認識」, 日本音響学会講演論文集, 2007年9月, p.233-234 M.Collins and T.Koo,"Discriminative Reranking for Natural Language Parsing," Association for Computational Linguistics, 2005, Vol.31, No.1, p.25-70 F.J.Och,"Minimum Error Rate Training in Statistical Machine Translation," Proceedings of the 41st Annual Meeting on Association for Computational Linguistics, 2003, p.160-167 B.Roark, M.Saraclar and M.Collins,"Corrective Language Modeling For Large Vocabulary ASR with The Perceptron Algorithm," Association for Computational Linguistics, Proceedings of ICASSP, 2004, Vol.1, p.749-752

式(2)によるパラメータ推定方法の場合、各リストｉのΣの計算において、正解シンボル系列ｆ_i,0はｎ_ｉ個すべての項に出現するのに対し、その他のシンボル系列ｆ_i,jはそれぞれｊ番目の項、すなわち１つの項のみに出現する。そのため、Ｌを最小化するモデルパラメータｗには多くのリストに共通する傾向を強く反映すべきであるところ、あるリストの正解シンボル系列に顕著な特徴があれば、その影響を強く受けた精度の低いモデルパラメータｗが算出されてしまうという問題が生じる。すなわち、多くのリストに共通する誤りに低いスコアを与えるより、ひとつのリストの正解に高いスコアを与えることが計算上重視されることになる。

本発明はこのような問題の影響を軽減し、従来より高精度にモデルパラメータを推定することが可能なモデルパラメータ推定装置、方法及びプログラムを提供することを目的とする。

本発明のモデルパラメータ推定装置は、それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定するモデルパラメータ推定装置であって、重要度変換部とモデルパラメータ推定部とを備える。

重要度変換部は、上記重要度ｅ_i,jをリストごとに所定のシンボル系列の重要度の値が上記所定のシンボル系列以外のシンボル系列の重要度の値に比べ相対的に大きな値になるように変換する。

モデルパラメータ推定部は、上記シンボル系列ｆ_i,jと上記正解シンボル系列ｆ_i,0と上記変換後の重要度とから、モデルパラメータｗを推定する。

本発明のモデルパラメータ推定装置、方法及びプログラムによれば、リスト内の各シンボル系列に付与された重要度を適宜変換して、一部の不正解シンボル系列に大きな重要度を与え正解シンボル系列の影響を相対的に低減することにより、従来より高精度にモデルパラメータを推定することができる。

モデルパラメータ推定装置１００の機能構成例を示す図。モデルパラメータ推定装置１００の処理フロー例を示す図。パラメータの値の相違によるガウス型関数の形状の相違を示すイメージ図。検証に用いた学習用・開発用・評価用の各セットの内容を示す図。本発明と従来技術の単語誤り率の比較検証結果を示す図。ガウス型関数の形状を変化させた場合の単語誤り率の変化の検証結果を示す図。シンボル系列の並べ替え処理フローの例を示す図。モデル学習の処理フローの例を示す図。

図１に本発明のモデルパラメータ推定装置１００の機能構成例を、図２にその処理フロー例をそれぞれ示す。モデルパラメータ推定装置１００は、それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定して出力する装置であり、重要度変換部１０１とモデルパラメータ推定部１０２とを備える。

重要度変換部１０１は、上記重要度ｅ_i,jを、各リストごとに所定のシンボル系列の重要度が他のシンボル系列の重要度に比べ相対的に大きな重要度になるように変換し、変換後の重要度Ｅ(ｅ_i,j)を出力する（Ｓ１）。具体的には、一部の不正解シンボル系列に大きな重要度を与えることで、正解シンボル系列の影響を相対的に低減する。そのため、変換に用いる関数Ｅは単一のもしくは少数の凸型形状を持つ関数であり、例えば式(3)のようなガウス型関数が対応する。

ここで、(a,b,c)はガウス型関数の形状を決めるパラメータであり、学習に先立ち事前に与えるパラメータである。ａは振幅を制御する変数、ｂはガウス関数の中心位置を制御する変数、ｃはガウス関数の幅を制御する変数である。図３は(a,b,c)の値を変化させた時のガウス型関数の形状を示したものである。なお、図３ではｅ_i,jを５０００までに制限している（それ以上の値は学習データに出現しない）ものとし、それ以降は点線で示している。

大きな重要度を与えるシンボル系列の選択（抽出）方法としては例えば、
・各リストにおいて、重要度の値が大きいものから順に所定の個数（例えば１〜５０個程度）を抽出
・予め定めた値以上の重要度を持つものを抽出
・重要度の値が大きいものから順次等間隔で抽出
することなどが考えられる。また、これらを複合し、例えば、予め定めた値以上の重要度を持つシンボル系列を抽出したものと、予め定めた値より小さい重要度を持つシンボル系列について所定の個数をランダムに又は重要度の値が大きいものから順次等間隔で抽出したものの組み合わせとして抽出しても構わない。

大きな重要度を与えるシンボル系列を選択することは、フィルタのピーク位置の指定と等価である。ピーク位置の決定後は、一部のシンボル系列に他より大きな重要度を与えるという本発明の趣旨に沿う範囲において、ピーク位置をつなぐ任意の関数を設計するとよい。ただし、無限（に近い）値をピーク位置に与えることや、ピーク間にマイナスの無限（に近い）値を与えることや負値の重要度を許容しないパラメータ推定法を用いる際に負値を返すフィルタを設計するなど、明らかにパラメータ推定に悪影響を与える関数を設定すべきでないことは言うまでもない。

具体的に用いる関数Ｅを決めるには様々なＥを試し、開発セットなどで評価して最良のもの（式(3)においては（a,b,c）の値)を選択するとよい。また、学習セットをいくつかに分割し、ひとつを開発セットとして見立て他で学習を行うことを、すべての組み合わせに対して行うクロスバリデーション法によっても、開発セットを用いて最良のＥを選択する方法と同様な結果を得ることができる。

なお、本発明はシンボル系列に重要度が付されていない場合や、重要度が付されていても全てのシンボル系列の重要度が同じである場合においても、各シンボル系列に対しリスト内でランダムに与えた値や、素性ベクトル空間上での正解からの距離などを重要度とみなすことにより適用することが可能である。

モデルパラメータ推定部１０２は、上記シンボル系列ｆ_i,jと上記正解シンボル系列ｆ_i,0と上記変換後の重要度Ｅ(ｅ_i,j)とから、モデルパラメータｗを計算して出力する（Ｓ２）。例えば、非特許文献３にて開示されているELBst法による式(2)を式(4)のように変形し、式(4)のＬの値を最小化するｗを求めればよい。

式(4)においては、特に素性値が０、１の二値である時に効率的にｗを推定するアルゴリズムが存在する。

なお、最良のｗの推定にあたっては、学習の初期値や収束条件、ハイパーパラメータなどを与えることにより開発セットを用いて行うのが一般的である。

＜効果の検証＞
日本語話し言葉コーパス（ＣＳＪ）を用い、本発明の効果を検証する。ＣＳＪは講演音声データとその書き起こしからなるデータベースである。なお、検証にあたり、図４に示す学習用と開発・評価用セットを用意した。

講演を発話単位に分割し、音声認識システムで5000-bestリストを作成した。つまり、リストの数は発話数に一致する。そして、シンボル系列は音声認識結果であり、各リストに最大５０００のシンボル系列が存在する。素性にはuni、bi-、tri-gram boolean及び音声認識スコアを用いた。また、重要度には各シンボル系列のリスト中の順位（単語誤り率の昇順）を用いた。なお、図４に示す単語誤り率は、音声認識システムの出力した5000-bestリストのうち、最も大きな認識スコアを持つ認識結果に対して算出されたものである。

モデルパラメータｗを、重要度ｅ_i,jをそのまま使う式(2)と重要度をＥ(ｅ_i,j)＝Ｅ_gauss(ｅ_i,j、a、b、c)として変換した式(4)によりそれぞれ求め、これらを用いてシンボル系列を並べ替えて、それぞれ最終的に最も高いスコアを持つシンボル系列を音声認識結果とし、両者の単語誤り率を比較した（図５）。なお、あわせて関数Ｅ_gauss(ｅ_i,j、a、b、c)の形状(a,b,c)を変化させた場合の単語誤り率の相違についても検証した（図６）。

図５から、本発明による重要度変換により単語誤り率が低減できていることがわかる。また、図６からＥ_gauss(ｅ_i,j、a、b、c)のｂの値が大きいほど、ｃの値が小さいほど単語誤り率を低減できていることがわかる。前記のとおり、ｃはガウス関数の幅を制御する変数であるため、各リストにおいて少数のシンボル系列に相対的に大きな重みを与えることで高精度なモデル生成につながることが今回の検証から確認できたと言える。

以上のように、本発明のモデルパラメータ推定装置及び方法によれば、リスト内の各シンボル系列に付与された重要度を適宜変換して、一部の不正解シンボル系列に大きな重要度を与え正解シンボル系列の影響を相対的に低減することにより、従来より高精度なモデルパラメータを生成することができる。

上記の各装置をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この場合、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。また、上記の各種処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

Claims

それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定するモデルパラメータ推定装置であって、
上記重要度ｅ_i,jを、リストごとに所定のシンボル系列の重要度の値と上記所定のシンボル系列以外のシンボル系列の重要度の値との差が大きくなるように変換する重要度変換部と、
上記シンボル系列ｆ_i,jと上記正解シンボル系列ｆ_i,0と上記変換後の重要度とから、モデルパラメータｗを推定するモデルパラメータ推定部と、
を備え、
上記所定のシンボル系列は、上記複数のシンボル系列ｆ _i,j の中から、上記重要度ｅ _i,j の値が大きいものを優先してシンボル系列ｆ _i,j を抽出したものであるモデルパラメータ推定装置。
請求項１に記載のモデルパラメータ推定装置において、
上記所定のシンボル系列は、上記重要度の値が大きいものから順に予め定めた個数のシンボル系列ｆ_i,jを抽出したものであることを特徴とするモデルパラメータ推定装置。
請求項１に記載のモデルパラメータ推定装置において、
上記所定のシンボル系列は、予め定めた値以上の重要度を持つシンボル系列ｆ_i,jを抽出したもの、又は重要度の値が大きいものから順次等間隔で抽出したものであることを特徴とするモデルパラメータ推定装置。
それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モ
デルパラメータｗを推定するモデルパラメータ推定方法であって、
上記重要度ｅ_i,jを、リストごとに所定のシンボル系列の重要度の値と上記所定のシンボル系列以外のシンボル系列の重要度の値との差が大きくなるように変換する重要度変換ステップと、
上記シンボル系列ｆ_i,jと上記正解シンボル系列ｆ_i,0と上記変換後の重要度とから、モデルパラメータｗを推定するモデルパラメータ推定ステップと、
を実行し、
上記所定のシンボル系列は、上記複数のシンボル系列ｆ _i,j の中から、上記重要度ｅ _i,j の値が大きいものを優先してシンボル系列ｆ _i,j を抽出したものであるモデルパラメータ推定方法。
請求項４に記載のモデルパラメータ推定方法において、
上記所定のシンボル系列は、上記重要度の値が大きいものから順に予め定めた個数のシンボル系列ｆ_i,jを抽出したものであることを特徴とするモデルパラメータ推定方法。
請求項４に記載のモデルパラメータ推定方法において、
上記所定のシンボル系列は、予め定めた値以上の重要度を持つシンボル系列ｆ_i,jを抽出したもの、又は重要度の値が大きいものから順次等間隔で抽出したものであることを特徴とするモデルパラメータ推定方法。
請求項１乃至３のいずれかに記載の装置としてコンピュータを機能させるためのプログラム。