JP3961780B2 - 言語モデル学習装置およびそれを用いた音声認識装置 - Google Patents
言語モデル学習装置およびそれを用いた音声認識装置 Download PDFInfo
- Publication number
- JP3961780B2 JP3961780B2 JP2001144885A JP2001144885A JP3961780B2 JP 3961780 B2 JP3961780 B2 JP 3961780B2 JP 2001144885 A JP2001144885 A JP 2001144885A JP 2001144885 A JP2001144885 A JP 2001144885A JP 3961780 B2 JP3961780 B2 JP 3961780B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- language model
- task
- language
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、確率的言語モデルを用いた言語モデル学習装置およびそれを用いた音声認識装置に関するものである。
【０００２】
【従来の技術】
一般に、音声認識においては、通常、ディジタル化されて入力される音声信号の処理手法を用いて、音声の音響的特徴をよく表すベクトルの時系列に変換した後、音声モデルとの照合処理が行われる。
【０００３】
照合処理とは、Ｋ個の時刻フレームからなる音響特徴ベクトル時系列Ａ（＝［ａ1，ａ2，・・・，ａK］）に基づいて、発声された単語列Ｗ（＝［ｗ1，ｗ2，・・・，ｗM］、（Ｍは単語数））を求める問題に相当する。
【０００４】
上記照合処理において、認識精度が最も高くなるような単語列Ｗを推定するためには、出現確率Ｐ（Ｗ｜Ａ）が最大となる認識単語列Ｗ*を、以下の（１）式により求めればよい。
【０００５】
【数１】
【０００６】
ただし、（１）式において、出現確率Ｐ（Ｗ｜Ａ）を直接求めることは、通常困難である。そこで、出現確率Ｐ（Ｗ｜Ａ）は、ベイズの定理を用いて、以下の（２）式のように書き換えられる。
【０００７】
【数２】
【０００８】
ここで、（２）式の左辺を最大化する単語列Ｗを求める際、右辺の分母Ｐ（Ａ）は、認識候補となる単語列Ｗに影響を与えないので、右辺の分子を最大化する単語列Ｗを求めればよい。すなわち、認識単語列Ｗ*は、以下の（３）式のように表される。
【０００９】
【数３】
【００１０】
ここで、（３）式内のＰ（Ｗ）を与える確率モデル、Ｐ（Ａ｜Ｗ）を与える確率モデルを、それぞれ、言語モデル、音響モデルと呼ぶ。
音声認識において、近年盛んに検討されているモデル化方法としては、音響モデルを「隠れマルコフモデル」で表現し、言語モデルを「確率言語モデル」で表現するものが知られている。
【００１１】
これらのモデル化方法の詳細は、たとえば、「音声認識の基礎（上、下）」（Ｌ．Ｒ．ＲＡＢＩＮＥＲ、Ｂ．Ｈ．ＪＵＡＮＧ、古井監訳、１９９５年、１１月、ＮＴＴアドバンステクノロジ）（以下、「文献１」と称する）、または「確率的言語モデル」（北研二、東京大学出版会）（以下、「文献２」と称する）などに記されている。
【００１２】
これらの方法において、確率モデルを構成するパラメータは、大量のデータから統計的に推定される。
すなわち、音響モデルの構築においては、あらかじめ多数の話者からの単語や文などの音声データを収集し、統計的手法を利用して認識精度や認識精度と良好に関連した指標が向上するように推定が行われる。
【００１３】
たとえば、バウム・ウェルチアルゴリズムを用いて、学習データに対して尤度が大きくなるように、音響モデルを構成する「隠れマルコフモデル」のパラメータを推定する。
音響モデルの推定方法は、上記文献１の下巻に詳述されている。
【００１４】
同様に、言語モデルの構築においては、新聞や会話の書き起こしなどのテキストから、言語モデルの構造にしたがって、それぞれの発話や発話を構成する単語の出現する確率を計算する。
【００１５】
言語モデルの構造としては、直前の単語に関する「ｎ−１重マルコフモデル」を用いて、後続する単語の出現確率を予想する「Ｎグラム言語モデル」や「確率文脈自由文法」、または、それらの組み合わせなどがよく適用される。
【００１６】
特に、Ｎグラム言語モデルは、効果的であるうえ、パラメータ推定手段が容易に実現可能であることから、広く用いられている。
そこで、以下の説明では、Ｎグラム言語モデルを例にとって、言語モデルの構築について説明する。
【００１７】
たとえば、Ｎグラム言語モデルにおいて、Ｎ＝２としたとき（バイグラム言語モデルと呼ばれる）、上記（３）式内のＰ（Ｗ）は、以下の（４）式のように近似される。
【００１８】
【数４】
【００１９】
Ｎグラム言語モデルのパラメータとなる条件つき確率Ｐ（ｗN｜ｗ1，・・・，ｗN-1）は、学習用テキストデータ内の隣接する単語列の頻度Ｃ（ｗ1，・・・，ｗN）から、以下の（５）式のように推定される。
【００２０】
【数５】
【００２１】
しかし、単語の条件付き出現確率を、単純に上記（５）式のように推定すると、学習データに存在しない単語列を含む場合、文の出現確率は「０」になってしまう。
【００２２】
このような状態を防ぐため、学習用テキストに出現しない単語列に対して非零の（「０」でない）確率を割り当てる処理（一般に、「スムージング」と呼ばれる）が行われる。
【００２３】
最も一般的なスムージング方法としては、Ｋａｔｚが提案した「バックオフスムージング」があげられる。
バックオフスムージングにおいては、上記（５）式で推定される確率から、頻度に応じて一定の割合を除き（ディスカウンティングを実行し）、学習データで出現しなかった単語列に確率が割り当てられる。
【００２４】
学習データで出現しなかった単語列に割り当てられる条件付き確率には、さらに大雑把な言語モデルによって推定された値が用いられる。
上記Ｋａｔｚによる方法では、Ｎグラムよりも粗いモデルとして、Ｎ−１グラムが用いられる。この方法の詳細については、上記文献２の第６７頁に示されている。
【００２５】
なお、日本語の場合には、テキストが分かち書きされないので、単語の定義があいまいである。そこで本文では、何らかの手段でテキストを整合性のある部分に分割したものを、それぞれ、単語と定義する。
【００２６】
すなわち、単語とは、たとえば文字や形態素、文節などの言語的な単位や、エントロピー基準に基づいたテキストの分割、ならびに、これらの組み合わせなどであり、これら分割された単位に読み方や品詞などの言語情報が付加された場合を含む。
【００２７】
上記統計的手法を用いた言語モデルの構築においては、言語モデルのパラメータを推定するために、大量の音声データおよびテキストデータが必要となる。
特に、Ｎグラム言語モデルは、学習データに強く依存するので、対象とするタスク（以下、「対象タスク」と称する）毎に大量のデータ収集が必要である。
【００２８】
しかし、タスク毎に大量のテキストデータを収集することは困難であり、対象タスクに関する少量のテキストデータから言語モデルを構築できることが望ましいので、クラス言語モデルの利用や、タスク適応化などが行われる。
【００２９】
クラス言語モデルとは、類似した単語をまとめ、同一のクラス（グループ）として扱われるものであり、言語モデルの推定パラメータ数を削減したり、学習データに存在しない単語に適当な確率を割り当てるものである。
【００３０】
単語とクラスとの関係定義は、単語やタスクに応じて人手で決定されたり、データに基づいて決定され、Ｎグラム言語モデルであっても適用可能である。
【００３１】
たとえば、バイグラムクラス言語モデルにおける文の出現確率は、
（１）クラス間の遷移確率Ｐ（ｃi｜ｃi-1）と、
（２）クラス内から特定の単語が選択される確率Ｐ（ｗi｜ｃi）と
の積として、以下の（６）式のように定義される。
【００３２】
【数６】
【００３３】
たとえば、１０００単語を各１０単語からなる１００のクラスに分割した場合を考える。このとき、単語バイグラム言語モデルの場合での推定パラメータ数は、１０００2（＝１００００００）である。
【００３４】
これに対して、クラスバイグラム言語モデルの場合での推定パラメータ数は、（１）クラス間の遷移と、
（２）クラスと単語との写像と
の和として表され、１００2＋１００×１０（＝１１０００）に減少する。
【００３５】
単語とクラスとの対応関係は、人手で決定されてもよく、言語データから単語クラスタリングを実行して求めてもよい。
図２０はクラス定義の一例を示す説明図である。図２０において、単語ｗと、単語ｗが所属するクラスｃと、単語ｗが所属するクラスｃから出力される確率Ｐ（ｗ｜ｃ）とが記述されている。
【００３６】
クラスＮグラム言語モデルのうち、クラス間遷移モデルの推定は、通常の単語Ｎグラムの場合と同様である。
クラスＮグラム言語モデルの構築方法に関しては、上記文献２の第７２頁以降に詳述されている。
【００３７】
一方、タスク適応化とは、対象タスク以外のテキストデータを合わせて利用し、学習データの不足を補うものである。
ここでは、対象タスク以外のタスクを含むテキストデータを一般タスク言語データと呼ぶことにする。
【００３８】
タスク適応化に関しては、「Ｎ−ｇｒａｍのタスク適応における語彙の設定法の検討」（伊藤彰則、好田正紀、電子情報通信学会研究技術報告、第５１−５８頁、ＳＰ９７−２５、１９９７）（以下、文献３と称する）で述べられている方法が提案されている。
【００３９】
この方法は、Ｎグラム言語モデルを対象として、対象タスクと一般タスクとの学習データを重みづけして加えることにより、タスク適応を行うというものである。
【００４０】
図２１は上記文献３で述べられている音声認識用の言語モデル構築方法を適用した装置を概略的に示すブロック構成図である。
図２１において、１００はタスク適応化済みの言語モデルを生成する言語モデル推定手段である。
【００４１】
１０１は対象タスク言語データであり、対象タスクのテキストデータを集積し、対象タスクで認識すべき文を表すテキストを単語に分割している。
１０２は一般タスク言語データであり、対象タスク以外のタスクを含む一般タスクのテキストデータを集積し、一般タスクに含まれる文を表すテキストを単語に分割している。
【００４２】
言語モデル推定手段１００は、対象タスク言語データ１０１および一般タスク言語データ１０２を読み込み、それぞれ適当な重み付け処理を施して、単語列の頻度を数え上げ、統計的手法を用いて言語モデルのパラメータを推定する。
【００４３】
重み付け処理は、それぞれの入力について与えられる。
たとえば、「私、は」という単語列が対象タスクで２回、一般タスクで４回出現したとして、対象タスクの頻度重みが「３」、一般タスクの頻度重みが「１」であれば、単語列「私、は」の頻度は、「１０（＝３×２＋１×４）」と見積もられる。
【００４４】
なお、重み付け係数は、整数でなくてもよい。
また、数え上げの際、必要であれば、頻度が小さい単語は取り除き、取り除いた確率を認識に必要な単語に等確率で再配分することができる。
【００４５】
こうして得られた頻度情報「１０」から、たとえばＫａｔｚのバックオフスムージング法により、既知および未知の単語列について確率を推定する。
なお、頻度重みの決定は、たとえば最終的に得られる言語モデルのテストデータに対する出現確率を高めるように、削除推定法を用いて定めることができる。
また、削除推定法については、上記文献２の第４９頁に述べられている。
【００４６】
次に、図２２のフローチャートを参照しながら、図２１に示した従来装置および従来方法に基づくタスク適応による言語モデルの学習手順について説明する。
まず、言語モデル推定手段１００は、重みパラメータ保存手段（図示せず）から、入力に対する重みパラメータを読み込む（ステップＳ２２０１）。
【００４７】
次に、対象タスク言語データ１０１および一般タスク言語データ１０２から単語に区切られた学習用テキストを読み込み、重みパラメータにしたがって重み付けされたｎ単語以下の単語列の頻度を求める（ステップＳ２２０２）。
【００４８】
最後に、たとえばＫａｔｚのバックオフスムージング法を用いたスムージングを実行して、言語モデルのパラメータを推定し（ステップＳ２２０３）、図２２の処理ルーチンを終了する。
【００４９】
上記手法は、一般タスク言語データ１０２のテキストデータを合わせて利用することにより、対象タスクに関する少量の学習データから取得困難な多彩な表現を表す単語列の出現確率を、さらに妥当に推定することができる。
【００５０】
また、同時に、対象タスク言語データ１０１に重み付けすることにより、対象タスクのコーパスに出現した単語列に対して、さらに大きい確率を与えることができ、認識精度を向上させることができる。
【００５１】
しかしながら、上記言語モデルのタスク適応化方法では、対象タスクで固有の単語や一般タスクで出現した単語列の出現確率を良好に推定できるものの、対象タスクに特有の単語と一般タスクで出現した単語との組み合わせを考慮していないので、対象タスクのテキストデータが少ないときには、対象タスク特有の単語の周辺で言語モデルのパラメータ推定精度が悪化するという問題がある。
【００５２】
たとえば、対象タスクがホテル予約業務であって、類似したホテル以外の予約業務タスクで発声されたテキストデータを一般タスク言語データ１０２として利用する場合を考える。
【００５３】
この場合、「それ、を、お願い」といった予約業務一般で出現する単語列や、「ホテル」という対象タスク特有の単語は、それぞれ、一般タスク言語データ１０２および対象タスク言語データ１０１から、頻度に応じて出現確率が見積もられる。
【００５４】
しかし、単語の組み合わせの種類数が非常に大きいので、対象タスクのテキストデータが少量である場合、「ホテル、を、お願い」といった対象タスク特有の単語を含む単語列は、十分にテキストデータでカバーされていないことが多い。
【００５５】
この結果、単語列に不適切な出現確率が割り当てられてしまい、認識精度が低下するおそれがある。
特に、対象タスク特有の単語は、タスクを遂行するうえで重要な場合が多く、これらの単語周辺における認識精度の低下は、システム全体の性能に大きな影響をおよぼす可能性が高い。
【００５６】
【発明が解決しようとする課題】
従来の言語モデル学習装置およびそれを用いた音声認識装置は以上のように、対象タスクに特有の単語と一般タスクで出現した単語との組み合わせを考慮していないので、対象タスクのテキストデータが少ない場合に、対象タスク特有の単語の周辺で言語モデルのパラメータ推定精度が悪化してしまい、システム全体の性能に悪影響をおよぼすという問題点があった。
【００５７】
この発明は上記のような問題点を解決するためになされたもので、対象タスクに固有の単語と一般タスクのデータとから類似する単語を求め、タスク固有の単語を含む単語列の出現確率の推定に利用することにより、認識精度を高めた言語モデル学習装置およびそれを用いた音声認識装置を得ることを目的とする。
【００５８】
【課題を解決するための手段】
この発明の請求項１に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、タスク適応化済み言語モデルを構築するための、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから各テキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、各テキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、各テキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するものである。
【００５９】
また、この発明の請求項２に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、言語モデルを生成するものである。
【００６０】
また、この発明の請求項３に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、第１および第２のテキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するものである。
【００６１】
また、この発明の請求項４に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、事前に準備したテキストデータを用いて作成された初期言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期言語モデルから、タスク適応化済み統計的言語モデルを構築するための、類似単語対抽出手段および類似単語確率補正手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済み統計的言語モデルを生成するものである。
【００６２】
また、この発明の請求項５に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、あらかじめ作成された初期クラス言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期クラス言語モデルから、タスク適応化済みクラス言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段および類似単語確率補正手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期クラス言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済みクラス言語モデルを生成するものである。
【００６３】
また、この発明の請求項６に係る言語モデル学習装置は、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６４】
また、この発明の請求項７に係る言語モデル学習装置は、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６５】
また、この発明の請求項８に係る言語モデル学習装置は、請求項３または請求項５において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６６】
また、この発明の請求項９に係る言語モデル学習装置は、請求項３または請求項５において、類似単語抽出手段は、距離算出用クラス言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用クラス言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用クラス言語モデルを読み込むとともに、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用クラス言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６７】
また、この発明の請求項１０に係る言語モデル学習装置は、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のユークリッド距離を用いて、単語間距離を測定するものである。
【００６８】
また、この発明の請求項１１に係る言語モデル学習装置は、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のクロスエントロピーを用いて、単語間距離を測定するものである。
【００６９】
また、この発明の請求項１２に係る音声認識装置は、請求項１から請求項１１までのいずれかの言語モデル学習装置を用いた音声認識装置であって、言語モデルまたはクラス言語モデルは、音声認識に用いられるものである。
【００８４】
【発明の実施の形態】
実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について詳細に説明する。ここでは、Ｎグラム言語モデルを例にとって説明するが、任意の統計的言語モデルに対して適用可能であることは言うまでもない。
【００８５】
図１はこの発明の実施の形態１による言語モデル学習装置を概略的に示すブロック構成図であり、音声認識用の言語モデル学習装置の構成例を示している。
図１において、１０１は対象タスクにおける単語に分割された対象タスク言語データ、１０２は一般タスクにおける単語に分割された一般タスク言語データであり、これらは前述（図２１参照）と同様のものである。
【００８６】
１０３は類似単語対抽出手段、１０４は類似単語列合成手段、１０５は言語モデル生成手段であり、これらの手段１０３〜１０５は、対象タスク言語データ１０１および一般タスク言語データ１０２と関連して、タスク適応化済み言語モデルを生成する。
【００８７】
言語モデル生成手段１０５は、前述の言語モデル推定手段１００に対応しており、タスク適応化済み言語モデルを生成する。
類似単語対抽出手段１０３および類似単語列合成手段１０４は、前述の従来装置とは異なり、この発明の特徴的な部分を構成している。
【００８８】
すなわち、各手段１０３および１０４により、対象タスク固有の単語について類似した一般タスクの単語を求め、学習テキスト中の一般タスクの単語を類似する対象タスクの単語で置き換えた単語列を合成して、言語モデルの学習テキストに追加することにより、言語モデル構築の際に、対象タスクのテキストデータが少量であっても、認識精度を高めることができるようになっている。
【００８９】
以下、図１内の各手段１０３〜１０５の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
ただし、前述と同様の機能ブロックおよびモデルについては、同一符号を付して詳述を省略する。
【００９０】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１に含まれる単語ｗＴと、一般タスク言語データ１０２に含まれる単語ｗＧとの任意の組み合わせ（ｗＴ,ｗＧ）について、あらかじめ定義された距離尺度に基づき、単語間の距離を計算する。
【００９１】
このとき、類似単語対抽出手段１０３は、単語間距離の算出値があらかじめ設定されたしきい値ｔｈよりも小さい場合に、その類似単語対（ｗＴ,ｗＧ）を類似単語列合成手段１０４に出力する。
【００９２】
単語間の距離ｄ（ｗＴ，ｗＧ）は、たとえば、あらかじめ各単語と対応する意味分類を概念の広さにしたがって木構造にしておき、各単語が対応する意味ノード間のアーク数を距離として用いることにより得られる。
【００９３】
次に、類似単語列合成手段１０４は、対象タスク言語データ１０１および一般タスク言語データ１０２に含まれる任意の長さの単語列を別々に取り出すとともに、類似単語対抽出手段１０３から読み込んだ類似単語対（ｗＴ，ｗＧ）を参照し、対象タスクの単語列のそれぞれについて、一般タスク内の単語ｗＧが含まれるか否かを判定する。
【００９４】
この結果、一般タスク内の単語ｗＧを含む単語列「・・・ｗＧ・・・」が存在する場合には、続いて、一般タスク内の単語ｗＧを対象タスク内の単語ｗＴで置き換えた単語列「・・・ｗＴ・・・」が、一般タスクまたは対象タスクのデータに存在するか否かを判定する。
【００９５】
この結果、単語列「・・・ｗＴ・・・」が一般タスクまたは対象タスクのデータに存在しない場合、類似単語列合成手段１０４は、一般タスクの単語ｗＧを対象タスクの単語ｗＴで置き換えた単語列「・・・ｗＴ・・・」を合成し、言語モデル生成手段１０５に出力する。
【００９６】
最後に、言語モデル生成手段１０５は、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４から、それぞれテキストデータを読み込み、入力される頻度にそれぞれ適当な重みをつけて単語列の頻度を求め、統計的手法を用いて言語モデルのパラメータを推定することにより、タスク適応化済みの言語モデルを生成する。
【００９７】
次に、図２のフローチャートを参照しながら、図１に示したこの発明の実施の形態１に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【００９８】
図２において、ステップＳ２０１〜Ｓ２０３は類似単語対抽出手段１０３により実行される処理、ステップＳ２０４〜Ｓ２０８は類似単語列合成手段１０４により実行される処理、ステップＳ２０９〜Ｓ２１１は言語モデル生成手段１０５により実行される処理である。
【００９９】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１および一般タスク言語データ１０２から、単語に区切られた学習用テキストを読み込み、単語対（ｗＴ，ｗＧ）を作成する（ステップＳ２０１）。
【０１００】
また、対象タスク言語データ１０１に含まれる単語ｗＴと、一般タスク言語データ１０２に含まれる単語ｗＧ（単語ｗＴとは異なる）との組み合わせについて距離ｄ（ｗＴ，ｗＧ）を計算する（ステップＳ２０２）。
【０１０１】
続いて、算出された距離ｄ（ｗＴ，ｗＧ）を所定のしきい値ｔｈと比較し、距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈよりも小さいか否かを判定する（ステップＳ２０３）。
【０１０２】
類似単語対抽出手段１０３は、ステップＳ２０３において、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されれば、ステップＳ２０２に戻って距離ｄ（ｗＴ，ｗＧ）の計算を繰り返し、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語列合成手段１０４に出力する。
【０１０３】
類似単語列合成手段１０４は、対象タスク言語データ１０１および一般タスク言語データ１０２から単語に区切られたテキストデータを読み込み、データに含まれる全てのｎ単語の単語列を取り出して記憶する（ステップＳ２０４）。
【０１０４】
また、読み込んだ単語列から、類似単語対抽出手段１０３によって選択された単語対（ｗＴ，ｗＧ）のうち、一般タスクの単語ｗＧが含まれる単語列「・・・ｗＧ・・・」を取り出す（ステップＳ２０５）。
【０１０５】
続いて、取り出した単語列のうち、一般タスク単語ｗＧを対象タスク単語ｗＴに置き換えた単語列「・・・ｗＴ・・・」が、既に記憶されている単語列に存在する否かを判定する（ステップＳ２０６）。
【０１０６】
ステップＳ２０６において、単語列「・・・ｗＴ・・・」が、既に記憶されている単語列に存在する（すなわち、Ｙｅｓ）と判定されば、ステップＳ２０５に戻り、単語列「・・・ｗＴ・・・」が存在しない（すなわち、Ｎｏ）と判定されれば、その単語列「・・・ｗＴ・・・」をテキストデータとして出力する（ステップＳ２０７）。
【０１０７】
次に、全ての類似単語対（ｗＴ，ｗＧ）に対する処理を終了したか否かを判定し（ステップＳ２０８）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ２０２に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、ステップＳ２０９に進む。
これにより、処理ステップＳ２０２〜Ｓ２０７は、全ての類似単語対（ｗＴ，ｗＧ）について実行される。
【０１０８】
ここで、具体例として、対象タスクの単語［横浜駅」と一般タスクの単語「成田空港」との距離がしきい値ｔｈよりも小さく、各単語列「成田空港、まで」および「から、成田空港」が一般テキストデータに存在している場合を考える。
【０１０９】
このとき、さらに、対象テキストデータに単語列「横浜駅、まで」は存在するものの、単語列「から、横浜駅」が存在しない場合であれば、類似単語列合成手段１０４は、単語列「から、横浜駅」を合成して出力することになる。
この結果、単語の類似情報を用いて、対象タスクで出現が予想される単語列を学習用テキストデータに追加することになる。
【０１１０】
次に、図２において、言語モデル生成手段１０５は、重みパラメータ保存手段（図示せず）から、それぞれの入力に対応する重みパラメータを読み込む（ステップＳ２０９）。
【０１１１】
また、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４から、単語に区切られた学習用テキストを読み込み、単語列の頻度を求める（ステップＳ２１０）。
このとき、Ｎグラム言語モデルの場合には、ｎ単語以下の単語列について頻度を計算する必要がある。
【０１１２】
さらに、言語モデル生成手段１０５は、たとえば、Ｋａｔｚのバックオフスムージング法を用いたスムージングを行い、言語モデルのパラメータを推定することにより、タスク適応化済み言語モデルを生成し（ステップＳ２１１）、図２の処理ルーチンを終了する。
【０１１３】
こうして得られた言語モデルの学習データには、対象タスクに特徴的な単語を含む単語列が追加されているので、対象タスクに対する言語モデルの予測精度が向上する。
【０１１４】
したがって、対象以外のタスクを含む大量データ（一般タスク言語データ１０２）と対象タスクに関する少量データ（対象タスク言語データ１０１）とから、音声認識用の高精度の言語モデルを推定することができる。
、タスク適応化済み言語モデルを生成し（ステップＳ２１１）、図２の処理ルーチンを終了する。
【０１１５】
なお、上記のように得られる言語モデルは、音声認識に限らず、言語処理を必要とする文字認識や、自然言語のテキスト処理に対しても適用可能である。
【０１１６】
また、図１のように構成される音声認識用の言語モデル学習装置をプログラムとして記録媒体に記録することもできる。
【０１１７】
すなわち、図１内の類似単語対抽出手段１０３と同様の処理を行う類似単語対抽出機能と、類似単語列合成手段１０４と同様の処理を行う類似単語列合成機能と、言語モデル生成手段１０５と同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用言語モデル学習プログラムを実現することができる。
【０１１８】
実施の形態２．
なお、上記実施の形態１では、対象タスク言語データ１０１および一般タスク言語データ１０２からの各テキストデータをそのまま用いたが、クラス化されたテキストデータを用いてもよい。
【０１１９】
図３はこの発明の実施の形態２による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１参照）と同様のものについては、同一符号を付して、または、符号の後に「Ａ」を付して詳述を省略する。
【０１２０】
図３において、３０１は対象タスク単語クラス化手段であり、対象タスク言語データ１０１と言語モデル生成手段１０５Ａとの間に挿入されている。
３０２は一般タスク単語クラス化手段であり、一般タスク言語データ１０２と言語モデル生成手段１０５Ａとの間に挿入されている。
【０１２１】
この場合の特徴的な機能は、対象タスク単語クラス化手段３０１と、一般タスク単語クラス化手段３０２とを設け、対象タスクおよび一般タスクのテキストコーパスの単語をクラス化して、言語モデルの推定パラメータ数を減少させることにより、言語モデル学習の際に対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１２２】
以下、図３内の各手段３０１、３０２の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
単語クラス定義データ（図示せず）は、たとえば、前述（図２０参照）のように、単語ｗ、単語ｗが所属するクラスｃ、および、単語ｗが所属するクラスｃから出力される確率Ｐ（ｗ｜ｃ）を記述している。図２０のような単語クラス定義データは、人手で作成してもよく、計算により学習データから作成してもよい。
【０１２３】
対象タスク単語クラス化手段３０１は、単語クラス定義データにしたがい、入力された対象タスク言語データ１０１の単語のうちでクラス定義されているものを順次クラス化し、言語モデル生成手段１０５Ａに出力する。
【０１２４】
一般タスク単語クラス化手段３０２は、単語クラス定義データにしたがい、入力された一般タスク言語データ１０２の単語のうちでクラス定義されているものを順次クラス化し、言語モデル生成手段１０５Ａに出力する。
【０１２５】
次に、図４のフローチャートを参照しながら、図３に示したこの発明の実施の形態２に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１２６】
図４において、ステップＳ４０１〜Ｓ４０３は、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２により実行される処理である。
【０１２７】
また、ステップＳ４０４〜Ｓ４０６は、言語モデル生成手段１０５Ａにより実行される処理であり、前述（図２参照）のステップＳ２０９〜Ｓ２１１にそれぞれ対応している。
【０１２８】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ、単語クラス定義データ（図示せず）を読み込む（ステップＳ４０１）。
【０１２９】
また、対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して、単語をクラスに置き換えたテキストを生成し、これを出力する（ステップＳ４０２）。
【０１３０】
同様に、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して、単語をクラスに置き換えたテキストを生成し、これを出力する（ステップＳ４０３）。
【０１３１】
次に、言語モデル生成手段１０５Ａは、まず、重みパラメータ保存手段（図示せず）から重みパラメータを読み込み（ステップＳ４０４）、続いて、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、クラスを含む単語列である学習用テキストを読み込み、それぞれについて与えられた重みパラメータを乗算することにより、単語および単語列の頻度を累積演算する（ステップＳ４０５）。
【０１３２】
ここで、クラスＮグラム言語モデルの場合、前述と同様に、ｎ単語以下のクラス列について頻度を計算する。
最後に、言語モデル生成手段１０５Ａは、算出された頻度をスムージングし、言語モデルのパラメータを推定して、タスク適応化済みクラス言語モデルを生成し（ステップＳ４０６）、図４の処理ルーチンを終了する。
【０１３３】
上記処理手順と、あらかじめ定義された単語クラス定義データ（図示せず）とにより、クラス言語モデルが得られる。
このように、対象以外のタスクを含む大量データ（一般タスク言語データ１０２）と、対象タスクに関する少量データ（対象タスク言語データ１０１）とから、音声認識用の高精度の言語モデルを推定することができる。
【０１３４】
なお、こうして得られる言語モデルは、音声認識のみならず、言語処理を必要とする文字認識や、自然言語のテキスト処理に対しても適用可能である。
【０１３５】
また、図３に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０１３６】
すなわち、図３内の対象タスク単語クラス化手段３０１と同様の処理を行う対象単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般単語クラス化機能と、言語モデル生成手段１０５Ａと同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１３７】
実施の形態３．
なお、上記実施の形態２では、言語モデル生成手段１０５Ａのみを用いたが、図１（実施の形態１）と同様の類似単語対抽出手段および類似単語列合成手段を併用してもよい。
【０１３８】
図５はこの発明の実施の形態３による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１、図３参照）と同様のものについては、同一符号を付して、または、符号の後に「Ｂ」を付して詳述を省略する。
【０１３９】
この場合の特徴的な機能は、単一のクラス定義にしたがい、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２を設け、単語をクラス化して言語モデルのパラメータ数を減少させるとともに、類似単語対抽出手段１０３Ｂおよび類似単語列合成手段１０４Ｂを設けることにより、言語モデル構築の際に対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１４０】
次に、図６のフローチャートを参照しながら、図５に示したこの発明の実施の形態３に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１４１】
図６において、ステップＳ６０１〜Ｓ６０３は、前述（図４参照）のステップＳ４０１〜Ｓ４０３にそれぞれ対応しており、ステップＳ６０４〜Ｓ６１４は、前述（図２参照）のステップＳ２０１〜Ｓ２１１にそれぞれ対応している。
【０１４２】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ単語クラス定義データ（図示せず）を読み込む（ステップＳ６０１）。
【０１４３】
対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ６０２）。
【０１４４】
また、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ６０３）。
【０１４５】
類似単語対抽出手段１０３Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、対象タスク言語データに含まれるクラスｃＴと、一般タスク言語データに含まれるクラスｃＧ（クラスｃＴとは異なる）との組み合わせからなる単語クラス対（ｃＴ，ｃＧ）のリストを作成し、これを記憶する（ステップＳ６０４）。
【０１４６】
また、類似単語対抽出手段１０３Ｂは、対象タスク言語データに含まれるクラスｃＴと、一般タスク言語データに含まれるクラスｃＧ（クラスｃＴとは異なる）とについて、単語クラス対間の距離ｄ（ｃＴ，ｃＧ）を求め（ステップＳ６０５）、あらかじめ与えられたしきい値ｔｈｃよりも小さいか否かを判定する（ステップＳ６０６）。
【０１４７】
ステップＳ６０６において、ｄ（ｃＴ，ｃＧ）≧ｔｈｃ（すなわち、Ｎｏ）と判定されればステップＳ６０５に戻り、ｄ（ｃＴ，ｃＧ）＜ｔｈｃ（すなわち、Ｙｅｓ）と判定されれば、そのときのクラス対（ｃＴ，ｃＧ）を類似単語対として類似単語列合成手段１０４Ｂに出力する（ステップＳ６０６）。
【０１４８】
類似単語列合成手段１０４Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、クラスに区切られた学習用テキストデータを読み込み、これを長さｎ以下のクラス列に区切って記憶する（ステップＳ６０７）。
【０１４９】
また、各単語クラス化手段３０１および３０２から読み込んだクラス列に基づき、類似単語対抽出手段１０３Ｂにより選択されたクラス対（ｃＴ，ｃＧ）のうち、一般タスクのクラスｃＧが含まれるクラス列「・・・ｃＧ・・・」を取り出す（ステップＳ６０８）。
【０１５０】
さらに、類似単語列合成手段１０４Ｂは、各単語クラス化手段３０１および３０２から読み込んで記憶したクラス列を参照し、一般タスクのクラスｃＧを対象タスクのクラスｃＴで置き換えたクラス列「・・・ｃＴ・・・」が、対象タスク言語データ１０１または一般タスク言語データ１０２に存在するか否かを判定する（ステップＳ６０９）。
【０１５１】
ステップＳ６０９において、各言語データ１０１または１０２にクラス列「・・・ｃＴ・・・」が存在する（すなわち、Ｙｅｓ）と判定されれば、ステップＳ６０８に戻り、クラス列が存在しない（すなわち、Ｎｏ）と判定されれば、そのクラス列「・・・ｃＴ・・・」を合成して、学習用テキストデータとして出力する（ステップＳ６１０）。
【０１５２】
次に、全ての類似クラス対に対して処理を終了したか否かを判定し（ステップＳ６１１）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ６０５に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、言語モデル生成手段１０５Ｂによる処理ステップ（Ｓ６１２〜Ｓ６１４）に進む。
これにより、上記処理は全ての類似単語クラス対（ｃＴ，ｃＧ）に対して繰り返し実行される。
【０１５３】
言語モデル生成手段１０５Ｂは、まず、重みパラメータ保存手段（図示せず）から重みパラメータを読み込み（ステップＳ６１２）、続いて、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４Ｂから、重みパラメータにより頻度の重み付けされて単語に区切られた学習用テキストを読み込む（ステップＳ６１３）。
【０１５４】
また、頻度のスムージングを行うことにより、言語モデルのパラメータを推定し（ステップＳ６１４）、図６の処理ルーチンを終了する。
上記処理手順およびあらかじめ定義される単語クラス定義データ（図示せず）により、タスク適応化したクラス言語モデルが得られる。
【０１５５】
このように、対象以外のタスクを含む大量データと、対象タスクに関する少量データとから、音声認識のための高精度の言語モデルを学習することができる。
【０１５６】
なお、こうして得られる言語モデルは、音声認識のみならず、言語処理を必要とする文字認識、自然言語によるテキスト処理などにも適用可能である。
【０１５７】
また、図５に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０１５８】
すなわち、図５内の対象タスク単語クラス化手段３０１と同様の処理を行う対象単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般単語クラス化機能と、類似単語対抽出手段１０３Ｂと同様の処理を行う類似単語対抽出機能と、類似単語列合成手段１０４Ｂと同様の処理を行う類似単語列合成機能と、言語モデル生成手段１０５Ｂと同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１５９】
実施の形態４．
なお、上記実施の形態１〜３では、タスク適応化済み言語モデルを生成するために、言語モデル生成手段１０５、１０５Ａまたは１０５Ｂを用いたが、事前に作成された初期言語モデルと、単語出現確率のスムージングを実行する類似単語確率補正手段とを用いてもよい。
【０１６０】
図７はこの発明の実施の形態４による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１参照）と同様のものについては、同一符号を付して詳述を省略する。
【０１６１】
図７において、７０１は初期言語モデル、７０２は類似単語確率補正手段である。
類似単語確率補正手段７０２は、類似単語対抽出手段１０３からの類似単語対と、初期言語モデル７０１からの事前の言語モデルとに基づいて、タスク適応化済み統計的言語モデルを生成する。
【０１６２】
この場合の特徴的な機能は、類似単語対抽出手段１０３および類似単語確率補正手段７０２を設け、対象タスクに特有の単語について一般タスクのテキストデータに出現する類似単語の性質を反映させるため、統計的言語モデル構築の際に、対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１６３】
以下、図７内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
初期言語モデル７０１は、周知の従来方法や上記実施の形態１などの方法によりパラメータ推定された統計的言語モデルからなる。
【０１６４】
類似単語確率補正手段７０２は、初期言語モデル７０１および類似単語対抽出手段１０３から、対象タスクと一般タスク間の類似単語対を読み込み、対象タスクの単語が含まれる単語列の条件付き出現確率を補正する。
このときの単語列出現確率の補正処理においては、類似した一般タスクの単語が含まれる単語列の条件付き出現確率が用いられる。
【０１６５】
類似単語確率補正手段７０２が割り当てる確率は、学習テキストデータで未出現の単語列の出現確率として求められ、出現した単語列の条件付き確率から除いた（ディスカウントした）確率の一部である。すなわち、学習用テキストデータに存在する単語列の条件付き出現確率は、初期言語モデル７０１と等しいままで保存される。
【０１６６】
次に、図８のフローチャートを参照しながら、図７に示したこの発明の実施の形態４に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１６７】
図８において、ステップＳ８０１〜Ｓ８０３およびＳ８０５は、前述（図２参照）のステップＳ２０１〜Ｓ２０３およびＳ２０８にそれぞれ対応している。
また、ステップＳ８０６〜Ｓ８１２は、類似単語確率補正手段７０２により実行される処理である。
【０１６８】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１および一般タスク言語データ１０２から、単語に区切られた学習用テキストを読み込み（ステップＳ８０１）、対象タスク言語データに含まれる単語ｗＴと一般タスク言語データに含まれる単語ｗＧ（ｗＴとは異なる）とについて、距離ｄ（ｗＴ，ｗＧ）を求める（ステップＳ８０２）。
【０１６９】
続いて、単語間の距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈよりも小さいか否かを判定し（ステップＳ８０３）、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されればステップＳ８０２に戻り、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語対に追加する（ステップＳ８０４）。
【０１７０】
以下、上記処理を全ての単語対について計算終了したか否かを判定し（ステップＳ８０５）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ８０２に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、次の処理ステップＳ８０６に進む。
これにより、全単語対についての計算が順次行われ、作成された類似単語対（ｗＴ，ｗＧ）の一覧が類似単語確率補正手段７０２に出力される。
【０１７１】
類似単語確率補正手段７０２は、まず、初期言語モデル７０１を読み込み（ステップＳ８０６）、続いて、類似単語対抽出手段１０３から読み出される類似単語対（ｗＴ，ｗＧ）について、初期言語モデル７０１内に定義された条件付き確率のうち、一般タスク単語ｗＧを含む条件付き確率ＰｗＧ（ｗn｜ｗ1，・・・，ｗn-1）を取り出す（ステップＳ８０７）。
【０１７２】
次に、取り出したそれぞれの条件付き確率について、一般タスク単語ｗＧを対象タスク単語ｗＴで置き換えた条件付き確率ＰｗＴ（ｗn｜ｗ1，・・・，ｗn-1）が、初期言語モデル７０１で定義されているか否かを判定する（ステップＳ８０８）。
【０１７３】
ステップＳ８０８において、条件付き確率ＰｗＴ（ｗn｜ｗ1，・・・，ｗn-1）が初期言語モデル７０１で定義されていない（すなわち、Ｎｏ）と判定されれば、未知の単語列のために除いた確率から一部を割り当てて、条件付き確率を補正し（ステップＳ８０９）、次の判定ステップＳ８１０に進む。
【０１７４】
一方、条件付き確率ＰｗＧが定義されており、ステップＳ８０８において、条件付き確率ＰｗＴが定義されている（すなわち、Ｙｅｓ）と判定されれば、直ちに次の判定ステップＳ８１０に進む。
【０１７５】
このとき、ステップＳ８０９において補正した確率は、たとえば、同一の単語履歴（ｗ1，・・・，ｗn-1）である条件付き確率のうちの最小値とする。
【０１７６】
次に、他にも一般単語ｗＧを含む単語列の条件付き確率が存在するか否かを判定し（ステップＳ８１０）、一般単語ｗＧを含む単語列が存在する（すなわち、Ｙｅｓ）と判定されれば、ステップＳ８０８に戻る。
【０１７７】
一方、ステップＳ８１０において、一般単語ｗＧを含む条件付き確率が他に存在しない（すなわち、Ｎｏ）と判定されれば、全ての単語対（ｗＴ，ｗＧ）について、上記処理の実行が終了したか否かを判定する（ステップＳ８１１）。
【０１７８】
ステップＳ８１１において、全単語対の処理が終了していない（すなわち、Ｎｏ）と判定されればステップＳ８０７に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、次の処理ステップＳ８１２に進む。
【０１７９】
これにより、全ての一般単語ｗＧを含む単語列について、また、全ての一般単語ｗＧを含む単語対（ｗＴ，ｗＧ）について、上記処理が実行される。
最後に、言語モデルの確率の和が「１」となるように、未知の単語列のために言語モデルから除いた確率の総和を正規化して（ステップＳ８１２）、図８の処理ルーチンを終了する。
【０１８０】
仮に、条件付き確率が定義されていない場合には、通常は簡易な言語モデルによって与えられる確率が使われる。
たとえば、ＫａｔｚのバックオフにしたがうＮグラム言語モデルでは、低次のＮ−１グラム言語モデルが参照されて、小さな確率が割り当てられるが、この確率の精度は低いので、対象タスクの類似単語を含む単語列がある場合、実際よりも大き確率が見積もられることになる。
【０１８１】
一般単語ｗＧを含む他の条件付き確率ＰｗＧについても、ステップＳ８１０により同様に処理され、また、ステップＳ８０６〜Ｓ８１０の処理は、ステップＳ８１１により、全ての類似単語対（ｗＧ、ｗＴ）について実行される。
【０１８２】
このように、類似単語確率補正手段７０２を用いることにより、一般タスクと対象タスクとの間で性質が類似する単語について、一般タスクの単語の出現確率を用いたスムージングが行われ、音声認識用のさらに精度の高いモデルを推定することができる。
【０１８３】
なお、こうして得られる言語モデルは、前述と同様に、言語処理を必要とする文字認識や、テキスト処理などにも適用可能である。
【０１８４】
また、図７に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
すなわち、図７内の類似単語対抽出手段１０３と同様の処理を行う類似単語対抽出機能と、類似単語確率補正手段７０２と同様の処理を行う類似単語確率補正機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１８５】
実施の形態５．
なお、上記実施の形態４では、対象タスク言語データ１０１および一般タスク言語データ１０２からの各テキストデータをそのまま用いたが、上記実施の形態３（図５参照）のようにクラス化されたテキストデータを用いてもよい。
【０１８６】
図９はこの発明の実施の形態５による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図５、図７参照）と同様のものについては、同一符号を付して詳述を省略する。
【０１８７】
図９において、９０１は初期クラス言語モデルであり、前述（図７参照）の初期言語モデル７０１に代えて、類似単語確率補正手段７０２に接続されている。
【０１８８】
この場合の特徴的な機能は、類似単語対抽出手段１０３Ｂ、対象タスク単語クラス化手段３０１、一般タスク単語クラス化手段３０２および類似単語確率補正手段７０２を設け、対象タスクに特有のクラスに対して一般タスクのテキストデータに出現する類似クラスの性質を反映させることにより、対象タスクのデータが少量であっても、初期クラス言語モデル９０１から、さらに認識精度を高めたクラス言語モデルを生成することにある。
【０１８９】
以下、図９内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
初期クラス言語モデル９０１は、周知の従来方法や上記実施の形態２、３などの方法によりパラメータ推定された統計的クラス言語モデルからなる。
【０１９０】
類似単語確率補正手段７０２により割り当てられる確率は、学習テキストデータで未出現の単語クラス列のために出現した単語クラス列の条件付き確率から除いた（ディスカウントした）確率の一部であり、学習用テキストデータに含まれる単語クラスの条件付き出現確率が保存される。
【０１９１】
たとえば、単語クラスに関する条件付き確率Ｐ（ｃn｜ｃ1，・・・，ｃn-1）を変えた場合、単語クラス列の元の条件付き確率よりも大きくなるように確率が割り当てられる。
【０１９２】
次に、図１０のフローチャートを参照しながら、図９に示したこの発明の実施の形態５に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１９３】
図１０において、ステップＳ１００１〜Ｓ１００３は、前述（図６参照）のステップＳ６０１〜Ｓ６０３にそれぞれ対応しており、ステップＳ１００４〜Ｓ１０１５は、前述（図８参照）のステップＳ８０１〜Ｓ８１２にそれぞれ対応している。
【０１９４】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ単語クラス定義データ（図示せず）を読み込む（ステップＳ１００１）。
【０１９５】
対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ１００２）。
【０１９６】
また、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ１００３）。
【０１９７】
次に、類似単語対抽出手段１０３Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２を通して、それぞれクラス列を読み込む（ステップＳ１００４）。
【０１９８】
また、対象タスク言語データに含まれるクラスｃＴと一般タスク言語データに含まれるクラスｃＧ（ｃＴとは異なる）とについて、距離ｄ（ｃＴ，ｃＧ）を求め（ステップＳ１００５）、クラス間の距離ｄ（ｃＴ，ｃＧ）がしきい値ｔｈｃよりも小さいか否かを判定する（ステップＳ１００６）。
【０１９９】
ステップＳ１００６において、ｄ（ｃＴ，ｃＧ）≧ｔｈｃ（すなわち、Ｎｏ）と判定されればステップＳ１００５に戻り、ｄ（ｃＴ，ｃＧ）＜ｔｈｃ（すなわち、Ｙｅｓ）と判定されれば、そのときのクラス対（ｃＴ，ｃＧ）を類似クラス対に追加する（ステップＳ１００７）。
【０２００】
以下、判定ステップＳ１００８を介して、上記処理を順次全てのクラス対について実行し、作成された類似クラス対（ｃＴ，ｃＧ）の一覧を類似単語確率補正手段７０２に出力する。
【０２０１】
次に、類似単語確率補正手段７０２は、まず、初期クラス言語モデル９０１を読み込み（ステップＳ１００９）、続いて、類似単語対抽出手段１０３Ｂから類似クラス対（ｃＴ，ｃＧ）を順次読み出す（ステップＳ１０１０）。
【０２０２】
また、初期クラス言語モデル９０１内に定義された条件付き確率のうち、一般タスクのクラスｃＧを含む条件付き確率ＰｃＧ（ｃn｜ｃ1，・・・，ｃn-1）のそれぞれについて、一般タスククラスｃＧを対象タスククラスｃＴで置き換えた条件付き確率ＰｃＴ（ｃn｜ｃ1，・・・ｃn-1）が学習データ内で定義されているか否かを判定する（ステップＳ１０１１）。
【０２０３】
ステップＳ１０１１において、条件付き確率ＰｃＴ（ｃn｜ｃ1，・・・，ｃn-1）が初期クラス言語モデル９０１で定義されていない（すなわち、Ｎｏ）と判定されれば、未知のクラス列のために除いた確率から一部を割り当てて、条件付き確率を補正し（ステップＳ１０１２）、次の判定ステップＳ１０１３に進む。
【０２０４】
一方、条件付き確率ＰｃＧが定義されており、ステップＳ１０１１において、条件付き確率ＰｃＴが定義されている（すなわち、Ｙｅｓ）と判定されれば、直ちに次の判定ステップＳ１０１３に進む。
【０２０５】
このとき、ステップＳ１０１２において補正した確率は、たとえば、同一のクラス履歴（ｃ1，・・・，ｃn-1）である条件付き確率のうちの最小値とする（ステップＳ１０１２）。
【０２０６】
以下、ステップＳ１０１３を介して、クラスｃＧを含む他の条件付き確率ＰｃＧについても同様の処理が行われる。また、ステップＳ１０１４を介して、上記ステップＳ１００６〜Ｓ１０１０の処理は、全ての類似クラス対（ｃＧ、ｃＴ）について実行される。
【０２０７】
最後に、類似単語確率補正手段７０２は、クラス言語モデルの確率の和が１となるようにバックオフ確率を正規化して、タスク適応化済みクラス言語モデルを生成し（ステップＳ１０１５）、図１０の処理ルーチンを終了する。
【０２０８】
このように、各単語クラス化手段３０１および３０２とともに、類似単語対抽出手段１０３Ｂおよび類似単語確率補正手段７０２を設け、一般タスクと対象タスクとの間で性質が類似する単語クラスについて、一般タスクの単語クラスの出現確率を用いたスムージングを行うことにより、音声認識用のクラス言語モデルを高精度に推定することができる。
【０２０９】
なお、こうして得られるクラス言語モデルは、言語処理を必要とする文字認識や、自然言語のテキスト処理などにも適用可能である。
【０２１０】
また、図９に示した音声認識用言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０２１１】
すなわち、図９内の類似単語対抽出手段１０３Ｂと同様の処理を行う類似単語対抽出機能と、対象タスク単語クラス化手段３０１と同様の処理を行う対象タスク単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般タスク単語クラス化機能と、類似単語確率補正手段７０２と同様の処理を行う類似単語確率補正機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０２１２】
実施の形態６
なお、上記実施の形態１では、類似単語対抽出手段の機能構成について具体的に言及しなかったが、たとえば図１１のように構成してもよい。
【０２１３】
図１１はこの発明の実施の形態６による音声認識用の言語モデル学習装置に用いられる類似単語対抽出手段１０３Ｃの具体的構成例を示す機能ブロック図であり、前述と同様のものについては、同一符号を付して、または符号の後に「Ｃ」を付して、詳述を省略する。
【０２１４】
図１１において、１１０１は統計的単語間距離算出手段、１１０２はしきい値判定手段、１１０５は類似単語対抽出手段１０３Ｃ内の距離算出用言語モデル生成手段である。
【０２１５】
この場合の特徴的な機能は、類似単語対抽出手段１０３Ｃ内に距離算出用言語モデル生成手段１１０５、統計的単語間距離算出手段１１０１およびしきい値判定手段１１０２を設け、言語データにしたがった統計的距離尺度に基づき、対象タスクの単語ｗＴと一般タスクの単語ｗＧとの単語間距離ｄ（ｗＴ，ｗＧ）を算出して単語対を選択することにより、高精度に類似単語対を判定することにある。
【０２１６】
以下、図１１内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
類似単語対抽出手段１０３Ｃにおいて、統計的単語間距離算出手段１１０１は、距離算出用言語モデル生成手段１１０５から推定された言語モデルを取り出し、対象タスク言語データ１０１および一般タスク言語データ１０２から抽出される異なる単語対のそれぞれについて、言語モデルに基づいた単語間距離を求め、単語対および単語間距離を出力する。
【０２１７】
しきい値判定手段１１０２は、単語対および統計的単語間距離を、統計的単語間距離算出手段１１０１から順次読み込み、単語間距離が一定のしきい値以下の場合に、単語対（ｗＴ，ｗＧ）を出力する。
【０２１８】
このとき、統計的単語間距離算出手段１１０１は、対象タスク内単語ｗＴおよび一般タスク内単語ｗＧに関する統計的単語間距離の算出方法として、たとえば、Ｎグラム言語モデルの条件付き確率におけるユークリッド距離を用い、以下の（７）式のように統計的単語間距離Ｄ1（ｗＴ，ｗＧ）を求める。
【０２１９】
【数７】
【０２２０】
ただし、（７）式において、Ｖは言語データ（単語）の語彙ｘの母集団であり、言語モデルに含まれる全ての語彙を表す。
【０２２１】
また、統計的単語間距離算出手段１１０１は、後続単語に対する先行単語の条件付き確率を用いたユークリッド距離を用い、以下の（８）式のように、統計的単語間距離Ｄ2（ｗＴ，ｗＧ）を求めることができる。
【０２２２】
【数８】
【０２２３】
また、上記（７）式および（８）式を個別に用いることのみならず、（７）式と（８）式との和を用いることもできる。
【０２２４】
また、統計的単語間距離算出手段１１０１は、たとえば、単語ｗＴに関するクロスエントロピーを用い、以下の（９）式のように、統計的単語間距離Ｄ3（ｗＴ，ｗＧ）を求めることができる。
【０２２５】
【数９】
【０２２６】
また、ユークリッド距離を用いた場合と同様に、以下の（１０）式に示すように、後続単語に関する先行単語の条件付き確率を用いることができる。
【０２２７】
【数１０】
【０２２８】
また、上記（９）式および（１０）式を個別に用いることのみならず、（９）式と（１０）式との和を用いることもできる。
【０２２９】
さらに、上記統計的尺度と言語情報とを組み合わせて用いることもできる。
たとえば、単語が形態素を表す場合において、２つの単語の品詞が同一でない場合、距離を無限大として類似単語候補から外すことができる。
【０２３０】
次に、図１２のフローチャートを参照しながら、図１１に示したこの発明の実施の形態６に基づくタスク適応における類似単語対抽出手段１０３Ｃの動作について、さらに具体的に説明する。
図１２において、ステップＳ１２０３〜Ｓ１２０７は、前述（図２参照）のステップＳ２０１〜Ｓ２０３、Ｓ２０７およびＳ２０８にそれぞれ対応している。
【０２３１】
まず、距離算出用言語モデル生成手段１１０５は、対象タスク言語データ１０１および一般タスク言語データ１０２を読み込み（ステップＳ１２０１）、入力されたテキストデータから、言語モデルのパラメータ推定を行う（ステップＳ１２０２）。
【０２３２】
また、統計的単語間距離算出手段１１０１は、対象タスクに含まれる単語ｗＴと、一般タスクに含まれる単語ｗＧとの任意の組み合わせからなる単語対（ｗＴ，ｗＧ）を作成し（ステップＳ１２０３）、距離算出用言語モデル生成手段１１０５により推定される言語モデル上で統計的距離ｄ（ｗＴ，ｗＧ）を計算する（ステップＳ１２０４）。
【０２３３】
続いて、しきい値判定手段１１０２は、統計的単語間距離算出手段１１０１から得られた単語対（ｗＴ，ｗＧ）の距離ｄ（ｗＴ，ｗＧ）をしきい値ｔｈと比較し、距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈ未満であるか否かを判定する（ステップＳ１２０５）。
【０２３４】
ステップＳ１２０５において、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されればステップＳ１２０４に戻り、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語対として出力する（ステップＳ１２０６）。
【０２３５】
以下、終了判定ステップＳ１２０７を介して、以上の処理を全ての単語対（ｗＴ，ｗＧ）について行う。
【０２３６】
このように、類似単語対抽出手段１０３Ｃにおいて、言語モデルを推定して統計量に基づいた距離尺度を利用することにより、高精度の類似単語対を判定することができる。
【０２３７】
なお、こうして得られる言語モデルは、言語処理を必要とする文字認識や、自然言語のテキスト処理などにも適用可能である。
また、図１１内の類似単語対抽出手段１０３Ｃの機能をプログラムとして記録媒体に記録することもできる。
【０２３８】
すなわち、図１１内の距離算出用言語モデル生成手段１１０５と同様の処理を行う言語モデル生成機能と、統計的単語間距離算出手段１１０１と同様の処理を行う統計的単語間距離算出機能と、しきい値判定手段１１０２と同様の処理を行うしきい値判定機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習装置の類似単語対抽出プログラムを実現することができる。
【０２３９】
また、図１１においては、距離算出用言語モデル生成手段１１０５を用いたが、図１３のように、距離算出用言語モデル１３０１を用いてもよい。
図１３において、類似単語対抽出手段１０３Ｄ内の距離算出用言語モデル１３０１は、前述（図７参照）の初期言語モデル７０１と同様のものであり、事前に作成されている。
【０２４０】
また、ここでは、類似単語対抽出手段１０３Ｃへの入力データを単語としているが、単語の代わりに、図１４のように単語クラスを用いてもよい。
図１４において、類似単語対抽出手段１０３Ｅ内の距離算出用言語モデル生成手段１１０５Ｅおよび統計的単語間距離算出手段１１０１Ｅは、各単語クラス化手段３０１および３０２から単語クラスを取り込んでいる。
この場合も、前述と同様に、クラス対を抽出することができる。
【０２４１】
さらに、図１４においては、距離算出用言語モデル生成手段１１０５Ｅを用いているが、図１５のように、距離算出用クラス言語モデル１５０１を用いてもよい。
図１５において、類似単語対抽出手段１０３Ｆ内の距離算出用クラス言語モデル１５０１は、前述（図９参照）の初期クラス言語モデル９０１と同様のものであり、事前に作成されている。
【０２４２】
実施の形態７
なお、上記実施の形態１〜６では、言語モデル学習装置のみに注目し、音声認識装置について具体的に言及しなかったが、たとえば、音声認識装置を図１６のように構成してもよい。
【０２４３】
図１６はこの発明の実施の形態７による言語モデルを用いた音声認識装置を概略的に示すブロック構成図であり、従来方法または上記実施の形態１、４、６などで述べた方法により生成される言語モデルを用いた場合を示している。
【０２４４】
図１６において、１６０１は音響特徴抽出手段、１６０２は音響モデル、１６０３は音響照合手段、１６０４は単語辞書、１６０５は言語モデル、１６０６は言語照合手段である。
【０２４５】
言語モデル１６０５は、上記実施の形態１、４、６で述べた言語モデル学習装置および方法を用いて構築されたものである。
この場合の特徴的な機能は、各手段１６０１〜１６０４とともに、言語モデル１６０５を用いた言語照合手段１６０６を設け、対象タスクのデータが少量の場合であっても高精度の音声認識を可能としたことにある。
【０２４６】
以下、図１６内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
まず、音響特徴抽出手段１６０１は、入力された音声波形をＡ／Ｄ変換するとともに、分析時間フレーム毎に取り出して、メルケプストラムなどの音声特徴を良好に表すパラメータのベクトルに変換する。
【０２４７】
音響モデル１６０２は、たとえばＨＭＭを用いて、音声の認識単位（音素や単語など）内の音響特徴ベクトルの性質を確率分布や状態推移などによって表すものである。
【０２４８】
音響照合手段１６０３は、音響特徴抽出手段１６０１から得られる音素の音響特徴ベクトルと、音響モデル１６０２とを照合し、照合の度合いを表すスコアを出力する。
【０２４９】
単語辞書１６０４は、音響モデル１６０２の並びと、言語的な単位である単語との対応を記述するものである。
言語モデル１６０５は、言語モデル学習装置から得られ、認識対象とする単語の接続情報を記述するものであり、たとえば、単語Ｎグラム言語モデルを用いて単語間の遷移を（ｎ−１）重マルコフ過程で表現する。
【０２５０】
言語照合手段１６０６は、音響照合手段１６０３から音響特徴量と音響モデルとの照合スコアを受け取り、単語辞書１６０４および言語モデル１６０５を参照して、認識対象となる単語列のうち、最もスコアが高いものを認識結果とする処理を行う。
【０２５１】
次に、図１７のフローチャートを参照しながら、図１６に示したこの発明の実施の形態７に基づく音声認識の手順について、さらに具体的に説明する。
まず、図１６に示す音声認識装置は、あらかじめ準備した音響モデル１６０２および単語辞書１６０４とともに、上記実施の形態１、４、６（図１、図２、図７、図８、図１１〜図１３参照）により生成された言語モデル１６０５を読み込む（ステップＳ１７０１）。
【０２５２】
音響特徴抽出手段１６０１は、認識対象である入力音声をＡ／Ｄし、ある時間区間を区切った音声フレームを読み込み（ステップＳ１７０２）、対象とする音声フレームについて信号処理手法を用い、メルケプストラムなどの音声特徴を良好に表す音響特徴ベクトルを抽出する（ステップＳ１７０３）。
【０２５３】
続いて、音響照合手段１６０３は、ステップＳ１７０３で得られた音響特徴ベクトルを音響モデル１６０２と照合して、音響照合スコアを求める（ステップＳ１７０４）。
【０２５４】
次に、言語照合手段１６０６は、単語辞書１６０４および言語モデル１６０５を参照して、認識対象となる単語について、音響照合スコアを累積していく（ステップＳ１７０５）。
【０２５５】
言語照合手段１６０６は、上記照合処理を各フレーム毎に実行しながら、対象音声の最終フレームに到達したか否かを判定し（ステップＳ１７０６）、対象音声の最終フレームに到達していない（すなわち、Ｎｏ）と判定されればステップＳ１７０２戻る。
【０２５６】
また、ステップＳ１７０６において、対象音声の最終フレームに到達した（すなわち、Ｙｅｓ）と判定されれば、照合が終了したものと見なし、この時点で最も良いスコアとなっているものを認識結果として出力し（ステップＳ１７０７）、図１７の処理ルーチンを終了する。
【０２５７】
このように、言語モデル１６０５を用いることにより、対象以外のタスクを含む大量データと、対象タスクに関する少量データとから、高精度の言語モデルが構築されるので、高精度の音声認識を実現することができる。
【０２５８】
実施の形態８
なお、上記実施の形態７では、上記実施の形態１、４、６により生成された言語モデルを用いたが、上記実施の形態２、３、５、６により生成されたクラス言語モデルを用いてもよい。
【０２５９】
図１８はこの発明の実施の形態８による言語モデルを用いた音声認識装置を概略的に示すブロック構成図であり、上記実施の形態２、３、５、６で述べた装置および方法により生成される言語モデルを用いた場合を示している。
【０２６０】
図１８において、各手段１６０１〜１６０４は前述（図１６参照）と同様のものであり、言語照合手段１６０６Ａは前述の言語照合手段１６０６に対応している。
１８０１は言語モデル内のクラスと単語との対応関係を表すクラス定義、１８０２はクラスの出現確率を与えるクラス言語モデルである。
【０２６１】
クラス言語モデル１８０２は、上記実施の形態２、３、５、６（図３〜図６、図９、図１０、図１４、図１５参照）で述べた装置および方法を用いて構築したものである。
【０２６２】
この場合の特徴的な機能は、クラス言語モデル１８０２を用いた言語照合手段１６０６Ａを設けることにより、学習に用いた対象タスクのデータが少量の場合であっても高精度の音声認識を可能にしたことにある。
【０２６３】
次に、図１９のフローチャートを参照しながら、図１８に示したこの発明の実施の形態８に基づく音声認識の手順について、さらに具体的に説明する。
図１９において、ステップＳ１９０１〜Ｓ１９０７は、前述（図１７参照）のステップＳ１７０１〜Ｓ１７０７にそれぞれ対応している。
【０２６４】
まず、あらかじめ準備した音響モデル１６０２、単語辞書１６０４およびクラス定義１８０１とともに、上記実施の形態２、３、５、６により生成されたクラス言語モデル１８０２を読み込む（ステップＳ１９０１）。
【０２６５】
音響特徴抽出手段１６０１は、認識対象である入力音声をＡ／Ｄし、ある時間区間を区切った音声フレームを読み込み（ステップＳ１９０２）、対象とする音声フレームについて信号処理手法を用い、メルケプストラムなどの音声特徴を良好に表す音響特徴ベクトルを抽出する（ステップＳ１９０３）。
【０２６６】
続いて、音響照合手段１６０３は、得られた音響特徴ベクトルを音響モデル１６０２と照合して、音響照合スコアを求める（ステップＳ１９０４）。
【０２６７】
次に、言語照合手段１６０６Ａは、単語辞書１６０４、クラス定義１８０１およびクラス言語モデル１８０２を参照して、認識対象となる単語について、音響照合スコアを累積していく（ステップＳ１９０５）。
【０２６８】
以下、ステップＳ１９０６を介して上記照合処理を各フレーム毎に実行していき、対象音声の最終フレームに到達して照合が終了した時点で、最も良いスコアとなっているものを認識結果として出力し（ステップＳ１９０７）、図１９の処理ルーチンを終了する。
【０２６９】
このように、クラス言語モデル１８０２を用いることにより、対象以外のタスクを含む大量データと対象タスクに関する少量データとから、高精度の音声認識を実現することができる。
【０２７０】
【発明の効果】
以上のように、この発明の請求項１によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、タスク適応化済み言語モデルを構築するための、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから各テキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、各テキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、各テキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７１】
また、この発明の請求項２によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７２】
また、この発明の請求項３によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、第１および第２のテキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７３】
また、この発明の請求項４によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、事前に準備したテキストデータを用いて作成された初期言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期言語モデルから、タスク適応化済み統計的言語モデルを構築するための、類似単語対抽出手段および類似単語確率補正手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済み統計的言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７４】
また、この発明の請求項５によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、あらかじめ作成された初期クラス言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期クラス言語モデルから、タスク適応化済みクラス言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段および類似単語確率補正手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期クラス言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済みクラス言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７５】
また、この発明の請求項６によれば、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７６】
また、この発明の請求項７によれば、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７７】
また、この発明の請求項８によれば、請求項３または請求項５において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７８】
また、この発明の請求項９によれば、請求項３または請求項５において、類似単語抽出手段は、距離算出用クラス言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用クラス言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用クラス言語モデルを読み込むとともに、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用クラス言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７９】
また、この発明の請求項１０によれば、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のユークリッド距離を用いて、単語間距離を測定するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２８０】
また、この発明の請求項１１によれば、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のクロスエントロピーを用いて、単語間距離を測定するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２８１】
また、この発明の請求項１２によれば、請求項１から請求項１１までのいずれかの言語モデル学習装置を用いた音声認識装置であって、言語モデルまたはクラス言語モデルは、音声認識に用いられるようにしたので、高精度の音声認識装置が得られる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による言語モデル学習装置を概略的に示すブロック構成図である。
【図２】 この発明の実施の形態１による言語モデル学習装置の処理手順を示すフローチャートである。
【図３】 この発明の実施の形態２による言語モデル学習装置を概略的に示すブロック構成図である。
【図４】 この発明の実施の形態２による言語モデル学習装置の処理手順を示すフローチャートである。
【図５】 この発明の実施の形態３による言語モデル学習装置を概略的に示すブロック構成図である。
【図６】 この発明の実施の形態３による言語モデル学習装置の処理手順を示すフローチャートである。
【図７】 この発明の実施の形態４による言語モデル学習装置を概略的に示すブロック構成図である。
【図８】 この発明の実施の形態４による言語モデル学習装置の処理手順を示すフローチャートである。
【図９】 この発明の実施の形態５による言語モデル学習装置を概略的に示すブロック構成図である。
【図１０】 この発明の実施の形態５による言語モデル学習装置の処理手順を示すフローチャートである。
【図１１】 この発明の実施の形態６による言語モデル学習装置の類似単語対抽出手段を具体例に示す機能ブロック図である。
【図１２】 この発明の実施の形態６による言語モデル学習装置の類似単語対抽出手段の処理手順を示すフローチャートである。
【図１３】 この発明の実施の形態６による類似単語対抽出手段の第２の具体例を示す機能ブロック図である。
【図１４】 この発明の実施の形態６による類似単語対抽出手段の第３の具体例を示す機能ブロック図である。
【図１５】 この発明の実施の形態６による類似単語対抽出手段の第４の具体例を示す機能ブロック図である。
【図１６】 この発明の実施の形態７による言語モデル学習装置を用いた音声認識装置を概略的に示すブロック構成図である。
【図１７】 この発明の実施の形態７による言語モデル学習装置を用いた音声認識装置の処理手順を示すフローチャートである。
【図１８】 この発明の実施の形態８による言語モデル学習装置を用いた音声認識装置を概略的に示すブロック構成図である。
【図１９】 この発明の実施の形態８による言語モデル学習装置を用いた音声認識装置の処理手順を示すフローチャートである。
【図２０】 一般的なクラス定義の一例を示す説明図である。
【図２１】 従来の言語モデル学習装置を概略的に示すブロック構成図である。
【図２２】 従来の言語モデル学習装置および方法による処理手順を示すフローチャートである。
【符号の説明】
１０１ 対象タスク言語データ、１０２ 一般タスク言語データ、１０３、１０３Ｂ、１０３Ｃ、１０３Ｄ、１０３Ｅ、１０３Ｆ 類似単語対抽出手段、１０４、１０４Ｂ 類似単語列合成手段、１０５、１０５Ａ、１０５Ｂ 言語モデル生成手段、３０１ 対象タスク単語クラス化手段、３０２ 一般タスク単語クラス化手段および言語モデル生成手段とを備え、７０１ 初期言語モデル、７０２ 類似単語確率補正手段、９０１ 初期クラス言語モデル、１１０１、１１０１Ｄ、１１０１Ｆ 統計的単語間距離算出手段、１１０２、１１０２Ｅ しきい値判定手段、１１０５、１１０５Ｅ 距離算出用言語モデル生成手段、１３０１ 距離算出用言語モデル、１５０１ 距離算出用クラス言語モデル、１６０５ 言語モデル、１８０２ クラス言語モデル。
【発明の属する技術分野】
この発明は、確率的言語モデルを用いた言語モデル学習装置およびそれを用いた音声認識装置に関するものである。
【０００２】
【従来の技術】
一般に、音声認識においては、通常、ディジタル化されて入力される音声信号の処理手法を用いて、音声の音響的特徴をよく表すベクトルの時系列に変換した後、音声モデルとの照合処理が行われる。
【０００３】
照合処理とは、Ｋ個の時刻フレームからなる音響特徴ベクトル時系列Ａ（＝［ａ1，ａ2，・・・，ａK］）に基づいて、発声された単語列Ｗ（＝［ｗ1，ｗ2，・・・，ｗM］、（Ｍは単語数））を求める問題に相当する。
【０００４】
上記照合処理において、認識精度が最も高くなるような単語列Ｗを推定するためには、出現確率Ｐ（Ｗ｜Ａ）が最大となる認識単語列Ｗ*を、以下の（１）式により求めればよい。
【０００５】
【数１】
ただし、（１）式において、出現確率Ｐ（Ｗ｜Ａ）を直接求めることは、通常困難である。そこで、出現確率Ｐ（Ｗ｜Ａ）は、ベイズの定理を用いて、以下の（２）式のように書き換えられる。
【０００７】
【数２】
ここで、（２）式の左辺を最大化する単語列Ｗを求める際、右辺の分母Ｐ（Ａ）は、認識候補となる単語列Ｗに影響を与えないので、右辺の分子を最大化する単語列Ｗを求めればよい。すなわち、認識単語列Ｗ*は、以下の（３）式のように表される。
【０００９】
【数３】
ここで、（３）式内のＰ（Ｗ）を与える確率モデル、Ｐ（Ａ｜Ｗ）を与える確率モデルを、それぞれ、言語モデル、音響モデルと呼ぶ。
音声認識において、近年盛んに検討されているモデル化方法としては、音響モデルを「隠れマルコフモデル」で表現し、言語モデルを「確率言語モデル」で表現するものが知られている。
【００１１】
これらのモデル化方法の詳細は、たとえば、「音声認識の基礎（上、下）」（Ｌ．Ｒ．ＲＡＢＩＮＥＲ、Ｂ．Ｈ．ＪＵＡＮＧ、古井監訳、１９９５年、１１月、ＮＴＴアドバンステクノロジ）（以下、「文献１」と称する）、または「確率的言語モデル」（北研二、東京大学出版会）（以下、「文献２」と称する）などに記されている。
【００１２】
これらの方法において、確率モデルを構成するパラメータは、大量のデータから統計的に推定される。
すなわち、音響モデルの構築においては、あらかじめ多数の話者からの単語や文などの音声データを収集し、統計的手法を利用して認識精度や認識精度と良好に関連した指標が向上するように推定が行われる。
【００１３】
たとえば、バウム・ウェルチアルゴリズムを用いて、学習データに対して尤度が大きくなるように、音響モデルを構成する「隠れマルコフモデル」のパラメータを推定する。
音響モデルの推定方法は、上記文献１の下巻に詳述されている。
【００１４】
同様に、言語モデルの構築においては、新聞や会話の書き起こしなどのテキストから、言語モデルの構造にしたがって、それぞれの発話や発話を構成する単語の出現する確率を計算する。
【００１５】
言語モデルの構造としては、直前の単語に関する「ｎ−１重マルコフモデル」を用いて、後続する単語の出現確率を予想する「Ｎグラム言語モデル」や「確率文脈自由文法」、または、それらの組み合わせなどがよく適用される。
【００１６】
特に、Ｎグラム言語モデルは、効果的であるうえ、パラメータ推定手段が容易に実現可能であることから、広く用いられている。
そこで、以下の説明では、Ｎグラム言語モデルを例にとって、言語モデルの構築について説明する。
【００１７】
たとえば、Ｎグラム言語モデルにおいて、Ｎ＝２としたとき（バイグラム言語モデルと呼ばれる）、上記（３）式内のＰ（Ｗ）は、以下の（４）式のように近似される。
【００１８】
【数４】
Ｎグラム言語モデルのパラメータとなる条件つき確率Ｐ（ｗN｜ｗ1，・・・，ｗN-1）は、学習用テキストデータ内の隣接する単語列の頻度Ｃ（ｗ1，・・・，ｗN）から、以下の（５）式のように推定される。
【００２０】
【数５】
しかし、単語の条件付き出現確率を、単純に上記（５）式のように推定すると、学習データに存在しない単語列を含む場合、文の出現確率は「０」になってしまう。
【００２２】
このような状態を防ぐため、学習用テキストに出現しない単語列に対して非零の（「０」でない）確率を割り当てる処理（一般に、「スムージング」と呼ばれる）が行われる。
【００２３】
最も一般的なスムージング方法としては、Ｋａｔｚが提案した「バックオフスムージング」があげられる。
バックオフスムージングにおいては、上記（５）式で推定される確率から、頻度に応じて一定の割合を除き（ディスカウンティングを実行し）、学習データで出現しなかった単語列に確率が割り当てられる。
【００２４】
学習データで出現しなかった単語列に割り当てられる条件付き確率には、さらに大雑把な言語モデルによって推定された値が用いられる。
上記Ｋａｔｚによる方法では、Ｎグラムよりも粗いモデルとして、Ｎ−１グラムが用いられる。この方法の詳細については、上記文献２の第６７頁に示されている。
【００２５】
なお、日本語の場合には、テキストが分かち書きされないので、単語の定義があいまいである。そこで本文では、何らかの手段でテキストを整合性のある部分に分割したものを、それぞれ、単語と定義する。
【００２６】
すなわち、単語とは、たとえば文字や形態素、文節などの言語的な単位や、エントロピー基準に基づいたテキストの分割、ならびに、これらの組み合わせなどであり、これら分割された単位に読み方や品詞などの言語情報が付加された場合を含む。
【００２７】
上記統計的手法を用いた言語モデルの構築においては、言語モデルのパラメータを推定するために、大量の音声データおよびテキストデータが必要となる。
特に、Ｎグラム言語モデルは、学習データに強く依存するので、対象とするタスク（以下、「対象タスク」と称する）毎に大量のデータ収集が必要である。
【００２８】
しかし、タスク毎に大量のテキストデータを収集することは困難であり、対象タスクに関する少量のテキストデータから言語モデルを構築できることが望ましいので、クラス言語モデルの利用や、タスク適応化などが行われる。
【００２９】
クラス言語モデルとは、類似した単語をまとめ、同一のクラス（グループ）として扱われるものであり、言語モデルの推定パラメータ数を削減したり、学習データに存在しない単語に適当な確率を割り当てるものである。
【００３０】
単語とクラスとの関係定義は、単語やタスクに応じて人手で決定されたり、データに基づいて決定され、Ｎグラム言語モデルであっても適用可能である。
【００３１】
たとえば、バイグラムクラス言語モデルにおける文の出現確率は、
（１）クラス間の遷移確率Ｐ（ｃi｜ｃi-1）と、
（２）クラス内から特定の単語が選択される確率Ｐ（ｗi｜ｃi）と
の積として、以下の（６）式のように定義される。
【００３２】
【数６】
たとえば、１０００単語を各１０単語からなる１００のクラスに分割した場合を考える。このとき、単語バイグラム言語モデルの場合での推定パラメータ数は、１０００2（＝１００００００）である。
【００３４】
これに対して、クラスバイグラム言語モデルの場合での推定パラメータ数は、（１）クラス間の遷移と、
（２）クラスと単語との写像と
の和として表され、１００2＋１００×１０（＝１１０００）に減少する。
【００３５】
単語とクラスとの対応関係は、人手で決定されてもよく、言語データから単語クラスタリングを実行して求めてもよい。
図２０はクラス定義の一例を示す説明図である。図２０において、単語ｗと、単語ｗが所属するクラスｃと、単語ｗが所属するクラスｃから出力される確率Ｐ（ｗ｜ｃ）とが記述されている。
【００３６】
クラスＮグラム言語モデルのうち、クラス間遷移モデルの推定は、通常の単語Ｎグラムの場合と同様である。
クラスＮグラム言語モデルの構築方法に関しては、上記文献２の第７２頁以降に詳述されている。
【００３７】
一方、タスク適応化とは、対象タスク以外のテキストデータを合わせて利用し、学習データの不足を補うものである。
ここでは、対象タスク以外のタスクを含むテキストデータを一般タスク言語データと呼ぶことにする。
【００３８】
タスク適応化に関しては、「Ｎ−ｇｒａｍのタスク適応における語彙の設定法の検討」（伊藤彰則、好田正紀、電子情報通信学会研究技術報告、第５１−５８頁、ＳＰ９７−２５、１９９７）（以下、文献３と称する）で述べられている方法が提案されている。
【００３９】
この方法は、Ｎグラム言語モデルを対象として、対象タスクと一般タスクとの学習データを重みづけして加えることにより、タスク適応を行うというものである。
【００４０】
図２１は上記文献３で述べられている音声認識用の言語モデル構築方法を適用した装置を概略的に示すブロック構成図である。
図２１において、１００はタスク適応化済みの言語モデルを生成する言語モデル推定手段である。
【００４１】
１０１は対象タスク言語データであり、対象タスクのテキストデータを集積し、対象タスクで認識すべき文を表すテキストを単語に分割している。
１０２は一般タスク言語データであり、対象タスク以外のタスクを含む一般タスクのテキストデータを集積し、一般タスクに含まれる文を表すテキストを単語に分割している。
【００４２】
言語モデル推定手段１００は、対象タスク言語データ１０１および一般タスク言語データ１０２を読み込み、それぞれ適当な重み付け処理を施して、単語列の頻度を数え上げ、統計的手法を用いて言語モデルのパラメータを推定する。
【００４３】
重み付け処理は、それぞれの入力について与えられる。
たとえば、「私、は」という単語列が対象タスクで２回、一般タスクで４回出現したとして、対象タスクの頻度重みが「３」、一般タスクの頻度重みが「１」であれば、単語列「私、は」の頻度は、「１０（＝３×２＋１×４）」と見積もられる。
【００４４】
なお、重み付け係数は、整数でなくてもよい。
また、数え上げの際、必要であれば、頻度が小さい単語は取り除き、取り除いた確率を認識に必要な単語に等確率で再配分することができる。
【００４５】
こうして得られた頻度情報「１０」から、たとえばＫａｔｚのバックオフスムージング法により、既知および未知の単語列について確率を推定する。
なお、頻度重みの決定は、たとえば最終的に得られる言語モデルのテストデータに対する出現確率を高めるように、削除推定法を用いて定めることができる。
また、削除推定法については、上記文献２の第４９頁に述べられている。
【００４６】
次に、図２２のフローチャートを参照しながら、図２１に示した従来装置および従来方法に基づくタスク適応による言語モデルの学習手順について説明する。
まず、言語モデル推定手段１００は、重みパラメータ保存手段（図示せず）から、入力に対する重みパラメータを読み込む（ステップＳ２２０１）。
【００４７】
次に、対象タスク言語データ１０１および一般タスク言語データ１０２から単語に区切られた学習用テキストを読み込み、重みパラメータにしたがって重み付けされたｎ単語以下の単語列の頻度を求める（ステップＳ２２０２）。
【００４８】
最後に、たとえばＫａｔｚのバックオフスムージング法を用いたスムージングを実行して、言語モデルのパラメータを推定し（ステップＳ２２０３）、図２２の処理ルーチンを終了する。
【００４９】
上記手法は、一般タスク言語データ１０２のテキストデータを合わせて利用することにより、対象タスクに関する少量の学習データから取得困難な多彩な表現を表す単語列の出現確率を、さらに妥当に推定することができる。
【００５０】
また、同時に、対象タスク言語データ１０１に重み付けすることにより、対象タスクのコーパスに出現した単語列に対して、さらに大きい確率を与えることができ、認識精度を向上させることができる。
【００５１】
しかしながら、上記言語モデルのタスク適応化方法では、対象タスクで固有の単語や一般タスクで出現した単語列の出現確率を良好に推定できるものの、対象タスクに特有の単語と一般タスクで出現した単語との組み合わせを考慮していないので、対象タスクのテキストデータが少ないときには、対象タスク特有の単語の周辺で言語モデルのパラメータ推定精度が悪化するという問題がある。
【００５２】
たとえば、対象タスクがホテル予約業務であって、類似したホテル以外の予約業務タスクで発声されたテキストデータを一般タスク言語データ１０２として利用する場合を考える。
【００５３】
この場合、「それ、を、お願い」といった予約業務一般で出現する単語列や、「ホテル」という対象タスク特有の単語は、それぞれ、一般タスク言語データ１０２および対象タスク言語データ１０１から、頻度に応じて出現確率が見積もられる。
【００５４】
しかし、単語の組み合わせの種類数が非常に大きいので、対象タスクのテキストデータが少量である場合、「ホテル、を、お願い」といった対象タスク特有の単語を含む単語列は、十分にテキストデータでカバーされていないことが多い。
【００５５】
この結果、単語列に不適切な出現確率が割り当てられてしまい、認識精度が低下するおそれがある。
特に、対象タスク特有の単語は、タスクを遂行するうえで重要な場合が多く、これらの単語周辺における認識精度の低下は、システム全体の性能に大きな影響をおよぼす可能性が高い。
【００５６】
【発明が解決しようとする課題】
従来の言語モデル学習装置およびそれを用いた音声認識装置は以上のように、対象タスクに特有の単語と一般タスクで出現した単語との組み合わせを考慮していないので、対象タスクのテキストデータが少ない場合に、対象タスク特有の単語の周辺で言語モデルのパラメータ推定精度が悪化してしまい、システム全体の性能に悪影響をおよぼすという問題点があった。
【００５７】
この発明は上記のような問題点を解決するためになされたもので、対象タスクに固有の単語と一般タスクのデータとから類似する単語を求め、タスク固有の単語を含む単語列の出現確率の推定に利用することにより、認識精度を高めた言語モデル学習装置およびそれを用いた音声認識装置を得ることを目的とする。
【００５８】
【課題を解決するための手段】
この発明の請求項１に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、タスク適応化済み言語モデルを構築するための、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから各テキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、各テキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、各テキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するものである。
【００５９】
また、この発明の請求項２に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、言語モデルを生成するものである。
【００６０】
また、この発明の請求項３に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、第１および第２のテキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するものである。
【００６１】
また、この発明の請求項４に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、事前に準備したテキストデータを用いて作成された初期言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期言語モデルから、タスク適応化済み統計的言語モデルを構築するための、類似単語対抽出手段および類似単語確率補正手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済み統計的言語モデルを生成するものである。
【００６２】
また、この発明の請求項５に係る言語モデル学習装置は、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、あらかじめ作成された初期クラス言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期クラス言語モデルから、タスク適応化済みクラス言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段および類似単語確率補正手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期クラス言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済みクラス言語モデルを生成するものである。
【００６３】
また、この発明の請求項６に係る言語モデル学習装置は、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６４】
また、この発明の請求項７に係る言語モデル学習装置は、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６５】
また、この発明の請求項８に係る言語モデル学習装置は、請求項３または請求項５において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６６】
また、この発明の請求項９に係る言語モデル学習装置は、請求項３または請求項５において、類似単語抽出手段は、距離算出用クラス言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用クラス言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用クラス言語モデルを読み込むとともに、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用クラス言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するものである。
【００６７】
また、この発明の請求項１０に係る言語モデル学習装置は、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のユークリッド距離を用いて、単語間距離を測定するものである。
【００６８】
また、この発明の請求項１１に係る言語モデル学習装置は、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のクロスエントロピーを用いて、単語間距離を測定するものである。
【００６９】
また、この発明の請求項１２に係る音声認識装置は、請求項１から請求項１１までのいずれかの言語モデル学習装置を用いた音声認識装置であって、言語モデルまたはクラス言語モデルは、音声認識に用いられるものである。
【００８４】
【発明の実施の形態】
実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について詳細に説明する。ここでは、Ｎグラム言語モデルを例にとって説明するが、任意の統計的言語モデルに対して適用可能であることは言うまでもない。
【００８５】
図１はこの発明の実施の形態１による言語モデル学習装置を概略的に示すブロック構成図であり、音声認識用の言語モデル学習装置の構成例を示している。
図１において、１０１は対象タスクにおける単語に分割された対象タスク言語データ、１０２は一般タスクにおける単語に分割された一般タスク言語データであり、これらは前述（図２１参照）と同様のものである。
【００８６】
１０３は類似単語対抽出手段、１０４は類似単語列合成手段、１０５は言語モデル生成手段であり、これらの手段１０３〜１０５は、対象タスク言語データ１０１および一般タスク言語データ１０２と関連して、タスク適応化済み言語モデルを生成する。
【００８７】
言語モデル生成手段１０５は、前述の言語モデル推定手段１００に対応しており、タスク適応化済み言語モデルを生成する。
類似単語対抽出手段１０３および類似単語列合成手段１０４は、前述の従来装置とは異なり、この発明の特徴的な部分を構成している。
【００８８】
すなわち、各手段１０３および１０４により、対象タスク固有の単語について類似した一般タスクの単語を求め、学習テキスト中の一般タスクの単語を類似する対象タスクの単語で置き換えた単語列を合成して、言語モデルの学習テキストに追加することにより、言語モデル構築の際に、対象タスクのテキストデータが少量であっても、認識精度を高めることができるようになっている。
【００８９】
以下、図１内の各手段１０３〜１０５の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
ただし、前述と同様の機能ブロックおよびモデルについては、同一符号を付して詳述を省略する。
【００９０】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１に含まれる単語ｗＴと、一般タスク言語データ１０２に含まれる単語ｗＧとの任意の組み合わせ（ｗＴ,ｗＧ）について、あらかじめ定義された距離尺度に基づき、単語間の距離を計算する。
【００９１】
このとき、類似単語対抽出手段１０３は、単語間距離の算出値があらかじめ設定されたしきい値ｔｈよりも小さい場合に、その類似単語対（ｗＴ,ｗＧ）を類似単語列合成手段１０４に出力する。
【００９２】
単語間の距離ｄ（ｗＴ，ｗＧ）は、たとえば、あらかじめ各単語と対応する意味分類を概念の広さにしたがって木構造にしておき、各単語が対応する意味ノード間のアーク数を距離として用いることにより得られる。
【００９３】
次に、類似単語列合成手段１０４は、対象タスク言語データ１０１および一般タスク言語データ１０２に含まれる任意の長さの単語列を別々に取り出すとともに、類似単語対抽出手段１０３から読み込んだ類似単語対（ｗＴ，ｗＧ）を参照し、対象タスクの単語列のそれぞれについて、一般タスク内の単語ｗＧが含まれるか否かを判定する。
【００９４】
この結果、一般タスク内の単語ｗＧを含む単語列「・・・ｗＧ・・・」が存在する場合には、続いて、一般タスク内の単語ｗＧを対象タスク内の単語ｗＴで置き換えた単語列「・・・ｗＴ・・・」が、一般タスクまたは対象タスクのデータに存在するか否かを判定する。
【００９５】
この結果、単語列「・・・ｗＴ・・・」が一般タスクまたは対象タスクのデータに存在しない場合、類似単語列合成手段１０４は、一般タスクの単語ｗＧを対象タスクの単語ｗＴで置き換えた単語列「・・・ｗＴ・・・」を合成し、言語モデル生成手段１０５に出力する。
【００９６】
最後に、言語モデル生成手段１０５は、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４から、それぞれテキストデータを読み込み、入力される頻度にそれぞれ適当な重みをつけて単語列の頻度を求め、統計的手法を用いて言語モデルのパラメータを推定することにより、タスク適応化済みの言語モデルを生成する。
【００９７】
次に、図２のフローチャートを参照しながら、図１に示したこの発明の実施の形態１に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【００９８】
図２において、ステップＳ２０１〜Ｓ２０３は類似単語対抽出手段１０３により実行される処理、ステップＳ２０４〜Ｓ２０８は類似単語列合成手段１０４により実行される処理、ステップＳ２０９〜Ｓ２１１は言語モデル生成手段１０５により実行される処理である。
【００９９】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１および一般タスク言語データ１０２から、単語に区切られた学習用テキストを読み込み、単語対（ｗＴ，ｗＧ）を作成する（ステップＳ２０１）。
【０１００】
また、対象タスク言語データ１０１に含まれる単語ｗＴと、一般タスク言語データ１０２に含まれる単語ｗＧ（単語ｗＴとは異なる）との組み合わせについて距離ｄ（ｗＴ，ｗＧ）を計算する（ステップＳ２０２）。
【０１０１】
続いて、算出された距離ｄ（ｗＴ，ｗＧ）を所定のしきい値ｔｈと比較し、距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈよりも小さいか否かを判定する（ステップＳ２０３）。
【０１０２】
類似単語対抽出手段１０３は、ステップＳ２０３において、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されれば、ステップＳ２０２に戻って距離ｄ（ｗＴ，ｗＧ）の計算を繰り返し、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語列合成手段１０４に出力する。
【０１０３】
類似単語列合成手段１０４は、対象タスク言語データ１０１および一般タスク言語データ１０２から単語に区切られたテキストデータを読み込み、データに含まれる全てのｎ単語の単語列を取り出して記憶する（ステップＳ２０４）。
【０１０４】
また、読み込んだ単語列から、類似単語対抽出手段１０３によって選択された単語対（ｗＴ，ｗＧ）のうち、一般タスクの単語ｗＧが含まれる単語列「・・・ｗＧ・・・」を取り出す（ステップＳ２０５）。
【０１０５】
続いて、取り出した単語列のうち、一般タスク単語ｗＧを対象タスク単語ｗＴに置き換えた単語列「・・・ｗＴ・・・」が、既に記憶されている単語列に存在する否かを判定する（ステップＳ２０６）。
【０１０６】
ステップＳ２０６において、単語列「・・・ｗＴ・・・」が、既に記憶されている単語列に存在する（すなわち、Ｙｅｓ）と判定されば、ステップＳ２０５に戻り、単語列「・・・ｗＴ・・・」が存在しない（すなわち、Ｎｏ）と判定されれば、その単語列「・・・ｗＴ・・・」をテキストデータとして出力する（ステップＳ２０７）。
【０１０７】
次に、全ての類似単語対（ｗＴ，ｗＧ）に対する処理を終了したか否かを判定し（ステップＳ２０８）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ２０２に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、ステップＳ２０９に進む。
これにより、処理ステップＳ２０２〜Ｓ２０７は、全ての類似単語対（ｗＴ，ｗＧ）について実行される。
【０１０８】
ここで、具体例として、対象タスクの単語［横浜駅」と一般タスクの単語「成田空港」との距離がしきい値ｔｈよりも小さく、各単語列「成田空港、まで」および「から、成田空港」が一般テキストデータに存在している場合を考える。
【０１０９】
このとき、さらに、対象テキストデータに単語列「横浜駅、まで」は存在するものの、単語列「から、横浜駅」が存在しない場合であれば、類似単語列合成手段１０４は、単語列「から、横浜駅」を合成して出力することになる。
この結果、単語の類似情報を用いて、対象タスクで出現が予想される単語列を学習用テキストデータに追加することになる。
【０１１０】
次に、図２において、言語モデル生成手段１０５は、重みパラメータ保存手段（図示せず）から、それぞれの入力に対応する重みパラメータを読み込む（ステップＳ２０９）。
【０１１１】
また、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４から、単語に区切られた学習用テキストを読み込み、単語列の頻度を求める（ステップＳ２１０）。
このとき、Ｎグラム言語モデルの場合には、ｎ単語以下の単語列について頻度を計算する必要がある。
【０１１２】
さらに、言語モデル生成手段１０５は、たとえば、Ｋａｔｚのバックオフスムージング法を用いたスムージングを行い、言語モデルのパラメータを推定することにより、タスク適応化済み言語モデルを生成し（ステップＳ２１１）、図２の処理ルーチンを終了する。
【０１１３】
こうして得られた言語モデルの学習データには、対象タスクに特徴的な単語を含む単語列が追加されているので、対象タスクに対する言語モデルの予測精度が向上する。
【０１１４】
したがって、対象以外のタスクを含む大量データ（一般タスク言語データ１０２）と対象タスクに関する少量データ（対象タスク言語データ１０１）とから、音声認識用の高精度の言語モデルを推定することができる。
、タスク適応化済み言語モデルを生成し（ステップＳ２１１）、図２の処理ルーチンを終了する。
【０１１５】
なお、上記のように得られる言語モデルは、音声認識に限らず、言語処理を必要とする文字認識や、自然言語のテキスト処理に対しても適用可能である。
【０１１６】
また、図１のように構成される音声認識用の言語モデル学習装置をプログラムとして記録媒体に記録することもできる。
【０１１７】
すなわち、図１内の類似単語対抽出手段１０３と同様の処理を行う類似単語対抽出機能と、類似単語列合成手段１０４と同様の処理を行う類似単語列合成機能と、言語モデル生成手段１０５と同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用言語モデル学習プログラムを実現することができる。
【０１１８】
実施の形態２．
なお、上記実施の形態１では、対象タスク言語データ１０１および一般タスク言語データ１０２からの各テキストデータをそのまま用いたが、クラス化されたテキストデータを用いてもよい。
【０１１９】
図３はこの発明の実施の形態２による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１参照）と同様のものについては、同一符号を付して、または、符号の後に「Ａ」を付して詳述を省略する。
【０１２０】
図３において、３０１は対象タスク単語クラス化手段であり、対象タスク言語データ１０１と言語モデル生成手段１０５Ａとの間に挿入されている。
３０２は一般タスク単語クラス化手段であり、一般タスク言語データ１０２と言語モデル生成手段１０５Ａとの間に挿入されている。
【０１２１】
この場合の特徴的な機能は、対象タスク単語クラス化手段３０１と、一般タスク単語クラス化手段３０２とを設け、対象タスクおよび一般タスクのテキストコーパスの単語をクラス化して、言語モデルの推定パラメータ数を減少させることにより、言語モデル学習の際に対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１２２】
以下、図３内の各手段３０１、３０２の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
単語クラス定義データ（図示せず）は、たとえば、前述（図２０参照）のように、単語ｗ、単語ｗが所属するクラスｃ、および、単語ｗが所属するクラスｃから出力される確率Ｐ（ｗ｜ｃ）を記述している。図２０のような単語クラス定義データは、人手で作成してもよく、計算により学習データから作成してもよい。
【０１２３】
対象タスク単語クラス化手段３０１は、単語クラス定義データにしたがい、入力された対象タスク言語データ１０１の単語のうちでクラス定義されているものを順次クラス化し、言語モデル生成手段１０５Ａに出力する。
【０１２４】
一般タスク単語クラス化手段３０２は、単語クラス定義データにしたがい、入力された一般タスク言語データ１０２の単語のうちでクラス定義されているものを順次クラス化し、言語モデル生成手段１０５Ａに出力する。
【０１２５】
次に、図４のフローチャートを参照しながら、図３に示したこの発明の実施の形態２に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１２６】
図４において、ステップＳ４０１〜Ｓ４０３は、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２により実行される処理である。
【０１２７】
また、ステップＳ４０４〜Ｓ４０６は、言語モデル生成手段１０５Ａにより実行される処理であり、前述（図２参照）のステップＳ２０９〜Ｓ２１１にそれぞれ対応している。
【０１２８】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ、単語クラス定義データ（図示せず）を読み込む（ステップＳ４０１）。
【０１２９】
また、対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して、単語をクラスに置き換えたテキストを生成し、これを出力する（ステップＳ４０２）。
【０１３０】
同様に、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して、単語をクラスに置き換えたテキストを生成し、これを出力する（ステップＳ４０３）。
【０１３１】
次に、言語モデル生成手段１０５Ａは、まず、重みパラメータ保存手段（図示せず）から重みパラメータを読み込み（ステップＳ４０４）、続いて、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、クラスを含む単語列である学習用テキストを読み込み、それぞれについて与えられた重みパラメータを乗算することにより、単語および単語列の頻度を累積演算する（ステップＳ４０５）。
【０１３２】
ここで、クラスＮグラム言語モデルの場合、前述と同様に、ｎ単語以下のクラス列について頻度を計算する。
最後に、言語モデル生成手段１０５Ａは、算出された頻度をスムージングし、言語モデルのパラメータを推定して、タスク適応化済みクラス言語モデルを生成し（ステップＳ４０６）、図４の処理ルーチンを終了する。
【０１３３】
上記処理手順と、あらかじめ定義された単語クラス定義データ（図示せず）とにより、クラス言語モデルが得られる。
このように、対象以外のタスクを含む大量データ（一般タスク言語データ１０２）と、対象タスクに関する少量データ（対象タスク言語データ１０１）とから、音声認識用の高精度の言語モデルを推定することができる。
【０１３４】
なお、こうして得られる言語モデルは、音声認識のみならず、言語処理を必要とする文字認識や、自然言語のテキスト処理に対しても適用可能である。
【０１３５】
また、図３に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０１３６】
すなわち、図３内の対象タスク単語クラス化手段３０１と同様の処理を行う対象単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般単語クラス化機能と、言語モデル生成手段１０５Ａと同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１３７】
実施の形態３．
なお、上記実施の形態２では、言語モデル生成手段１０５Ａのみを用いたが、図１（実施の形態１）と同様の類似単語対抽出手段および類似単語列合成手段を併用してもよい。
【０１３８】
図５はこの発明の実施の形態３による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１、図３参照）と同様のものについては、同一符号を付して、または、符号の後に「Ｂ」を付して詳述を省略する。
【０１３９】
この場合の特徴的な機能は、単一のクラス定義にしたがい、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２を設け、単語をクラス化して言語モデルのパラメータ数を減少させるとともに、類似単語対抽出手段１０３Ｂおよび類似単語列合成手段１０４Ｂを設けることにより、言語モデル構築の際に対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１４０】
次に、図６のフローチャートを参照しながら、図５に示したこの発明の実施の形態３に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１４１】
図６において、ステップＳ６０１〜Ｓ６０３は、前述（図４参照）のステップＳ４０１〜Ｓ４０３にそれぞれ対応しており、ステップＳ６０４〜Ｓ６１４は、前述（図２参照）のステップＳ２０１〜Ｓ２１１にそれぞれ対応している。
【０１４２】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ単語クラス定義データ（図示せず）を読み込む（ステップＳ６０１）。
【０１４３】
対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ６０２）。
【０１４４】
また、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ６０３）。
【０１４５】
類似単語対抽出手段１０３Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、対象タスク言語データに含まれるクラスｃＴと、一般タスク言語データに含まれるクラスｃＧ（クラスｃＴとは異なる）との組み合わせからなる単語クラス対（ｃＴ，ｃＧ）のリストを作成し、これを記憶する（ステップＳ６０４）。
【０１４６】
また、類似単語対抽出手段１０３Ｂは、対象タスク言語データに含まれるクラスｃＴと、一般タスク言語データに含まれるクラスｃＧ（クラスｃＴとは異なる）とについて、単語クラス対間の距離ｄ（ｃＴ，ｃＧ）を求め（ステップＳ６０５）、あらかじめ与えられたしきい値ｔｈｃよりも小さいか否かを判定する（ステップＳ６０６）。
【０１４７】
ステップＳ６０６において、ｄ（ｃＴ，ｃＧ）≧ｔｈｃ（すなわち、Ｎｏ）と判定されればステップＳ６０５に戻り、ｄ（ｃＴ，ｃＧ）＜ｔｈｃ（すなわち、Ｙｅｓ）と判定されれば、そのときのクラス対（ｃＴ，ｃＧ）を類似単語対として類似単語列合成手段１０４Ｂに出力する（ステップＳ６０６）。
【０１４８】
類似単語列合成手段１０４Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２から、クラスに区切られた学習用テキストデータを読み込み、これを長さｎ以下のクラス列に区切って記憶する（ステップＳ６０７）。
【０１４９】
また、各単語クラス化手段３０１および３０２から読み込んだクラス列に基づき、類似単語対抽出手段１０３Ｂにより選択されたクラス対（ｃＴ，ｃＧ）のうち、一般タスクのクラスｃＧが含まれるクラス列「・・・ｃＧ・・・」を取り出す（ステップＳ６０８）。
【０１５０】
さらに、類似単語列合成手段１０４Ｂは、各単語クラス化手段３０１および３０２から読み込んで記憶したクラス列を参照し、一般タスクのクラスｃＧを対象タスクのクラスｃＴで置き換えたクラス列「・・・ｃＴ・・・」が、対象タスク言語データ１０１または一般タスク言語データ１０２に存在するか否かを判定する（ステップＳ６０９）。
【０１５１】
ステップＳ６０９において、各言語データ１０１または１０２にクラス列「・・・ｃＴ・・・」が存在する（すなわち、Ｙｅｓ）と判定されれば、ステップＳ６０８に戻り、クラス列が存在しない（すなわち、Ｎｏ）と判定されれば、そのクラス列「・・・ｃＴ・・・」を合成して、学習用テキストデータとして出力する（ステップＳ６１０）。
【０１５２】
次に、全ての類似クラス対に対して処理を終了したか否かを判定し（ステップＳ６１１）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ６０５に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、言語モデル生成手段１０５Ｂによる処理ステップ（Ｓ６１２〜Ｓ６１４）に進む。
これにより、上記処理は全ての類似単語クラス対（ｃＴ，ｃＧ）に対して繰り返し実行される。
【０１５３】
言語モデル生成手段１０５Ｂは、まず、重みパラメータ保存手段（図示せず）から重みパラメータを読み込み（ステップＳ６１２）、続いて、対象タスク言語データ１０１、一般タスク言語データ１０２および類似単語列合成手段１０４Ｂから、重みパラメータにより頻度の重み付けされて単語に区切られた学習用テキストを読み込む（ステップＳ６１３）。
【０１５４】
また、頻度のスムージングを行うことにより、言語モデルのパラメータを推定し（ステップＳ６１４）、図６の処理ルーチンを終了する。
上記処理手順およびあらかじめ定義される単語クラス定義データ（図示せず）により、タスク適応化したクラス言語モデルが得られる。
【０１５５】
このように、対象以外のタスクを含む大量データと、対象タスクに関する少量データとから、音声認識のための高精度の言語モデルを学習することができる。
【０１５６】
なお、こうして得られる言語モデルは、音声認識のみならず、言語処理を必要とする文字認識、自然言語によるテキスト処理などにも適用可能である。
【０１５７】
また、図５に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０１５８】
すなわち、図５内の対象タスク単語クラス化手段３０１と同様の処理を行う対象単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般単語クラス化機能と、類似単語対抽出手段１０３Ｂと同様の処理を行う類似単語対抽出機能と、類似単語列合成手段１０４Ｂと同様の処理を行う類似単語列合成機能と、言語モデル生成手段１０５Ｂと同様の処理を行う言語モデル生成機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１５９】
実施の形態４．
なお、上記実施の形態１〜３では、タスク適応化済み言語モデルを生成するために、言語モデル生成手段１０５、１０５Ａまたは１０５Ｂを用いたが、事前に作成された初期言語モデルと、単語出現確率のスムージングを実行する類似単語確率補正手段とを用いてもよい。
【０１６０】
図７はこの発明の実施の形態４による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図１参照）と同様のものについては、同一符号を付して詳述を省略する。
【０１６１】
図７において、７０１は初期言語モデル、７０２は類似単語確率補正手段である。
類似単語確率補正手段７０２は、類似単語対抽出手段１０３からの類似単語対と、初期言語モデル７０１からの事前の言語モデルとに基づいて、タスク適応化済み統計的言語モデルを生成する。
【０１６２】
この場合の特徴的な機能は、類似単語対抽出手段１０３および類似単語確率補正手段７０２を設け、対象タスクに特有の単語について一般タスクのテキストデータに出現する類似単語の性質を反映させるため、統計的言語モデル構築の際に、対象タスクのデータが少量であっても高精度の認識を可能にしたことにある。
【０１６３】
以下、図７内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
初期言語モデル７０１は、周知の従来方法や上記実施の形態１などの方法によりパラメータ推定された統計的言語モデルからなる。
【０１６４】
類似単語確率補正手段７０２は、初期言語モデル７０１および類似単語対抽出手段１０３から、対象タスクと一般タスク間の類似単語対を読み込み、対象タスクの単語が含まれる単語列の条件付き出現確率を補正する。
このときの単語列出現確率の補正処理においては、類似した一般タスクの単語が含まれる単語列の条件付き出現確率が用いられる。
【０１６５】
類似単語確率補正手段７０２が割り当てる確率は、学習テキストデータで未出現の単語列の出現確率として求められ、出現した単語列の条件付き確率から除いた（ディスカウントした）確率の一部である。すなわち、学習用テキストデータに存在する単語列の条件付き出現確率は、初期言語モデル７０１と等しいままで保存される。
【０１６６】
次に、図８のフローチャートを参照しながら、図７に示したこの発明の実施の形態４に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１６７】
図８において、ステップＳ８０１〜Ｓ８０３およびＳ８０５は、前述（図２参照）のステップＳ２０１〜Ｓ２０３およびＳ２０８にそれぞれ対応している。
また、ステップＳ８０６〜Ｓ８１２は、類似単語確率補正手段７０２により実行される処理である。
【０１６８】
まず、類似単語対抽出手段１０３は、対象タスク言語データ１０１および一般タスク言語データ１０２から、単語に区切られた学習用テキストを読み込み（ステップＳ８０１）、対象タスク言語データに含まれる単語ｗＴと一般タスク言語データに含まれる単語ｗＧ（ｗＴとは異なる）とについて、距離ｄ（ｗＴ，ｗＧ）を求める（ステップＳ８０２）。
【０１６９】
続いて、単語間の距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈよりも小さいか否かを判定し（ステップＳ８０３）、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されればステップＳ８０２に戻り、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語対に追加する（ステップＳ８０４）。
【０１７０】
以下、上記処理を全ての単語対について計算終了したか否かを判定し（ステップＳ８０５）、終了していない（すなわち、Ｎｏ）と判定されればステップＳ８０２に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、次の処理ステップＳ８０６に進む。
これにより、全単語対についての計算が順次行われ、作成された類似単語対（ｗＴ，ｗＧ）の一覧が類似単語確率補正手段７０２に出力される。
【０１７１】
類似単語確率補正手段７０２は、まず、初期言語モデル７０１を読み込み（ステップＳ８０６）、続いて、類似単語対抽出手段１０３から読み出される類似単語対（ｗＴ，ｗＧ）について、初期言語モデル７０１内に定義された条件付き確率のうち、一般タスク単語ｗＧを含む条件付き確率ＰｗＧ（ｗn｜ｗ1，・・・，ｗn-1）を取り出す（ステップＳ８０７）。
【０１７２】
次に、取り出したそれぞれの条件付き確率について、一般タスク単語ｗＧを対象タスク単語ｗＴで置き換えた条件付き確率ＰｗＴ（ｗn｜ｗ1，・・・，ｗn-1）が、初期言語モデル７０１で定義されているか否かを判定する（ステップＳ８０８）。
【０１７３】
ステップＳ８０８において、条件付き確率ＰｗＴ（ｗn｜ｗ1，・・・，ｗn-1）が初期言語モデル７０１で定義されていない（すなわち、Ｎｏ）と判定されれば、未知の単語列のために除いた確率から一部を割り当てて、条件付き確率を補正し（ステップＳ８０９）、次の判定ステップＳ８１０に進む。
【０１７４】
一方、条件付き確率ＰｗＧが定義されており、ステップＳ８０８において、条件付き確率ＰｗＴが定義されている（すなわち、Ｙｅｓ）と判定されれば、直ちに次の判定ステップＳ８１０に進む。
【０１７５】
このとき、ステップＳ８０９において補正した確率は、たとえば、同一の単語履歴（ｗ1，・・・，ｗn-1）である条件付き確率のうちの最小値とする。
【０１７６】
次に、他にも一般単語ｗＧを含む単語列の条件付き確率が存在するか否かを判定し（ステップＳ８１０）、一般単語ｗＧを含む単語列が存在する（すなわち、Ｙｅｓ）と判定されれば、ステップＳ８０８に戻る。
【０１７７】
一方、ステップＳ８１０において、一般単語ｗＧを含む条件付き確率が他に存在しない（すなわち、Ｎｏ）と判定されれば、全ての単語対（ｗＴ，ｗＧ）について、上記処理の実行が終了したか否かを判定する（ステップＳ８１１）。
【０１７８】
ステップＳ８１１において、全単語対の処理が終了していない（すなわち、Ｎｏ）と判定されればステップＳ８０７に戻り、終了した（すなわち、Ｙｅｓ）と判定されれば、次の処理ステップＳ８１２に進む。
【０１７９】
これにより、全ての一般単語ｗＧを含む単語列について、また、全ての一般単語ｗＧを含む単語対（ｗＴ，ｗＧ）について、上記処理が実行される。
最後に、言語モデルの確率の和が「１」となるように、未知の単語列のために言語モデルから除いた確率の総和を正規化して（ステップＳ８１２）、図８の処理ルーチンを終了する。
【０１８０】
仮に、条件付き確率が定義されていない場合には、通常は簡易な言語モデルによって与えられる確率が使われる。
たとえば、ＫａｔｚのバックオフにしたがうＮグラム言語モデルでは、低次のＮ−１グラム言語モデルが参照されて、小さな確率が割り当てられるが、この確率の精度は低いので、対象タスクの類似単語を含む単語列がある場合、実際よりも大き確率が見積もられることになる。
【０１８１】
一般単語ｗＧを含む他の条件付き確率ＰｗＧについても、ステップＳ８１０により同様に処理され、また、ステップＳ８０６〜Ｓ８１０の処理は、ステップＳ８１１により、全ての類似単語対（ｗＧ、ｗＴ）について実行される。
【０１８２】
このように、類似単語確率補正手段７０２を用いることにより、一般タスクと対象タスクとの間で性質が類似する単語について、一般タスクの単語の出現確率を用いたスムージングが行われ、音声認識用のさらに精度の高いモデルを推定することができる。
【０１８３】
なお、こうして得られる言語モデルは、前述と同様に、言語処理を必要とする文字認識や、テキスト処理などにも適用可能である。
【０１８４】
また、図７に示した音声認識用の言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
すなわち、図７内の類似単語対抽出手段１０３と同様の処理を行う類似単語対抽出機能と、類似単語確率補正手段７０２と同様の処理を行う類似単語確率補正機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０１８５】
実施の形態５．
なお、上記実施の形態４では、対象タスク言語データ１０１および一般タスク言語データ１０２からの各テキストデータをそのまま用いたが、上記実施の形態３（図５参照）のようにクラス化されたテキストデータを用いてもよい。
【０１８６】
図９はこの発明の実施の形態５による音声認識装置用の言語モデル学習装置を概略的に示すブロック構成図であり、前述（図５、図７参照）と同様のものについては、同一符号を付して詳述を省略する。
【０１８７】
図９において、９０１は初期クラス言語モデルであり、前述（図７参照）の初期言語モデル７０１に代えて、類似単語確率補正手段７０２に接続されている。
【０１８８】
この場合の特徴的な機能は、類似単語対抽出手段１０３Ｂ、対象タスク単語クラス化手段３０１、一般タスク単語クラス化手段３０２および類似単語確率補正手段７０２を設け、対象タスクに特有のクラスに対して一般タスクのテキストデータに出現する類似クラスの性質を反映させることにより、対象タスクのデータが少量であっても、初期クラス言語モデル９０１から、さらに認識精度を高めたクラス言語モデルを生成することにある。
【０１８９】
以下、図９内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
初期クラス言語モデル９０１は、周知の従来方法や上記実施の形態２、３などの方法によりパラメータ推定された統計的クラス言語モデルからなる。
【０１９０】
類似単語確率補正手段７０２により割り当てられる確率は、学習テキストデータで未出現の単語クラス列のために出現した単語クラス列の条件付き確率から除いた（ディスカウントした）確率の一部であり、学習用テキストデータに含まれる単語クラスの条件付き出現確率が保存される。
【０１９１】
たとえば、単語クラスに関する条件付き確率Ｐ（ｃn｜ｃ1，・・・，ｃn-1）を変えた場合、単語クラス列の元の条件付き確率よりも大きくなるように確率が割り当てられる。
【０１９２】
次に、図１０のフローチャートを参照しながら、図９に示したこの発明の実施の形態５に基づくタスク適応による言語モデルの学習手順について、さらに具体的に説明する。
【０１９３】
図１０において、ステップＳ１００１〜Ｓ１００３は、前述（図６参照）のステップＳ６０１〜Ｓ６０３にそれぞれ対応しており、ステップＳ１００４〜Ｓ１０１５は、前述（図８参照）のステップＳ８０１〜Ｓ８１２にそれぞれ対応している。
【０１９４】
まず、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２は、それぞれ単語クラス定義データ（図示せず）を読み込む（ステップＳ１００１）。
【０１９５】
対象タスク単語クラス化手段３０１は、対象タスク言語データ１０１を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ１００２）。
【０１９６】
また、一般タスク単語クラス化手段３０２は、一般タスク言語データ１０２を読み込み、単語クラス定義で定義される単語に関して単語をクラスに置き換えたテキストを生成して出力する（ステップＳ１００３）。
【０１９７】
次に、類似単語対抽出手段１０３Ｂは、対象タスク単語クラス化手段３０１および一般タスク単語クラス化手段３０２を通して、それぞれクラス列を読み込む（ステップＳ１００４）。
【０１９８】
また、対象タスク言語データに含まれるクラスｃＴと一般タスク言語データに含まれるクラスｃＧ（ｃＴとは異なる）とについて、距離ｄ（ｃＴ，ｃＧ）を求め（ステップＳ１００５）、クラス間の距離ｄ（ｃＴ，ｃＧ）がしきい値ｔｈｃよりも小さいか否かを判定する（ステップＳ１００６）。
【０１９９】
ステップＳ１００６において、ｄ（ｃＴ，ｃＧ）≧ｔｈｃ（すなわち、Ｎｏ）と判定されればステップＳ１００５に戻り、ｄ（ｃＴ，ｃＧ）＜ｔｈｃ（すなわち、Ｙｅｓ）と判定されれば、そのときのクラス対（ｃＴ，ｃＧ）を類似クラス対に追加する（ステップＳ１００７）。
【０２００】
以下、判定ステップＳ１００８を介して、上記処理を順次全てのクラス対について実行し、作成された類似クラス対（ｃＴ，ｃＧ）の一覧を類似単語確率補正手段７０２に出力する。
【０２０１】
次に、類似単語確率補正手段７０２は、まず、初期クラス言語モデル９０１を読み込み（ステップＳ１００９）、続いて、類似単語対抽出手段１０３Ｂから類似クラス対（ｃＴ，ｃＧ）を順次読み出す（ステップＳ１０１０）。
【０２０２】
また、初期クラス言語モデル９０１内に定義された条件付き確率のうち、一般タスクのクラスｃＧを含む条件付き確率ＰｃＧ（ｃn｜ｃ1，・・・，ｃn-1）のそれぞれについて、一般タスククラスｃＧを対象タスククラスｃＴで置き換えた条件付き確率ＰｃＴ（ｃn｜ｃ1，・・・ｃn-1）が学習データ内で定義されているか否かを判定する（ステップＳ１０１１）。
【０２０３】
ステップＳ１０１１において、条件付き確率ＰｃＴ（ｃn｜ｃ1，・・・，ｃn-1）が初期クラス言語モデル９０１で定義されていない（すなわち、Ｎｏ）と判定されれば、未知のクラス列のために除いた確率から一部を割り当てて、条件付き確率を補正し（ステップＳ１０１２）、次の判定ステップＳ１０１３に進む。
【０２０４】
一方、条件付き確率ＰｃＧが定義されており、ステップＳ１０１１において、条件付き確率ＰｃＴが定義されている（すなわち、Ｙｅｓ）と判定されれば、直ちに次の判定ステップＳ１０１３に進む。
【０２０５】
このとき、ステップＳ１０１２において補正した確率は、たとえば、同一のクラス履歴（ｃ1，・・・，ｃn-1）である条件付き確率のうちの最小値とする（ステップＳ１０１２）。
【０２０６】
以下、ステップＳ１０１３を介して、クラスｃＧを含む他の条件付き確率ＰｃＧについても同様の処理が行われる。また、ステップＳ１０１４を介して、上記ステップＳ１００６〜Ｓ１０１０の処理は、全ての類似クラス対（ｃＧ、ｃＴ）について実行される。
【０２０７】
最後に、類似単語確率補正手段７０２は、クラス言語モデルの確率の和が１となるようにバックオフ確率を正規化して、タスク適応化済みクラス言語モデルを生成し（ステップＳ１０１５）、図１０の処理ルーチンを終了する。
【０２０８】
このように、各単語クラス化手段３０１および３０２とともに、類似単語対抽出手段１０３Ｂおよび類似単語確率補正手段７０２を設け、一般タスクと対象タスクとの間で性質が類似する単語クラスについて、一般タスクの単語クラスの出現確率を用いたスムージングを行うことにより、音声認識用のクラス言語モデルを高精度に推定することができる。
【０２０９】
なお、こうして得られるクラス言語モデルは、言語処理を必要とする文字認識や、自然言語のテキスト処理などにも適用可能である。
【０２１０】
また、図９に示した音声認識用言語モデル学習装置は、プログラムとして記録媒体に記録することもできる。
【０２１１】
すなわち、図９内の類似単語対抽出手段１０３Ｂと同様の処理を行う類似単語対抽出機能と、対象タスク単語クラス化手段３０１と同様の処理を行う対象タスク単語クラス化機能と、一般タスク単語クラス化手段３０２と同様の処理を行う一般タスク単語クラス化機能と、類似単語確率補正手段７０２と同様の処理を行う類似単語確率補正機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習プログラムを実現することができる。
【０２１２】
実施の形態６
なお、上記実施の形態１では、類似単語対抽出手段の機能構成について具体的に言及しなかったが、たとえば図１１のように構成してもよい。
【０２１３】
図１１はこの発明の実施の形態６による音声認識用の言語モデル学習装置に用いられる類似単語対抽出手段１０３Ｃの具体的構成例を示す機能ブロック図であり、前述と同様のものについては、同一符号を付して、または符号の後に「Ｃ」を付して、詳述を省略する。
【０２１４】
図１１において、１１０１は統計的単語間距離算出手段、１１０２はしきい値判定手段、１１０５は類似単語対抽出手段１０３Ｃ内の距離算出用言語モデル生成手段である。
【０２１５】
この場合の特徴的な機能は、類似単語対抽出手段１０３Ｃ内に距離算出用言語モデル生成手段１１０５、統計的単語間距離算出手段１１０１およびしきい値判定手段１１０２を設け、言語データにしたがった統計的距離尺度に基づき、対象タスクの単語ｗＴと一般タスクの単語ｗＧとの単語間距離ｄ（ｗＴ，ｗＧ）を算出して単語対を選択することにより、高精度に類似単語対を判定することにある。
【０２１６】
以下、図１１内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
類似単語対抽出手段１０３Ｃにおいて、統計的単語間距離算出手段１１０１は、距離算出用言語モデル生成手段１１０５から推定された言語モデルを取り出し、対象タスク言語データ１０１および一般タスク言語データ１０２から抽出される異なる単語対のそれぞれについて、言語モデルに基づいた単語間距離を求め、単語対および単語間距離を出力する。
【０２１７】
しきい値判定手段１１０２は、単語対および統計的単語間距離を、統計的単語間距離算出手段１１０１から順次読み込み、単語間距離が一定のしきい値以下の場合に、単語対（ｗＴ，ｗＧ）を出力する。
【０２１８】
このとき、統計的単語間距離算出手段１１０１は、対象タスク内単語ｗＴおよび一般タスク内単語ｗＧに関する統計的単語間距離の算出方法として、たとえば、Ｎグラム言語モデルの条件付き確率におけるユークリッド距離を用い、以下の（７）式のように統計的単語間距離Ｄ1（ｗＴ，ｗＧ）を求める。
【０２１９】
【数７】
ただし、（７）式において、Ｖは言語データ（単語）の語彙ｘの母集団であり、言語モデルに含まれる全ての語彙を表す。
【０２２１】
また、統計的単語間距離算出手段１１０１は、後続単語に対する先行単語の条件付き確率を用いたユークリッド距離を用い、以下の（８）式のように、統計的単語間距離Ｄ2（ｗＴ，ｗＧ）を求めることができる。
【０２２２】
【数８】
また、上記（７）式および（８）式を個別に用いることのみならず、（７）式と（８）式との和を用いることもできる。
【０２２４】
また、統計的単語間距離算出手段１１０１は、たとえば、単語ｗＴに関するクロスエントロピーを用い、以下の（９）式のように、統計的単語間距離Ｄ3（ｗＴ，ｗＧ）を求めることができる。
【０２２５】
【数９】
また、ユークリッド距離を用いた場合と同様に、以下の（１０）式に示すように、後続単語に関する先行単語の条件付き確率を用いることができる。
【０２２７】
【数１０】
また、上記（９）式および（１０）式を個別に用いることのみならず、（９）式と（１０）式との和を用いることもできる。
【０２２９】
さらに、上記統計的尺度と言語情報とを組み合わせて用いることもできる。
たとえば、単語が形態素を表す場合において、２つの単語の品詞が同一でない場合、距離を無限大として類似単語候補から外すことができる。
【０２３０】
次に、図１２のフローチャートを参照しながら、図１１に示したこの発明の実施の形態６に基づくタスク適応における類似単語対抽出手段１０３Ｃの動作について、さらに具体的に説明する。
図１２において、ステップＳ１２０３〜Ｓ１２０７は、前述（図２参照）のステップＳ２０１〜Ｓ２０３、Ｓ２０７およびＳ２０８にそれぞれ対応している。
【０２３１】
まず、距離算出用言語モデル生成手段１１０５は、対象タスク言語データ１０１および一般タスク言語データ１０２を読み込み（ステップＳ１２０１）、入力されたテキストデータから、言語モデルのパラメータ推定を行う（ステップＳ１２０２）。
【０２３２】
また、統計的単語間距離算出手段１１０１は、対象タスクに含まれる単語ｗＴと、一般タスクに含まれる単語ｗＧとの任意の組み合わせからなる単語対（ｗＴ，ｗＧ）を作成し（ステップＳ１２０３）、距離算出用言語モデル生成手段１１０５により推定される言語モデル上で統計的距離ｄ（ｗＴ，ｗＧ）を計算する（ステップＳ１２０４）。
【０２３３】
続いて、しきい値判定手段１１０２は、統計的単語間距離算出手段１１０１から得られた単語対（ｗＴ，ｗＧ）の距離ｄ（ｗＴ，ｗＧ）をしきい値ｔｈと比較し、距離ｄ（ｗＴ，ｗＧ）がしきい値ｔｈ未満であるか否かを判定する（ステップＳ１２０５）。
【０２３４】
ステップＳ１２０５において、ｄ（ｗＴ，ｗＧ）≧ｔｈ（すなわち、Ｎｏ）と判定されればステップＳ１２０４に戻り、ｄ（ｗＴ，ｗＧ）＜ｔｈ（すなわち、Ｙｅｓ）と判定されれば、そのときの単語対（ｗＴ，ｗＧ）を類似単語対として出力する（ステップＳ１２０６）。
【０２３５】
以下、終了判定ステップＳ１２０７を介して、以上の処理を全ての単語対（ｗＴ，ｗＧ）について行う。
【０２３６】
このように、類似単語対抽出手段１０３Ｃにおいて、言語モデルを推定して統計量に基づいた距離尺度を利用することにより、高精度の類似単語対を判定することができる。
【０２３７】
なお、こうして得られる言語モデルは、言語処理を必要とする文字認識や、自然言語のテキスト処理などにも適用可能である。
また、図１１内の類似単語対抽出手段１０３Ｃの機能をプログラムとして記録媒体に記録することもできる。
【０２３８】
すなわち、図１１内の距離算出用言語モデル生成手段１１０５と同様の処理を行う言語モデル生成機能と、統計的単語間距離算出手段１１０１と同様の処理を行う統計的単語間距離算出機能と、しきい値判定手段１１０２と同様の処理を行うしきい値判定機能とから構成されるソフトウェアにより、音声認識用の言語モデル学習装置の類似単語対抽出プログラムを実現することができる。
【０２３９】
また、図１１においては、距離算出用言語モデル生成手段１１０５を用いたが、図１３のように、距離算出用言語モデル１３０１を用いてもよい。
図１３において、類似単語対抽出手段１０３Ｄ内の距離算出用言語モデル１３０１は、前述（図７参照）の初期言語モデル７０１と同様のものであり、事前に作成されている。
【０２４０】
また、ここでは、類似単語対抽出手段１０３Ｃへの入力データを単語としているが、単語の代わりに、図１４のように単語クラスを用いてもよい。
図１４において、類似単語対抽出手段１０３Ｅ内の距離算出用言語モデル生成手段１１０５Ｅおよび統計的単語間距離算出手段１１０１Ｅは、各単語クラス化手段３０１および３０２から単語クラスを取り込んでいる。
この場合も、前述と同様に、クラス対を抽出することができる。
【０２４１】
さらに、図１４においては、距離算出用言語モデル生成手段１１０５Ｅを用いているが、図１５のように、距離算出用クラス言語モデル１５０１を用いてもよい。
図１５において、類似単語対抽出手段１０３Ｆ内の距離算出用クラス言語モデル１５０１は、前述（図９参照）の初期クラス言語モデル９０１と同様のものであり、事前に作成されている。
【０２４２】
実施の形態７
なお、上記実施の形態１〜６では、言語モデル学習装置のみに注目し、音声認識装置について具体的に言及しなかったが、たとえば、音声認識装置を図１６のように構成してもよい。
【０２４３】
図１６はこの発明の実施の形態７による言語モデルを用いた音声認識装置を概略的に示すブロック構成図であり、従来方法または上記実施の形態１、４、６などで述べた方法により生成される言語モデルを用いた場合を示している。
【０２４４】
図１６において、１６０１は音響特徴抽出手段、１６０２は音響モデル、１６０３は音響照合手段、１６０４は単語辞書、１６０５は言語モデル、１６０６は言語照合手段である。
【０２４５】
言語モデル１６０５は、上記実施の形態１、４、６で述べた言語モデル学習装置および方法を用いて構築されたものである。
この場合の特徴的な機能は、各手段１６０１〜１６０４とともに、言語モデル１６０５を用いた言語照合手段１６０６を設け、対象タスクのデータが少量の場合であっても高精度の音声認識を可能としたことにある。
【０２４６】
以下、図１６内の各手段の機能について、各種モデルおよび各種データと関連させながら具体的に説明する。
まず、音響特徴抽出手段１６０１は、入力された音声波形をＡ／Ｄ変換するとともに、分析時間フレーム毎に取り出して、メルケプストラムなどの音声特徴を良好に表すパラメータのベクトルに変換する。
【０２４７】
音響モデル１６０２は、たとえばＨＭＭを用いて、音声の認識単位（音素や単語など）内の音響特徴ベクトルの性質を確率分布や状態推移などによって表すものである。
【０２４８】
音響照合手段１６０３は、音響特徴抽出手段１６０１から得られる音素の音響特徴ベクトルと、音響モデル１６０２とを照合し、照合の度合いを表すスコアを出力する。
【０２４９】
単語辞書１６０４は、音響モデル１６０２の並びと、言語的な単位である単語との対応を記述するものである。
言語モデル１６０５は、言語モデル学習装置から得られ、認識対象とする単語の接続情報を記述するものであり、たとえば、単語Ｎグラム言語モデルを用いて単語間の遷移を（ｎ−１）重マルコフ過程で表現する。
【０２５０】
言語照合手段１６０６は、音響照合手段１６０３から音響特徴量と音響モデルとの照合スコアを受け取り、単語辞書１６０４および言語モデル１６０５を参照して、認識対象となる単語列のうち、最もスコアが高いものを認識結果とする処理を行う。
【０２５１】
次に、図１７のフローチャートを参照しながら、図１６に示したこの発明の実施の形態７に基づく音声認識の手順について、さらに具体的に説明する。
まず、図１６に示す音声認識装置は、あらかじめ準備した音響モデル１６０２および単語辞書１６０４とともに、上記実施の形態１、４、６（図１、図２、図７、図８、図１１〜図１３参照）により生成された言語モデル１６０５を読み込む（ステップＳ１７０１）。
【０２５２】
音響特徴抽出手段１６０１は、認識対象である入力音声をＡ／Ｄし、ある時間区間を区切った音声フレームを読み込み（ステップＳ１７０２）、対象とする音声フレームについて信号処理手法を用い、メルケプストラムなどの音声特徴を良好に表す音響特徴ベクトルを抽出する（ステップＳ１７０３）。
【０２５３】
続いて、音響照合手段１６０３は、ステップＳ１７０３で得られた音響特徴ベクトルを音響モデル１６０２と照合して、音響照合スコアを求める（ステップＳ１７０４）。
【０２５４】
次に、言語照合手段１６０６は、単語辞書１６０４および言語モデル１６０５を参照して、認識対象となる単語について、音響照合スコアを累積していく（ステップＳ１７０５）。
【０２５５】
言語照合手段１６０６は、上記照合処理を各フレーム毎に実行しながら、対象音声の最終フレームに到達したか否かを判定し（ステップＳ１７０６）、対象音声の最終フレームに到達していない（すなわち、Ｎｏ）と判定されればステップＳ１７０２戻る。
【０２５６】
また、ステップＳ１７０６において、対象音声の最終フレームに到達した（すなわち、Ｙｅｓ）と判定されれば、照合が終了したものと見なし、この時点で最も良いスコアとなっているものを認識結果として出力し（ステップＳ１７０７）、図１７の処理ルーチンを終了する。
【０２５７】
このように、言語モデル１６０５を用いることにより、対象以外のタスクを含む大量データと、対象タスクに関する少量データとから、高精度の言語モデルが構築されるので、高精度の音声認識を実現することができる。
【０２５８】
実施の形態８
なお、上記実施の形態７では、上記実施の形態１、４、６により生成された言語モデルを用いたが、上記実施の形態２、３、５、６により生成されたクラス言語モデルを用いてもよい。
【０２５９】
図１８はこの発明の実施の形態８による言語モデルを用いた音声認識装置を概略的に示すブロック構成図であり、上記実施の形態２、３、５、６で述べた装置および方法により生成される言語モデルを用いた場合を示している。
【０２６０】
図１８において、各手段１６０１〜１６０４は前述（図１６参照）と同様のものであり、言語照合手段１６０６Ａは前述の言語照合手段１６０６に対応している。
１８０１は言語モデル内のクラスと単語との対応関係を表すクラス定義、１８０２はクラスの出現確率を与えるクラス言語モデルである。
【０２６１】
クラス言語モデル１８０２は、上記実施の形態２、３、５、６（図３〜図６、図９、図１０、図１４、図１５参照）で述べた装置および方法を用いて構築したものである。
【０２６２】
この場合の特徴的な機能は、クラス言語モデル１８０２を用いた言語照合手段１６０６Ａを設けることにより、学習に用いた対象タスクのデータが少量の場合であっても高精度の音声認識を可能にしたことにある。
【０２６３】
次に、図１９のフローチャートを参照しながら、図１８に示したこの発明の実施の形態８に基づく音声認識の手順について、さらに具体的に説明する。
図１９において、ステップＳ１９０１〜Ｓ１９０７は、前述（図１７参照）のステップＳ１７０１〜Ｓ１７０７にそれぞれ対応している。
【０２６４】
まず、あらかじめ準備した音響モデル１６０２、単語辞書１６０４およびクラス定義１８０１とともに、上記実施の形態２、３、５、６により生成されたクラス言語モデル１８０２を読み込む（ステップＳ１９０１）。
【０２６５】
音響特徴抽出手段１６０１は、認識対象である入力音声をＡ／Ｄし、ある時間区間を区切った音声フレームを読み込み（ステップＳ１９０２）、対象とする音声フレームについて信号処理手法を用い、メルケプストラムなどの音声特徴を良好に表す音響特徴ベクトルを抽出する（ステップＳ１９０３）。
【０２６６】
続いて、音響照合手段１６０３は、得られた音響特徴ベクトルを音響モデル１６０２と照合して、音響照合スコアを求める（ステップＳ１９０４）。
【０２６７】
次に、言語照合手段１６０６Ａは、単語辞書１６０４、クラス定義１８０１およびクラス言語モデル１８０２を参照して、認識対象となる単語について、音響照合スコアを累積していく（ステップＳ１９０５）。
【０２６８】
以下、ステップＳ１９０６を介して上記照合処理を各フレーム毎に実行していき、対象音声の最終フレームに到達して照合が終了した時点で、最も良いスコアとなっているものを認識結果として出力し（ステップＳ１９０７）、図１９の処理ルーチンを終了する。
【０２６９】
このように、クラス言語モデル１８０２を用いることにより、対象以外のタスクを含む大量データと対象タスクに関する少量データとから、高精度の音声認識を実現することができる。
【０２７０】
【発明の効果】
以上のように、この発明の請求項１によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、タスク適応化済み言語モデルを構築するための、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから各テキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、各テキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、各テキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７１】
また、この発明の請求項２によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７２】
また、この発明の請求項３によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、対象タスク言語データおよび一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語列合成手段は、第１および第２のテキストデータを読み込むとともに、類似単語対抽出手段から類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、言語モデル生成手段は、第１および第２のテキストデータを読み込むとともに、類似単語列合成手段から単語列を読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めることにより、タスク適応化済み言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７３】
また、この発明の請求項４によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、事前に準備したテキストデータを用いて作成された初期言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期言語モデルから、タスク適応化済み統計的言語モデルを構築するための、類似単語対抽出手段および類似単語確率補正手段とを備え、類似単語対抽出手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済み統計的言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７４】
また、この発明の請求項５によれば、対象タスクのテキストデータを集積した対象タスク言語データと、対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、あらかじめ作成された初期クラス言語モデルと、対象タスク言語データ、一般タスク言語データおよび初期クラス言語モデルから、タスク適応化済みクラス言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段および類似単語確率補正手段とを備え、対象タスク単語クラス化手段は、対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、一般タスク単語クラス化手段は、一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、類似単語対抽出手段は、第１および第２のテキストデータを読み込み、対象タスクのテキストデータに含まれる単語と一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、類似単語確率補正手段は、類似単語対抽出手段から類似単語対を読み込むとともに、初期クラス言語モデルを読み込み、対象タスクで出現する単語の出現確率のスムージングを行うことにより、タスク適応化済みクラス言語モデルを生成するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７５】
また、この発明の請求項６によれば、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク言語データおよび一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７６】
また、この発明の請求項７によれば、請求項１または請求項４において、類似単語抽出手段は、距離算出用言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７７】
また、この発明の請求項８によれば、請求項３または請求項５において、類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用言語モデル生成手段は、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、統計的単語間距離算出手段は、距離算出用言語モデル生成手段から統計的言語モデルを読み込み、各テキストデータから抽出した単語からなる単語対について、統計的言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７８】
また、この発明の請求項９によれば、請求項３または請求項５において、類似単語抽出手段は、距離算出用クラス言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、距離算出用クラス言語モデルは、事前に準備したテキストデータを用いて作成されており、統計的単語間距離算出手段は、距離算出用クラス言語モデルを読み込むとともに、対象タスク単語クラス化手段および一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータから抽出した単語からなる単語対について、距離算出用クラス言語モデル上の統計的な距離を単語間距離として求め、しきい値判定手段は、統計的単語間距離算出手段から単語対および単語間距離を読み込み、所定のしきい値を越える単語対を出力するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２７９】
また、この発明の請求項１０によれば、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のユークリッド距離を用いて、単語間距離を測定するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２８０】
また、この発明の請求項１１によれば、請求項６から請求項９までのいずれかにおいて、統計的単語間距離算出手段は、Ｎグラム言語モデル上のクロスエントロピーを用いて、単語間距離を測定するようにしたので、認識精度を高めた言語モデル学習装置が得られる効果がある。
【０２８１】
また、この発明の請求項１２によれば、請求項１から請求項１１までのいずれかの言語モデル学習装置を用いた音声認識装置であって、言語モデルまたはクラス言語モデルは、音声認識に用いられるようにしたので、高精度の音声認識装置が得られる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による言語モデル学習装置を概略的に示すブロック構成図である。
【図２】 この発明の実施の形態１による言語モデル学習装置の処理手順を示すフローチャートである。
【図３】 この発明の実施の形態２による言語モデル学習装置を概略的に示すブロック構成図である。
【図４】 この発明の実施の形態２による言語モデル学習装置の処理手順を示すフローチャートである。
【図５】 この発明の実施の形態３による言語モデル学習装置を概略的に示すブロック構成図である。
【図６】 この発明の実施の形態３による言語モデル学習装置の処理手順を示すフローチャートである。
【図７】 この発明の実施の形態４による言語モデル学習装置を概略的に示すブロック構成図である。
【図８】 この発明の実施の形態４による言語モデル学習装置の処理手順を示すフローチャートである。
【図９】 この発明の実施の形態５による言語モデル学習装置を概略的に示すブロック構成図である。
【図１０】 この発明の実施の形態５による言語モデル学習装置の処理手順を示すフローチャートである。
【図１１】 この発明の実施の形態６による言語モデル学習装置の類似単語対抽出手段を具体例に示す機能ブロック図である。
【図１２】 この発明の実施の形態６による言語モデル学習装置の類似単語対抽出手段の処理手順を示すフローチャートである。
【図１３】 この発明の実施の形態６による類似単語対抽出手段の第２の具体例を示す機能ブロック図である。
【図１４】 この発明の実施の形態６による類似単語対抽出手段の第３の具体例を示す機能ブロック図である。
【図１５】 この発明の実施の形態６による類似単語対抽出手段の第４の具体例を示す機能ブロック図である。
【図１６】 この発明の実施の形態７による言語モデル学習装置を用いた音声認識装置を概略的に示すブロック構成図である。
【図１７】 この発明の実施の形態７による言語モデル学習装置を用いた音声認識装置の処理手順を示すフローチャートである。
【図１８】 この発明の実施の形態８による言語モデル学習装置を用いた音声認識装置を概略的に示すブロック構成図である。
【図１９】 この発明の実施の形態８による言語モデル学習装置を用いた音声認識装置の処理手順を示すフローチャートである。
【図２０】 一般的なクラス定義の一例を示す説明図である。
【図２１】 従来の言語モデル学習装置を概略的に示すブロック構成図である。
【図２２】 従来の言語モデル学習装置および方法による処理手順を示すフローチャートである。
【符号の説明】
１０１ 対象タスク言語データ、１０２ 一般タスク言語データ、１０３、１０３Ｂ、１０３Ｃ、１０３Ｄ、１０３Ｅ、１０３Ｆ 類似単語対抽出手段、１０４、１０４Ｂ 類似単語列合成手段、１０５、１０５Ａ、１０５Ｂ 言語モデル生成手段、３０１ 対象タスク単語クラス化手段、３０２ 一般タスク単語クラス化手段および言語モデル生成手段とを備え、７０１ 初期言語モデル、７０２ 類似単語確率補正手段、９０１ 初期クラス言語モデル、１１０１、１１０１Ｄ、１１０１Ｆ 統計的単語間距離算出手段、１１０２、１１０２Ｅ しきい値判定手段、１１０５、１１０５Ｅ 距離算出用言語モデル生成手段、１３０１ 距離算出用言語モデル、１５０１ 距離算出用クラス言語モデル、１６０５ 言語モデル、１８０２ クラス言語モデル。
Claims (12)
- 対象タスクのテキストデータを集積した対象タスク言語データと、
対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、
前記対象タスク言語データおよび前記一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、タスク適応化済み言語モデルを構築するための、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、
前記類似単語対抽出手段は、前記対象タスク言語データおよび前記一般タスク言語データから各テキストデータを読み込み、前記対象タスクのテキストデータに含まれる単語と前記一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、
前記類似単語列合成手段は、前記各テキストデータを読み込むとともに、前記類似単語対抽出手段から前記類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、
前記言語モデル生成手段は、前記各テキストデータを読み込むとともに、前記類似単語列合成手段から前記単語列を読み込み、前記各テキストデータ毎に重み付けて前記単語列の統計量を求めることにより、前記タスク適応化済み言語モデルを生成することを特徴とする言語モデル学習装置。 - 対象タスクのテキストデータを集積した対象タスク言語データと、
対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、
前記対象タスク言語データおよび前記一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段および言語モデル生成手段とを備え、
前記対象タスク単語クラス化手段は、前記対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、
前記一般タスク単語クラス化手段は、前記一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、
前記言語モデル生成手段は、前記第１および第２のテキストデータを読み込み、前記各テキストデータ毎に重み付けて単語列の統計量を求めることにより、前記言語モデルを生成することを特徴とする言語モデル学習装置。 - 対象タスクのテキストデータを集積した対象タスク言語データと、
対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、
前記対象タスク言語データおよび前記一般タスク言語データからタスク適応化済み言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段、類似単語列合成手段および言語モデル生成手段とを備え、
前記対象タスク単語クラス化手段は、前記対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、
前記一般タスク単語クラス化手段は、前記一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、
前記類似単語対抽出手段は、前記第１および第２のテキストデータを読み込み、前記対象タスクのテキストデータに含まれる単語と前記一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、
前記類似単語列合成手段は、前記第１および第２のテキストデータを読み込むとともに、前記類似単語対抽出手段から前記類似単語対を読み込み、言語データに含まれない対象タスク内の単語を含む単語列を合成して出力し、
前記言語モデル生成手段は、前記第１および第２のテキストデータを読み込むとともに、前記類似単語列合成手段から前記単語列を読み込み、前記各テキストデータ毎に重み付けて前記単語列の統計量を求めることにより、前記タスク適応化済み言語モデルを生成することを特徴とする言語モデル学習装置。 - 対象タスクのテキストデータを集積した対象タスク言語データと、
対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、
事前に準備したテキストデータを用いて作成された初期言語モデルと、
前記対象タスク言語データ、前記一般タスク言語データおよび前記初期言語モデルから、タスク適応化済み統計的言語モデルを構築するための、類似単語対抽出手段および類似単語確率補正手段とを備え、
前記類似単語対抽出手段は、前記対象タスク言語データおよび前記一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、前記対象タスクのテキストデータに含まれる単語と前記一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、
前記類似単語確率補正手段は、前記類似単語対抽出手段から前記類似単語対を読み込むとともに、前記初期言語モデルを読み込み、前記対象タスクで出現する単語の出現確率のスムージングを行うことにより、前記タスク適応化済み統計的言語モデルを生成することを特徴とする言語モデル学習装置。 - 対象タスクのテキストデータを集積した対象タスク言語データと、
対象タスク以外のタスクを含む一般タスクのテキストデータを集積した一般タスク言語データと、
あらかじめ作成された初期クラス言語モデルと、
前記対象タスク言語データ、前記一般タスク言語データおよび前記初期クラス言語モデルから、タスク適応化済みクラス言語モデルを構築するための、対象タスク単語クラス化手段、一般タスク単語クラス化手段、類似単語対抽出手段および類似単語確率補正手段とを備え、
前記対象タスク単語クラス化手段は、前記対象タスク言語データから対象タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第１のテキストデータを出力し、
前記一般タスク単語クラス化手段は、前記一般タスク言語データから一般タスクのテキストデータを読み込み、クラス定義に示されたクラスに単語を置き換えて、言語モデル学習用のクラス化された第２のテキストデータを出力し、
前記類似単語対抽出手段は、前記第１および第２のテキストデータを読み込み、前記対象タスクのテキストデータに含まれる単語と前記一般タスクのテキストデータに含まれる単語との組み合わせから類似単語対を抽出し、
前記類似単語確率補正手段は、前記類似単語対抽出手段から前記類似単語対を読み込むとともに、前記初期クラス言語モデルを読み込み、前記対象タスクで出現する単語の出現確率のスムージングを行うことにより、前記タスク適応化済みクラス言語モデルを生成することを特徴とする言語モデル学習装置。 - 前記類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、
前記距離算出用言語モデル生成手段は、前記対象タスク言語データおよび前記一般タスク言語データから、それぞれ言語モデル学習用のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、
前記統計的単語間距離算出手段は、前記距離算出用言語モデル生成手段から前記統計的言語モデルを読み込み、前記各テキストデータから抽出した単語からなる単語対について、前記統計的言語モデル上の統計的な距離を単語間距離として求め、
前記しきい値判定手段は、前記統計的単語間距離算出手段から前記単語対および前記単語間距離を読み込み、所定のしきい値を越える単語対を出力することを特徴とする請求項１または請求項４に記載の言語モデル学習装置。 - 前記類似単語抽出手段は、距離算出用言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、
前記距離算出用言語モデルは、事前に準備したテキストデータを用いて作成されており、
前記統計的単語間距離算出手段は、前記距離算出用言語モデルを読み込み、前記各テキストデータから抽出した単語からなる単語対について、前記距離算出用言語モデル上の統計的な距離を単語間距離として求め、
前記しきい値判定手段は、前記統計的単語間距離算出手段から前記単語対および前記単語間距離を読み込み、所定のしきい値を越える単語対を出力することを特徴とする請求項１または請求項４に記載の言語モデル学習装置。 - 前記類似単語抽出手段は、距離算出用言語モデル生成手段、統計的単語間距離算出手段およびしきい値判定手段を含み、
前記距離算出用言語モデル生成手段は、前記対象タスク単語クラス化手段および前記一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、各テキストデータ毎に重み付けて単語列の統計量を求めて、距離算出用の統計的言語モデルを生成し、
前記統計的単語間距離算出手段は、前記距離算出用言語モデル生成手段から前記統計的言語モデルを読み込み、前記各テキストデータから抽出した単語からなる単語対について、前記統計的言語モデル上の統計的な距離を単語間距離として求め、
前記しきい値判定手段は、前記統計的単語間距離算出手段から前記単語対および前記単語間距離を読み込み、所定のしきい値を越える単語対を出力することを特徴とする請求項３または請求項５に記載の言語モデル学習装置。 - 前記類似単語抽出手段は、距離算出用クラス言語モデル、統計的単語間距離算出手段およびしきい値判定手段を含み、
前記距離算出用クラス言語モデルは、事前に準備したテキストデータを用いて作成されており、
前記統計的単語間距離算出手段は、前記距離算出用クラス言語モデルを読み込むとともに、前記対象タスク単語クラス化手段および前記一般タスク単語クラス化手段から第１および第２のテキストデータを読み込み、前記各テキストデータから抽出した単語からなる単語対について、前記距離算出用クラス言語モデル上の統計的な距離を単語間距離として求め、
前記しきい値判定手段は、前記統計的単語間距離算出手段から前記単語対および前記単語間距離を読み込み、所定のしきい値を越える単語対を出力することを特徴とする請求項３または請求項５に記載の言語モデル学習装置。 - 前記統計的単語間距離算出手段は、Ｎグラム言語モデル上のユークリッド距離を用いて、前記単語間距離を測定することを特徴とする請求項６から請求項９までのいずれかに記載の言語モデル学習装置。
- 前記統計的単語間距離算出手段は、Ｎグラム言語モデル上のクロスエントロピーを用いて、前記単語間距離を測定することを特徴とする請求項６から請求項９までのいずれかに記載の言語モデル学習装置。
- 前記言語モデルまたは前記クラス言語モデルは、音声認識に用いられることを特徴とする請求項１から請求項１１までのいずれかに記載の言語モデル学習装置を用いた音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001144885A JP3961780B2 (ja) | 2001-05-15 | 2001-05-15 | 言語モデル学習装置およびそれを用いた音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001144885A JP3961780B2 (ja) | 2001-05-15 | 2001-05-15 | 言語モデル学習装置およびそれを用いた音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342323A JP2002342323A (ja) | 2002-11-29 |
| JP3961780B2 true JP3961780B2 (ja) | 2007-08-22 |
Family
ID=18990778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001144885A Expired - Fee Related JP3961780B2 (ja) | 2001-05-15 | 2001-05-15 | 言語モデル学習装置およびそれを用いた音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3961780B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7197457B2 (en) * | 2003-04-30 | 2007-03-27 | Robert Bosch Gmbh | Method for statistical language modeling in speech recognition |
| US8301436B2 (en) * | 2003-05-29 | 2012-10-30 | Microsoft Corporation | Semantic object synchronous understanding for highly interactive interface |
| JP4810789B2 (ja) * | 2003-09-26 | 2011-11-09 | 日本電気株式会社 | 言語モデル学習システム、音声認識システム、言語モデル学習方法、及びプログラム |
| US7478038B2 (en) * | 2004-03-31 | 2009-01-13 | Microsoft Corporation | Language model adaptation using semantic supervision |
| WO2007083496A1 (ja) * | 2006-01-23 | 2007-07-26 | Nec Corporation | 音声認識用言語モデル作成用のシステム、方法およびプログラムならびに音声認識システム |
| US20110161072A1 (en) * | 2008-08-20 | 2011-06-30 | Nec Corporation | Language model creation apparatus, language model creation method, speech recognition apparatus, speech recognition method, and recording medium |
| WO2010125736A1 (ja) | 2009-04-30 | 2010-11-04 | 日本電気株式会社 | 言語モデル作成装置、言語モデル作成方法、およびコンピュータ読み取り可能な記録媒体 |
| JP5276610B2 (ja) * | 2010-02-05 | 2013-08-28 | 日本放送協会 | 言語モデル生成装置、そのプログラムおよび音声認識システム |
| JP5807891B2 (ja) * | 2010-10-04 | 2015-11-10 | 国立研究開発法人情報通信研究機構 | 言語モデル学習装置及びコンピュータプログラム |
| WO2012165529A1 (ja) * | 2011-06-03 | 2012-12-06 | 日本電気株式会社 | 言語モデル構築支援装置、方法及びプログラム |
| JP5799733B2 (ja) | 2011-10-12 | 2015-10-28 | 富士通株式会社 | 認識装置、認識プログラムおよび認識方法 |
| CN106683677B (zh) | 2015-11-06 | 2021-11-12 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
| CN115830615A (zh) * | 2022-12-20 | 2023-03-21 | 科大讯飞股份有限公司 | 文本识别方法、装置、设备及可读存储介质 |
| JP7804603B2 (ja) * | 2023-03-03 | 2026-01-22 | 株式会社日立製作所 | 合成学習データ生成装置、合成学習データ生成方法 |
-
2001
- 2001-05-15 JP JP2001144885A patent/JP3961780B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002342323A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189272B2 (en) | Dialect phoneme adaptive training system and method | |
| JP3933750B2 (ja) | 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置 | |
| JP3126985B2 (ja) | 音声認識システムの言語モデルのサイズを適応させるための方法および装置 | |
| US6542866B1 (en) | Speech recognition method and apparatus utilizing multiple feature streams | |
| US20180137109A1 (en) | Methodology for automatic multilingual speech recognition | |
| EP1551007A1 (en) | Language model creation/accumulation device, speech recognition device, language model creation method, and speech recognition method | |
| CN111243599B (zh) | 语音识别模型构建方法、装置、介质及电子设备 | |
| JP5752060B2 (ja) | 情報処理装置、大語彙連続音声認識方法及びプログラム | |
| JP3961780B2 (ja) | 言語モデル学習装置およびそれを用いた音声認識装置 | |
| JP2002091477A (ja) | 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2003308090A (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
| JP4269625B2 (ja) | 音声認識辞書作成方法及びその装置と音声認識装置 | |
| JP4987530B2 (ja) | 音声認識辞書作成装置および音声認識装置 | |
| JP4769098B2 (ja) | 音声認識信頼度推定装置、その方法、およびプログラム | |
| JP2938866B1 (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| Chen et al. | Generation of robust phonetic set and decision tree for Mandarin using chi-square testing | |
| JP2006107353A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP5124012B2 (ja) | 音声認識装置及び音声認識プログラム | |
| JP4764203B2 (ja) | 音声認識装置及び音声認識プログラム | |
| JP4659541B2 (ja) | 音声認識装置及び音声認識プログラム | |
| JPH09134192A (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| JP3894419B2 (ja) | 音声認識装置、並びにこれらの方法、これらのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4674609B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP2003271188A (ja) | 言語処理装置および方法 | |
| JPWO2013125203A1 (ja) | 音声認識装置、音声認識方法およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3961780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |