JPH0990984A - 翻訳言語モデルの推定方法及び装置 - Google Patents
翻訳言語モデルの推定方法及び装置Info
- Publication number
- JPH0990984A JPH0990984A JP7247955A JP24795595A JPH0990984A JP H0990984 A JPH0990984 A JP H0990984A JP 7247955 A JP7247955 A JP 7247955A JP 24795595 A JP24795595 A JP 24795595A JP H0990984 A JPH0990984 A JP H0990984A
- Authority
- JP
- Japan
- Prior art keywords
- language
- translation
- input
- output
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
Abstract
(57)【要約】
【課題】 音声理解の部分については、人手に依るもの
が大きく、自動的に翻訳規則を生成できる手法が望まれ
ている。 【解決手段】 本発明は、 入力言語の文セットから入
力言語の文法規則を、出力言語の文セットから出力言語
の文法規則を推定し（ステップ１）、入力言語の文セッ
ト、出力言語の文セットをそれぞれ文法規則列に置き替
え（ステップ２）、各文毎に入力言語の文法規則と出力
言語の文法規則の共起関係を推定し（ステップ３）、翻
訳において共起関係を入力言語から出力言語への翻訳言
語モデルとする（ステップ４）よりなる。
が大きく、自動的に翻訳規則を生成できる手法が望まれ
ている。 【解決手段】 本発明は、 入力言語の文セットから入
力言語の文法規則を、出力言語の文セットから出力言語
の文法規則を推定し（ステップ１）、入力言語の文セッ
ト、出力言語の文セットをそれぞれ文法規則列に置き替
え（ステップ２）、各文毎に入力言語の文法規則と出力
言語の文法規則の共起関係を推定し（ステップ３）、翻
訳において共起関係を入力言語から出力言語への翻訳言
語モデルとする（ステップ４）よりなる。
Description
【０００１】
【発明の属する技術分野】本発明は、翻訳言語モデルの
推定方法及び装置に係り、特に、音声による情報検索等
の音声理解等において、自然言語を意味言語に翻訳する
場合に用いる翻訳言語モデルを推定する言語処理におけ
る翻訳言語モデルの推定方法及び装置に関する。
推定方法及び装置に係り、特に、音声による情報検索等
の音声理解等において、自然言語を意味言語に翻訳する
場合に用いる翻訳言語モデルを推定する言語処理におけ
る翻訳言語モデルの推定方法及び装置に関する。
【０００２】例えば、連続発声された音声を理解するた
めの装置に実装される翻訳言語モデルの推定方法及び装
置に関する。
めの装置に実装される翻訳言語モデルの推定方法及び装
置に関する。
【０００３】
【従来の技術】音声による情報検索等、システムが音声
を理解し、その内容に対して回答を返すシステムでは、
音声理解として人間が話す自然言語を機械が認識できる
意味言語に翻訳する必要がある。
を理解し、その内容に対して回答を返すシステムでは、
音声理解として人間が話す自然言語を機械が認識できる
意味言語に翻訳する必要がある。
【０００４】例えば、電話番号案内等では、エンジェル
・ライン（ANGEL LINE) サービスのように、キーボード
入力された文字により検索に必要な住所や氏名等が与え
られれば、人手を介することなく、自動的に電話番号を
データベース検索により、回答をディスプレイ等に表示
することが可能である。
・ライン（ANGEL LINE) サービスのように、キーボード
入力された文字により検索に必要な住所や氏名等が与え
られれば、人手を介することなく、自動的に電話番号を
データベース検索により、回答をディスプレイ等に表示
することが可能である。
【０００５】また、情報検索等の音声理解システムにお
いて、音声認識装置で認識された音声認識結果（自然言
語）をデータベース検索言語（意味言語）に変換するた
めの翻訳言語モデルをコーパスから自動的に獲得する場
合に、Vidal らによる"Learning associations between
grammars: a new approach to natural ianguage unde
rstanding, "Proc. EUROSPEECH-93, pp.1187-1190"が提
案されている。この方法は、音声理解を自然言語から意
味言語へ翻訳する問題としてとらえ、自然言語と意味言
語が一対になったコーパスを用いて翻訳のための翻訳言
語モデルを推定する方法である。
いて、音声認識装置で認識された音声認識結果（自然言
語）をデータベース検索言語（意味言語）に変換するた
めの翻訳言語モデルをコーパスから自動的に獲得する場
合に、Vidal らによる"Learning associations between
grammars: a new approach to natural ianguage unde
rstanding, "Proc. EUROSPEECH-93, pp.1187-1190"が提
案されている。この方法は、音声理解を自然言語から意
味言語へ翻訳する問題としてとらえ、自然言語と意味言
語が一対になったコーパスを用いて翻訳のための翻訳言
語モデルを推定する方法である。
【０００６】
【発明が解決しようとする課題】しかしながら、上記従
来の技術におけるエンジェル・ライン・サービスでは、
通常の電話を介した音声による問い合わせの場合には、
住所や氏名は自然言語として話された形で与えられるの
で、オペレータ自身がまず、音声認識をし、さらに、必
要な情報だけを取り出して情報検索端末のキーボードを
介して入力することになる。回答は音声合成により機械
から自動的に返される。即ち、音声理解の部分だけに人
間が関わることになる。
来の技術におけるエンジェル・ライン・サービスでは、
通常の電話を介した音声による問い合わせの場合には、
住所や氏名は自然言語として話された形で与えられるの
で、オペレータ自身がまず、音声認識をし、さらに、必
要な情報だけを取り出して情報検索端末のキーボードを
介して入力することになる。回答は音声合成により機械
から自動的に返される。即ち、音声理解の部分だけに人
間が関わることになる。
【０００７】研究レベルの技術についてみても、この音
声理解の部分はまだ未完成であり、音声理解システム構
築のための音声データベースの収録でもウィザード・オ
ブ・オズ（Wizard of Oz) 方式と呼ばれる音声理解を人
間が行う方法で収録されている。また、少数の自動化さ
れたシステムでもタスク（適用領域）に強く依存した方
法でエキスパートが人手でヒューリスティックにルール
を書いた文法等を用いて自然言語を意味言語に翻訳して
いる。そのため、タスクの変更に伴い文法を書き直す等
人手による作業が大きいため、自動的に翻訳規則を生成
できる手法が望まれている。
声理解の部分はまだ未完成であり、音声理解システム構
築のための音声データベースの収録でもウィザード・オ
ブ・オズ（Wizard of Oz) 方式と呼ばれる音声理解を人
間が行う方法で収録されている。また、少数の自動化さ
れたシステムでもタスク（適用領域）に強く依存した方
法でエキスパートが人手でヒューリスティックにルール
を書いた文法等を用いて自然言語を意味言語に翻訳して
いる。そのため、タスクの変更に伴い文法を書き直す等
人手による作業が大きいため、自動的に翻訳規則を生成
できる手法が望まれている。
【０００８】また、Vidal らによるコーパスを用いて、
翻訳のための翻訳言語モデルを推定する方法は、自然言
語の文法規則と意味言語の文法規則の共起確率を翻訳言
語モデルとするが、文法規則数が多いと共起確率の推定
が困難になるという問題がある。
翻訳のための翻訳言語モデルを推定する方法は、自然言
語の文法規則と意味言語の文法規則の共起確率を翻訳言
語モデルとするが、文法規則数が多いと共起確率の推定
が困難になるという問題がある。
【０００９】本発明は、上記の点に鑑みなされたもの
で、確率・統計的にテキストデータベースから言語翻訳
言語モデルを推定することにより、人手によることな
く、自動的に自然言語から意味言語への翻訳のための規
則である翻訳言語モデルを生成する翻訳言語モデル推定
方法及び装置を提供することを目的とする。
で、確率・統計的にテキストデータベースから言語翻訳
言語モデルを推定することにより、人手によることな
く、自動的に自然言語から意味言語への翻訳のための規
則である翻訳言語モデルを生成する翻訳言語モデル推定
方法及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、入力言語と出力言
語が一文づつ組になった学習用テキストデータベースを
用いて、該入力言語から該出力言語への翻訳のための翻
訳言語モデルを推定する翻訳言語モデルの推定方法にお
いて、入力言語の文セットから入力言語の文法規則を、
出力言語の文セットから出力言語の文法規則を推定し
（ステップ１）、入力言語の文セット、出力言語の文セ
ットをそれぞれ文法規則列に置き替え（ステップ２）、
各文毎に入力言語の文法規則と出力言語の文法規則の共
起関係を推定し（ステップ３）、翻訳において共起関係
を入力言語から出力言語への翻訳言語モデルとする（ス
テップ４）。
説明するための図である。本発明は、入力言語と出力言
語が一文づつ組になった学習用テキストデータベースを
用いて、該入力言語から該出力言語への翻訳のための翻
訳言語モデルを推定する翻訳言語モデルの推定方法にお
いて、入力言語の文セットから入力言語の文法規則を、
出力言語の文セットから出力言語の文法規則を推定し
（ステップ１）、入力言語の文セット、出力言語の文セ
ットをそれぞれ文法規則列に置き替え（ステップ２）、
各文毎に入力言語の文法規則と出力言語の文法規則の共
起関係を推定し（ステップ３）、翻訳において共起関係
を入力言語から出力言語への翻訳言語モデルとする（ス
テップ４）。
【００１１】または、上記のステップ２において、入力
言語及び出力言語の文を文法規則に置き替えずに、直接
入力言語の文中の単語と出力言語の文中の単語の共起関
係を推定し、翻訳言語モデルとする。図２は、本発明の
第１の原理構成図である。
言語及び出力言語の文を文法規則に置き替えずに、直接
入力言語の文中の単語と出力言語の文中の単語の共起関
係を推定し、翻訳言語モデルとする。図２は、本発明の
第１の原理構成図である。
【００１２】本発明は、入力言語と出力言語が一文づつ
組になった学習用テキストデータベースを用いて、該入
力言語から該出力言語への翻訳のための翻訳言語モデル
を推定する翻訳言語モデルの推定装置において、入力言
語の文セットから入力言語の文法規則を、出力言語の文
セットから出力言語の文法規則を推定する文法規則推定
手段１００と、入力言語の文セット、出力言語の文セッ
トを文法規則推定手段１００により推定されたそれぞれ
文法規則列に置き替える置換手段２００と、各文毎に入
力言語の文法規則と出力言語の文法規則の共起関係を推
定する共起関係推定手段３００と、翻訳において共起関
係を入力言語から出力言語への翻訳言語モデルとする翻
訳言語モデル生成手段４００とを有する。
組になった学習用テキストデータベースを用いて、該入
力言語から該出力言語への翻訳のための翻訳言語モデル
を推定する翻訳言語モデルの推定装置において、入力言
語の文セットから入力言語の文法規則を、出力言語の文
セットから出力言語の文法規則を推定する文法規則推定
手段１００と、入力言語の文セット、出力言語の文セッ
トを文法規則推定手段１００により推定されたそれぞれ
文法規則列に置き替える置換手段２００と、各文毎に入
力言語の文法規則と出力言語の文法規則の共起関係を推
定する共起関係推定手段３００と、翻訳において共起関
係を入力言語から出力言語への翻訳言語モデルとする翻
訳言語モデル生成手段４００とを有する。
【００１３】図３は、本発明の第２の原理構成図であ
る。本発明は、入力言語と出力言語が一文づつ組になっ
た学習用テキストデータベースを用いて、該入力言語か
ら該出力言語への翻訳のための翻訳言語モデルを推定す
る翻訳言語モデルの推定装置において、直接入力言語の
文中の単語と出力言語の文中の単語の共起関係を推定す
る共起関係推定手段３００と、翻訳において共起関係を
入力言語から出力言語への翻訳言語モデルとする翻訳言
語モデル生成手段４００とを有する。
る。本発明は、入力言語と出力言語が一文づつ組になっ
た学習用テキストデータベースを用いて、該入力言語か
ら該出力言語への翻訳のための翻訳言語モデルを推定す
る翻訳言語モデルの推定装置において、直接入力言語の
文中の単語と出力言語の文中の単語の共起関係を推定す
る共起関係推定手段３００と、翻訳において共起関係を
入力言語から出力言語への翻訳言語モデルとする翻訳言
語モデル生成手段４００とを有する。
【００１４】このように、本発明は、テキストデータベ
ースから統計的に翻訳言語モデルを推定するため、専門
知識を有するエキスパートが文法規則を人手で書く必要
がなく、そのまた、タスクが変更された場合でも非常に
容易に音声理解システムを構築することが可能である。
ースから統計的に翻訳言語モデルを推定するため、専門
知識を有するエキスパートが文法規則を人手で書く必要
がなく、そのまた、タスクが変更された場合でも非常に
容易に音声理解システムを構築することが可能である。
【００１５】
【発明の実施の形態】本発明は、文法規則数が多い場合
にも有効な翻訳言語モデルが推定できるようアルゴリズ
ムの修正を行い、さらに、McCandlessらによる文脈自由
文法の推定法(M. K.McCandless and J.Glass, "Empiric
al acquisition of word and pharseclasses in the AT
IS domain, "Proc. EUROSPEECH-93, pp.981-984) を用
いて有限状態オートマトンで表現された文法の状態数を
削減することにより、翻訳言語モデルの推定精度を向上
させる方法である。
にも有効な翻訳言語モデルが推定できるようアルゴリズ
ムの修正を行い、さらに、McCandlessらによる文脈自由
文法の推定法(M. K.McCandless and J.Glass, "Empiric
al acquisition of word and pharseclasses in the AT
IS domain, "Proc. EUROSPEECH-93, pp.981-984) を用
いて有限状態オートマトンで表現された文法の状態数を
削減することにより、翻訳言語モデルの推定精度を向上
させる方法である。
【００１６】図４は、音声理解システムの構成を示す。
同図おいて、音声理解システムは、音声認識部１０、言
語処理部２０、認識翻訳言語モデル３０、音響モデル４
０及び翻訳言語モデル５０より構成される。音声認識部
１０は、木構造の探索（Tree-Trellis探索) により音声
入力に対するＮ−ＢＥＳＴ仮説を生成する。Ｎ−ＢＥＳ
Ｔ探索に用いる音響モデル４０は、単語内だけでなく、
単語間にわたる音素文脈も考慮している。この音響モデ
ル４０については、“W.Chou, T.Matuoka, B.H.Juang,
and C.H.Lee, "An algorithmof high resolution and e
fficient multiple string hypothetization for conti
nuous speech recognition using inter-word models,"
Proc. ICASSP-94, pp.II-153-156 ”に記載されてい
る。文法としては、語彙単語間の任意の連接を許したno
-grammarネットワークを用い、タクスドメインで学習さ
れた単語Bigramを認識言語モデルとして用いる。
同図おいて、音声理解システムは、音声認識部１０、言
語処理部２０、認識翻訳言語モデル３０、音響モデル４
０及び翻訳言語モデル５０より構成される。音声認識部
１０は、木構造の探索（Tree-Trellis探索) により音声
入力に対するＮ−ＢＥＳＴ仮説を生成する。Ｎ−ＢＥＳ
Ｔ探索に用いる音響モデル４０は、単語内だけでなく、
単語間にわたる音素文脈も考慮している。この音響モデ
ル４０については、“W.Chou, T.Matuoka, B.H.Juang,
and C.H.Lee, "An algorithmof high resolution and e
fficient multiple string hypothetization for conti
nuous speech recognition using inter-word models,"
Proc. ICASSP-94, pp.II-153-156 ”に記載されてい
る。文法としては、語彙単語間の任意の連接を許したno
-grammarネットワークを用い、タクスドメインで学習さ
れた単語Bigramを認識言語モデルとして用いる。
【００１７】言語処理部２０は、音声認識部１０による
音声認識結果の自然言語を意味言語（例えばデータベー
ス検索言語に）変換する。対象タスクにおけるデータベ
ースには意味言語文が入力に対して与えられているもの
とする。以下に、言語処理部２０が用いる翻訳言語モデ
ル５０を推定するための翻訳言語モデル推定装置につい
て説明する。図５は、本発明の翻訳言語モデル推定装置
の構成を示す。同図に示す翻訳言語モデル推定装置は、
文法規則推定部１００、文法規則置換部２００、共起関
係推定部３００より構成される。
音声認識結果の自然言語を意味言語（例えばデータベー
ス検索言語に）変換する。対象タスクにおけるデータベ
ースには意味言語文が入力に対して与えられているもの
とする。以下に、言語処理部２０が用いる翻訳言語モデ
ル５０を推定するための翻訳言語モデル推定装置につい
て説明する。図５は、本発明の翻訳言語モデル推定装置
の構成を示す。同図に示す翻訳言語モデル推定装置は、
文法規則推定部１００、文法規則置換部２００、共起関
係推定部３００より構成される。
【００１８】翻訳言語モデル５０を推定するには、ま
ず、音声認識部１０より出力された自然言語（以下、入
力言語Ｉという）と言語処理部２０から出力された意味
言語（以下、出力言語Ｏという）を文法規則推定部１０
０に投入する。文法規則推定部１００は、ＥＣＧＩ（Er
ror Correcting Grammar Interface) アルゴリズムによ
り有限状態オートマトンで表現される文法ＧI 、ＧO を
推定する。
ず、音声認識部１０より出力された自然言語（以下、入
力言語Ｉという）と言語処理部２０から出力された意味
言語（以下、出力言語Ｏという）を文法規則推定部１０
０に投入する。文法規則推定部１００は、ＥＣＧＩ（Er
ror Correcting Grammar Interface) アルゴリズムによ
り有限状態オートマトンで表現される文法ＧI 、ＧO を
推定する。
【００１９】次に、文法規則置換部２００は、入力文Ｉ
と出力文Ｏをそれぞれ文法ＧI ，Ｇ O に置き替え、ＤGI
（ｘ）、ＤGO（ｙ）とする。さらに、共起関係推定部３
００は、入力文Ｉと出力文Ｏの文法規則の共起確率ｐ
（ＤGO（ｘ）｜ＤGI（ｙ））を求め、これを翻訳言語モ
デルとする。
と出力文Ｏをそれぞれ文法ＧI ，Ｇ O に置き替え、ＤGI
（ｘ）、ＤGO（ｙ）とする。さらに、共起関係推定部３
００は、入力文Ｉと出力文Ｏの文法規則の共起確率ｐ
（ＤGO（ｘ）｜ＤGI（ｙ））を求め、これを翻訳言語モ
デルとする。
【００２０】
【実施例】以下、図面と共に本発明の実施例を説明す
る。文章が連続音声により入力される音声理解システム
として、ＡＲＰＡ(Advanced Research Program Agency)
のＡＴＩＳ(Air Travel Information System) タスクを
例として本発明の一実施例を説明する。なお、ＡＴＩＳ
タスクにおけるデータベース検索言語には、ＡＮＳＩ標
準のＳＱＬ表現に書き直すことができるＷＩＮ（Wizard
Input) 文が入力に対応して与えられている。
る。文章が連続音声により入力される音声理解システム
として、ＡＲＰＡ(Advanced Research Program Agency)
のＡＴＩＳ(Air Travel Information System) タスクを
例として本発明の一実施例を説明する。なお、ＡＴＩＳ
タスクにおけるデータベース検索言語には、ＡＮＳＩ標
準のＳＱＬ表現に書き直すことができるＷＩＮ（Wizard
Input) 文が入力に対応して与えられている。
【００２１】音声理解システムは、図４に示すように、
大きく分類して音声認識部１０と言語処理部２０からな
り、音声認識部１０は、認識翻訳言語モデル３０と音響
モデル４０を有し、言語処理部２０は、翻訳言語モデル
５０を有する。認識対象である音声入力は、特徴量分析
により音響パラメータベクトルの時系列にされ、音声認
識部１０において、音響モデル４０により尤度が計算さ
れる。音声認識部１０から出力された自然言語（入力言
語Ｉ）で表現された仮説が言語処理部２０において意味
言語（出力言語Ｏ）に翻訳される。
大きく分類して音声認識部１０と言語処理部２０からな
り、音声認識部１０は、認識翻訳言語モデル３０と音響
モデル４０を有し、言語処理部２０は、翻訳言語モデル
５０を有する。認識対象である音声入力は、特徴量分析
により音響パラメータベクトルの時系列にされ、音声認
識部１０において、音響モデル４０により尤度が計算さ
れる。音声認識部１０から出力された自然言語（入力言
語Ｉ）で表現された仮説が言語処理部２０において意味
言語（出力言語Ｏ）に翻訳される。
【００２２】図６は、本発明の一実施例の翻訳モデル推
定動作を説明するための図である。 ［第１の実施例］以下翻訳モデル推定動作に関する第１
の実施例を説明する。翻訳言語モデルを推定するには、
まず、文法規則推定部１００が自然言語（入力言語
Ｉ）、意味言語（出力言語Ｏ）の各々についてＥＣＧＩ
（Error Correcting Inference) アルゴリズムにより有
限状態オートマトンで表現される文法を推定する。
定動作を説明するための図である。 ［第１の実施例］以下翻訳モデル推定動作に関する第１
の実施例を説明する。翻訳言語モデルを推定するには、
まず、文法規則推定部１００が自然言語（入力言語
Ｉ）、意味言語（出力言語Ｏ）の各々についてＥＣＧＩ
（Error Correcting Inference) アルゴリズムにより有
限状態オートマトンで表現される文法を推定する。
【００２３】次に、文法規則置換部２００は、入力言語
Ｉの文法規則ｒI と出力言語Ｏの文法規則ｒO の共起確
率を入出力文が一対になった学習テキストにおける共起
頻度から推定する。入力言語Ｉの文法をＧI 、出力言語
Ｏの文法をＧ0 とすると、与えられた問題は入力文ｘに
対して次式を満足する出力文
Ｉの文法規則ｒI と出力言語Ｏの文法規則ｒO の共起確
率を入出力文が一対になった学習テキストにおける共起
頻度から推定する。入力言語Ｉの文法をＧI 、出力言語
Ｏの文法をＧ0 とすると、与えられた問題は入力文ｘに
対して次式を満足する出力文
【００２４】
【数１】
【００２５】を求めることになる。
【００２６】
【数２】
【００２７】文章ｘ，ｙはそれぞれ文法規則の系列、Ｄ
GI（ｘ），ＤG0（ｙ）として表現できる。
GI（ｘ），ＤG0（ｙ）として表現できる。
【００２８】
【数３】
【００２９】これにより、共起関係推定部３００は、入
力言語の文法ＧI 、出力言語の文法ＧO が正規文法なら
ば、文法規則の系列ＤGI（ｘ），ＤG0（ｙ）は一意に決
定できる。文法に曖昧性がある場合には、Viterbi アル
ゴリズムによって近似的に求めることができる。これに
より、式（１ａ），（１ｂ）は、式（４ａ），（４ｂ）
のように書き換えることができる。
力言語の文法ＧI 、出力言語の文法ＧO が正規文法なら
ば、文法規則の系列ＤGI（ｘ），ＤG0（ｙ）は一意に決
定できる。文法に曖昧性がある場合には、Viterbi アル
ゴリズムによって近似的に求めることができる。これに
より、式（１ａ），（１ｂ）は、式（４ａ），（４ｂ）
のように書き換えることができる。
【００３０】
【数４】
【００３１】とすれば、式（４ｂ）に基づく推定が可能
である。式（５）では、入力文法規則ｒI が出力文法規
則ｒO と共起しない確率ｐ（not ｒI ｜ｒO ）を用いて
いる。文法規模が非常に小さい場合には、ｐ（not ｒI
｜ｒO ）が最も有効な場合も考えられるが、現実的なタ
スクを扱う文法の場合には、本質的に無関係な文法規則
の共起頻度を有意な共起頻度と同等に評価することによ
る悪影響があると考えられる。計算上も項数の増加によ
り確率の積が非常に小さくなる等の悪影響がある。そこ
で、出力文法ＤGO（ｙ）の方が入力文法ＤGI（ｘ）より
規模が小さいことにより、上記の式（４ａ）に基づいて
ｐ（ＤGI（ｘ）｜ＤGO（ｙ））ではなく、ｐ（Ｄ
GO（ｙ）｜ＤGI（ｘ））を推定する方が有利であると考
え、
である。式（５）では、入力文法規則ｒI が出力文法規
則ｒO と共起しない確率ｐ（not ｒI ｜ｒO ）を用いて
いる。文法規模が非常に小さい場合には、ｐ（not ｒI
｜ｒO ）が最も有効な場合も考えられるが、現実的なタ
スクを扱う文法の場合には、本質的に無関係な文法規則
の共起頻度を有意な共起頻度と同等に評価することによ
る悪影響があると考えられる。計算上も項数の増加によ
り確率の積が非常に小さくなる等の悪影響がある。そこ
で、出力文法ＤGO（ｙ）の方が入力文法ＤGI（ｘ）より
規模が小さいことにより、上記の式（４ａ）に基づいて
ｐ（ＤGI（ｘ）｜ＤGO（ｙ））ではなく、ｐ（Ｄ
GO（ｙ）｜ＤGI（ｘ））を推定する方が有利であると考
え、
【００３２】
【数５】
【００３３】として推定することとする。Ｎ（ｘ）は、
入力言語文法ＧI が生成可能な文全体の数であり、実際
には計算不可能なので、以下のように近似を行う。
入力言語文法ＧI が生成可能な文全体の数であり、実際
には計算不可能なので、以下のように近似を行う。
【００３４】
【数６】
【００３５】以上に述べた翻訳言語モデルの推定では、
文法ＧI 、ＧO の規模が大きい程、つまり、文法規則数
が多いほど推定がスパースになるという問題がある。従
って、文法規則数は少ないことが望ましい。ＥＧＧＩア
ルゴリズムによって推定される文法の状態数は学習セッ
ト中の文の提示順序により異なる。即ち、単語数の多い
文から提示すれば、単語数の少ない文は既に有限状態オ
ートマトンに存在する状態間を遷移することになり、結
果として、２割程状態数が少ない文法が推定される。
文法ＧI 、ＧO の規模が大きい程、つまり、文法規則数
が多いほど推定がスパースになるという問題がある。従
って、文法規則数は少ないことが望ましい。ＥＧＧＩア
ルゴリズムによって推定される文法の状態数は学習セッ
ト中の文の提示順序により異なる。即ち、単語数の多い
文から提示すれば、単語数の少ない文は既に有限状態オ
ートマトンに存在する状態間を遷移することになり、結
果として、２割程状態数が少ない文法が推定される。
【００３６】［第２の実施例］次に、本発明の第２の実
施例を説明する。本実施例は、前述の第１の実施例のよ
うに入力言語文及び出力言語文を文法規則に置き替えず
に、直接入力言語の文中の単語と出力言語の文中の単語
の共起関係を推定するものである。
施例を説明する。本実施例は、前述の第１の実施例のよ
うに入力言語文及び出力言語文を文法規則に置き替えず
に、直接入力言語の文中の単語と出力言語の文中の単語
の共起関係を推定するものである。
【００３７】与えられた問題は入力文ｘに対して次式を
満足する出力文
満足する出力文
【００３８】
【数７】 を求めることになる。
【００３９】
【数８】 文章ｘ，ｙはそれぞれＳI （ｘ），ＳO （ｙ）の単語の
列として表現できる。
列として表現できる。
【００４０】
【数９】 これにより、共起関係推定部３００は、入力言語Ｉ、出
力言語Ｏが正規な文字列であれば、文章ＳI （ｘ），Ｓ
0 （ｙ）は一意に決定できる。単語に曖昧性がある場合
には、Viterbi アルゴリズムによって近似的に求めるこ
とができる。これにより、式（８ａ），（８ｂ）は、式
（１１ａ），（１１ｂ）のように書き換えることができ
る。
力言語Ｏが正規な文字列であれば、文章ＳI （ｘ），Ｓ
0 （ｙ）は一意に決定できる。単語に曖昧性がある場合
には、Viterbi アルゴリズムによって近似的に求めるこ
とができる。これにより、式（８ａ），（８ｂ）は、式
（１１ａ），（１１ｂ）のように書き換えることができ
る。
【００４１】
【数１０】 とすれば、式（１１ｂ）に基づく推定が可能である。式
（１２）では、入力単語ｗI が出力単語ｗO と共起しな
い確率ｐ（not ｗI ｜ｗO ）を用いている。言語規模が
非常に小さい場合には、ｐ（not ｗI ｜ｗO ）が最も有
効な場合も考えられるが、現実的なタスクを扱う単語の
場合には、本質的に無関係な単語の共起頻度を有意な共
起頻度と同等に評価することによる悪影響があると考え
られる。計算上も項数の増加により確率の積が非常に小
さくなる等の悪影響がある。そこで、出力文ＳO （ｙ）
の種類の数の方が入力文ＳI （ｘ）の種類の数より少な
いことから、上記の式（１１ａ）に基づいてｐ（Ｓ
I （ｘ）｜ＳO （ｙ））ではなく、ｐ（ＳO （ｙ）｜Ｓ
I （ｘ））を推定する方が有利であると考え、
（１２）では、入力単語ｗI が出力単語ｗO と共起しな
い確率ｐ（not ｗI ｜ｗO ）を用いている。言語規模が
非常に小さい場合には、ｐ（not ｗI ｜ｗO ）が最も有
効な場合も考えられるが、現実的なタスクを扱う単語の
場合には、本質的に無関係な単語の共起頻度を有意な共
起頻度と同等に評価することによる悪影響があると考え
られる。計算上も項数の増加により確率の積が非常に小
さくなる等の悪影響がある。そこで、出力文ＳO （ｙ）
の種類の数の方が入力文ＳI （ｘ）の種類の数より少な
いことから、上記の式（１１ａ）に基づいてｐ（Ｓ
I （ｘ）｜ＳO （ｙ））ではなく、ｐ（ＳO （ｙ）｜Ｓ
I （ｘ））を推定する方が有利であると考え、
【００４２】
【数１１】 として推定することとする。Ｎ（ｘ）は、入力言語Ｉが
生成可能な文全体の数であり、実際には計算不可能なの
で、以下のように近似を行う。
生成可能な文全体の数であり、実際には計算不可能なの
で、以下のように近似を行う。
【００４３】
【数１２】 以上に述べた翻訳言語モデルの推定では、言語Ｉ、Ｏの
単語の種類の数が多い程、推定がスパースになるという
問題がある。従って、単語種類数は少ないことが望まし
い。
単語の種類の数が多い程、推定がスパースになるという
問題がある。従って、単語種類数は少ないことが望まし
い。
【００４４】［第３の実施例］次に、本発明の第３の実
施例を説明する。本実施例では、上記の第１の実施例ま
たは、第２の実施例よりさらに、文法規則数または、単
語種類数をより少なくする方法について説明する。
施例を説明する。本実施例では、上記の第１の実施例ま
たは、第２の実施例よりさらに、文法規則数または、単
語種類数をより少なくする方法について説明する。
【００４５】コーパスから確率的文脈自由文法を推定す
る方法が提案されている。この方法では、単語バイグラ
ム（Bigram）確率を距離尺度として、ボトムアップに文
法規則を生成する。単語や非終端記号間の距離は、（１
５）〜（１７）式のように定義する。
る方法が提案されている。この方法では、単語バイグラ
ム（Bigram）確率を距離尺度として、ボトムアップに文
法規則を生成する。単語や非終端記号間の距離は、（１
５）〜（１７）式のように定義する。
【００４６】
【数１３】 即ち、同じ文脈で出現する頻度の高い単語同士の距離が
近いと判断し、マージして新たな非終端記号を生成す
る。単語がマージされて非終端記号となることで、文法
上の状態数、或いは見かけ上の単語種類数を削減するこ
とができる。
近いと判断し、マージして新たな非終端記号を生成す
る。単語がマージされて非終端記号となることで、文法
上の状態数、或いは見かけ上の単語種類数を削減するこ
とができる。
【００４７】タスク固有の知識を必要としない前処理に
よっても文法上または見かけ上の単語種類数の削減が可
能である。例えば、"Boston", "New York"等の単語は
「地名」という一つの非終端記号に纏めることができ
る。同様に、数字、日付、曜日、月、航空会社、空港
名、座席クラス等も具体的な単語の代わりに非終端記号
で置き替え可能である。文脈自由文法による非終端記号
へのマージと、この前処理により入力言語の文法状態数
は約２５００から約１５００へ、出力言語の状態数は約
１０００から約６００へ削減できる。
よっても文法上または見かけ上の単語種類数の削減が可
能である。例えば、"Boston", "New York"等の単語は
「地名」という一つの非終端記号に纏めることができ
る。同様に、数字、日付、曜日、月、航空会社、空港
名、座席クラス等も具体的な単語の代わりに非終端記号
で置き替え可能である。文脈自由文法による非終端記号
へのマージと、この前処理により入力言語の文法状態数
は約２５００から約１５００へ、出力言語の状態数は約
１０００から約６００へ削減できる。
【００４８】以下、本発明を用いた評価実験について説
明する。ＬＤＣ（Linguistic Data Consortium) より頒
布されているＡＴＩＳ２のコーパスより文脈に独立にＷ
ＩＮ文を生成可能なクラスＡに分類されたデータの内、
ＷＩＮ文に括弧の含まれないデータを対象として実験を
行った。このとき、１９１５文を学習に、２１３文を評
価に用いた。
明する。ＬＤＣ（Linguistic Data Consortium) より頒
布されているＡＴＩＳ２のコーパスより文脈に独立にＷ
ＩＮ文を生成可能なクラスＡに分類されたデータの内、
ＷＩＮ文に括弧の含まれないデータを対象として実験を
行った。このとき、１９１５文を学習に、２１３文を評
価に用いた。
【００４９】ＥＣＧＩアルゴリズムによって推定された
文法の評価セットに対するカバー率は、約９０％であっ
た。また、同じ非終端記号が有限状態オートマトンの異
なる場所にいくつも存在する等文法に冗長性があること
が分かった。評価は、翻訳結果と正解ＷＩＮ文との文章
単位での正解率により行った。式（７）のβは１−αと
して、αを実験的に最適化して実験を行った結果、学習
セットに対する文正解率は９５．３％、評価セットに対
しては、６２．４％であった。評価セットに対する性能
は十分といえない。しかし、この結果は、コーパスから
自動推定を重視してタスク固有のヒューリスティックス
等は用いずに評価しているため、これにタスク固有のヒ
ューリスティックの導入が容易なものを考慮することに
より性能向上が見込まれる。
文法の評価セットに対するカバー率は、約９０％であっ
た。また、同じ非終端記号が有限状態オートマトンの異
なる場所にいくつも存在する等文法に冗長性があること
が分かった。評価は、翻訳結果と正解ＷＩＮ文との文章
単位での正解率により行った。式（７）のβは１−αと
して、αを実験的に最適化して実験を行った結果、学習
セットに対する文正解率は９５．３％、評価セットに対
しては、６２．４％であった。評価セットに対する性能
は十分といえない。しかし、この結果は、コーパスから
自動推定を重視してタスク固有のヒューリスティックス
等は用いずに評価しているため、これにタスク固有のヒ
ューリスティックの導入が容易なものを考慮することに
より性能向上が見込まれる。
【００５０】上記のように、本発明の実施例では、音声
理解のために自然言語を意味言語に翻訳する翻訳言語モ
デルをコーパスから自動的に推定することが可能とな
る。また、Vidal らの方法において文法の規模が大きく
なった場合を想定し、アルゴリズムを修正すると共に、
文法上の状態数を削減することにより、翻訳言語モデル
の推定精度を向上させることができる。
理解のために自然言語を意味言語に翻訳する翻訳言語モ
デルをコーパスから自動的に推定することが可能とな
る。また、Vidal らの方法において文法の規模が大きく
なった場合を想定し、アルゴリズムを修正すると共に、
文法上の状態数を削減することにより、翻訳言語モデル
の推定精度を向上させることができる。
【００５１】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。
ることなく、特許請求の範囲内で種々変更・応用が可能
である。
【００５２】
【発明の効果】上述のように本発明によれば、自然言語
と意味言語が対になったテキストデータベースから自動
的に翻訳言語モデルを推定することができるため、当該
翻訳言語モデルを用いて自然言語から意味言語への翻訳
が可能となる。従って、音声理解の言語処理部を専門的
な知識をもたなくとも、容易に構築することができる。
と意味言語が対になったテキストデータベースから自動
的に翻訳言語モデルを推定することができるため、当該
翻訳言語モデルを用いて自然言語から意味言語への翻訳
が可能となる。従って、音声理解の言語処理部を専門的
な知識をもたなくとも、容易に構築することができる。
【図１】本発明の原理を説明するための図である。
【図２】本発明の第１の原理構成図である。
【図３】本発明の第２の原理構成図である。
【図４】音声理解システムの構成図である。
【図５】本発明の翻訳言語モデル推定装置の構成図であ
る。
る。
【図６】本発明の一実施例の翻訳言語モデル推定動作を
説明するための図である。
説明するための図である。
１０ 音声認識部 ２０ 言語処理部 ３０ 認識翻訳言語モデル ４０ 音響モデル ５０ 翻訳言語モデル １００ 文法規則推定部、文法規則推定手段 ２００ 文法規則置換部、置換手段 ３００ 共起関係推定部、共起関係推定手段 ４００ 翻訳モデル生成手段
Claims (4)
- 【請求項１】 入力言語と出力言語が一文づつ組になっ
た学習用テキストデータベースを用いて、該入力言語か
ら該出力言語への翻訳のための翻訳言語モデルを推定す
る翻訳言語モデルの推定方法において、 前記入力言語の文セットから入力言語の文法規則を、前
記出力言語の文セットから出力言語の文法規則を推定す
る第１の過程と、 前記入力言語の文セット、前記出力言語の文セットをそ
れぞれ文法規則列に置き替える第２の過程と、 各文毎に前記入力言語の文法規則と前記出力言語の文法
規則の共起関係を推定する第３の過程と、 翻訳において前記共起関係を前記入力言語から前記出力
言語への翻訳言語モデルとする第４の過程よりなること
を特徴とする翻訳言語モデルの推定方法。 - 【請求項２】 前記第２の過程において、前記入力言語
及び前記出力言語の文を文法規則に置き替えずに、直接
前記入力言語の文中の単語と前記出力言語の文中の単語
の共起関係を推定し、翻訳言語モデルとする翻訳言語モ
デルの推定方法。 - 【請求項３】 入力言語と出力言語が一文づつ組になっ
た学習用テキストデータベースを用いて、該入力言語か
ら該出力言語への翻訳のための翻訳言語モデルを推定す
る翻訳言語モデルの推定装置において、 前記入力言語の文セットから入力言語の文法規則を、前
記出力言語の文セットから出力言語の文法規則を推定す
る文法規則推定手段と、 前記入力言語の文セット、前記出力言語の文セットを前
記文法規則推定手段により推定されたそれぞれ文法規則
列に置き替える置換手段と、 各文毎に前記入力言語の文法規則と前記出力言語の文法
規則の共起関係を推定する共起関係推定手段と、 翻訳において前記共起関係を前記入力言語から前記出力
言語への翻訳言語モデルとする翻訳言語モデル生成手段
とを有することを特徴とする翻訳言語モデルの推定装
置。 - 【請求項４】 入力言語と出力言語が一文づつ組になっ
た学習用テキストデータベースを用いて、該入力言語か
ら該出力言語への翻訳のための翻訳言語モデルを推定す
る翻訳言語モデルの推定装置において、 直接前記入力言語の文中の単語と前記出力言語の文中の
単語の共起関係を推定する共起関係推定手段と、 翻訳において前記共起関係を前記入力言語から前記出力
言語への翻訳言語モデルとする翻訳言語モデル生成手段
とを有することを特徴とする翻訳言語モデルの推定装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7247955A JPH0990984A (ja) | 1995-09-26 | 1995-09-26 | 翻訳言語モデルの推定方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7247955A JPH0990984A (ja) | 1995-09-26 | 1995-09-26 | 翻訳言語モデルの推定方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0990984A true JPH0990984A (ja) | 1997-04-04 |
Family
ID=17171045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7247955A Pending JPH0990984A (ja) | 1995-09-26 | 1995-09-26 | 翻訳言語モデルの推定方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0990984A (ja) |
-
1995
- 1995-09-26 JP JP7247955A patent/JPH0990984A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7603267B2 (en) | Rules-based grammar for slots and statistical model for preterminals in natural language understanding system | |
| US10223355B2 (en) | Knowledge-based editor with natural language interface | |
| US8321220B1 (en) | System and method of semi-supervised learning for spoken language understanding using semantic role labeling | |
| US9390087B1 (en) | System and method for response generation using linguistic information | |
| Erdogan et al. | Using semantic analysis to improve speech recognition performance | |
| EP1593049B1 (en) | System for predicting speech recognition accuracy and development for a dialog system | |
| US20020123877A1 (en) | Method and apparatus for performing machine translation using a unified language model and translation model | |
| EP1538535A2 (en) | Determination of meaning for text input in natural language understanding systems | |
| JPH0320800A (ja) | 音声認識方法および装置 | |
| JP2004171575A (ja) | 句の間の翻訳関係を学習するための統計的な方法および装置 | |
| JP2001507482A (ja) | 語彙及び／又は言語モデルのトレーニング | |
| KR100895940B1 (ko) | 문법 저작에서의 세그먼테이션 모호성의 자동 해결 | |
| Casacuberta | Finite-state transducers for speech-input translation | |
| Galley et al. | Hybrid natural language generation for spoken dialogue systems | |
| Maqbool et al. | Zero-label anaphora resolution for off-script user queries in goal-oriented dialog systems | |
| JP4220151B2 (ja) | 音声対話装置 | |
| Bod | Context-sensitive spoken dialogue processing with the DOP model | |
| JPH0990984A (ja) | 翻訳言語モデルの推定方法及び装置 | |
| KR20010103151A (ko) | 기계번역 장치 및 시스템, 방법 | |
| JP3027553B2 (ja) | 構文解析装置 | |
| Casacuberta et al. | Pattern recognition approaches for speech-to-speech translation | |
| JP3850742B2 (ja) | 言語モデルの適応化方法 | |
| Fong et al. | Learning restricted probabilistic link grammars | |
| Lin et al. | A hierarchical tag-graph search scheme with layered grammar rules for spontaneous speech understanding | |
| JP2796690B2 (ja) | 用例主導型自然言語解析装置 |