JPH10171807A - 語義曖昧性解消装置及び方法 - Google Patents
語義曖昧性解消装置及び方法Info
- Publication number
- JPH10171807A JPH10171807A JP8352634A JP35263496A JPH10171807A JP H10171807 A JPH10171807 A JP H10171807A JP 8352634 A JP8352634 A JP 8352634A JP 35263496 A JP35263496 A JP 35263496A JP H10171807 A JPH10171807 A JP H10171807A
- Authority
- JP
- Japan
- Prior art keywords
- evidence
- word
- meaning
- interest
- decision list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000011835 investigation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
(57)【要約】
【課題】確率的アプローチにより語義の曖昧な単語につ
いて最も強い証拠で曖昧性を解消する語義曖昧性解消装
置の提供。 【解決手段】注目単語の曖昧性の解消されたテキストを
入力し語義曖昧性解消のための各証拠の出現の条件の下
での各語義出現の条件付確率を推定し各証拠に対し該証
拠出現の条件下での各語義出現の条件付確率の間の対数
尤度比を計算し、対数尤度比の絶対値の降順に証拠と該
証拠の支持する語義の組を並べ決定リストとする。各証
拠と注目する単語の間の相互情報量を計算し相互情報量
が閾値を越えない証拠と該証拠の支持する語義の組を決
定リストから削除する。語義曖昧性解消では、注目単語
に関する決定リストを読込み決定リストに記述される証
拠が注目単語の周りの文脈での出現の有無を順に点検
し、証拠が周りの文脈に現れたら決定リストに記述され
る該証拠の支持する語義を注目単語の語義とする。
いて最も強い証拠で曖昧性を解消する語義曖昧性解消装
置の提供。 【解決手段】注目単語の曖昧性の解消されたテキストを
入力し語義曖昧性解消のための各証拠の出現の条件の下
での各語義出現の条件付確率を推定し各証拠に対し該証
拠出現の条件下での各語義出現の条件付確率の間の対数
尤度比を計算し、対数尤度比の絶対値の降順に証拠と該
証拠の支持する語義の組を並べ決定リストとする。各証
拠と注目する単語の間の相互情報量を計算し相互情報量
が閾値を越えない証拠と該証拠の支持する語義の組を決
定リストから削除する。語義曖昧性解消では、注目単語
に関する決定リストを読込み決定リストに記述される証
拠が注目単語の周りの文脈での出現の有無を順に点検
し、証拠が周りの文脈に現れたら決定リストに記述され
る該証拠の支持する語義を注目単語の語義とする。
Description
【0001】
【発明の属する技術分野】本発明は、語義曖昧性解消装
置及び方法に関し、特に、音声合成システム、OCR
(Optical Charactor Reader;光学的文字読み取り)
システム、仮名漢字変換システム、機械翻訳システム、
テキスト分類システム等の情報処理システムに用いて好
適な知識獲得、知識利用技術に関する。
置及び方法に関し、特に、音声合成システム、OCR
(Optical Charactor Reader;光学的文字読み取り)
システム、仮名漢字変換システム、機械翻訳システム、
テキスト分類システム等の情報処理システムに用いて好
適な知識獲得、知識利用技術に関する。
【0002】
【従来の技術】語義の曖昧性解消とは、異なる語義(意
味)をもつ単語の、ある文脈における語義を特定するこ
とである。
味)をもつ単語の、ある文脈における語義を特定するこ
とである。
【0003】自然言語には、異なる語義をもつ単語が数
多く存在する。例えば、英単語「bank」には、「銀
行」の意味もあるし、これとは別に「河岸」の意味もあ
る。
多く存在する。例えば、英単語「bank」には、「銀
行」の意味もあるし、これとは別に「河岸」の意味もあ
る。
【0004】このため、英語を日本語に自動翻訳する機
械翻訳システムにおいては、例えば単語「bank」
の、ある文脈における語義を特定し、日本語に翻訳する
必要がある。この問題が、語義曖昧性解消の問題であ
る。
械翻訳システムにおいては、例えば単語「bank」
の、ある文脈における語義を特定し、日本語に翻訳する
必要がある。この問題が、語義曖昧性解消の問題であ
る。
【0005】また、Yarowsky(ヤロウスキ)が指摘した
ように、自然言語処理の数多くの問題は語義曖昧性解消
の問題に帰着することができる。例えば文献(1)(David
Yarowsky, One Sense per Collocation, in Pr
oceedings of ARPA HumanLanguage Technology Wo
rkshop, Princeton, 1993)参照。
ように、自然言語処理の数多くの問題は語義曖昧性解消
の問題に帰着することができる。例えば文献(1)(David
Yarowsky, One Sense per Collocation, in Pr
oceedings of ARPA HumanLanguage Technology Wo
rkshop, Princeton, 1993)参照。
【0006】また、例えば、テキストを入力し、そのテ
キストを読み上げる音声合成システムでは、異なる読み
をもつ日本語(単語)の同形異音語について、該単語の
テキストの各文における読みを決めなければならない。
同じ表記の「市場」は、文脈によっては、「いちば」と
読むべきであるし、あるいは「しじょう」と読むべきで
ある。この場合、読みを語義と見なせば、この問題は、
語義曖昧性解消の問題に帰着する。
キストを読み上げる音声合成システムでは、異なる読み
をもつ日本語(単語)の同形異音語について、該単語の
テキストの各文における読みを決めなければならない。
同じ表記の「市場」は、文脈によっては、「いちば」と
読むべきであるし、あるいは「しじょう」と読むべきで
ある。この場合、読みを語義と見なせば、この問題は、
語義曖昧性解消の問題に帰着する。
【0007】さらに、文章を含む画像データを取り込
み、文章(文字情報)を記号データ(コード)に変換す
るOCR(光学的文字読み取り)システムでは、読み込
んだ単語の画像から形の類似した単語を検索し、類似し
た単語の候補から、もっともらしい単語を一つ選択して
出力する必要がある。
み、文章(文字情報)を記号データ(コード)に変換す
るOCR(光学的文字読み取り)システムでは、読み込
んだ単語の画像から形の類似した単語を検索し、類似し
た単語の候補から、もっともらしい単語を一つ選択して
出力する必要がある。
【0008】例えば、日本語では、漢字単語の「入口」
と、「人口」は極めて類似した形をもつ。ある日本語の
テキストに「入口」が挿入されており、OCRシステム
がそのテキストを読み込む時、単語の形から、候補とし
て、「入口」と「人口」を選んだとする。この時、OC
Rシステムは、さらにその周りの文脈をみて、この単語
が「入口」であると「認識」する必要がある。この問題
も語義曖昧性解消の問題に帰着する。
と、「人口」は極めて類似した形をもつ。ある日本語の
テキストに「入口」が挿入されており、OCRシステム
がそのテキストを読み込む時、単語の形から、候補とし
て、「入口」と「人口」を選んだとする。この時、OC
Rシステムは、さらにその周りの文脈をみて、この単語
が「入口」であると「認識」する必要がある。この問題
も語義曖昧性解消の問題に帰着する。
【0009】そして、仮名漢字変換システムにおいて
は、ユーザが入力した平仮名を漢字に変換する必要があ
る。日本語には、仮名表記が共通で漢字表記が異なる単
語が数多く存在する。例えば、仮名の「かてい」は、
「仮定」、「過程」、「家庭」と「課程」等の漢字単語
に変換できる。
は、ユーザが入力した平仮名を漢字に変換する必要があ
る。日本語には、仮名表記が共通で漢字表記が異なる単
語が数多く存在する。例えば、仮名の「かてい」は、
「仮定」、「過程」、「家庭」と「課程」等の漢字単語
に変換できる。
【0010】ユーザが入力した「かてい」から、その意
図する漢字単語を候補として先に提示することができれ
ば、ユーザの作業の負担が軽減することになる。入力さ
れた仮名からその漢字を推定することも、上記した語義
曖昧性解消問題に帰着する。
図する漢字単語を候補として先に提示することができれ
ば、ユーザの作業の負担が軽減することになる。入力さ
れた仮名からその漢字を推定することも、上記した語義
曖昧性解消問題に帰着する。
【0011】さらに、テキストに現れるキーワードをみ
てそのテキストにラベルをつけ、分類する問題(技術)
がある、例えば、キーワード「ベース」、「ヒット」、
及び「ピッチャー」の現れるテキストに、「野球」のラ
ベルを付ける。あるラベル、例えば「野球」を付けるこ
とを一つの語義とみなし、付けないことをもう一つの語
義とみなすことができる。さらに、テキストに現れるキ
ーワードの集合をラベルの「周り」の文脈とみなすこと
もできる。このように、テキストに現れるキーワードを
みて、ラベルをつけるかどうかを判断する問題も、語義
曖昧性解消問題に帰着する。
てそのテキストにラベルをつけ、分類する問題(技術)
がある、例えば、キーワード「ベース」、「ヒット」、
及び「ピッチャー」の現れるテキストに、「野球」のラ
ベルを付ける。あるラベル、例えば「野球」を付けるこ
とを一つの語義とみなし、付けないことをもう一つの語
義とみなすことができる。さらに、テキストに現れるキ
ーワードの集合をラベルの「周り」の文脈とみなすこと
もできる。このように、テキストに現れるキーワードを
みて、ラベルをつけるかどうかを判断する問題も、語義
曖昧性解消問題に帰着する。
【0012】また、Yarowskyは、決定リストを使った語
義曖昧性解消法を提案している。例えば文献(2)(David
Yarowsky, Decision Lists for Lexical Ambigu
ityResolution: Application to Accent Restorati
on in Spanish and French, Proceedings of th
e 32nd Annual Meeting of the Association fo
r Computational Linguistics, 1994, page 88-9
5)参照。
義曖昧性解消法を提案している。例えば文献(2)(David
Yarowsky, Decision Lists for Lexical Ambigu
ityResolution: Application to Accent Restorati
on in Spanish and French, Proceedings of th
e 32nd Annual Meeting of the Association fo
r Computational Linguistics, 1994, page 88-9
5)参照。
【0013】このYarowskyの方法は、予め語義曖昧性解
消のための証拠を、その強さの順に並べ、決定リストと
して記憶し、注目単語の語義曖昧性解消の時、その注目
単語の周りの文脈をみて、決定リストの最も先に現れる
証拠、すなわち周りの文脈における最も強い証拠で、語
義の曖昧性解消を行うことを特徴とする。
消のための証拠を、その強さの順に並べ、決定リストと
して記憶し、注目単語の語義曖昧性解消の時、その注目
単語の周りの文脈をみて、決定リストの最も先に現れる
証拠、すなわち周りの文脈における最も強い証拠で、語
義の曖昧性解消を行うことを特徴とする。
【0014】しかし、最も強い証拠は、統計的に最も信
頼できる証拠であるという保証はない。
頼できる証拠であるという保証はない。
【0015】信頼できる証拠の中の最も強い証拠で語義
の曖昧性を解消すれば曖昧性解消の精度はさらに向上さ
せることができる。
の曖昧性を解消すれば曖昧性解消の精度はさらに向上さ
せることができる。
【0016】
【発明が解決しようとする課題】上記したように、語義
の曖昧な単語の周りの文脈に現れる、信頼できる、最も
強い証拠でその曖昧性を解消する装置の実現が期待され
ている。
の曖昧な単語の周りの文脈に現れる、信頼できる、最も
強い証拠でその曖昧性を解消する装置の実現が期待され
ている。
【0017】したがって、本発明は、このような事情に
鑑みてなされたものであって、その目的は、確率的アプ
ローチにより、語義の曖昧な単語の周りの文脈に現れ
る、統計的にも信頼できる、最も強い証拠でその曖昧性
を解消する語義曖昧性解消装置及び方法を提供すること
にある。
鑑みてなされたものであって、その目的は、確率的アプ
ローチにより、語義の曖昧な単語の周りの文脈に現れ
る、統計的にも信頼できる、最も強い証拠でその曖昧性
を解消する語義曖昧性解消装置及び方法を提供すること
にある。
【0018】
【課題を解決するための手段】前記目的を達成するた
め、本発明の語義曖昧性解消装置及は、注目単語の語義
が記されたテキストを記憶するテキスト記憶部と、決定
リストを記憶する決定リスト記憶部と、前記テキスト記
憶部から注目単語の語義が記されたテキストを入力し、
入力されたテキストにおける、注目単語の周りの文脈に
現れる情報を語義曖昧性解消のための証拠とし、各証拠
出現の条件の下での各語義出現の条件付き確率を推定
し、各証拠に対して、その証拠出現の条件の下での各語
義出現の条件付き確率の間の対数尤度比を計算し、対数
尤度比の絶対値の降順に証拠とその証拠の支持する語義
の組を並べ、並べた証拠とその証拠の支持する語義の組
を決定リストとし、さらに、各証拠と注目単語の間の相
互情報量を計算し、相互情報量が閾値を越えない証拠と
その証拠の支持する語義の組を決定リストから削除し、
削除できた決定リストを前記決定リスト記憶部に記憶す
る決定リスト学習部と、注目単語の語義が曖昧なテキス
トを入力する入力部と、注目単語の語義を出力する出力
部と、前記入力部から、注目単語の語義が曖昧なテキス
トの入力を受け、前記決定リスト記憶部から注目単語に
関する決定リストを読み込み、読み込んだ決定リストに
記述される証拠が入力されたテキストにおける注目単語
の周りの文脈に現れたかどうかを順番にチェックし、そ
の証拠が周りの文脈に現れたら、決定リストに記述され
るその証拠の支持する語義を注目単語の語義とし、前記
出力部にその語義を出力する語義曖昧性解消部と、を備
えることを特徴とする。
め、本発明の語義曖昧性解消装置及は、注目単語の語義
が記されたテキストを記憶するテキスト記憶部と、決定
リストを記憶する決定リスト記憶部と、前記テキスト記
憶部から注目単語の語義が記されたテキストを入力し、
入力されたテキストにおける、注目単語の周りの文脈に
現れる情報を語義曖昧性解消のための証拠とし、各証拠
出現の条件の下での各語義出現の条件付き確率を推定
し、各証拠に対して、その証拠出現の条件の下での各語
義出現の条件付き確率の間の対数尤度比を計算し、対数
尤度比の絶対値の降順に証拠とその証拠の支持する語義
の組を並べ、並べた証拠とその証拠の支持する語義の組
を決定リストとし、さらに、各証拠と注目単語の間の相
互情報量を計算し、相互情報量が閾値を越えない証拠と
その証拠の支持する語義の組を決定リストから削除し、
削除できた決定リストを前記決定リスト記憶部に記憶す
る決定リスト学習部と、注目単語の語義が曖昧なテキス
トを入力する入力部と、注目単語の語義を出力する出力
部と、前記入力部から、注目単語の語義が曖昧なテキス
トの入力を受け、前記決定リスト記憶部から注目単語に
関する決定リストを読み込み、読み込んだ決定リストに
記述される証拠が入力されたテキストにおける注目単語
の周りの文脈に現れたかどうかを順番にチェックし、そ
の証拠が周りの文脈に現れたら、決定リストに記述され
るその証拠の支持する語義を注目単語の語義とし、前記
出力部にその語義を出力する語義曖昧性解消部と、を備
えることを特徴とする。
【0019】また、本発明の語義曖昧性解消方法は、注
目単語の曖昧性の解消されたテキストを入力し、語義曖
昧性解消のための各証拠の出現の条件の下での各語義出
現の条件付き確率を推定し、各証拠に対して該証拠出現
の条件下での各語義出現の条件付き確率の間の対数尤度
比を計算し、対数尤度比の絶対値の降順に証拠と該証拠
の支持する語義の組を並べ決定リストを生成し、各証拠
と注目する単語の間の相互情報量を計算し、相互情報量
が予め定めた所定の閾値を越えない、証拠と該証拠の支
持する語義との組を、前記生成された決定リストから削
除して所定の記憶領域に記憶し、語義曖昧性解消処理で
は、前記記憶領域から注目単語に関する前記決定リスト
を読込み、前記決定リストに記述される証拠が注目単語
の周りの文脈に現われるか否かを順に調査し、証拠が周
りの文脈に現れた場合には、前記決定リストに記述され
る該証拠の支持する語義を、注目単語の語義とする、こ
とを特徴とする。
目単語の曖昧性の解消されたテキストを入力し、語義曖
昧性解消のための各証拠の出現の条件の下での各語義出
現の条件付き確率を推定し、各証拠に対して該証拠出現
の条件下での各語義出現の条件付き確率の間の対数尤度
比を計算し、対数尤度比の絶対値の降順に証拠と該証拠
の支持する語義の組を並べ決定リストを生成し、各証拠
と注目する単語の間の相互情報量を計算し、相互情報量
が予め定めた所定の閾値を越えない、証拠と該証拠の支
持する語義との組を、前記生成された決定リストから削
除して所定の記憶領域に記憶し、語義曖昧性解消処理で
は、前記記憶領域から注目単語に関する前記決定リスト
を読込み、前記決定リストに記述される証拠が注目単語
の周りの文脈に現われるか否かを順に調査し、証拠が周
りの文脈に現れた場合には、前記決定リストに記述され
る該証拠の支持する語義を、注目単語の語義とする、こ
とを特徴とする。
【0020】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて以下に説明する。本発明の好ましい実施の形態にお
いては、予め語義曖昧性解消のための証拠とその証拠の
支持する語義の組を証拠の強さの順に並べ、決定リスト
とする。
いて以下に説明する。本発明の好ましい実施の形態にお
いては、予め語義曖昧性解消のための証拠とその証拠の
支持する語義の組を証拠の強さの順に並べ、決定リスト
とする。
【0021】次に、各証拠の信頼度を計算し、信頼でき
ない証拠とその証拠の支持する語義の組を決定リストか
ら削除する。
ない証拠とその証拠の支持する語義の組を決定リストか
ら削除する。
【0022】最後に、信頼できる証拠とその証拠の支持
する語義の組だけからなる決定リストを記憶する。
する語義の組だけからなる決定リストを記憶する。
【0023】注目単語の語義曖昧性解消の時、上記決定
リストに記される、その文脈に現れる最も強い証拠で語
義の曖昧性解消を行うことにより、信頼でき、且つ、強
い証拠で語義曖昧性を解消する。
リストに記される、その文脈に現れる最も強い証拠で語
義の曖昧性解消を行うことにより、信頼でき、且つ、強
い証拠で語義曖昧性を解消する。
【0024】本発明の好ましい実施の形態において、語
義曖昧性解消装置は、注目単語の語義が記されたテキス
トを記憶するテキスト記憶部(図1の1)と、決定リス
トを記憶する決定リスト記憶部(図1の3)と、決定リ
スト学習部(図1の2)と、語義曖昧性解消部(図1の
5)と、注目単語の語義が曖昧なテキストを入力する入
力部(図1の4)と、注目単語の語義を出力する出力部
(図1の6)と、を備えて構成される。
義曖昧性解消装置は、注目単語の語義が記されたテキス
トを記憶するテキスト記憶部(図1の1)と、決定リス
トを記憶する決定リスト記憶部(図1の3)と、決定リ
スト学習部(図1の2)と、語義曖昧性解消部(図1の
5)と、注目単語の語義が曖昧なテキストを入力する入
力部(図1の4)と、注目単語の語義を出力する出力部
(図1の6)と、を備えて構成される。
【0025】決定リスト学習部(図1の2)は、(a)
テキスト記憶部(図1の1)から注目単語の語義が記さ
れたテキストを入力し(図4のステップ101)、
(b)入力されたテキストにおける、注目単語の周りの
文脈に現れる情報を語義曖昧性解消のための証拠とし、
各証拠出現の条件の下での各語義出現の条件付き確率を
推定し(図4のステップ102)、(c)各証拠に対し
て、その証拠出現の条件の下での各語義出現の条件付き
確率の間の対数尤度比を計算し、対数尤度比の絶対値の
降順に証拠とその証拠の支持する語義の組を並べ、並べ
た証拠とその証拠の支持する語義の組を決定リストとし
(図4のステップ103)、さらに、(d)各証拠と注
目単語の間の相互情報量を計算し(図4のステップ10
4)、(e)相互情報量が閾値を越えない証拠とその証
拠の支持する語義の組を決定リストから削除し(図4の
ステップ105)、(f)削除できた決定リストを前記
決定リスト記憶部に記憶する(図4のステップ10
6)。
テキスト記憶部(図1の1)から注目単語の語義が記さ
れたテキストを入力し(図4のステップ101)、
(b)入力されたテキストにおける、注目単語の周りの
文脈に現れる情報を語義曖昧性解消のための証拠とし、
各証拠出現の条件の下での各語義出現の条件付き確率を
推定し(図4のステップ102)、(c)各証拠に対し
て、その証拠出現の条件の下での各語義出現の条件付き
確率の間の対数尤度比を計算し、対数尤度比の絶対値の
降順に証拠とその証拠の支持する語義の組を並べ、並べ
た証拠とその証拠の支持する語義の組を決定リストとし
(図4のステップ103)、さらに、(d)各証拠と注
目単語の間の相互情報量を計算し(図4のステップ10
4)、(e)相互情報量が閾値を越えない証拠とその証
拠の支持する語義の組を決定リストから削除し(図4の
ステップ105)、(f)削除できた決定リストを前記
決定リスト記憶部に記憶する(図4のステップ10
6)。
【0026】語義曖昧性解消部(図1の5)は、(a)
入力部(図1の4)から注目単語の語義が曖昧なテキス
トの入力を受け、(b)決定リスト記憶部(図1の3)
から注目単語に関する決定リストを読み込み、(c)読
み込んだ決定リストに記述される証拠が入力されたテキ
ストにおける注目単語の周りの文脈に現れたかどうかを
順番にチェックし、(e)その証拠が周りの文脈に現れ
たら、決定リストに記述されるその証拠の支持する語義
を注目単語の語義とし、(f)前記出力部にその語義を
出力する。
入力部(図1の4)から注目単語の語義が曖昧なテキス
トの入力を受け、(b)決定リスト記憶部(図1の3)
から注目単語に関する決定リストを読み込み、(c)読
み込んだ決定リストに記述される証拠が入力されたテキ
ストにおける注目単語の周りの文脈に現れたかどうかを
順番にチェックし、(e)その証拠が周りの文脈に現れ
たら、決定リストに記述されるその証拠の支持する語義
を注目単語の語義とし、(f)前記出力部にその語義を
出力する。
【0027】
【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。
【0028】本発明の一実施例について説明する。本発
明の一実施例に係る語義曖昧性解消装置は、日本語音声
合成システムにおける同形異音語を読み分けるものであ
る。すなわち、ここでは、読みの決定問題を語義曖昧性
解消の問題として捉えている。
明の一実施例に係る語義曖昧性解消装置は、日本語音声
合成システムにおける同形異音語を読み分けるものであ
る。すなわち、ここでは、読みの決定問題を語義曖昧性
解消の問題として捉えている。
【0029】図1は、本発明の一実施例の構成をブロッ
ク図にて示したものである。図1を参照すると、本発明
の一実施例に係る語義曖昧性解消装置は、テキスト記憶
部1、決定リスト学習部2、決定リスト記憶部3、入力
部4、語義曖昧性解消部5、及び出力部6を備える。
ク図にて示したものである。図1を参照すると、本発明
の一実施例に係る語義曖昧性解消装置は、テキスト記憶
部1、決定リスト学習部2、決定リスト記憶部3、入力
部4、語義曖昧性解消部5、及び出力部6を備える。
【0030】決定リスト学習部2は、まず、テキスト記
憶部1から注目する同形異音語の読みの記されたテキス
トを入力する。
憶部1から注目する同形異音語の読みの記されたテキス
トを入力する。
【0031】図2に、注目する同形異音語の読みを記し
たテキストの一例を示す。ここでは、「今日」が注目す
る同形異音語で、その各文における読み「こんにち」あ
るいは「きょう」が記されている。
たテキストの一例を示す。ここでは、「今日」が注目す
る同形異音語で、その各文における読み「こんにち」あ
るいは「きょう」が記されている。
【0032】決定リスト学習部2は、注目する同形異音
語に対応する確率変数を設ける。その確率変数は、注目
する同形異音語の各読みを値とする。図2に示す例で
は、「今日」が注目する同形異音語であるので、確率変
数「X今日」を設ける。確率変数X今日のとる値は、
「きょう」と「こんにち」である。
語に対応する確率変数を設ける。その確率変数は、注目
する同形異音語の各読みを値とする。図2に示す例で
は、「今日」が注目する同形異音語であるので、確率変
数「X今日」を設ける。確率変数X今日のとる値は、
「きょう」と「こんにち」である。
【0033】決定リスト学習部2は、次に周りの文脈に
現れる読みを決定するための一つの証拠に対して一つの
確率変数を設ける。このような確率変数の値は「1」と
「0」を値とする。「1」は、対応する証拠が現れるこ
とを意味し、「0」は対応する証拠が現れないことを意
味する。
現れる読みを決定するための一つの証拠に対して一つの
確率変数を設ける。このような確率変数の値は「1」と
「0」を値とする。「1」は、対応する証拠が現れるこ
とを意味し、「0」は対応する証拠が現れないことを意
味する。
【0034】本発明の一実施例の語義曖昧性解消装置で
は、注目する同形異音語の周りの文脈に現れる単語を証
拠とする。ある単語が現れれば、その証拠が現れると
し、その単語が現れなければ、その証拠が現れないとす
る。
は、注目する同形異音語の周りの文脈に現れる単語を証
拠とする。ある単語が現れれば、その証拠が現れると
し、その単語が現れなければ、その証拠が現れないとす
る。
【0035】図2に示す例では、「今日」の周りの文脈
に「料理」、「技術」という2つの単語が現れたので、
証拠は2つある。さらに、2つの証拠に対応する2つの
確率変数を設ける。確率変数は「X料理」、「X技術」
とする。
に「料理」、「技術」という2つの単語が現れたので、
証拠は2つある。さらに、2つの証拠に対応する2つの
確率変数を設ける。確率変数は「X料理」、「X技術」
とする。
【0036】決定リスト学習部2は、次に、各証拠の出
現の条件の下での各読み出現の条件付き確率を推定す
る。
現の条件の下での各読み出現の条件付き確率を推定す
る。
【0037】例えば、P(X今日=きょう|X料理=
1)、P(X今日=こんにち|X料理=1)、P(X今
日=きょう|X技術=1)、P(X今日=こんにち|X
技術=1)、のような条件付き確率を推定する。
1)、P(X今日=こんにち|X料理=1)、P(X今
日=きょう|X技術=1)、P(X今日=こんにち|X
技術=1)、のような条件付き確率を推定する。
【0038】図2に示した例に対する統計の結果が、図
3に示すようなものであるとする。このデータを使って
推定すると、以下の値が得られる。
3に示すようなものであるとする。このデータを使って
推定すると、以下の値が得られる。
【0039】
【数1】
【0040】決定リスト学習部2は、各証拠に対して、
その証拠に対して、その証拠出現の条件の下での読み出
現の条件付き確率の間の対数尤度比を計算する。但し、
対数の底が2であるとする。
その証拠に対して、その証拠出現の条件の下での読み出
現の条件付き確率の間の対数尤度比を計算する。但し、
対数の底が2であるとする。
【0041】
【数2】
【0042】また、読みの出現の確率の間の対数尤度比
をも計算する。
をも計算する。
【0043】
【数3】
【0044】決定リスト学習部2は、次に、対数尤度比
の絶対値の降順に証拠とその支持する読みの組を並べ、
決定リストとする。すなわち、対数尤度比の絶対値の大
きさを証拠の「強さ」とする。具体的には、以下のよう
な決定リストを作成する。
の絶対値の降順に証拠とその支持する読みの組を並べ、
決定リストとする。すなわち、対数尤度比の絶対値の大
きさを証拠の「強さ」とする。具体的には、以下のよう
な決定リストを作成する。
【0045】
【数4】
【0046】この決定リストを以下のように解釈する。
【0047】すなわち、同形異音語「今日」が現れた
時、その周りの文脈をみる。「料理」という単語が現れ
たら、読みを「きょう」とする。「料理」が現れなけれ
ば、別の証拠を探す。
時、その周りの文脈をみる。「料理」という単語が現れ
たら、読みを「きょう」とする。「料理」が現れなけれ
ば、別の証拠を探す。
【0048】もし「技術」が現れたら、読みを「こんに
ち」とする。「技術」も現れなければ、読みをデフォル
トの読みである「きょう」とする。
ち」とする。「技術」も現れなければ、読みをデフォル
トの読みである「きょう」とする。
【0049】なお、上記Yarowskyが提案した方法もこれ
までの処理を行う。
までの処理を行う。
【0050】決定リスト学習部2は、次に、作成した決
定リストの中の証拠の信頼度を計算し、信頼できない証
拠とその支持する読みの組を決定リストから削除する。
信頼できない証拠とその支持する読みの組を決定リスト
から削除することは、本発明の語義曖昧性解消装置の特
徴の一つである。
定リストの中の証拠の信頼度を計算し、信頼できない証
拠とその支持する読みの組を決定リストから削除する。
信頼できない証拠とその支持する読みの組を決定リスト
から削除することは、本発明の語義曖昧性解消装置の特
徴の一つである。
【0051】より具体的には、決定リスト学習部2は以
下の処理を行う。
下の処理を行う。
【0052】まず、証拠と同形異音語の間の相互情報量
を計算する。より詳細には、証拠に対応する確率変数と
注目する同形異音語に対応する確率変数の間の相互情報
量を計算する。この相互情報量MI(X,Y)の計算式
を次式(1)に示す。
を計算する。より詳細には、証拠に対応する確率変数と
注目する同形異音語に対応する確率変数の間の相互情報
量を計算する。この相互情報量MI(X,Y)の計算式
を次式(1)に示す。
【0053】
【数5】
【0054】本発明の一実施例では、この相互情報量を
信頼度とみなす。
信頼度とみなす。
【0055】図2及び図3に示した例に対して、以下の
結果が得られる。 MI(X今日、X料理)=0.002990、 MI(X今日、X技術)=0.091277
結果が得られる。 MI(X今日、X料理)=0.002990、 MI(X今日、X技術)=0.091277
【0056】決定リスト学習部2は、次に、証拠と同形
異音語の間の相互情報量が以下の閾値を越えるかどうか
をチェックする。
異音語の間の相互情報量が以下の閾値を越えるかどうか
をチェックする。
【0057】
【数6】
【0058】但し、aはパラメータで、0と1の間の実
数値をとる。Kxは証拠に対応する確率変数の取り得る
値の数で、Kyは注目する同形異音語に対応する確率変
数の取り得る値の数である。Nは注目同形異音語の現れ
る文の数である。
数値をとる。Kxは証拠に対応する確率変数の取り得る
値の数で、Kyは注目する同形異音語に対応する確率変
数の取り得る値の数である。Nは注目同形異音語の現れ
る文の数である。
【0059】図2、及び図3に示した例では、Kx=
2、Ky=2、N=100。a=1とすれば、閾値は
0.033219となる。
2、Ky=2、N=100。a=1とすれば、閾値は
0.033219となる。
【0060】決定リスト学習部2は、次に、相互情報量
が閾値を越えない証拠とその支持する読みの組を決定リ
ストから削除する。
が閾値を越えない証拠とその支持する読みの組を決定リ
ストから削除する。
【0061】上の例では、証拠「料理」の相互情報量、
すなわち、MI(X今日、X料理)=0.00299
0、が、この閾値を越えないので、その証拠とその支持
する読みの組を決定リストから削除する。
すなわち、MI(X今日、X料理)=0.00299
0、が、この閾値を越えないので、その証拠とその支持
する読みの組を決定リストから削除する。
【0062】従って、決定リストは以下のようになる。
【0063】
【数7】
【0064】相互情報量が閾値を越えない証拠とその支
持する読みの組を決定リストから削除することは、実質
的に、同形異音語と統計的に独立な証拠とその支持する
読みの組を決定リストから削除することである。
持する読みの組を決定リストから削除することは、実質
的に、同形異音語と統計的に独立な証拠とその支持する
読みの組を決定リストから削除することである。
【0065】すなわち、同形異音語に対応する確率変数
とある証拠に対応する確率変数が独立であれば、その証
拠とその支持する読みの組を決定リストから削除する。
これは、ある証拠が同形異音語と独立に発生するのであ
れば、それを曖昧性解消の証拠に利用するのは無意味で
あるという考えに基づく。
とある証拠に対応する確率変数が独立であれば、その証
拠とその支持する読みの組を決定リストから削除する。
これは、ある証拠が同形異音語と独立に発生するのであ
れば、それを曖昧性解消の証拠に利用するのは無意味で
あるという考えに基づく。
【0066】決定リスト学習部2は、次に、学習できた
決定リストを決定リスト記憶部3に記憶する。
決定リストを決定リスト記憶部3に記憶する。
【0067】図4は、本実施例における決定リスト学習
部2の処理フローを説明するためのフローチャートであ
る。
部2の処理フローを説明するためのフローチャートであ
る。
【0068】図4を参照して、決定リスト学習部2は、
テキスト記憶部1から注目単語の語義が記されたテキス
トを入力し(ステップ101)、入力されたテキストに
おける、注目単語の周りの文脈に現れる情報を語義曖昧
性解消のための証拠とし、各証拠出現の条件の下での各
語義出現の条件付き確率を推定し(ステップ102)、
各証拠に対して、その証拠出現の条件の下での各語義出
現の条件付き確率の間の対数尤度比を計算し、対数尤度
比の絶対値の降順に証拠とその証拠の支持する語義の組
を並べ、並べた証拠とその証拠の支持する語義の組を決
定リストとし(ステップ103)、各証拠と注目単語の
間の相互情報量MI(X,Y)を計算し(ステップ10
4)、相互情報量が予め定めた閾値を越えない証拠とそ
の証拠の支持する語義の組を決定リストから削除し(ス
テップ105)、削除できた、すなわち学習できた決定
リストを決定リスト記憶部3に記憶する(ステップ10
6)。
テキスト記憶部1から注目単語の語義が記されたテキス
トを入力し(ステップ101)、入力されたテキストに
おける、注目単語の周りの文脈に現れる情報を語義曖昧
性解消のための証拠とし、各証拠出現の条件の下での各
語義出現の条件付き確率を推定し(ステップ102)、
各証拠に対して、その証拠出現の条件の下での各語義出
現の条件付き確率の間の対数尤度比を計算し、対数尤度
比の絶対値の降順に証拠とその証拠の支持する語義の組
を並べ、並べた証拠とその証拠の支持する語義の組を決
定リストとし(ステップ103)、各証拠と注目単語の
間の相互情報量MI(X,Y)を計算し(ステップ10
4)、相互情報量が予め定めた閾値を越えない証拠とそ
の証拠の支持する語義の組を決定リストから削除し(ス
テップ105)、削除できた、すなわち学習できた決定
リストを決定リスト記憶部3に記憶する(ステップ10
6)。
【0069】語義曖昧性解消処理では、入力部4が読み
が決まっていない注目する同形異音語の入っているテキ
ストを入力する。図5に、テキストの一例(「今日の料
理は電子技術の進歩に頼ることが大きい」)を示す。
が決まっていない注目する同形異音語の入っているテキ
ストを入力する。図5に、テキストの一例(「今日の料
理は電子技術の進歩に頼ることが大きい」)を示す。
【0070】語義曖昧性解消部5は、入力部4から入力
を受け取り、注目する同形異音語の読みを判断する。例
えば、注目する同形異音語が「今日」である場合、その
読みが「きょう」か「こんにち」かを判断する。以下で
はその処理プロセスについて説明する。
を受け取り、注目する同形異音語の読みを判断する。例
えば、注目する同形異音語が「今日」である場合、その
読みが「きょう」か「こんにち」かを判断する。以下で
はその処理プロセスについて説明する。
【0071】語義曖昧性解消部5は、まず決定リスト記
憶部3から同形異音語「今日」に関する決定リストを読
み込む。決定リストに記述される証拠が入力文における
「今日」の周りの文脈に現れたかどうかを順番にチェッ
クする。
憶部3から同形異音語「今日」に関する決定リストを読
み込む。決定リストに記述される証拠が入力文における
「今日」の周りの文脈に現れたかどうかを順番にチェッ
クする。
【0072】周りの文脈に現れたら、決定リストに記述
されるその証拠の支持する読みを注目する同形異音語の
読みとする。
されるその証拠の支持する読みを注目する同形異音語の
読みとする。
【0073】例えば、図5に示す例では、上記した決定
リストに記述される証拠「技術」が現れているので、決
定リストに示される読みを採用し、「今日」の読みが
「こんにち」であると決定する。
リストに記述される証拠「技術」が現れているので、決
定リストに示される読みを採用し、「今日」の読みが
「こんにち」であると決定する。
【0074】語義曖昧性解消部5は、次に、決定できた
読みを出力部6に出力する。
読みを出力部6に出力する。
【0075】
【発明の効果】以上説明したように、本発明によれば、
信頼できない証拠とその証拠の支持する語義の組を決定
リストから削除し、信頼できる証拠だけで語義曖昧性解
消を行うように構成したことにより、高性能な曖昧性解
消を実現することができる、という効果を奏する。
信頼できない証拠とその証拠の支持する語義の組を決定
リストから削除し、信頼できる証拠だけで語義曖昧性解
消を行うように構成したことにより、高性能な曖昧性解
消を実現することができる、という効果を奏する。
【図1】本発明の一実施例の語義曖昧性解消装置の構成
を示す図である。
を示す図である。
【図2】本発明の一実施例を説明するための図であり、
読みの記されたテキストの例を示す図である。
読みの記されたテキストの例を示す図である。
【図3】本発明の一実施例を説明するための図であり、
証拠の出現度数の一例を示す図である。
証拠の出現度数の一例を示す図である。
【図4】本発明の一実施例における決定リスト学習部2
の処理フローを説明するためののフローチャートであ
る。
の処理フローを説明するためののフローチャートであ
る。
【図5】本発明の一実施例を説明するための図であり、
入力の例を示す図である。
入力の例を示す図である。
1 テキスト記憶部 2 決定リスト学習部 3 決定リスト記憶部 4 入力部 5 語義曖昧性解消部 6 出力部
Claims (2)
- 【請求項1】注目単語の語義が記されたテキストを記憶
するテキスト記憶部と、 決定リストを記憶する決定リスト記憶部と、 (a)前記テキスト記憶部から注目単語の語義が記され
たテキストを入力し、 (b)入力された前記テキストにおける、注目単語の周
りの文脈に現れる情報を語義曖昧性解消のための証拠と
し、前記各証拠出現の条件の下での各語義出現の条件付
き確率を推定し、 (c)前記各証拠に対して、その証拠出現の条件の下で
の各語義出現の条件付き確率の間の対数尤度比を計算
し、前記対数尤度比の絶対値の降順に、証拠と該証拠の
支持する語義の組を並べ、前記並べられた証拠と該証拠
の支持する語義の組を決定リストとし、さらに、 (d)各証拠と注目単語の間の相互情報量を計算し、 (e)相互情報量が閾値を越えない証拠と該証拠の支持
する語義の組を前記決定リストから削除し、 (f)削除できた、すなわち学習できた決定リストを前
記決定リスト記憶部に記憶する、 決定リスト学習手段と、 注目単語の語義が曖昧なテキストを入力する入力部と、 注目単語の語義を出力する出力部と、 (g)前記入力部から注目単語の語義が曖昧なテキスト
の入力を受け、 (h)前記決定リスト記憶部から注目単語に関する決定
リストを読み込み、読み込んだ前記決定リストに記述さ
れる証拠が入力されたテキストにおける注目単語の周り
の文脈に現れたかどうかを順番にチェックし、 (i)前記証拠が周りの文脈に現われたら、前記決定リ
ストに記述される前記証拠の支持する語義を注目単語の
語義とし、前記出力部にその語義を出力する、 語義曖昧性解消手段と、 を備えることを特徴とする語義曖昧性解消装置。 - 【請求項2】(a)注目単語の曖昧性の解消されたテキ
ストを入力し、語義曖昧性解消のための各証拠の出現の
条件の下での各語義出現の条件付き確率を推定し、 (b)各証拠に対して該証拠出現の条件下での各語義出
現の条件付き確率の間の対数尤度比を計算し、 (c)対数尤度比の絶対値の降順に証拠と該証拠の支持
する語義の組を並べ決定リストを生成し、 (d)各証拠と注目する単語の間の相互情報量を計算
し、相互情報量が予め定めた所定の閾値を越えない、証
拠と該証拠の支持する語義との組を、前記生成された決
定リストから削除して所定の記憶領域に記憶し、 (e)語義曖昧性解消処理では、前記記憶領域から注目
単語に関する前記決定リストを読込み、 (f)前記決定リストに記述される証拠が注目単語の周
りの文脈に現われるか否かを順に調査し、証拠が周りの
文脈に現れた場合には、前記決定リストに記述される該
証拠の支持する語義を、前記注目単語の語義とする、 ことを特徴とする語義曖昧性解消方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35263496A JP3209125B2 (ja) | 1996-12-13 | 1996-12-13 | 語義曖昧性解消装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35263496A JP3209125B2 (ja) | 1996-12-13 | 1996-12-13 | 語義曖昧性解消装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10171807A true JPH10171807A (ja) | 1998-06-26 |
| JP3209125B2 JP3209125B2 (ja) | 2001-09-17 |
Family
ID=18425394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35263496A Expired - Lifetime JP3209125B2 (ja) | 1996-12-13 | 1996-12-13 | 語義曖昧性解消装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3209125B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011018330A (ja) * | 2009-07-08 | 2011-01-27 | Nhn Corp | 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法 |
| JP2014191777A (ja) * | 2013-03-28 | 2014-10-06 | Nippon Hoso Kyokai <Nhk> | 語義解析装置、及びプログラム |
| CN108509555A (zh) * | 2018-03-22 | 2018-09-07 | 武汉斗鱼网络科技有限公司 | 搜索词确定方法、装置、设备及存储介质 |
| CN111611810A (zh) * | 2020-05-29 | 2020-09-01 | 河北数云堂智能科技有限公司 | 一种多音字读音消歧装置及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
-
1996
- 1996-12-13 JP JP35263496A patent/JP3209125B2/ja not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011018330A (ja) * | 2009-07-08 | 2011-01-27 | Nhn Corp | 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法 |
| JP2014191777A (ja) * | 2013-03-28 | 2014-10-06 | Nippon Hoso Kyokai <Nhk> | 語義解析装置、及びプログラム |
| CN108509555A (zh) * | 2018-03-22 | 2018-09-07 | 武汉斗鱼网络科技有限公司 | 搜索词确定方法、装置、设备及存储介质 |
| CN111611810A (zh) * | 2020-05-29 | 2020-09-01 | 河北数云堂智能科技有限公司 | 一种多音字读音消歧装置及方法 |
| CN111611810B (zh) * | 2020-05-29 | 2023-08-04 | 河北数云堂智能科技有限公司 | 一种多音字读音消歧装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3209125B2 (ja) | 2001-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Morita et al. | Morphological analysis for unsegmented languages using recurrent neural network language model | |
| CN1954315B (zh) | 用于将汉语拼音翻译成汉字的系统和方法 | |
| Adler et al. | An unsupervised morpheme-based HMM for Hebrew morphological disambiguation | |
| US20040236566A1 (en) | System and method for identifying special word usage in a document | |
| WO2008107305A2 (en) | Search-based word segmentation method and device for language without word boundary tag | |
| US7475005B2 (en) | Translation system, dictionary updating server, translation method, and program and recording medium for use therein | |
| JP2004355483A (ja) | 形態素解析装置、形態素解析方法及び形態素解析プログラム | |
| WO2005064490A1 (en) | System for recognising and classifying named entities | |
| Ekbal et al. | Maximum entropy based Bengali part of speech tagging | |
| JP3992348B2 (ja) | 形態素解析方法および装置、並びに日本語形態素解析方法および装置 | |
| CN116127015A (zh) | 基于人工智能自适应的nlp大模型分析系统 | |
| Wong et al. | iSentenizer‐μ: Multilingual Sentence Boundary Detection Model | |
| Pal et al. | Vartani Spellcheck--Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance | |
| Almansor et al. | Transferring informal text in arabic as low resource languages: State-of-the-art and future research directions | |
| Gu et al. | Markov modeling of mandarin Chinese for decoding the phonetic sequence into Chinese characters | |
| WO2014189400A1 (en) | A method for diacritisation of texts written in latin- or cyrillic-derived alphabets | |
| Akhundova | Named entity recognition for the Azerbaijani language | |
| JP3209125B2 (ja) | 語義曖昧性解消装置 | |
| JPH10171806A (ja) | 語義曖昧性解消装置及び方法 | |
| Zarnoufi et al. | MANorm: A normalization dictionary for Moroccan Arabic dialect written in Latin script | |
| KR100559472B1 (ko) | 영한 자동번역에서 의미 벡터와 한국어 국소 문맥 정보를사용한 대역어 선택시스템 및 방법 | |
| Saito et al. | Multi-language named-entity recognition system based on HMM | |
| US8041556B2 (en) | Chinese to english translation tool | |
| JP3952964B2 (ja) | 読み情報決定方法及び装置及びプログラム | |
| JP5293607B2 (ja) | 略語生成装置およびプログラム、並びに、略語生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070713 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 9 |