JPH10171807A - 語義曖昧性解消装置及び方法 - Google Patents

語義曖昧性解消装置及び方法

Info

Publication number
JPH10171807A
JPH10171807A JP8352634A JP35263496A JPH10171807A JP H10171807 A JPH10171807 A JP H10171807A JP 8352634 A JP8352634 A JP 8352634A JP 35263496 A JP35263496 A JP 35263496A JP H10171807 A JPH10171807 A JP H10171807A
Authority
JP
Japan
Prior art keywords
evidence
word
meaning
interest
decision list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8352634A
Other languages
English (en)
Other versions
JP3209125B2 (ja
Inventor
Ko Ri
航 李
Junichi Takeuchi
純一 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP35263496A priority Critical patent/JP3209125B2/ja
Publication of JPH10171807A publication Critical patent/JPH10171807A/ja
Application granted granted Critical
Publication of JP3209125B2 publication Critical patent/JP3209125B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Abstract

(57)【要約】 【課題】確率的アプローチにより語義の曖昧な単語につ
いて最も強い証拠で曖昧性を解消する語義曖昧性解消装
置の提供。 【解決手段】注目単語の曖昧性の解消されたテキストを
入力し語義曖昧性解消のための各証拠の出現の条件の下
での各語義出現の条件付確率を推定し各証拠に対し該証
拠出現の条件下での各語義出現の条件付確率の間の対数
尤度比を計算し、対数尤度比の絶対値の降順に証拠と該
証拠の支持する語義の組を並べ決定リストとする。各証
拠と注目する単語の間の相互情報量を計算し相互情報量
が閾値を越えない証拠と該証拠の支持する語義の組を決
定リストから削除する。語義曖昧性解消では、注目単語
に関する決定リストを読込み決定リストに記述される証
拠が注目単語の周りの文脈での出現の有無を順に点検
し、証拠が周りの文脈に現れたら決定リストに記述され
る該証拠の支持する語義を注目単語の語義とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、語義曖昧性解消装
置及び方法に関し、特に、音声合成システム、OCR
(Optical Charactor Reader;光学的文字読み取り)
システム、仮名漢字変換システム、機械翻訳システム、
テキスト分類システム等の情報処理システムに用いて好
適な知識獲得、知識利用技術に関する。
【0002】
【従来の技術】語義の曖昧性解消とは、異なる語義(意
味)をもつ単語の、ある文脈における語義を特定するこ
とである。
【0003】自然言語には、異なる語義をもつ単語が数
多く存在する。例えば、英単語「bank」には、「銀
行」の意味もあるし、これとは別に「河岸」の意味もあ
る。
【0004】このため、英語を日本語に自動翻訳する機
械翻訳システムにおいては、例えば単語「bank」
の、ある文脈における語義を特定し、日本語に翻訳する
必要がある。この問題が、語義曖昧性解消の問題であ
る。
【0005】また、Yarowsky(ヤロウスキ)が指摘した
ように、自然言語処理の数多くの問題は語義曖昧性解消
の問題に帰着することができる。例えば文献(1)(David
Yarowsky, One Sense per Collocation, in Pr
oceedings of ARPA HumanLanguage Technology Wo
rkshop, Princeton, 1993)参照。
【0006】また、例えば、テキストを入力し、そのテ
キストを読み上げる音声合成システムでは、異なる読み
をもつ日本語(単語)の同形異音語について、該単語の
テキストの各文における読みを決めなければならない。
同じ表記の「市場」は、文脈によっては、「いちば」と
読むべきであるし、あるいは「しじょう」と読むべきで
ある。この場合、読みを語義と見なせば、この問題は、
語義曖昧性解消の問題に帰着する。
【0007】さらに、文章を含む画像データを取り込
み、文章(文字情報)を記号データ(コード)に変換す
るOCR(光学的文字読み取り)システムでは、読み込
んだ単語の画像から形の類似した単語を検索し、類似し
た単語の候補から、もっともらしい単語を一つ選択して
出力する必要がある。
【0008】例えば、日本語では、漢字単語の「入口」
と、「人口」は極めて類似した形をもつ。ある日本語の
テキストに「入口」が挿入されており、OCRシステム
がそのテキストを読み込む時、単語の形から、候補とし
て、「入口」と「人口」を選んだとする。この時、OC
Rシステムは、さらにその周りの文脈をみて、この単語
が「入口」であると「認識」する必要がある。この問題
も語義曖昧性解消の問題に帰着する。
【0009】そして、仮名漢字変換システムにおいて
は、ユーザが入力した平仮名を漢字に変換する必要があ
る。日本語には、仮名表記が共通で漢字表記が異なる単
語が数多く存在する。例えば、仮名の「かてい」は、
「仮定」、「過程」、「家庭」と「課程」等の漢字単語
に変換できる。
【0010】ユーザが入力した「かてい」から、その意
図する漢字単語を候補として先に提示することができれ
ば、ユーザの作業の負担が軽減することになる。入力さ
れた仮名からその漢字を推定することも、上記した語義
曖昧性解消問題に帰着する。
【0011】さらに、テキストに現れるキーワードをみ
てそのテキストにラベルをつけ、分類する問題(技術)
がある、例えば、キーワード「ベース」、「ヒット」、
及び「ピッチャー」の現れるテキストに、「野球」のラ
ベルを付ける。あるラベル、例えば「野球」を付けるこ
とを一つの語義とみなし、付けないことをもう一つの語
義とみなすことができる。さらに、テキストに現れるキ
ーワードの集合をラベルの「周り」の文脈とみなすこと
もできる。このように、テキストに現れるキーワードを
みて、ラベルをつけるかどうかを判断する問題も、語義
曖昧性解消問題に帰着する。
【0012】また、Yarowskyは、決定リストを使った語
義曖昧性解消法を提案している。例えば文献(2)(David
Yarowsky, Decision Lists for Lexical Ambigu
ityResolution: Application to Accent Restorati
on in Spanish and French, Proceedings of th
e 32nd Annual Meeting of the Association fo
r Computational Linguistics, 1994, page 88-9
5)参照。
【0013】このYarowskyの方法は、予め語義曖昧性解
消のための証拠を、その強さの順に並べ、決定リストと
して記憶し、注目単語の語義曖昧性解消の時、その注目
単語の周りの文脈をみて、決定リストの最も先に現れる
証拠、すなわち周りの文脈における最も強い証拠で、語
義の曖昧性解消を行うことを特徴とする。
【0014】しかし、最も強い証拠は、統計的に最も信
頼できる証拠であるという保証はない。
【0015】信頼できる証拠の中の最も強い証拠で語義
の曖昧性を解消すれば曖昧性解消の精度はさらに向上さ
せることができる。
【0016】
【発明が解決しようとする課題】上記したように、語義
の曖昧な単語の周りの文脈に現れる、信頼できる、最も
強い証拠でその曖昧性を解消する装置の実現が期待され
ている。
【0017】したがって、本発明は、このような事情に
鑑みてなされたものであって、その目的は、確率的アプ
ローチにより、語義の曖昧な単語の周りの文脈に現れ
る、統計的にも信頼できる、最も強い証拠でその曖昧性
を解消する語義曖昧性解消装置及び方法を提供すること
にある。
【0018】
【課題を解決するための手段】前記目的を達成するた
め、本発明の語義曖昧性解消装置及は、注目単語の語義
が記されたテキストを記憶するテキスト記憶部と、決定
リストを記憶する決定リスト記憶部と、前記テキスト記
憶部から注目単語の語義が記されたテキストを入力し、
入力されたテキストにおける、注目単語の周りの文脈に
現れる情報を語義曖昧性解消のための証拠とし、各証拠
出現の条件の下での各語義出現の条件付き確率を推定
し、各証拠に対して、その証拠出現の条件の下での各語
義出現の条件付き確率の間の対数尤度比を計算し、対数
尤度比の絶対値の降順に証拠とその証拠の支持する語義
の組を並べ、並べた証拠とその証拠の支持する語義の組
を決定リストとし、さらに、各証拠と注目単語の間の相
互情報量を計算し、相互情報量が閾値を越えない証拠と
その証拠の支持する語義の組を決定リストから削除し、
削除できた決定リストを前記決定リスト記憶部に記憶す
る決定リスト学習部と、注目単語の語義が曖昧なテキス
トを入力する入力部と、注目単語の語義を出力する出力
部と、前記入力部から、注目単語の語義が曖昧なテキス
トの入力を受け、前記決定リスト記憶部から注目単語に
関する決定リストを読み込み、読み込んだ決定リストに
記述される証拠が入力されたテキストにおける注目単語
の周りの文脈に現れたかどうかを順番にチェックし、そ
の証拠が周りの文脈に現れたら、決定リストに記述され
るその証拠の支持する語義を注目単語の語義とし、前記
出力部にその語義を出力する語義曖昧性解消部と、を備
えることを特徴とする。
【0019】また、本発明の語義曖昧性解消方法は、注
目単語の曖昧性の解消されたテキストを入力し、語義曖
昧性解消のための各証拠の出現の条件の下での各語義出
現の条件付き確率を推定し、各証拠に対して該証拠出現
の条件下での各語義出現の条件付き確率の間の対数尤度
比を計算し、対数尤度比の絶対値の降順に証拠と該証拠
の支持する語義の組を並べ決定リストを生成し、各証拠
と注目する単語の間の相互情報量を計算し、相互情報量
が予め定めた所定の閾値を越えない、証拠と該証拠の支
持する語義との組を、前記生成された決定リストから削
除して所定の記憶領域に記憶し、語義曖昧性解消処理で
は、前記記憶領域から注目単語に関する前記決定リスト
を読込み、前記決定リストに記述される証拠が注目単語
の周りの文脈に現われるか否かを順に調査し、証拠が周
りの文脈に現れた場合には、前記決定リストに記述され
る該証拠の支持する語義を、注目単語の語義とする、こ
とを特徴とする。
【0020】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて以下に説明する。本発明の好ましい実施の形態にお
いては、予め語義曖昧性解消のための証拠とその証拠の
支持する語義の組を証拠の強さの順に並べ、決定リスト
とする。
【0021】次に、各証拠の信頼度を計算し、信頼でき
ない証拠とその証拠の支持する語義の組を決定リストか
ら削除する。
【0022】最後に、信頼できる証拠とその証拠の支持
する語義の組だけからなる決定リストを記憶する。
【0023】注目単語の語義曖昧性解消の時、上記決定
リストに記される、その文脈に現れる最も強い証拠で語
義の曖昧性解消を行うことにより、信頼でき、且つ、強
い証拠で語義曖昧性を解消する。
【0024】本発明の好ましい実施の形態において、語
義曖昧性解消装置は、注目単語の語義が記されたテキス
トを記憶するテキスト記憶部(図1の1)と、決定リス
トを記憶する決定リスト記憶部(図1の3)と、決定リ
スト学習部(図1の2)と、語義曖昧性解消部(図1の
5)と、注目単語の語義が曖昧なテキストを入力する入
力部(図1の4)と、注目単語の語義を出力する出力部
(図1の6)と、を備えて構成される。
【0025】決定リスト学習部(図1の2)は、(a)
テキスト記憶部(図1の1)から注目単語の語義が記さ
れたテキストを入力し(図4のステップ101)、
(b)入力されたテキストにおける、注目単語の周りの
文脈に現れる情報を語義曖昧性解消のための証拠とし、
各証拠出現の条件の下での各語義出現の条件付き確率を
推定し(図4のステップ102)、(c)各証拠に対し
て、その証拠出現の条件の下での各語義出現の条件付き
確率の間の対数尤度比を計算し、対数尤度比の絶対値の
降順に証拠とその証拠の支持する語義の組を並べ、並べ
た証拠とその証拠の支持する語義の組を決定リストとし
(図4のステップ103)、さらに、(d)各証拠と注
目単語の間の相互情報量を計算し(図4のステップ10
4)、(e)相互情報量が閾値を越えない証拠とその証
拠の支持する語義の組を決定リストから削除し(図4の
ステップ105)、(f)削除できた決定リストを前記
決定リスト記憶部に記憶する(図4のステップ10
6)。
【0026】語義曖昧性解消部(図1の5)は、(a)
入力部(図1の4)から注目単語の語義が曖昧なテキス
トの入力を受け、(b)決定リスト記憶部(図1の3)
から注目単語に関する決定リストを読み込み、(c)読
み込んだ決定リストに記述される証拠が入力されたテキ
ストにおける注目単語の周りの文脈に現れたかどうかを
順番にチェックし、(e)その証拠が周りの文脈に現れ
たら、決定リストに記述されるその証拠の支持する語義
を注目単語の語義とし、(f)前記出力部にその語義を
出力する。
【0027】
【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。
【0028】本発明の一実施例について説明する。本発
明の一実施例に係る語義曖昧性解消装置は、日本語音声
合成システムにおける同形異音語を読み分けるものであ
る。すなわち、ここでは、読みの決定問題を語義曖昧性
解消の問題として捉えている。
【0029】図1は、本発明の一実施例の構成をブロッ
ク図にて示したものである。図1を参照すると、本発明
の一実施例に係る語義曖昧性解消装置は、テキスト記憶
部1、決定リスト学習部2、決定リスト記憶部3、入力
部4、語義曖昧性解消部5、及び出力部6を備える。
【0030】決定リスト学習部2は、まず、テキスト記
憶部1から注目する同形異音語の読みの記されたテキス
トを入力する。
【0031】図2に、注目する同形異音語の読みを記し
たテキストの一例を示す。ここでは、「今日」が注目す
る同形異音語で、その各文における読み「こんにち」あ
るいは「きょう」が記されている。
【0032】決定リスト学習部2は、注目する同形異音
語に対応する確率変数を設ける。その確率変数は、注目
する同形異音語の各読みを値とする。図2に示す例で
は、「今日」が注目する同形異音語であるので、確率変
数「X今日」を設ける。確率変数X今日のとる値は、
「きょう」と「こんにち」である。
【0033】決定リスト学習部2は、次に周りの文脈に
現れる読みを決定するための一つの証拠に対して一つの
確率変数を設ける。このような確率変数の値は「1」と
「0」を値とする。「1」は、対応する証拠が現れるこ
とを意味し、「0」は対応する証拠が現れないことを意
味する。
【0034】本発明の一実施例の語義曖昧性解消装置で
は、注目する同形異音語の周りの文脈に現れる単語を証
拠とする。ある単語が現れれば、その証拠が現れると
し、その単語が現れなければ、その証拠が現れないとす
る。
【0035】図2に示す例では、「今日」の周りの文脈
に「料理」、「技術」という2つの単語が現れたので、
証拠は2つある。さらに、2つの証拠に対応する2つの
確率変数を設ける。確率変数は「X料理」、「X技術」
とする。
【0036】決定リスト学習部2は、次に、各証拠の出
現の条件の下での各読み出現の条件付き確率を推定す
る。
【0037】例えば、P(X今日=きょう|X料理=
1)、P(X今日=こんにち|X料理=1)、P(X今
日=きょう|X技術=1)、P(X今日=こんにち|X
技術=1)、のような条件付き確率を推定する。
【0038】図2に示した例に対する統計の結果が、図
3に示すようなものであるとする。このデータを使って
推定すると、以下の値が得られる。
【0039】
【数1】
【0040】決定リスト学習部2は、各証拠に対して、
その証拠に対して、その証拠出現の条件の下での読み出
現の条件付き確率の間の対数尤度比を計算する。但し、
対数の底が2であるとする。
【0041】
【数2】
【0042】また、読みの出現の確率の間の対数尤度比
をも計算する。
【0043】
【数3】
【0044】決定リスト学習部2は、次に、対数尤度比
の絶対値の降順に証拠とその支持する読みの組を並べ、
決定リストとする。すなわち、対数尤度比の絶対値の大
きさを証拠の「強さ」とする。具体的には、以下のよう
な決定リストを作成する。
【0045】
【数4】
【0046】この決定リストを以下のように解釈する。
【0047】すなわち、同形異音語「今日」が現れた
時、その周りの文脈をみる。「料理」という単語が現れ
たら、読みを「きょう」とする。「料理」が現れなけれ
ば、別の証拠を探す。
【0048】もし「技術」が現れたら、読みを「こんに
ち」とする。「技術」も現れなければ、読みをデフォル
トの読みである「きょう」とする。
【0049】なお、上記Yarowskyが提案した方法もこれ
までの処理を行う。
【0050】決定リスト学習部2は、次に、作成した決
定リストの中の証拠の信頼度を計算し、信頼できない証
拠とその支持する読みの組を決定リストから削除する。
信頼できない証拠とその支持する読みの組を決定リスト
から削除することは、本発明の語義曖昧性解消装置の特
徴の一つである。
【0051】より具体的には、決定リスト学習部2は以
下の処理を行う。
【0052】まず、証拠と同形異音語の間の相互情報量
を計算する。より詳細には、証拠に対応する確率変数と
注目する同形異音語に対応する確率変数の間の相互情報
量を計算する。この相互情報量MI(X,Y)の計算式
を次式(1)に示す。
【0053】
【数5】
【0054】本発明の一実施例では、この相互情報量を
信頼度とみなす。
【0055】図2及び図3に示した例に対して、以下の
結果が得られる。 MI(X今日、X料理)=0.002990、 MI(X今日、X技術)=0.091277
【0056】決定リスト学習部2は、次に、証拠と同形
異音語の間の相互情報量が以下の閾値を越えるかどうか
をチェックする。
【0057】
【数6】
【0058】但し、aはパラメータで、0と1の間の実
数値をとる。Kxは証拠に対応する確率変数の取り得る
値の数で、Kyは注目する同形異音語に対応する確率変
数の取り得る値の数である。Nは注目同形異音語の現れ
る文の数である。
【0059】図2、及び図3に示した例では、Kx=
2、Ky=2、N=100。a=1とすれば、閾値は
0.033219となる。
【0060】決定リスト学習部2は、次に、相互情報量
が閾値を越えない証拠とその支持する読みの組を決定リ
ストから削除する。
【0061】上の例では、証拠「料理」の相互情報量、
すなわち、MI(X今日、X料理)=0.00299
0、が、この閾値を越えないので、その証拠とその支持
する読みの組を決定リストから削除する。
【0062】従って、決定リストは以下のようになる。
【0063】
【数7】
【0064】相互情報量が閾値を越えない証拠とその支
持する読みの組を決定リストから削除することは、実質
的に、同形異音語と統計的に独立な証拠とその支持する
読みの組を決定リストから削除することである。
【0065】すなわち、同形異音語に対応する確率変数
とある証拠に対応する確率変数が独立であれば、その証
拠とその支持する読みの組を決定リストから削除する。
これは、ある証拠が同形異音語と独立に発生するのであ
れば、それを曖昧性解消の証拠に利用するのは無意味で
あるという考えに基づく。
【0066】決定リスト学習部2は、次に、学習できた
決定リストを決定リスト記憶部3に記憶する。
【0067】図4は、本実施例における決定リスト学習
部2の処理フローを説明するためのフローチャートであ
る。
【0068】図4を参照して、決定リスト学習部2は、
テキスト記憶部1から注目単語の語義が記されたテキス
トを入力し(ステップ101)、入力されたテキストに
おける、注目単語の周りの文脈に現れる情報を語義曖昧
性解消のための証拠とし、各証拠出現の条件の下での各
語義出現の条件付き確率を推定し(ステップ102)、
各証拠に対して、その証拠出現の条件の下での各語義出
現の条件付き確率の間の対数尤度比を計算し、対数尤度
比の絶対値の降順に証拠とその証拠の支持する語義の組
を並べ、並べた証拠とその証拠の支持する語義の組を決
定リストとし(ステップ103)、各証拠と注目単語の
間の相互情報量MI(X,Y)を計算し(ステップ10
4)、相互情報量が予め定めた閾値を越えない証拠とそ
の証拠の支持する語義の組を決定リストから削除し(ス
テップ105)、削除できた、すなわち学習できた決定
リストを決定リスト記憶部3に記憶する(ステップ10
6)。
【0069】語義曖昧性解消処理では、入力部4が読み
が決まっていない注目する同形異音語の入っているテキ
ストを入力する。図5に、テキストの一例(「今日の料
理は電子技術の進歩に頼ることが大きい」)を示す。
【0070】語義曖昧性解消部5は、入力部4から入力
を受け取り、注目する同形異音語の読みを判断する。例
えば、注目する同形異音語が「今日」である場合、その
読みが「きょう」か「こんにち」かを判断する。以下で
はその処理プロセスについて説明する。
【0071】語義曖昧性解消部5は、まず決定リスト記
憶部3から同形異音語「今日」に関する決定リストを読
み込む。決定リストに記述される証拠が入力文における
「今日」の周りの文脈に現れたかどうかを順番にチェッ
クする。
【0072】周りの文脈に現れたら、決定リストに記述
されるその証拠の支持する読みを注目する同形異音語の
読みとする。
【0073】例えば、図5に示す例では、上記した決定
リストに記述される証拠「技術」が現れているので、決
定リストに示される読みを採用し、「今日」の読みが
「こんにち」であると決定する。
【0074】語義曖昧性解消部5は、次に、決定できた
読みを出力部6に出力する。
【0075】
【発明の効果】以上説明したように、本発明によれば、
信頼できない証拠とその証拠の支持する語義の組を決定
リストから削除し、信頼できる証拠だけで語義曖昧性解
消を行うように構成したことにより、高性能な曖昧性解
消を実現することができる、という効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施例の語義曖昧性解消装置の構成
を示す図である。
【図2】本発明の一実施例を説明するための図であり、
読みの記されたテキストの例を示す図である。
【図3】本発明の一実施例を説明するための図であり、
証拠の出現度数の一例を示す図である。
【図4】本発明の一実施例における決定リスト学習部2
の処理フローを説明するためののフローチャートであ
る。
【図5】本発明の一実施例を説明するための図であり、
入力の例を示す図である。
【符号の説明】
1 テキスト記憶部 2 決定リスト学習部 3 決定リスト記憶部 4 入力部 5 語義曖昧性解消部 6 出力部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】注目単語の語義が記されたテキストを記憶
    するテキスト記憶部と、 決定リストを記憶する決定リスト記憶部と、 (a)前記テキスト記憶部から注目単語の語義が記され
    たテキストを入力し、 (b)入力された前記テキストにおける、注目単語の周
    りの文脈に現れる情報を語義曖昧性解消のための証拠と
    し、前記各証拠出現の条件の下での各語義出現の条件付
    き確率を推定し、 (c)前記各証拠に対して、その証拠出現の条件の下で
    の各語義出現の条件付き確率の間の対数尤度比を計算
    し、前記対数尤度比の絶対値の降順に、証拠と該証拠の
    支持する語義の組を並べ、前記並べられた証拠と該証拠
    の支持する語義の組を決定リストとし、さらに、 (d)各証拠と注目単語の間の相互情報量を計算し、 (e)相互情報量が閾値を越えない証拠と該証拠の支持
    する語義の組を前記決定リストから削除し、 (f)削除できた、すなわち学習できた決定リストを前
    記決定リスト記憶部に記憶する、 決定リスト学習手段と、 注目単語の語義が曖昧なテキストを入力する入力部と、 注目単語の語義を出力する出力部と、 (g)前記入力部から注目単語の語義が曖昧なテキスト
    の入力を受け、 (h)前記決定リスト記憶部から注目単語に関する決定
    リストを読み込み、読み込んだ前記決定リストに記述さ
    れる証拠が入力されたテキストにおける注目単語の周り
    の文脈に現れたかどうかを順番にチェックし、 (i)前記証拠が周りの文脈に現われたら、前記決定リ
    ストに記述される前記証拠の支持する語義を注目単語の
    語義とし、前記出力部にその語義を出力する、 語義曖昧性解消手段と、 を備えることを特徴とする語義曖昧性解消装置。
  2. 【請求項2】(a)注目単語の曖昧性の解消されたテキ
    ストを入力し、語義曖昧性解消のための各証拠の出現の
    条件の下での各語義出現の条件付き確率を推定し、 (b)各証拠に対して該証拠出現の条件下での各語義出
    現の条件付き確率の間の対数尤度比を計算し、 (c)対数尤度比の絶対値の降順に証拠と該証拠の支持
    する語義の組を並べ決定リストを生成し、 (d)各証拠と注目する単語の間の相互情報量を計算
    し、相互情報量が予め定めた所定の閾値を越えない、証
    拠と該証拠の支持する語義との組を、前記生成された決
    定リストから削除して所定の記憶領域に記憶し、 (e)語義曖昧性解消処理では、前記記憶領域から注目
    単語に関する前記決定リストを読込み、 (f)前記決定リストに記述される証拠が注目単語の周
    りの文脈に現われるか否かを順に調査し、証拠が周りの
    文脈に現れた場合には、前記決定リストに記述される該
    証拠の支持する語義を、前記注目単語の語義とする、 ことを特徴とする語義曖昧性解消方法。
JP35263496A 1996-12-13 1996-12-13 語義曖昧性解消装置 Expired - Lifetime JP3209125B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35263496A JP3209125B2 (ja) 1996-12-13 1996-12-13 語義曖昧性解消装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35263496A JP3209125B2 (ja) 1996-12-13 1996-12-13 語義曖昧性解消装置

Publications (2)

Publication Number Publication Date
JPH10171807A true JPH10171807A (ja) 1998-06-26
JP3209125B2 JP3209125B2 (ja) 2001-09-17

Family

ID=18425394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35263496A Expired - Lifetime JP3209125B2 (ja) 1996-12-13 1996-12-13 語義曖昧性解消装置

Country Status (1)

Country Link
JP (1) JP3209125B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018330A (ja) * 2009-07-08 2011-01-27 Nhn Corp 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法
JP2014191777A (ja) * 2013-03-28 2014-10-06 Nippon Hoso Kyokai <Nhk> 語義解析装置、及びプログラム
CN108509555A (zh) * 2018-03-22 2018-09-07 武汉斗鱼网络科技有限公司 搜索词确定方法、装置、设备及存储介质
CN111611810A (zh) * 2020-05-29 2020-09-01 河北数云堂智能科技有限公司 一种多音字读音消歧装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877010A (ja) * 1994-09-07 1996-03-22 Hitachi Ltd データ分析方法および装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877010A (ja) * 1994-09-07 1996-03-22 Hitachi Ltd データ分析方法および装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018330A (ja) * 2009-07-08 2011-01-27 Nhn Corp 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法
JP2014191777A (ja) * 2013-03-28 2014-10-06 Nippon Hoso Kyokai <Nhk> 語義解析装置、及びプログラム
CN108509555A (zh) * 2018-03-22 2018-09-07 武汉斗鱼网络科技有限公司 搜索词确定方法、装置、设备及存储介质
CN111611810A (zh) * 2020-05-29 2020-09-01 河北数云堂智能科技有限公司 一种多音字读音消歧装置及方法
CN111611810B (zh) * 2020-05-29 2023-08-04 河北数云堂智能科技有限公司 一种多音字读音消歧装置及方法

Also Published As

Publication number Publication date
JP3209125B2 (ja) 2001-09-17

Similar Documents

Publication Publication Date Title
Morita et al. Morphological analysis for unsegmented languages using recurrent neural network language model
CN1954315B (zh) 用于将汉语拼音翻译成汉字的系统和方法
Adler et al. An unsupervised morpheme-based HMM for Hebrew morphological disambiguation
US20040236566A1 (en) System and method for identifying special word usage in a document
WO2008107305A2 (en) Search-based word segmentation method and device for language without word boundary tag
US7475005B2 (en) Translation system, dictionary updating server, translation method, and program and recording medium for use therein
JP2004355483A (ja) 形態素解析装置、形態素解析方法及び形態素解析プログラム
WO2005064490A1 (en) System for recognising and classifying named entities
Ekbal et al. Maximum entropy based Bengali part of speech tagging
JP3992348B2 (ja) 形態素解析方法および装置、並びに日本語形態素解析方法および装置
CN116127015A (zh) 基于人工智能自适应的nlp大模型分析系统
Wong et al. iSentenizer‐μ: Multilingual Sentence Boundary Detection Model
Pal et al. Vartani Spellcheck--Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance
Almansor et al. Transferring informal text in arabic as low resource languages: State-of-the-art and future research directions
Gu et al. Markov modeling of mandarin Chinese for decoding the phonetic sequence into Chinese characters
WO2014189400A1 (en) A method for diacritisation of texts written in latin- or cyrillic-derived alphabets
Akhundova Named entity recognition for the Azerbaijani language
JP3209125B2 (ja) 語義曖昧性解消装置
JPH10171806A (ja) 語義曖昧性解消装置及び方法
Zarnoufi et al. MANorm: A normalization dictionary for Moroccan Arabic dialect written in Latin script
KR100559472B1 (ko) 영한 자동번역에서 의미 벡터와 한국어 국소 문맥 정보를사용한 대역어 선택시스템 및 방법
Saito et al. Multi-language named-entity recognition system based on HMM
US8041556B2 (en) Chinese to english translation tool
JP3952964B2 (ja) 読み情報決定方法及び装置及びプログラム
JP5293607B2 (ja) 略語生成装置およびプログラム、並びに、略語生成方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070713

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9