JPH038051A - 自然言語処理システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技権分災 本発明は、仮名漢字変換装置及び自然言語解析装置に関
し、より詳細には、Ｄ−３確率理論を応用した仮名漢字
変換装置及び自然言語解析装置に関する。

ｋ米肢亙 従来の未登録語処理として以下の３つの方式がある。

１．未解析文字列の先頭１文字を無視して解析を再開す
る方式。

２、未解析文字列（後続文字列）から付属語を発見し、
そこから解析を再開する方式。

３、漢音を付加して複合語構成単語の検出を行なう方式
。

従来技術として上記のような３つの方式が知られている
が、これらの処理は、どのように解析しても変換不可能
、すなわち接続する候補が発見できない場合にのみ実施
される。そのため、文例の一部が辞書内容と一致した場
合、その候補が求める候補でなくとも局所的な文法処理
で接続可能な場合に、そのまま解析を続けるため未登録
語処理には入らないという欠点がある。また、未登録語
処理に入るタイミングとして、上記のように変換不可能
とならなくとも、解析結果が１字よみ表記の連続であれ
ば解析をやり直す、という方式が知られている（例えば
特開昭５９−１４４９３４号公報）。

しかし、この場合でも１字よみ表記の連続以外の（ｆｃ
補が考えられなくなって初めて上記３つの未登録語処理
を行なうということになり、１字よみ表記の連続以外の
候補があれば未登録語処理には入らないという欠点があ
る。

且−一部 本発明は、上述のごとき欠点を解決するためになされた
もので、木登Ｂ語の範囲を検出・認定する手段を用いた
仮名漢字変換装置及び自然言語解析装置を提供すること
を目的とする。

青−一部 本発明は、上記目的を達成するために、かなあるいはロ
ーマ字で文字列を入力する入力部と、複数の単語を記憶
する辞書記憶部と、辞゛ａから求める単語を得る辞書検
索部と、入力文字列より候補を生成する候補抽出部と、
生成された候補を評価する候補評価部と得られた評価を
証拠とするＤ−８論理演算部と、候補が木登Ｂ語である
か判定する未登録語判定部と、変換結果を決定する候補
決定部と、未登録語を検出したらその範囲を決定する木
登Ｂ語処理部と、変換結果を出力する出力部とを持つ仮
名漢字変換装置において、Ｄ−８確率理論を応用して求
めた尤度と確度により未登録語の有無を判定する検出手
段と、該検出手段を用いて検出した未登録語の存在につ
いて、異なるよみ長の未登録語候補を複数生成し、並列
評価により未登録語の範囲を確定する第１の確定手段と
、上記検出手段を用いて検出した木登８語の存在につい
て、異なるよみ長の未登録語候補を複数生成する際に、
漢音を利用して候補を生成し並列評価により語の範囲を
確定する第２の確定手段と、上記検出手段を用いて検出
した未登録語の存在について、上記２つの確定手段で範
囲を確定する際に、特徴的な文字が含まれる場合、これ
等の確定手段を利用して片仮名未登録語として範囲を確
定すること、或いは、語と語との区切り情報を持たない
自然言語の解析装置において、Ｄ−８確率理論を応用し
て求めた尤度と確度により未知語を検出することを特徴
としたものである。以下、本発明の実施例に基づいて具
体的に説明する。

第１図は、請求項第１項の発明である仮名漢字変換装置
の実施例の構成図である。ここで、入力部１は、かなあ
るいはローマ字で文字列を入力する部分で１例えばキー
ボードのようなものである。

辞書゛記憶部は、複数の単語を記憶した辞書である。

文法テーブルはここに含んでもよいし、次に述べる仮名
漢字変換部の中でテーブル等の形で持ってもよい。辞書
検索部は、辞書を検索して求める単語を得るものである
。仮名漢字変換部１０は入力部より得たかな文字列を漢
字仮名混じり文に変換する部分゛で、２は候補抽出部、
３は候補評価部、４はＤ−３演算部、５は未登録語判定
部、６は候補決定部、７は未登録語処理部である。候補
抽出部２は入力文字列から考えうる候補を抽出する部分
である。候補評価部３は候補抽出部２で抽出した候補を
評価する部分である。Ｄ−３演算部４は候補評価部３で
得た評価結果を合成する部分である。この評価結果を合
成する手段としてＤｅｍｐｓｔｅｒ＆５ｈａｆｅｒ　（
Ｄ　−Ｓ　）の確率理論を応用している。

Ｄｅｍｐｓｔｅｒ　＆　５ｈａｆｅｒの確率理論を応用
して評価値の合成を行なう方法は「かな漢字変換装置」
としてすでに提案じているのでここでは簡単に述べる。

従来提案されてきた各評価基準による評価値は、候補の
尤もらしさを表わしている。また、抽出されたそれぞれ
の候補は変換すべき読みに対してとり得る事象とみなす
ことができる。従って、各評価基準による評価値を０〜
１の基本確率として与え、それを合成すれば候補の出現
確率を求めることができる。基本確率の合成はＤｅｍｐ
ｓｔｅｒの結合規則を用いて計算する。このように合成
した基本確率、すなわち評価値に対してＤ−３確率理論
を応用すると、候補の評価に確度（確からしさ）尤度（
もっともらしさ）を用いることができるというものであ
る。候補Ａｋの確度と尤度は、次式により求めることが
できる。

確度　ＢｅＱ　（Ａｋ）＝ｍ　（Ａｉ）Ａｉ＜Ａｋ （候補Ａｋである基本確率の和） 尤度　ＰＬ（Ａｋ）＝１−Ｂｅ　Ｑ　（τｋ）（１から
候補がＡｋ以外である確率を減じたもの）未登録語判定
部５はＤ−３演算部４で求めた確度の値により、文字列
に未登録語が含まれている可能性があるがどうかを判定
する部分であり１本発明の特徴であるので後で説明する
。候補決定部６は未登録語判定部５で未ＭＢ語を含む可
能性のある候補と判定されたもの以外の候補のうち、正
しい変換である可能性が最も高い候補を選択、決定する
部分である。未登録語処理部７は未登録語判定部５です
べての候補に未登録語を含む可能性がある場合に、これ
を解析して未登録語の範囲を決定する部分である。出力
部８はこのようにして、漢字仮名混じり文に変換された
結果を出力する部分で、例えばデイスプレィ装置のよう
なものである。

この実施例により本発明の構成である未登録語判定部５
及び未登録語処理部７の説明を行なう。

入力部１から入力されたかな文字列に対し、候補抽出部
２は自立部候補を抽出菩精する６その後、候補評価部３
で各候補に対する評価を行なう。評価方法としては、例
えば自立部長さや評価式を用いたりすればよい、自立部
に対し接続可能な付属語を抽出し、文節候補を作成する
。このように。

候補評価部３で得た評価結果をＤ−５演算部４で合成し
、確度と尤度とを得る。この時、確度と尤度を与える候
補は、抽出されへ候補Ａ、Ｂ、Ｃと、これら以外の事例
というものとする。（なぜならば、Ｄ−８理論ではそれ
らの中に必ず正しい答があるという前提があるが、仮名
漢字変換では抽出した候補の中に必ず正しい答があると
は限らないので解析を誤まったものしか抽出できなくて
も「これら以外」をいうものがあれば必ずこの中に正し
い答があるということになるからである。）未’Ａ　Ｄ
　Ｈｒ１判定部５で、確度と尤度とを用いて解析対象文
字列中に未Ｗ８語が含まれているかどうかを判定する。

第５図に木登８語判定部５のフローチャートを示す。こ
こで、確度に対する閾値Ａ１は例えば０．５、Ａ２は例
えば０．２程度の値とする。また。

尤度に対する閾値Ｂは、例えば０．５程度の値とする。

さらに、尤度と確度の差の値の閾値は１例えば０．４程
度の値とする。すべての候補のうち図中のパターン１に
該当するものがある場合は未登録語が含まれていない。

逆にすべての候補が図中のパターン３かパターン４ある
いは「これら以外の候補」の尤度が他の候補の尤度より
大きい場合にはこの文字列中に未ＭＢ語が含まれている
とみなし、未登録語処理部７により処理を行なう。

最終的に出力すべき候補は、Ｄ−Ｓ演算部４で求めた確
度と尤度とを用いて、候補決定部６で決定する。

第２図に、未登録語処理部７の一方式のフローチャート
を示す。未登録語判定部５から候補決定部６に渡した候
補がＯである場合に、木登８語処理部７が再解析を行な
うのであるが、この解析対象文字列中に、読み長Ｘの自
立語があるはずだと仮定する。未ＲＯ語はそのほとんど
が片仮名語や専門語１口語や俗語など自立語であること
が経験的に知られているため、この場合未登録語は自立
語であるとみなして解析を進める。読み長Ｘの自立語候
補を得るために、読み長１〜ｎ文字の候補を作る。ｎは
１例えば５文字程度に設定する。これらの各々の候補に
対し、考えられる付属部および後続文節の自立部の検索
を行なう。これら候補の検索は２とほぼ同様に行なえば
よいが、読み長Ｘの自立部の品詞が体言が用言かさえわ
からないので、すべての自立語品詞をとり得ると考えて
検索・評価を行なう。後続自立部については１通常の解
析時と同様に最も高い評価を得た候補を１つ残せばよい
。通常の解析時と同様にＤ−３演算で評価結果を合成し
、確度と尤度とを求める。確度と尤度の最も高い候補と
なった読み長Ｙ（１≦Ｙ≦ｎ）を未登録語範囲とし１文
節を確定すればよい、この時、やはり確度が充分に小さ
い値の場合、すなわち図中のＢａＯ２より確度の高い候
補がない場合院長ＸがＸ（ｎの関係であるとみなし、確
度の最も高い候補となった読み長Ｙのみを確定し、後続
文字列に対し再度未登録語処理を適用する（Ｂｅｆｆ２
はＢｅ１ｌと等しくとも、別でもよい）。

その解析の様子を第１表に示す。

第１表 ただし１文節候補を生成できない読み長くｌ〜ｎ）候補
、第２自立部候補を生成できない文節候補は解析を中止
する。

また、下線部は辞書で検索できたものを示す。

第３図に未登録語処理部７の他の方式のフローチャート
を示す、未登録語判定部５から候補決定部６に渡した候
補が０である場合、再解析対象文字列中に読み長Ｘの自
立語があるはずだと仮定する。

読み長Ｘの自立語候補を得るために、再解析対象文字列
に対し漢音を付与する。漢音を第２表に示す、漢字の音
読みとほぼ同じものである。

この漢音の区切り位置を用いて読み長Ｘの自立語候補を
作る。上の例なら、 せん、せん・りやく、せん・りゃく・はっ　・・などの
形になるが、１漢音が１文字に対応するということ、四
字熟語は少なくとも二字漢語を１つ含むことを考えあわ
せて１例えば漢音３つまでの候補に限定してもよい。こ
れら各々の候補に対し。

考えられる付属部および後続文節の自立部の検索を行な
う、この後の評価および確定の方法は第２図による未登
録語処理と同様に行なえばよい。解析の様子を第３表に
示す。

未登録語が専門語の場合、漢語の占める割合が全体の６
割以上となることが知られている。そこで、候補の抽出
を効果的に行なうために漢音を使用するものである。漢
音を付与した文字列の例を示す。

せんりやくはっそう→せん・りやく・はっ・そう第３表 ただし、文節候補を生成できない漢音（１〜ｍ）候補、
第２自立部候補を生成できない文節候補は解析を中止す
る。

第４図に未登録語処理部７の他の一方式のフローチャー
トを示す。第２図、第３図の例と同様、読み長Ｘの自立
語があるはずだと仮定する。ここで再解析対象文字列中
に特徴的な文字、例えば長音や小さい「あ」を検出した
ら１片板名語であるとみなし、再解析開始位置から特徴
的な文字（以下、Ｃ１であられす）までを片仮名未登録
語として、（Ｃ工＋１）の位置から付３語あるいは後続
自立語の検索を行なう。ただしくＣ１＋１）の文字が「
ん」や小さい「や」など語の先頭となり得ないものの場
合は、これも片仮名未登録語の範囲として考える。この
後の評価および確定の方法は第２図による未登録語処理
と同様に行なえばよい。片仮名未登録語として範囲が確
定できたらその範囲を片仮名で出力するという処理を行
なってもよい。

再解析対象文字列中に、特徴的な文字が検出できなかっ
た場合は、第２図の方法あるいは第３図の方法により読
み長Ｘの未登録語の範囲を確定すればよい。第２図の方
法と第３図の方法は独立であるばかりでなく、可能性の
高い候補から検索・評価するために 第４図による方法→第３図による方法→第２図による方
法 と、組み合せて実行するとさらに効果的である。

第６図は、請求項第２項の発明である自然言語解析装置
の実施例を構成図を示す、入力部１１は区切り情報を持
たないテキスト、例えば日本語の漢字仮名混じり文や中
国語などを得る手段で、例えばＯＣＲなどのようなもの
である。辞書記憶部は、複数の単語を記憶した辞書であ
る。文法テーブルはここに含んでもよいし１次に述べる
解析部の中でテーブル等の形で持ってもよい。辞書検索
部は、辞書を検索して求める語を得るものである。

解析部２０は、入力文字列を例えば形態素解析する部分
で、次の６つの部分より成る。

１２は候補抽出部、１３は候補評価部、１４はＤ−８演
算部、１５は未知語判定部、１６は候補決定部、１７は
未知語処理部である。

候補抽出部１２は入力文字列から解析候補を抽出する部
分である。ここで抽出された候補を候補評価部１３で評
価する。評価方法として、例えば評価式を用いて評価値
計算を行なうといった方法をとればよい。このように得
た評価結果をＤ−９演算部１４で合成し、尤度と確度と
を得る。複数の候補に対し未知語判定部１５は未知語含
有の判定を尤度と確度を利用して行なう、未知語判定部
１５のフローチャートを第７図に示す、ここで確度に対
する閾値Ａ１．Ａ２は例えば、それぞれ０．５．０．２
程度を与えてやればよい。また、尤度に対する閾値Ｂは
、例えば０．５、尤度と確度の差の値の閾値は例えば０
．４程度の値とする。

すべての候補のうちパターン１に該当するものがある場
合は未知語が含まれていない文字列である。

逆にすべての候補がパターン３がパターン４である場合
には未知語が含まれている文字列である。

この場合にはｆの未知語処理部で未知語の範囲の確定を
行なう。未知語の範囲の確定方法はいくつか知られてい
るものがあるが、例えば、付属語の抽出を行なう方法を
とってもよい、このように、請求項第１項とほぼ同じ方
法を用いることで自然言語解析装置による未知語処理を
行なうことができる。以上のように本発明の実施例は、
仮名漢字変換装置及び自然言語解析装置について述べた
が、各種ＯＡ機器（例えば、ワープロ、各種０Ａｆｉ器
の入力部、翻訳機）などに適用し得るものである。

羞−一釆 以上の説明から明らかなように、請求項第１項の仮名漢
字変換装置においては、Ｄ−３演算により求めた確度と
尤度の値を用いて未登録語であるかどうかを判定してい
るので従来のように候補があるが確度が低いような場合
でも無理に変換することをせず、未登録語として無変換
出力することで奇異な変換をおさえることができる。ま
た、この未登録語判定部で未登録語があると判定された
文字列を再解析する場合でもいくつか得られた解析結果
についてＤ−８演算で求めた確度と尤度を用いて判定す
るため末登８語の範囲を適切に確定し、未登録語による
誤変換の伝播をおさえることができる。

また、請求項第２項の自然言語解析装置においては、Ｄ
−Ｓ演算を適用して求めた確度と尤度の値を解析に利用
しているので従来のように未知語が文字列中に出現した
際、無理に候補を作ることをせず、未知語の範囲を適切
に確定し、未知語が含まれていることによる誤解析をお
さえることができる。

【図面の簡単な説明】

第１図は、本発明である仮名漢字変換装置の一実施例の
構成図、第２図は５未登録語処理部の一方法式のフロー
チャー１・、第３図は、未登録語処理部の他の方式のフ
ローチャート、第４図は、未知語処理部の他の方式のフ
ローチャート、第５図は、未登録語判定部の一方式のフ
ローチャート、第６図は、本発明である自然言語解析装
置の一実施例の構成図、第７図は、未知語判定部のフロ
ーチャートである。 １．１１・・・入力部、２，１２・・・候補抽出部。 ３’、１３・・候補評価部、４．１４・・・Ｄ−Ｓ演算
部、５・・・未登録語判定部、１５・・・未知語判定部
。 ６．１６・・・候補決定部、７・・・未登録語処理部、
１７・・・未知語処理部、８，１８・・・出方部。 ９．１９・・・辞書、１０・・・仮名漢字変換部、２０
・・・解析部。 第１区 第 ２ 図 第 図 第 区 第 図 第 ６ 図 ３、補正をする者 事件との関係

Claims (1)

1. 【特許請求の範囲】 １、かなあるいはローマ字で文字列を入力する入力部と
   、複数の単語を記憶する辞書記憶部と、辞書から求める
   単語を得る辞書検索部と、入力文字列より候補を生成す
   る候補抽出部と、生成された候補を評価する候補評価部
   と、得られた評価を証拠とするＤ−Ｓ論理演算部と、候
   補が未登録語であるか判定する未登録語判定部と、変換
   結果を決定する候補決定部と、未登録語を検出したらそ
   の範囲を決定する未登録語処理部と、変換結果を出力す
   る出力部とを持つ仮名漢字変換装置において、Ｄ−Ｓ確
   率理論を応用して求めた尤度と確度により未登録語の有
   無を判定する検出手段と、該検出手段を用いて検出した
   未登録語の存在について、異なるよみ長の未登録語候補
   を複数生成し、並列評価により未登録語の範囲を確定す
   る第１の確定手段と、上記検出手段を用いて検出した未
   登録語の存在にといて、異なるよみ長の未登録語候補を
   複数生成する際に、漢音を利用して候補を生成し並列評
   価により語の範囲を確定する第２の確定手段と、上記検
   出手段を用いて検出した未登録語の存在について、上記
   ２つの確定手段で範囲を確定する際に、特徴的な文字が
   含まれる場合、これ等の確定手段を利用して片仮名未登
   録語として、範囲を確定することを特徴とする仮漢字変
   換装置。 ２、語と語との区切り情報を持たない自然言語の解析装
   置において、Ｄ−Ｓ確率理論を応用して求めた尤度と確
   度により未知語を検出することを特徴とする自然言語解
   析装置。