JPH0836575A

JPH0836575A - 統語解析装置

Info

Publication number: JPH0836575A
Application number: JP6192070A
Authority: JP
Inventors: Mitsugi Miura; 貢三浦
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1994-07-22
Filing date: 1994-07-22
Publication date: 1996-02-06
Anticipated expiration: 2017-07-29
Also published as: JP3308723B2

Abstract

(57)【要約】【目的】品詞の曖昧性解消処理で参照される知識ベー
スの内容を実際の運用中に利用者の介入無しに正しくチ
ューニングすることができる統語解析装置を提供する。【構成】品詞曖昧性解消手段11は、形態素解析結果に
含まれる語に品詞の曖昧性が存在する場合に、品詞列連
接確率知識ベース等の知識ベース14を参照してその語の
品詞を絞り込む。構文解析手段13は、品詞曖昧性解消手
段11で決定された各語の品詞の情報に基づき、入力文の
構文解析を行う。構文解析手段13による構文解析が破綻
した場合、そのことを統語解析破綻検出手段12が検出
し、知識ベース更新手段15は、前記入力文と等価な文に
ついての品詞の曖昧性の処理において品詞曖昧性解消手
段11が今回に比べ次回の方が今回決定した品詞をより低
い確率で決定するように知識ベース14を更新する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は自然言語理解や機械翻訳
における統語解析装置に関し、より具体的には、所定の
言語で記述された文を構成する語毎に辞書中の品詞の情
報を付加した形態素解析済の文を入力し、この入力文中
の個々の語の品詞を絞り込んだ後に入力文の構文を解析
する統語解析装置に関する。

【０００２】

【従来の技術】所定の言語で記述された文を入力してシ
ステム内部で処理できる記述形式に変換する自然言語理
解や、更に目的言語に変換する機械翻訳における統語解
析では、入力文中の語がどのような品詞として働いてい
るかを決定し、その結果に基づいて入力文の構文を解析
している。従って、品詞の決定を誤ると、当然統語解析
処理全体が失敗することになる。このため、品詞を正し
く決定することが必要となるが、英語などの言語では重
要な語に多品詞語が多いため、語の品詞を正しく決定す
ることは容易でない。そこで、従来より、統語解析にお
いては統計的な手法により品詞の曖昧性の解消処理の精
度を高めるようにしている。

【０００３】例えば品詞列連接確率を用いた品詞曖昧性
解消処理もその例である。これは、複数個の品詞の組み
合わせからなる品詞列毎にその品詞列が文中で現れる確
率を文例集等から洗い出してそれを品詞列連接知識ベー
スに登録しておき、形態素解析済の文の語に品詞の曖昧
性が存在する場合に、その文の全ての語の品詞の組み合
わせからなる品詞列の確率値を品詞列連接確率知識ベー
ス中の品詞列の確率から計算で求め、その確率値が最大
値となる品詞列に基づき品詞を唯一決定する手法であ
る。

【０００４】

【発明が解決しようとする課題】ところで、統計的な手
法により品詞の曖昧性を解消する場合には、サンプル数
を十分に大きくする必要がある。しかしながら、サンプ
ル数が増えれば増えるほど知識ベース構築にかかわる利
用者の手間が比例的に増大することになる。そこで、い
わゆる学習機能を付加することにより、知識ベースを実
際の運用中に徐々に学習させていくことが考えられる。

【０００５】一般に、所定の機能の精度を実際の運用中
に学習によりチューニングする方法としては、（１）特
開平２−１１４３７７号公報に見られるように、曖昧性
を含んだ品詞列とそれをシステムが処理して得た曖昧性
のない品詞列とから学習する方法、（２）特開平４−１
５７４８号公報に見られるように、システムが最も評価
の高いものとして出力した結果に対して利用者が次候補
の結果を選択した場合、この選択された次候補の結果に
基づき学習する方法等が知られている。しかしながら、
（１）の方法ではシステムが出す結果が必ずしも正しい
とは限らないため、間違ったデータを学習してしまう危
険性がある。これに対し（２）の方法では、利用者によ
って選択された正解データで学習するため間違ったデー
タを学習する危険は少なくなるが、利用者の介入が必要
となるため、利用者に負担がかかるという問題がある。

【０００６】本発明はこのような事情に鑑みて提案され
たものであり、その目的とするところは、品詞の曖昧性
解消処理で参照される知識ベースの内容を実際の運用中
に利用者の介入無しに正しくチューニングすることがで
きる統語解析装置を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、統語解析装置
において、曖昧性を含んだ品詞列を処理したとき、支障
なく構文解析を行えたからといって品詞の決定が正しか
ったとは断定できず、従って、前記（１）のようにその
場合に決定された品詞列に基づいて学習することは誤っ
たデータで学習してしまう危険性があるが、その逆の場
合、つまり構文解析が破綻したときには品詞の決定処理
自体が誤っていたと考えて良く、従ってそのような品詞
の決定が行われ難くするように学習すれば知識ベースの
内容を正しい方向にチューニングできるという点に着目
してなされたものであり、所定の言語で記述された文を
構成する語毎に辞書中の品詞の情報を付加した形態素解
析済の文を入力し、該入力文中の個々の語の品詞に曖昧
性が存在する場合に知識ベースを参照して品詞の曖昧性
を解消した後に前記入力文の構文を解析する統語解析装
置において、前記形態素解析済の文に含まれる語に品詞
の曖昧性が存在する場合に、前記知識ベースを参照して
その語の品詞を絞り込む品詞曖昧性解消手段と、該品詞
曖昧性解消手段で決定された各語の品詞の情報に基づ
き、前記入力文の構文解析を行う構文解析手段と、該構
文解析手段による構文解析が破綻したことを検出する統
語解析破綻検出手段と、該統語解析破綻検出手段によっ
て構文解析が破綻したことが検出された場合に、前記入
力文と等価な文についての品詞の曖昧性の処理において
前記品詞曖昧性解消手段が今回に比べ次回の方が今回決
定した品詞をより低い確率で決定するように前記知識ベ
ースを更新する知識ベース更新手段とを備えている。

【０００８】

【作用】本発明の統語解析装置においては、品詞曖昧性
解消手段が、形態素解析結果に含まれる語に品詞の曖昧
性が存在する場合に、品詞列連接確率知識ベース等の知
識ベースを参照してその語の品詞を絞り込み、次いで構
文解析手段が、品詞曖昧性解消手段で決定された各語の
品詞の情報に基づき、入力文の構文解析を行う。そし
て、構文解析手段による構文解析が破綻すると、そのこ
とを統語解析破綻検出手段が検出し、知識ベース更新手
段が、前記入力文と等価な文についての品詞の曖昧性の
処理において前記品詞曖昧性解消手段が今回に比べ次回
の方が今回決定した品詞をより低い確率で決定するよう
に前記知識ベースを更新する。

【０００９】

【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。

【００１０】図１を参照すると、本発明の一実施例の統
語解析装置１は、品詞曖昧性解消手段１１と、統語解析
破綻検出手段１２を含む構文解析手段１３と、知識ベー
ス１４と、知識ベース更新手段１５と、語格納手段１６
とで構成されている。なお、２は入力装置、３は形態素
解析装置、４は辞書である。

【００１１】入力装置２は、例えばキーボードの如きも
ので、所定の言語、たとえば本実施例では英語で記述さ
れた文を入力する。

【００１２】辞書４は、英語で表現された文の解析に必
要な知識のうち語彙的なものを蓄積したものであり、形
態素解析のための形態素レベルの情報等を保持する。

【００１３】形態素解析装置３は、入力装置２から入力
された英文に対して、辞書４を引きながらその英文がど
のような語（形態素）から構成されているかを明らかに
する形態素解析を行う部分である。この形態素解析装置
３は、語区間を決定し、各々の語に対して辞書内容をロ
ードし、例えばチャートの形式で解析結果を統語解析装
置１に伝達する。なお、形態素解析で語の品詞の決定ま
で実行する場合もあるが、本発明では語の品詞の決定は
統語解析装置１で行われるため、形態素解析装置３では
認定した語に対し辞書４中の品詞の情報を付与するだけ
で品詞の決定は行わない。

【００１４】統語解析装置１は、形態素解析装置３から
形態素解析済の文を入力し、この入力文中の個々の語の
品詞を絞り込むと共に入力文の構文を解析して、その結
果である統語解析結果を出力する装置である。この統語
解析結果は図示しない意味解析装置に伝達され利用され
る。

【００１５】知識ベース１４は、本実施例の場合、複数
の品詞の組み合わせからなる品詞列毎にその品詞列が文
中で現れる確率を記憶した品詞列連接確率知識ベースを
使用している。図２はこのような知識ベース１４に格納
される１つの品詞列連接確率の情報を示しており、３つ
の品詞の列とその確率とで構成されている。ここで、品
詞としては、名詞，形容詞，副詞，限定詞，動詞等が採
用され、確率としては０以上、１以下の値が用いられ
る。例えば、名詞，名詞，名詞という品詞列に対して確
率０.02 、名詞, 限定詞, 限定詞という品詞列に対して
確率０が登録されている。これらは所定の文例集を調べ
た結果に基づいて予め登録したものである。

【００１６】品詞曖昧性解消手段１１は、入力文中の語
に品詞の曖昧性がある場合にそれを解消する手段であ
り、その処理の一例を図３に示す。同図に示すように、
語認定と辞書引きが終了した入力文が形態素解析装置３
から入力されると、品詞曖昧性解消手段１１は、品詞が
曖昧な語が存在するか否かを調べ（Ｓ１）、全ての語に
品詞の曖昧性がなければ、形態素解析装置３から伝達さ
れた解析結果をそのまま構文解析手段１３に伝達し（Ｓ
２）、処理を終了する。

【００１７】他方、１つの語でも品詞に曖昧性があれ
ば、以下の方法で品詞の曖昧性を解消する（Ｓ３）。先
ず、入力文の語数がｎであるとき、Ｗ_i；位置ｉにおける語の統語解釈ｓ（Ｗ）；統語解釈Ｗの品詞ｔｒｉ（ｓ１，ｓ２，ｓ３）；品詞列ｓ１，ｓ２，ｓ３
の出現確率であり、ｓ（Ｗ）は形態素解析装置３で辞書４からロー
ドされて解析結果中に付与されたものが使用され、ｔｒ
ｉ（ｓ１，ｓ２，ｓ３）は知識ベース１４から与えられ
る。次に、上記の各列｛Ｗ_i｝のＰの値が最大の列に基
づき、各語の品詞を唯一決定する。

【００１８】そして、品詞の曖昧性を解消した語につい
ては語格納手段１６に格納し（Ｓ４）、決定した品詞を
含む処理結果を構文解析手段１３に伝達し（Ｓ５）、処
理を終了する。

【００１９】構文解析手段１３は、品詞曖昧性解消手段
１１によって品詞が一意に決定された入力文に対し、図
４に示すように通常の構文解析処理Ｓ１１を行って構文
を解析し、解析結果を出力する手段である（Ｓ２０）。
ここで、品詞が正しく決定されていれば一般に破綻なく
構文解析処理が終了するが、品詞の決定が誤っている
と、或る段階で統語解析を進めていく上で矛盾が発生し
てシステムが許容できない状態に陥り、構文解析処理が
破綻する。

【００２０】構文解析手段１３中の統語解析破綻検出手
段１２はこのような状態が発生したことを検出する手段
である。統語解析破綻検出手段１２は構文解析処理が破
綻したことを検出すると（図４のＳ１２）、品詞曖昧性
解消手段１１から伝達された解析結果中の各語のうち、
語格納手段１６に格納されている、品詞の曖昧性を解消
した語を第１，第２，第３品詞とする３つの品詞列を求
め（Ｓ１３）、知識ベース更新手段１５に伝達して知識
ベース１４の更新を要求する（Ｓ１４）。そして、その
更新終了後に再び品詞曖昧性解消手段１１から処理を再
度行わせる（Ｓ１８）。この動作は、構文解析が破綻な
く終了するか、或いは予め定められた再処理回数に達す
るまで繰り返される。このため、図４の処理では、構文
解析処理が破綻なく終了した時点でステップＳ１９に示
すように０に初期化されるカウンタＣＮＴを設け、統語
解析破綻検出手段１２では、ステップＳ１５で再処理回
数を計数し、ステップＳ１６で予め定められた回数ＭＡ
Ｘと比較することで、再処理を行うか、統語解析を断念
するかを切り分けている。なお、統語解析を断念した場
合には、統語解析が失敗した旨が出力として得られる
（Ｓ１７）。

【００２１】知識ベース更新手段１５は、統語解析破綻
検出手段１２から伝達された各品詞列について知識ベー
ス１４に登録されている確率を予め定められた値だけ小
さく変更する手段である。

【００２２】以下、このように構成された本実施例の動
作を説明する。

【００２３】今、図５の５１に示すような英文、すなわ
ち、Ｓｈｅｉｓｊｕｓｔｂｅｉｎｇｐｏｌｉｔ
ｅ．という英文が入力装置２から入力されたとすると、
形態素解析装置３はこの英文を形態素解析し、図５の５
２に示すように「Ｓｈｅ」，「ｉｓ」，「ｊｕｓｔ」，
「ｂｅｉｎｇ」，「ｐｏｌｉｔｅ」，「．」という語を
認定し、各々の語に辞書４中の品詞の情報を付与し、統
語解析装置１に伝達する。なお、この例において品詞の
曖昧性があるのは「ｊｕｓｔ」のみである。

【００２４】統語解析装置１の品詞曖昧性解消手段１１
は、形態素解析装置３による形態素解析済の文に対し、
図３に示す処理を実行する。今の場合、品詞が曖昧な語
が存在するのでステップＳ１からステップＳ３へ進み、
知識ベース１４を参照して前述した方法で品詞を絞り込
み、唯一の品詞を決定する。この場合、前記の式Ｆ１を
用いて、列｛Ｗ₁｝＝代名詞，ｂｅ動詞，形容詞，ｂｅ動詞，形
容詞，記号列｛Ｗ₂｝＝代名詞，ｂｅ動詞，副詞，ｂｅ動詞，形容
詞，記号という２つの列についてＰの値が求められ、その最大値
の列に基づき品詞が決定される。今、列｛Ｗ₁｝のＰ値
の方が大きかったとすると、品詞曖昧性解消手段１１の
処理結果は図５の５３に示すものとなり、「ｊｕｓｔ」
の品詞が形容詞と決定される。

【００２５】次に構文解析手段１３は、品詞曖昧性解消
手段１１によって品詞の曖昧性が解消された文に対して
通常の構文解析Ｓ１１を実施し、問題がなければ入力文
の構造を決定して統語解析結果を出力する（Ｓ２０）。
しかしながら、構文解析中に予め定義された、システム
が許容できないデータの状態が発生する等して構文解析
が破綻すると、これが統語解析破綻検出手段１２で検出
される（Ｓ１２）。例文の場合、「ｊｕｓｔ」を形容詞
として認定しているので、図５の５４に示すように「Ｓ
ｈｅｉｓｊｕｓｔ」で単文が構成され、「ｂｅｉｎ
ｇｐｏｌｉｔｅ」を分詞構文と認定するが、その２つ
の節の関係をシステムが許容できず、その時点で構文解
析が破綻することになる。

【００２６】統語解析破綻検出手段１２は、構文解析手
段１３の入力となった図５の符号５３に示す品詞曖昧性
解消手段１１の出力と、語格納手段１６に格納されてい
る品詞の曖昧性が解消された語「ｊｕｓｔ」とから、（１）代名詞，ｂｅ動詞，形容詞（２）ｂｅ動詞，形容詞，ｂｅ動詞（３）形容詞，ｂｅ動詞，形容詞という３つの品詞列を作成し（Ｓ１３）、知識ベース更
新手段１５に伝達して更新を要求する（Ｓ１４）。

【００２７】知識ベース更新手段１５は、知識ベース１
４に格納されている、（１）代名詞，ｂｅ動詞，形容詞（２）ｂｅ動詞，形容詞，ｂｅ動詞（３）形容詞，ｂｅ動詞，形容詞という品詞列に対応する確率を所定値だけ小さくする。

【００２８】以上の知識ベース１４の更新が終了する
と、品詞曖昧性解消手段１１から再び処理が開始される
（Ｓ１８）。このとき、前記（１）〜（３）の品詞列の
確率が下げられているため、「ｊｕｓｔ」が再び形容詞
と決定される確率が低下することになる。但し、「ｊｕ
ｓｔ」が副詞と決定されるか否かは、知識ベース１４中
の、（１）代名詞，ｂｅ動詞，副詞（２）ｂｅ動詞，副詞，ｂｅ動詞（３）副詞，ｂｅ動詞，形容詞に対応する確率との関係で定まるため、直ちに「副詞」
と決定されるとは限らないが、何度か繰り返しているう
ちに最後には、この例文および同様な構造の文において
「ｊｕｓｔ」を副詞と認定することになる。従って、そ
れ以降、例えば、Ｈｅｉｓｊｕｓｔｂｅｉｎｇ
ｓａｒｃａｓｔｉｃ．という文が入力された場合、品詞
曖昧性解消手段１１は「ｊｕｓｔ」を形容詞でなく副詞
と判断することにより、正しい統語解析が可能となる。

【００２９】

【発明の効果】以上説明したように本発明によれば、実
際の運用中に知識ベースの内容を利用者の介入無しに学
習することができ、然も構文解析が破綻したことを契機
にその原因となった品詞列が次回以降より低い確率で決
定されるように知識ベースを更新するので間違ったデー
タで学習してしまう危険性も少なくなり、品詞曖昧性解
消処理の精度を利用者の介入なしに徐々に高めていくこ
とができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】知識ベースに格納される品詞列連接確率情報の
例を示す図である。

【図３】品詞曖昧性解消手段の処理例を示すフローチャ
ートである。

【図４】構文解析手段および統語解析破綻検出手段の処
理例を示すフローチャートである。

【図５】入力文の処理の状況の遷移図である。

【符号の説明】

１…統語解析装置２…入力装置３…形態素解析装置４…辞書１１…品詞曖昧性解消手段１２…統語解析破綻検出手段１３…構文解析手段１４…知識ベース１５…知識ベース更新手段１６…語格納手段

Claims

【特許請求の範囲】

【請求項１】所定の言語で記述された文を構成する語
毎に辞書中の品詞の情報を付加した形態素解析済の文を
入力し、該入力文中の個々の語の品詞に曖昧性が存在す
る場合に知識ベースを参照して品詞の曖昧性を解消した
後に前記入力文の構文を解析する統語解析装置におい
て、前記形態素解析済の文に含まれる語に品詞の曖昧性が存
在する場合に、前記知識ベースを参照してその語の品詞
を絞り込む品詞曖昧性解消手段と、該品詞曖昧性解消手段で決定された各語の品詞の情報に
基づき、前記入力文の構文解析を行う構文解析手段と、該構文解析手段による構文解析が破綻したことを検出す
る統語解析破綻検出手段と、該統語解析破綻検出手段によって構文解析が破綻したこ
とが検出された場合に、前記入力文と等価な文について
の品詞の曖昧性の処理において前記品詞曖昧性解消手段
が今回に比べ次回の方が今回決定した品詞をより低い確
率で決定するように前記知識ベースを更新する知識ベー
ス更新手段とを含むことを特徴とする統語解析装置。
【請求項２】前記知識ベースとして、各品詞列毎にそ
の品詞列が文中で現れる確率を記憶した品詞列連接確率
知識ベースを備え、前記知識ベース更新手段は、前記品詞曖昧性解消手段の
品詞決定根拠となった前記品詞列連接確率知識ベース中
の品詞列に対応する確率を予め定められた値だけ低くす
ることを特徴とする請求項１記載の統語解析装置。
【請求項３】前記知識ベース更新手段による前記知識
ベースの更新後、前記品詞曖昧性解消手段から統語解析
処理を再実行することを特徴とする請求項２記載の統語
解析装置。