JPH0619960A - 形態素解析処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 辞書への未登録語が存在する場合でも、高精
度で未登録語を特定でき、解析結果に複数の形態素分割
の候補または複数の品詞の候補が存在する場合でも、高
精度で形態素分割と品詞付与ができるような形態素解析
処理方法を実現する。 【構成】 文字種類の変化情報に基づいて文字列を分割
し、分割文字列を決定した後、辞書への未登録語により
単語登録テ−ブル中の形態素の接続が分断されるとき、
その分断位置を内部に含む分割文字列を決定し、形態素
の品詞カテゴリと文字種類と文字数に基づいて分割文字
列の範囲内に存在する未登録語を特定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、形態素を分割し、品詞
を付与する形態素解析処理方法に関し、特に日本語文章
を処理する第１段階として、日本語文章を解析し、構文
・意味解析パ−サ−への入力として用いる形態素解析処
理方法に関する。

【０００２】

【従来の技術】従来、辞書への未登録語を特定する方法
として、仮文節の範囲内で全ての連続する文字列の組合
わせを、総当りで辞書検索し、仮文節内で前方から最長
一致法により、先頭から最も長い形態素を優先的に採用
していき、辞書に未登録の部分、あるいは辞書に登録さ
れていても形態素間の接続が許可されない部分を、未登
録語とする方法が用いられている。ここで、仮文節と
は、例えば、平仮名から他の文字種類への変化点、記号
文字の前後、非平仮名列から数字列への変化点、数字列
から非平仮名列への変化点を、それぞれ区切り位置とみ
なして、区切り位置により区切られた文字列のことを呼
ぶ。しかしながら、上述のような従来の未登録語を特定
する方法では、未登録語の特定精度が高くなかった。例
えば、未登録語を含む仮文節として『鼎立し』の場合を
考える。総当りに検索文字列を生成して、辞書を検索し
た結果、『立』と『し』が登録語であり、『鼎』、『鼎
立』、および『鼎立し』がそれぞれ未登録語であるとす
ると、『鼎立』が未登録語として解析されるべきである
にもかかわらず、従来の方法では、『鼎』の語が未登録
語とされてしまう。また、別の例として、仮文節『御簾
納会長』を考えた場合には、『御』、『簾』、『納』、
『納会』、『会』、『会長』、『長』が登録語であると
すると、前方からの最長一致法のために、その出力は
『御簾納／会長』（『御簾納』が未登録語）となるべき
ところ、実際には、『御／簾／納会／長』のようにな
る。このように、従来の方法では、未登録語が特定でき
ないだけでなく、隣接する形態素へも悪影響を及ぼして
しまう。

【０００３】さらに、形態素解析処理の結果、複数の候
補を確からしい順序で配列し直す方法について考える。
すなわち、形態素解析処理の結果として、同一の文字列
に対して複数の形態素分割候補、または同一の形態素に
対して複数の品詞の候補が存在するとき、それらを確か
らしい順序で並び替える方法としては、統計的な情報で
ある形態素の使用頻度を利用して、優先順位を付与する
方法がある。しかしながら、上記形態素の使用頻度は、
隣接する前後の形態素との接続関係を考慮して決定され
たものではなく、該当する単語自体を独立のものとして
扱った使用頻度であるため、優先順位付けの精度は低か
った。従来の処理方法では、形態素解析処理の次の処理
段階である構文解析処理において、前後の形態素の品詞
カテゴリに基づく文法的な接続関係の優先性をチェック
していた。

【０００４】

【発明が解決しようとする課題】このように、従来の方
法では、日本語文章を形態素に分割して品詞を付与する
形態素解析処理において、辞書への未登録語が存在する
場合に、その特定精度が低いだけでなく、隣接する形態
素の分割にまで影響を及ぼすことがあった。さらに、形
態素解析処理の結果として、同一の文字列に対して複数
の形態素分割候補、あるいは同一の形態素に対して複数
の品詞候補が得られたとき、それらを確からしい順序に
並び替える精度が低いという問題があった。本発明の目
的は、これら従来の課題を解決し、辞書に未登録の単語
が存在するときには、未登録語を正しく特定して１つの
形態素として扱い、かつ同一の文字列に対して複数の形
態素分割候補、あるいは同一の形態素に対して複数の品
詞候補があるときには、それらを確からしい順序に高精
度で並び替えることが可能な形態素解析処理方法を提供
することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の形態素解析処理方法は、（イ）名詞、動
詞、形容詞、形容動詞等の自立語を登録してある自立語
辞書と、助詞、助動詞、活用語尾等を登録してある付属
語辞書と、形態素の品詞カテゴリおよび文字数に基づい
て隣接する形態素間の接続の可否を定める形態素接続辞
書とを備え、入力された文字列を自立語辞書および付属
語辞書を検索して品詞を付与し、検索結果の中から形態
素接続辞書により接続が許可される形態素を単語登録テ
−ブルに登録する形態解析処理方法において、文字種類
の変化情報に基づいて文字列を分割し、分割された文字
列を決定する第１のステップと、自立語辞書および付属
語辞書への未登録語により、単語登録テ−ブル中の形態
素の接続が分断される場合には、分断位置を内部に含む
分割文字列を決定する第２のステップと、形態素の品詞
カテゴリと文字種類および文字数に基づいて、分割文字
列の範囲内に存在する未登録語を特定する第３のステッ
プとを有することを特徴としている。また、（ロ）第１
のステップにより、同一の文字列に対して複数の形態素
分割候補が生成された場合、または自立語辞書および付
属語辞書の検索により、同一の形態素に対して複数の品
詞候補が生成された場合には、隣接する形態素間の品詞
カテゴリの接続優先順位ル−ルに基づいて、形態素分割
候補および品詞候補を確からしい順序に並び替える第４
のステップを有することも特徴としている。

【０００６】

【作用】本発明においては、未登録語の範囲を正しく特
定することにより、未登録語を１つの形態素とみなすこ
とができるようにする。その結果、未登録語の周囲にあ
る形態素への影響を小さくすることができる。また、形
態素分割の候補、および品詞の候補を形態素解析処理で
確からしい順序に並び替えることにより、次段の構文解
析パ−サ−では、確からしい候補のみ処理対象にするこ
とができ、構文解析候補が多数発生することを防止でき
る。一般に、固有名詞、各種分野の専門用語等の使用頻
度の低い形態素を、全て辞書に登録しておくことは不可
能である。その結果、文章中に現われる単語で、辞書へ
の未登録語が発生することは避けられない。そこで、未
登録語の範囲を正しく特定することができれば、未登録
語を１つの形態素とみなすことができ、かつ登録語であ
る周囲の形態素の分割結果への影響も避けることができ
る。単語分割を誤ってしまうと、品詞を正しく付与でき
なくなるので、正しく単語分割すれば、品詞付与の精度
の向上にもなる。また、未登録語の多くは名詞であるた
め、未登録語が特定できると、品詞も推定できる。次段
の構文解析パ−サ−は、形態素解析の結果を受け取る
と、句ないし文単位に品詞カテゴリの文法的な接続関係
を調べて、構文解析木を作成する。しかし、複数の形態
素分割、複数の品詞カテゴリ、複数の文法接続の可能性
が存在すると、複数の解析による構文解析木が生成され
ることが多い。本発明では、高精度で複数の形態素分割
の候補、品詞の候補を確からしい順序に並び替えるの
で、構文解析パ−サ−では、確からしい候補のみを処理
対象とすれば、構文解釈が多数発生しないですむ。形態
素解析処理は、日本語文章の解析の第１段階の必須の処
理であるため、高精度な形態素分割と品詞付与を実現す
れば、形態素解析処理の結果を種々の分野の日本語処理
に利用させることができる。

【０００７】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明の一実施例を示す形態素解析
処理システムの機能ブロック図である。形態素解析処理
システムは、図１に示すように、入力処理部１、辞書検
索文字列生成処理部２、辞書検索処理部３、形態素間接
続チェック処理部４、単語テ−ブル登録処理部５、文字
種類変化点決定処理部６、未登録語範囲決定処理部７、
解析範囲組み立て処理部８、未登録範囲組み立て処理部
９、形態素・品詞並び替え処理部１０、および出力処理
部１１から構成される。これらの処理部は、いずれもプ
ロセッサにより実行されるプログラムモジュ−ルであっ
て、実線の順序で起動される。実線は、各処理部間の接
続シ−ケンスを示すもので、全体の処理動作が示され
る。先ず、入力処理部１が日本語文章を入力装置から入
力すると、次に辞書検索文字列生成処理部２は、入力文
字列から連続する文字を総当りに取り出し、入力した文
字列から辞書検索のための部分文字列を生成する。ここ
で、辞書検索文字列生成処理部２で生成する部分文字列
は、仮文節の範囲内で生成すればよい。また、その最大
文字列長は、辞書に格納されている形態素の最大文字列
長とすれば、不要な辞書検索を防止することができる。
次の辞書検索処理部３では、生成された文字列を自立語
辞書と付属語辞書から検索し、品詞の種類を決定する。
次の形態素間接続チェック処理部４は、品詞の種類と形
態素の文字数を基にして、品詞カテゴリを決定し、隣接
する形態素の品詞カテゴリをパラメ−タにして形態素間
の前後の接続の可否を定めた形態素間接続辞書を参照し
て、隣接する形態素の接続の可否を判断する。すなわ
ち、形態素接続辞書から、検索した隣接する形態素の接
続条件を調べる。次に、単語テ−ブル登録処理部５は、
接続可能な形態素を単語登録テ−ブルに登録する。すな
わち、文節数最小法により、前方からの累積文節数が最
小となる接続可能な形態素を選択し、単語登録テ−ブル
に登録する。次の文字種類変化点決定処理部６は、文字
種類の変化位置で入力文字列を分割する。

【０００８】全ての入力文字列に対して、辞書検索文字
列生成処理部２から単語テ−ブル登録処理部５までの処
理が終了したならば、次の文字種類変化点決定処理部６
が起動される。未登録語範囲決定処理部７では、入力文
字列に未登録語が存在する場合に、未登録語が含まれる
文字列の範囲を決定する。つまり、文字種類の変化する
位置で文字列を分割し、分割文字列を決定する。未登録
語が存在しない場合には（ステップ１５）、解析範囲組
み立て処理部８で、未登録語が存在しない範囲に対し
て、出力形態素の組み合わせを決定する。また、未登録
語が存在する場合には（ステップ１５）、現在の処理位
置と、未登録語範囲の先頭位置とを比較して、等しい
か、あるいは後者の方が前者より大きいかを判定し（ス
テップ１６）、後者が大きい場合には、解析範囲組み立
て処理部８で、未登録語が存在しない範囲に対して、出
力形態素の組み合わせを決定する。その後、あるいは両
者が等しい場合には、未登録語範囲組み立て処理部９
で、未登録語が存在する範囲に対して、未登録語を特定
し、出力する形態素の組み合わせを決定する。次に、入
力文字列の終端まで処理したか否かを判定し（ステップ
１７）、処理したならば、形態素・品詞の並び替え処理
部１０で、同一の文字列に対して複数の形態素分割の候
補、または同一の形態素に対して複数の品詞の候補を、
形態素・品詞並び替えル−ル（後述の図２を参照）によ
り確からしい順序に並び替える。そして、出力処理部１
１は、決定された処理結果を出力装置に出力する。

【０００９】図２は、形態素・品詞並び替えル−ルの一
例を示す図である。図２（ａ）は、同一の文字列に対し
て形態素分割の候補が前置助数詞と数字からなるもの
と、それ以外の形態素分割の候補がある場合、前置助数
詞と数字からなる分割候補を優先することを示すもので
ある。すなわち、前置助数詞であるｐｏｓ１と数字であ
るｐｏｓ２を含むｓｅｇ１の方を、その他のｐｏｓ３を
含むｓｅｇ２よりも優先する順位とする。また、図２
（ｂ）は、同一の文字列に対して、名詞の形態素の直後
の形態素が名詞または接尾語の候補であるときには、接
尾語を優先することを示している。すなわち、ｓｅｇ２
において、直後を名詞とするｐｏｓ２と直後を接尾語と
するｐｏｓ３とでは、ｐｏｓ３の方を優先する順位とす
る。以下、図１における各処理部の詳細フロ−チャ−ト
を、図４〜図７により説明する。

【００１０】図５は、図１における未登録語範囲決定処
理部の詳細動作フロ−チャ−トである。未登録語範囲決
定処理部７は、図５に示すように、先ず単語登録テ−ブ
ルに登録された形態素が、入力文字列の現在処理位置か
ら終了文字位置まで接続できるか否かを調べる（ステッ
プ２２）。全て接続した場合には（ステップ２３）、未
登録語はないので（ステップ２８）、処理を終了する。
また、接続が途中で途切れる場合には、未登録語が存在
する場合であるから、接続が途切れた文字位置を含む分
割文字列を、未登録語を含む最小の文字列範囲（未登録
語範囲）とする（ステップ２４）。ただし、分割文字列
の開始位置の直前の文字位置で終る形態素が単語登録テ
−ブルに存在しない場合には（ステップ２５）、分割文
字列の範囲を該当条件を満足するまで、入力文字列方向
を遡る方向に拡張する(ステップ２６)。このようにし
て、分割文字列の範囲を、未登録語の範囲とする（ステ
ップ２７）。

【００１１】図６は、図１における解析範囲組み立て処
理部の詳細動作フロ−チャ−トである。図１に示すよう
に、現在の処理位置と未登録語範囲の開始位置を比較し
て、未登録語範囲の開始位置が現在の処理位置よりも右
側に存在する時には（ステップ１６）、解析範囲組み立
て処理部８は、図６に示すような手順により、再帰的な
手法により、現在の処理位置から未登録語範囲の開始位
置の直前の範囲内で接続する全ての形態素の組み合わせ
を決定する。すなわち、先ず開始位置が入力文字列の終
了位置より大きいか否かを判定し（ステップ３２）、開
始位置が入力文字列の終了位置より大きい、つまり終了
位置より後に進んでいれば、組み立て処理は終了する
（ステップ３７）。そうでなければ、単語登録テ−ブル
にある開始位置から始まる形態素を出力とする（ステッ
プ３３）。次に、出力とした形態素の終端位置の直後の
文字位置を開始位置とする（ステップ３４）。次に、開
始位置をパラメ−タにして、解析範囲組み立て処理を再
帰的にコ−ルする（ステップ３５）。次に、開始位置か
ら始まる形態素が他にあるか否かを判定し（ステップ３
６）、あれば、ステップ３３に戻る。なければ処理を終
了する（ステップ３７）。

【００１２】図７は、図１における未登録語範囲組み立
て処理部の詳細動作フロ−チャ−トである。未登録語範
囲組み立て処理部９は、図７に示すように、未登録語範
囲決定処理部（図５参照）で決定した未登録語範囲内
で、前方からの最長一致法により出力する形態素を決定
する（ステップ４２）。ただし、１文字の自立語の多く
は誤りであるという経験的な法則から、助詞、助動詞、
活用語尾、１文字の英文字、１文字の記号文字、１文字
の数字、および２文字以上の自立語のみを出力する形態
素として、出力テ−ブルに登録する（ステップ４３）。
開始位置が入力文字列の終了位置より大きくなったなら
ば（ステップ４５）、さらに、連続するカタカナ文字列
の一部が単語登録テ−ブルに登録されていないか否かを
判定する（ステップ４６）。登録されていない場合に
は、そのカタカナ文字列全体を未登録語とする（ステッ
プ４７）。そして、出力されない連続する文字があれ
ば、まとめて未登録語とする（ステップ４８）。未登録
語は、出力テ−ブルに登録されて、処理を終了する（ス
テップ４９）。

【００１３】図１に戻って、現在の処理位置と未登録語
範囲の開始位置が等しい場合には（ステップ１６）、未
登録語範囲の左方向に解析可能範囲が存在しないので、
未登録語範囲組み立て処理部９により未登録語範囲のみ
を出力する。そして、入力文字列の終端まで組み立て終
っていなければ（ステップ１７）、未登録語範囲の直後
の文字位置を現在処理位置として、未登録語範囲決定処
理部７に戻る。入力文字列の前方方向に未登録語が存在
しない場合には（ステップ１５）、入力文字の終端まで
解析範囲組み立て処理部８により出力する形態素を決定
する。図８は、図１における形態素・品詞並び替え処理
部の詳細動作フロ−チャ−トである。形態素・品詞並び
替え処理部１０は、図８に示すように、処理位置を入力
文字列の先頭にセットした後（ステップ５２）、出力テ
−ブルに複数の形態素分割候補が存在するときには（ス
テップ５３）、統計的に求めた形態素の並び替えル−ル
に従って、同一の文字列に対する複数の形態素分割の可
能性がある範囲に対して、形態素分割の候補を確からし
い順序に並び替える（ステップ５４）。次に、処理位置
を進め（ステップ５５）、処理位置が入力文字の終端ま
で到達したならば（ステップ５６）、処理位置を入力文
字列の先頭にセットした後（ステップ５７）、統計的に
求めた品詞の並び替えル−ルに従って、同一の形態素に
対して複数の品詞候補が存在する場合には（ステップ５
８）、複数の品詞を確からしい順序に並び替える（ステ
ップ５９）。そして、処理位置を進めて（ステップ６
０）、処理位置が入力文字の終端に到達したならば（ス
テップ６１）、処理を終了する（ステップ６２）。図１
に戻って、最後に出力処理部１１により、確からしい順
序に並び替えた形態素と品詞を、外部出力装置に出力す
る。

【００１４】図３および図４は、図１における各ステッ
プの一例を示す図である。ここでは、図３（ａ）に示す
ように、入力文字列を『御簾納候補の票が伸び悩み、』
にした場合を例にして説明する。検索文字列の最大長を
８文字とすると、辞書検索文字列生成処理部２の処理に
よって６８通りの部分文字列が生成される。ただし、読
点は記号文字であるため、辞書検索は行わない。次に、
これらの部分文字列に対して辞書検索処理部３により辞
書を検索した結果、図３（ｂ）に示すように、１６個の
形態素が自立語辞書および付属語辞書に存在する。これ
らのうち、『御』と『簾』および『簾』と『納』の間の
接続は、１文字の自立語と１文字の自立語の接続を禁止
する形態素間接続辞書の定義により許可されないものと
する。このように仮定すると、形態素間接続チェック処
理部により形態素間の接続が許可されるものは、１３個
の形態素となる。さらに、部分文字列『伸び悩み』は、
『伸び悩』および『み』、または『伸び悩み』によれば
１文節で文節が構成できるが、『伸』、『び』、
『悩』、『み』、または『伸び』、『悩み』によれば２
文節で文節が構成されるため、前方からの文節数最小法
により２文節となる形態素は除外され、単語登録テ−ブ
ルに登録される形態素は、最終的に図３（ｃ）に示す９
個となる。

【００１５】次に、文字種類変化点決定処理部６によ
り、文字種類の変化点で入力文字列を切り、図４（ｄ）
に示すように９個の分割文字列を作成する。ここでは、
‘｜’で挟まれた文字列が分割文字列である。次に、未
登録語範囲決定処理部７は、『御』が形態素の接続を分
断している先頭部分であると認識し、この部分が含まれ
る未登録語範囲を『御簾納候補』とする。そして、未登
録語が存在して、現在の処理位置と未登録語範囲の開始
位置が等しいので、未登録語範囲組み立て処理部９は未
登録範囲内で先頭から単語登録テ−ブルを調べ、『候
補』は２文字の名詞であるから出力形態素とする。その
結果、図４（ｅ）に示すように、未登録語範囲での出力
を『御簾納／候補』（『御簾納』は未登録語）とする。
未だ出力していない部分が残っているため、未登録語範
囲の終了位置の直後の文字位置『の』を現在処理位置と
して未登録語範囲決定処理部７に戻る（図１のステップ
１７）。しかし、他に未登録語は存在しないので（図１
のステップ１５）、残りの文字列に対して解析範囲組み
立て処理部８が処理を実行して、接続可能な全ての形態
素の組み合わせを選択する。この結果、図４（ｆ）に示
すように、『の／票／が／伸び悩み』と、『の／票／が
／伸び悩／み』とが得られる。最後に、形態素・品詞並
び替え処理部１０は、２つの形態素分割候補が存在する
部分『伸び悩み』に着目し、読点の直前に名詞と動詞の
文節が存在する場合には、動詞を含む形態素の分割を優
先するというル−ルを実行して、『の／票／が／伸び悩
／み』を第１候補にし、『の／票／が／伸び悩み』を第
２候補にする。この例の場合には、１つの形態素に複数
の品詞候補が存在しないので、品詞候補の並び替えル−
ルは発火せず、図４（ｇ）に示すように出力される。

【００１６】

【発明の効果】以上説明したように、本発明によれば、
辞書への未登録語が存在する場合でも、高い精度で未登
録語を特定することができ、解析結果に複数の形態素分
割の候補、または複数の品詞の候補が存在する場合で
も、高い精度で形態素分割と品詞の付与が可能となる。

【００１７】

【図面の簡単な説明】

【図１】本発明の一実施例を示す形態素解析処理システ
ムの機能ブロック図である。

【図２】本発明における形態素・品詞の並び替えル−ル
の一例を示す図である。

【図３】図１における各処理の実例を示す説明図であ
る。

【図４】図３と同じく、各処理の実例を示す説明図であ
る。

【図５】図１における未登録語範囲決定処理部の詳細動
作フロ−チャ−トである。

【図６】図１における解析範囲組み立て処理部の詳細動
作フロ−チャ−トである。

【図７】図１における未登録語範囲組み立て処理部の詳
細動作フロ−チャ−トである。

【図８】図１における形態素・品詞並び替え処理部の詳
細動作フロ−チャ−トである。

【符号の説明】

１ 入力処理部 ２ 辞書検索文字列生成処理部 ３ 辞書検索処理部 ４ 形態素間接続チェック処理部 ５ 単語テ−ブル登録処理部 ６ 文字種類変化点決定処理部 ７ 未登録語範囲決定処理部 ８ 解析範囲組み立て処理部 ９ 未登録語範囲組み立て処理部 １０ 形態素・品詞並び替え処理部 １１ 出力処理部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 名詞、動詞、形容詞、形容動詞等の自立
   語が登録された自立語辞書と、助詞、助動詞、活用語尾
   等が登録された付属語辞書と、形態素の品詞カテゴリお
   よび文字数に基づいて隣接する形態素間の接続の可否を
   定める形態素接続辞書とを備え、入力された文字列を上
   記自立語辞書および付属語辞書を検索して品詞を付与
   し、検索結果の中から上記形態素接続辞書により接続が
   許可される形態素を単語登録テ−ブルに登録する形態解
   析処理方法において、文字種類の変化情報に基づいて文
   字列を分割し、分割された文字列を決定する第１のステ
   ップと、上記自立語辞書および付属語辞書への未登録語
   により、上記単語登録テ−ブル中の形態素の接続が分断
   される場合には、分断位置を内部に含む分割文字列を決
   定する第２のステップと、形態素の品詞カテゴリと文字
   種類および文字数に基づいて、分割文字列の範囲内に存
   在する未登録語を特定する第３のステップとを有するこ
   とを特徴とする形態素解析処理方法。
2. 【請求項２】 請求項１に記載の形態素解析処理方法に
   おいて、上記第１のステップにより、同一の文字列に対
   して複数の形態素分割候補が生成された場合、または上
   記自立語辞書および付属語辞書の検索により、同一の形
   態素に対して複数の品詞候補が生成された場合には、隣
   接する形態素間の品詞カテゴリの接続優先順位ル−ルに
   基づいて、形態素分割候補および品詞候補を確からしい
   順序に並び替える第４のステップを有することを特徴と
   する形態素解析処理方法。