JPH0262665A

JPH0262665A - 形熊素分解方式

Info

Publication number: JPH0262665A
Application number: JP63215542A
Authority: JP
Inventors: Shinsuke Sakai; 坂井　信輔
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-08-29
Filing date: 1988-08-29
Publication date: 1990-03-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明の日本語テキスト音声合成システム、日英機械翻
訳システム等の必須構成要素である日本語の形態素分解
方式に関するものである。

（従来の技術）従来、かな、漢字、句切り記号等が連続して並んでいる
日本語テキストの解析を行うために、単語の同定をして
単語の境界を決定する、形態素分解の種々の方式が提案
されている。これらには、例えば「情報処理」第２７巻
第８号９５１ページに記載されているように、最長一致
法、二文節最長一致法、文節数最小法、拡張文節モデル
上のコスト最小法等の日本語形態素分解の技術が知られ
ている。

（発明が解決しようとする問題点）しかしながら、従来の形態素分解方式においては、文節
の数を最小にするという一種の最適化方式や、各単語固
有のコストを定義して、そのコストの和を最小にすると
いう最適化手法が用いられてはいるものの、隣接する単
語候補間の接続のしやすさと単語の出現頻度を統一的に
、例えば加算のような演算が可能な量として表現し、利
用することがなかったので、複数の区切り方が可能な場
合に、より日本語として適切な区切り方を選択すること
が困難であった。

本発明の目的はこの欠点を改良した高精度の形態素分解
方式を提供することにある。

（問題点を解決するための手段）本発明の形態素分解方式においては、接続カテゴリー間
に数値としてあらわされる接続コストを有し、かつ、各
単語に対してその出現頻度をあらわす情報を辞書情報と
して有し、前記接続コストおよび出現頻度情報を用いた
演算の結果が最小となるような単語列を結果として出力
することを特徴としている。

（作用）日本語の文には、文法的に許容される形態素分解のしか
たが複数考えられる場合がある。例えば、第１図におい
ては、（ａ）のテキストに対して、（ｂ）、（Ｃ）の分
割のしかたが考えられ、最長一致法を採用した場合は、
（ｂ）の分割が選択されてしまう。これは、一般には、
名詞と五段活用動詞語幹が隣接不可能だとはいえないこ
とによる。

しかしながら、日本語の読み手には、名詞と五段活用動
詞語幹が隣接することはきわめてまれであるという経験
的な知識が存在すると考えられる。

さらに、「なりたつ」という単語と、「がなる」という
単語は、異なる出現頻度を持っていると考えられる。

ここで、接続カテゴリー間に数値であられされる接続コ
ストを導入する。任意の右向き接続カテゴリーｒと、左
向き接続カテゴリーｌに対して、ｅ（ｒ、ｌ）がその間
の接続コストをあらわすものとする。ｃ（ｒｌ　１）は
実数である。これは、ｒと１の値の組にたいして、それ
らにたいするＣを保持する２次元の表として実現するこ
とかできる。接続コストは、二つのカテゴリーｒと１が
隣接しやすければしやすいほど値が小さくなるように定
義するものとする。

この枠組みを用いると、前記日本語の読み手がもってい
る隣接のしやすさに関する経験的な知識は、「名詞」と
いう右向き接続カテゴリーと「五段活用動詞語幹」とい
う左向き接続カテゴリーの間の接続コストを比較的大き
くすることによって実現される。

また、出現頻度によるコストは、出現頻度が大きければ
大きいほど値が小さくなるように定義する。

よって、接続コスト、出現頻度によるコストの和を最小
化するという基準によって分割のしかたを選択すると、
たとえば、第１図の例においては、（Ｃ）の分割するこ
とが可能となる。

（実施例）次に第２図を参照しつつ、実施例に従って本発明の詳細
な説明する。

第２図はこのような本発明の原理を実現するための一実
施例である。第２図において、多値接続テーブル２０２
は品詞の下位分類カテゴリーの順序対（ｒｗ＋、Ｉｎ）
に対して０より大なる値であられされる接続コストｃ（
ｒｍ、Ｉｎ）を与える表である。二つの接続カテゴリー
ｒｍ、Ｉｎが隣接しやすければしやすいほど、この値は
、小さくなる。右向き接続カテゴリーｒ、、と、左向き
接続カテゴリー１．、間の接続コストｃ（ｒゆ、１ｎ）
の値は、たとえば、十分大きなテキストにおけるｒｏと
Ｉ　１１の隣接の度数をｔとし、すべての単語隣接の出
現度数をｎとすると、ｎ／ｌあるいは、１−（ｔ／ｎ）
とすればよい。この他にも、出現度数によらずに経験的
に初期の接続コストのセットを決めて、形態素分解の実
験を繰り返すことにより多値接続テーブルを段階的に改
良していく方法なと、いろいろな実現の仕方が考えられ
る。単語辞書２０３は自立語、付属語等の単語情報を格
納している。各単語の辞書情報には、少なくとも、右向
きおよび左向き接続カテゴリーおよび出現コストが含ま
れる。出現コストの値は、単語の出現頻度が小さければ
小さいはとより大きくなる。

形態素分解制御部２０１は、入力文に対して、まず、文
字種が、ひらがなから、漢字・カタカナ・英字・数字の
いずれ、かに変わる位置を探索範囲の終わりとするとい
うルールによって探索範囲を決定する。

決定した探索範囲に対して、形態素分解制御部２０１は
、探索範囲の左端から開始して、単語辞書２０３を検索
し、候補単語を得る。辞書検索の結果得られる候補単語
は、一般に１つ以上存在しつる。

次に形態素分解制御部２０１は、各候補単語ｎの左向き
接続カテゴリーと、その左隣接候補単語ｍの右向き接続
カテゴリーより多値接続テーブル２０２を検索して、そ
れらの接続コストをもとめる。また、辞書内容として、
候補単語ｎの出現コストが得られる。形態素分解制御部
２０１は、この操作を探索範囲の右端に達するまで繰り
返し行う。探索範囲の右端まで達したら、形態素分解制
御部２０１は、解析範囲の左端から右端までの各単語候
補系列ｐ１に対して、（１）式によってあられされる評
価関数値ｇ（ｐ＋）をもとめる。これは、候補単語系列
ｐＩ上の接続コストおよび出現コストの和となっている
。形態素分解制御部２０１は、ｇ　（Ｔ）＋　）が最も
小さくなる候補単語系列を形態素分解の解として出力す
る。

ｇ（ｐ＋）：ｃ（ｓ＋、　ｎｚＤｃ（ｎｚ＋　１＋２）
＋・・・・・・”Ｃ（ｎｌ−ｎｍａｘ−１ｔ　ｎｌ−ｎ
ｍａｘ）”ａ（Ｓ＋　）”ａ（ｎｌ　＋　）＋・”　・
＝　”ａ（ｎｌ　、ｎｍａｘ　）　（１）たたしＸ　ｃ
　（ｍ＋　　ｎ）は、隣接する候補単語ｍｎｒｌの接続
コストであり、ａ　（ｎ）は、候補単語Ｈの出現頻度に
よる出現コスト、ｐ＋　＝　Ｓ　＋　＋　　ｒｌ　ｌｌ＋　　ｎ＋２＋　
”””＋　　ｒｌ＋、ｍａｘである。

（発明の効果）以上述べたように本発明によると、複数の形態素分割の
可能性がある人力テキストに対して、単語のカテゴリー
間の隣接しやすさに関するヒユーリスティ１．クスを用
いることにより、より適切な形態素分割を行うことが可
能となる。

【図面の簡単な説明】

第１図は本発明の詳細な説明するための図、第２図は、
本発明の一実施例を示すブロック図である。図において、２０１・・・形態素分解制御部、２０２・・・多値接続
テーブル、２０３・・・単語辞書をそれぞれにあらゎす
。

Claims

【特許請求の範囲】

接続カテゴリー間に数値としてあらわされる接続コスト
を有し、かつ、各単語に対してその出現頻度をあらわす
情報を辞書情報として有し、入力テキスト列に対する複
数の候補単語列につて前記接続コストおよび出現頻度情
報を用いた演算を行ない、その結果が小となるような単
語列を結果として出力することを特徴とする形態素分解
方式。