JPH01205377A - 日本文文書解析装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、日本語文書データベースを作成するため、入
力装置から読み込まれた漢字かな混じりの日本文文書文
字列を日本文単語に解析する日本文文書解析装置に関す
る。

〔従来の技術〕

新聞記事、出版用原稿、科学技術論文等の多量の日本文
文書を電子ファイル化して、日本文文書データベースを
作成し、これを利用して混入する誤字などの誤りを検出
したり、日本文の他の言語に翻訳したり、あるいは漢字
かな変換した後日本語の合成音声として出力する言語処
理システムなどを構築する場合、全ての自然言語処理の
基礎となる形態素解析が不可欠である。

また、日本文の単語解析においては、その解析速度を向
上させるために、一般に漢字を含む２文字以上の単語を
優先して抽出し、多くの漢字１文字単語の検索は漢字を
含む２文字以上の漢字用語単語がない場合にのみ行なう
処理を採用している。

第４図は、従来の単語解析システムの構成図である。

図において、全体符号１は単語解析処理装置を示し、２
は漢字読取機、ベンタッチ、キーボード等の日本文人力
装置によって読み込まれた日本文を磁気装置に文字コー
ドの形式で記録する入力日本文データベース、３はデー
タベース２に記録された読取り結果の日本文文字列に対
し字種の変化点における自立語あるいは付属語からなる
文節を抽出する文節切り部、４は各単語ごとに見出し、
読み、文法情報、単語の属性情報を格納した日本文単語
辞書、５は各文節ごとに日本文単語辞書４を牽引して単
語列を網羅的に抽出する単語候補抽出部、６は単語候補
抽出部５内にあって、漢字を含む２文字以上の単語を抽
出する漢字用語単語抽出部、７は単語候補抽出部５内に
あって、漢字１文字の単語を抽出する漢字１文字単語抽
出部、８は漢字以外の字種の候補を含めた単語候補抽出
を制御する単語候補抽出制御部、９は抽出された単語列
について位置的に接続可能な単語列連鎖の候補を作成す
る接続単語列生成部、１０は接続単語列生成部９の単語
列について単語の見出しあるいは品詞の間の接続条件を
用いてこれに違反する単語列を文法的に削除する接続検
定部、１１は認定された単語認定精度果を記録する記録
装置である。

第５図は、上述のように構成された単語解析処理システ
ムによる単語解析処理例を示すもので、第５図に示す原
文文字列１２は、文節切り部３によって文節に抽出され
た後、日本文単語辞書４を検索して単語候補抽出部５お
よび単語候補抽出制御部８により、第５図の符号１３で
示すような単語候補群を抽出する。この結果、漢字を含
む２文字以上を優先して抽・出した単語候補１４となる
。

そして抽出された単語候補群１３は接続単語列生成部９
と接続検定部１０によって、符号１５で示す接続単語列
に生成する。また、第５図において、１６は単語認定が
不良となった単語、１７は単語間の接続が不良となった
位置である。

〔発明が解決しようとする課題〕

上述した従来の単語解析処理方式では、漢字を含む２文
字以上の漢字用語を優先して検索するため、長単位の単
語列「間引き」に包含される短単位の漢字１文字単語「
間」が検索されず、その「間引き」なる単語列は単語認
定が不良となり、また、「間引き」と「取る」とが文法
的に接続しない等、単語列の認定不良が発生し、単語認
定精度が低下してしまう。

一方、これらの単語検索不足を解決するため、漢字を含
む２文字以上の単語を優先せずに漢字１文字単語を検索
すると、漢字１文字の単語は非常に多いため不要な単語
列の数が増大して解析速度を低下させると共に、単語列
数が増加するためにかえって単語認定精度を低下するこ
ととなる問題があった。

本発明は上述のような問題を解決したもので、単語認定
精度および解析速度を向上できる日本文文書解析装置を
提供することを目的とする。

〔課題を解決するための手段〕

本発明の日本文文書解析装置は、文節切り部、日本文単
語辞書、漢字用語単語抽出部および漢字１文字単語抽出
部を有する単語候補抽出部、単語候補抽出制御部、接続
単語列生成部および接続検定部を備えた解析システムに
おいて、漢字用語単語抽出部で抽出された漢字用語単語
に付随する辞書検索情報フラグを抽出する辞書検索情報
抽出部と、単語列生成部で生成された単語列のうち辞書
検索情報フラグに応じて単語列の絞込みを行なう単語列
絞込み部を付加したものである。

〔作　用〕

本発明においては、単語候補のうち漢字を含む２文字以
上の漢字用語の単語候補抽出処理で、予め漢字を含む２
文字以上の漢字用語に付随して日本文単語辞書から抽出
された辞書検索情報フラグである単語検索フラグに応じ
て、漢字用語に含まれる必要な漢字１文字単語の抽出を
制御し、さらに文字の位置的な接続関係を用いて生成さ
れた接続単語列の絞込みでは、この漢字用語に包含され
る漢字１文字単語を含む見出しごとの位置的な接続を許
可して、これらの接続単語列を削除しないようになる。

従って、本発明にあっては、単語認定精度及び解析速度
を向上させることができる。

〔実施例〕

以下、本発明の実施例を図面について詳細に説明する。

第１図は本発明の解析方式による実施例の全体構成図で
、第４図と同一の部分には同一符号を付して説明する。

図において、全体符号２０で示す単語解析処理システム
は、データベース２に記録された読取り結果の日本文文
字列に対し字種の変化点における自立語あるいは付属語
からなる文節を抽出する文節切り部３と、各単語ごとに
見出し、読み、文法情報、単語の属性情報および漢字単
語の抽出と接続に関する辞書情報検索フラグを格納した
日本文単語辞書２１と、各文節ごとに日本文単語辞書２
１を牽引して単語列を網羅的に抽出する単語候補抽出部
２２と、この単語候補抽出部２２にあって、漢字を含む
２文字以上の単語を抽出する漢字用語単語抽出部２３と
、単語候補抽出部２２にあって、漢字１文字の単語を抽
出する漢字１文字単語抽出部２４と、漢字用語単語抽出
部２３で抽出された漢字用語単語に付随して予め日本文
単語辞書２１に格納されている辞書検索情報フラグを抽
出する辞書検索情報抽出部２５と、漢字以外の字種の候
補を含めた単語候補抽出を制御する単語候補抽出制御部
８と、抽出された単語列について位置的に接続可能な単
語列連鎖の候補を作成する接続単語列生成部９と、生成
された接続単語列について単語に付随する辞書検索情報
フラグに応じて漢字用語に包含される漢字１文字単語を
含む見出しごとの位置的接続を許可し、これらの接続単
語列を絞り込む単語列絞込み部２６と、接続単語列の各
単語間の文法的接続関係を検定し単語認定列を生成する
接続検定部１０とから構成されている。また、１１は認
定された単語認定精度果を記録する記録装置である。

上述した実施例の方式においては、単語候補抽出部２２
での単語候補抽出時に、抽出された漢字用語単語の辞書
検索情報フラグに応じ、該漢字用語単語に包含される漢
字１文字単語の抽出の是非を制御して効率の良い単語候
補抽出を行ない、さらに位置的接続条件による単語列候
補生成を行なった後、これらの単語列候補で漢字用語に
包含される単語列について抽出された漢字用語単語の辞
書検索情報フラグに応じて、該接続単語列を削除する等
の絞込みを行なうから、単語認定精度の向上および解析
速度の高速化が得られることになる。

第２図は、上記構成の解析処理システムによる単語解析
の具体的処理例（単語連鎖フラグオフの場合）を示す。

第２図に示す原文文字列１２は、文節切り部３によって
文節に切られた後、日本文単語辞書２１を検索して単語
候補抽出部２２および単語候補抽出制御部８により、第
２図に示すような単語候補群１３を抽出する。この第２
図において、１４は漢字を含む２文字以上の単語候補、
１５は生成した接続単語列、１６は単語認定が不良とな
った単語、１７は単語間の接続が不良となった位置であ
り、また、３０は辞書検索情報フラグを持つ漢字用語［
間引きＪ、３１．３２は漢字用語「間引き」３０に付随
した単語検索フラグおよび単語連鎖フラグ、３３は単語
検索フラグ３１がオンのために従来に追加して検索され
る単語群、３４は抽出された漢字１文字単語、３５は漢
字１文字単語３４の抽出によって新たに検索される漢字
用語単語、３６は「間引きＪに包含される単語列で単語
連鎖フラグ３２によって連鎖禁止となる位置、３７は連
鎖禁止位置３６によって絞り込まれた接続単語列、３８
は認定不良単語１６、接続不良位置１７によって絞り込
まれた接続単語列、３９は接続検定部１０で最終的に認
定された接続単語列である。

上述のような処理例では、抽出された長単位の漢字用語
「間引き」に辞書検索情報フラグを予め付加しておき、
単語検索フラグ３１がオンのため通常は検索されない包
含１文字単語「間」について抽出を行ない、さらに「間
」の後方から通常の検索を行なって「引き」、「引き取
」を抽出する。

この結果、位置的に接続可能な接続単語列１５が作成さ
れるが、「間引き」と「取」は品詞の接続条件から接続
不可で、また「間引き」に包含される単語列「間」と「
引き」は「間引き」の単語連鎖フラグがオフであるので
、接続禁止となり、いずれも接続単語列から削除され、
かつ絞り込まれ、最終的に正規の単語認定結果である接
続単語列３９が選択される。

第３図は、本発明による単語解析処理の他の例（単語連
鎖フラグオンの場合）を示すもので、４０は辞書検索情
報フラグを持つ漢字用語「後生」、４１．４２は漢字用
語「後生」４０に付随した単語検索フラグおよび単語連
鎖フラグ、４３は単語検索フラグ４１がオンのために従
来に追加して検索される単語群、４４は抽出された漢字
１文字単語、４５は漢字１文字単語４４の抽出によって
新たに検索される漢字用語単語、４６は「後生」に包含
される単語列で単語連鎖フラグ４２によって連鎖許可と
なる位置、４７は認定不良単語１６、接続不良位置１７
によって絞り込まれた接続単語列、４日は接続検定部で
最終的に認定された接続単語列である。

この処理例では、抽出された長単位の漢字用語「後生」
に辞書検索情報フラグを予め付加しておき、単語検索フ
ラグ４１がオンのため通常は検索されない包含漢字１文
字単語「後」について抽出を行ない、さらに「後」の後
方から通常の検索を行なって「生」を抽出する。この結
果、位置的に接続可能な接続単語列１５が作成され、こ
の中で、「後生」と「ま」は品詞の接続条件から接続不
可で削除されるが、［後生Ｊに包含される単語列「後」
と「生」は「後生」の単語連鎖フラグがオンであるので
、接続許可となり接続単語列を生成する。このようにし
て、最終的に正規の単語認定結果である接続単語列４８
が選択される。

従って、これらの結果から明らかなように、従来の技術
に比べ、単語の認定精度が向上し、さらに不要な漢字１
文字単語検索の排除や検定対象の接続単語列の絞込みを
行なうので、総合的な解析速度を向上させ得る。

〔発明の効果〕

以上のように、本発明によれば、単語抽出時に、単に漢
字を含む２文字以上の漢字用語を優先し検索して、漢字
１文字単語の検索は漢字を含む２文字以上の漢字用語が
無い場合に行なうだけでなく、予め漢字を含む２文字以
上の漢字用語に付随して日本語辞書に格納されている辞
書検索情報フラグである単語検索フラグに応じて、この
フラグがオンならば、漢字用語に包含される見出しの漢
字１文字単語を抽出し、さらに文字の位置的な接続関係
を用いて生成された接続単語列の絞込みにおいて漢字用
語の辞書検索情報フラグである単語連鎖フラグに応じて
このフラグがオンならばこの漢字用語に包含される漢字
１文字単語を含む見出しごとの位置的な接続を許可し、
これらの接続単語列を削除しないようにした手段を備え
るものであるから、単語認定精度の向上および総合的な
解析速度の向上を図り、有効な単語解析処理を実現でき
る。

【図面の簡単な説明】

第１図は本発明の基本構成例を示す全体構成図、第２図
は本発明の単語解析の基本構成例による単語解析処理例
を示す説明図、第３図は本発明の基本構成例による単語
解析処理の他の例を示す説明図、第４図は従来の単語解
析の構成図、第５図は従来の単語解析処理例を示す説明
図である。 〔主要な部分の符号の説明〕 ２・・・入力日本文データベース ３・・・文節切り部 ８・・・単語候補抽出制御部 ９・・・接続単語列生成部 １０・・・接続検定部 １１・・・単語認定列結果の記録装置 ２０・・・単語解析処理システム ２１・・・日本文単語辞書 ２２・・・単語候補抽出部 ２３・・・漢字用語単語抽出部 ２４・・・漢字１文字単語抽出部 ２５・・・辞書検索情報抽出部 ２６・・・単語列絞込み部 不発日月の基本オー１広図 第１図 、本、ｉ［］月Ｌｎｆｉ［イ列 第２図 木禰笹日目σ）イを二σ）ｆｆｉ王里、イ１１１殖来の
オＡｈへＪレコ

Claims (1)

【特許請求の範囲】
1. （１）入力された日本文文字列に対し字種の変化点にお
   ける自立語あるいは付属語からなる文節を抽出する文節
   切り部と、 各単語の見出し、読み、文法情報と漢字単語の抽出およ
   び接続に関する辞書情報検索フラグを格納する日本文単
   語辞書と、 各文節ごとに日本文単語辞書を用いて取り得る単語とこ
   れに付随する情報を網羅的に抽出する単語候補抽出部と
   、 前記単語候補抽出部にあって、単語候補のうち漢字を含
   む２文字以上の単語である漢字用語の候補を日本文単語
   辞書を用いて抽出する漢字用語単語抽出部と、 前記漢字用語単語抽出部で抽出された単語に付随して予
   め日本語単語辞書に格納されている辞書検索情報フラグ
   に応じて漢字１文字単語を検索するか否かを制御する辞
   書検索情報抽出部と、漢字用語以外の漢字１文字の候補
   を日本文単語辞書を用いて抽出する漢字１文字単語抽出
   部と、 漢字以外の字種の候補を含めた単語候補抽出を制御する
   単語候補抽出制御部と、 抽出された各単語群について文字の位置的な接続関係を
   用いて文節を形成し得る単語列の候補を作成する接続単
   語列生成部と、 生成された接続単語列につき単語に付随して日本語単語
   辞書に予め格納されている辞書検索情報フラグに応じて
   該漢字用語に包含される漢字１文字単語を含む見出しご
   との位置的な接続を許可し、これらの接続単語列を絞り
   込む単語列絞込み部と、接続単語列の各単語間の文法的
   な接続関係を検定し単語認定列を生成する接続検定部と
   から成る日本文文書解析装置。