JPH06223057A - 未知語抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 未知語抽出装置に於いて、従来は未知語とし
て抽出されなかった単語の中で変換時の順位が低くすぐ
に出力されないものや、途中に無意味語がはさまれて変
換出力される単語よりも変換時の出力順位が低いものを
未知語として抽出できるようにすること。 【構成】 未知語抽出装置に於いて、日本語文章を入力
する入力部、入力された日本語文章を記憶する記憶部、
漢字を含む多数の単語についてその読み情報を記憶して
いる辞書部、日本語文章を言語解析する解析部、言語解
析した結果を用いて辞書部に存在しない語を未知語とし
て、入力した日本語文章の中から一括抽出する抽出部、
抽出した語を保存する保存部を備えた構成。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、日本語ワードプロセッ
サ、コンピュータ等の未知語の抽出及び辞書登録を行う
未知語抽出登録装置に関するものである。

【０００２】

【従来の技術】未知語の抽出装置の従来技術として、日
本語文章校正システムの未登録抽出機能がある。この技
術は、日本語を言語解析（形態素解析）し、それによっ
て分かち書きされた自立語の単語が基準辞書等にあるか
どうかを調べ、辞書にない語を未登録語として抽出して
いたものである。

【０００３】形態素解析で未知語を検出する場合に、そ
の障害となるのが１文字自立語である。漢字は１文字で
何らかの意味を持つため辞書に多く登録されているが、
未知語が抽出できなくなる可能性がある（例 「未知
語」を「未知」と「語」に分けて１つのまとまった語と
して認識しない）。特整９２−０１７４８では、この１
文字自立語に着目し、１文字自立語と、ある種の単語
（特に接辞語、数詞、従来技術で抽出された未登録語な
ど）が前後に結合している場合を結合ルールより成り立
つ語が基本辞書（自立語辞書／固有名詞辞書）に登録し
ていない場合にこれを未知語として抽出している。

【０００４】

【発明が解決しようとする課題】従来の未知語抽出装置
では、上記結合ルールによると、条件が合致すれば未知
語にならない中に、実際の変換ではなかなか出にくい単
語が多く含まれている。例えば「総裁選」の場合、自立
語（総裁）＋接尾語（選）の条件に合致するので未知語
として抽出されないが、実際には「相殺線」「相殺戦」
「相殺船」「相殺選」「総裁選」と無意味語の後に出て
くる可能性がある。なかなか出てこない単語に対して、
未知語から省くのは本来の目的からはずれる。

【０００５】

【課題を解決するための手段】本発明は上記課題の解決
を目的としてなされたものであり日本語文章を入力する
入力手段と、入力された日本語文章を記憶する記憶手段
と、漢字を含む多数の単語について読みや品詞情報等を
記憶している辞書部と、日本語文章を言語解析する解析
手段と、言語解析した結果を用いて辞書部に存在しない
語を未知語として、入力した日本語文章の中から一括抽
出する抽出手段と、抽出した語を保存する保存手段とを
備えてなる未知語抽出装置である。

【０００６】

【作用】上記構成により、従来は未知語として抽出され
ない単語の中でかつ変換時の出力順位が低い為に変換を
実行してもすぐに出力されない単語や、又途中に無意味
語がはさまれて変換出力される単語よりも変換時の出力
順位が低い単語を未知語として抽出することが可能とな
る。

【０００７】

【実施例】図１は本発明装置の要部構成図である。

【０００８】１は未知語の抽出を行いたい入力文章を読
込む入力部であり、入力手段としてはキーボードからで
もＯＣＲ（光学式文字読取装置）や入力ペン等でもよ
い。２は形態素解析部であり入力部１のデータを形態素
単位に分かち、品詞やその他の情報を得る。３は未知語
抽出処理部であり、ここでは自立語辞書や固有名詞辞
書、接辞用例辞書及び共起関係辞書が格納されている基
本辞書５更に品詞の連続性に対して一定のルールを定め
て格納してある結合ルール部６、未知語を取り決めて格
納してある未知語判定ルール７をそれぞれ参照して判断
し未知語を抽出する。

【０００９】４は出力部で、抽出された未知語候補を表
示させ、内容を保存する部分である。

【００１０】図２は本発明の動作を示すフローチャート
である。

【００１１】Ｓ１では形態素解析処理部２で得られた情
報をもとに、文節候補を抽出している。

【００１２】Ｓ２では抽出された文節候補が基本辞書及
び結合ルールとの適応性を判断し、結合ルールに合致し
ない場合（Ｓ７）は、Ｓ１１で不要語を削除する。上記
にて合致する場合はＳ３にて読み情報からこの表記が何
番目に出力されるか算出し、指定順番以外（Ｓ８）なら
Ｓ１１で不要語を削除する。指定順番内ならＳ４にて候
補単語が基本辞書に直接登録されているか否か判断し、
直接登録されていない（Ｓ９）ならＳ１１で不要語を削
除する。直接登録されているならば、Ｓ５にてこの表記
以前の候補単語で直接登録されていない単語があるか否
か判断し、直接登録単語ではない候補がある（Ｓ１０）
ならばＳ１１で不要語を削除する。直接登録単語ではな
い候補がないなら（全て直接登録の単語）その語は未知
語ではないと判断する（Ｓ６）。上記でＳ１１にて不要
語を削除された語は全て未知語候補と判断される（Ｓ１
２）。

【００１３】図３は本発明の実施例の説明図であり、結
合ルールの詳細を示している。

【００１４】図中に於いて線で結ばれた語（品詞）が連
続（結合）している場合で、○印なら未知語として扱
う。×印の時は図２の未知語抽出処理部の未知語判定ル
ールに従い、未知語候補となった場合は未知語として扱
いそれ以外は勿論未知語ではないとして扱う。

【００１５】尚この結合ルール及び未知語判定ルールは
固定ではなく、利用者が結合パタンを変更したり他の語
（品詞）を追加したり、削除したりして結合パタンを変
更することも可能である。

【００１６】以上のように本発明では、実際は未知語で
はないが変換出力順位が低い（後の）為、変換するのに
手間がかかる単語候補についても未知語として出力でき
るようにすることが可能となる。その他、本発明は上記
し、かつ図面に示した実施例のみに限定されるものでは
なく、要旨を逸脱しない範囲内で適宜変形して実施でき
ることは勿論である。

【００１７】

【発明の効果】本発明の未知語抽出装置によれば、未知
語として抽出されない単語の中でかつ変換時の出力順位
が低い為に変換を実行してもすぐに出力されない単語
や、又途中に無意味語がはさまれて変換出力される単語
よりも変換時の出力順位が低い単語を未知語として抽出
することが可能となり、上記の未知語としてのデータを
格納することにより、日本語ワードプロセッサの基本辞
書、ユーザー辞書等の各種辞書作成に利用することがで
きる。

【図面の簡単な説明】

【図１】本発明装置の要部構成図である。

【図２】本発明の動作を示すフローチャートである。

【図３】本発明の実施例の説明図である。

【符号の説明】

１ 入力部 ２ 形態素解析処理部 ３ 未知語抽出処理部 ４ 表示・保存部 ５ 基本辞書部 ６ 結合ルール部 ７ 未知語判定ルール部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 日本語文章を入力する入力手段と、入力
   された日本語文章を記憶する記憶手段と、漢字を含む多
   数の単語について読みや品詞情報等を記憶している辞書
   部と、日本語文章を言語解析する解析手段と、言語解析
   した結果を用いて辞書部に存在しない語を未知語とし
   て、入力した日本語文章の中から一括抽出する抽出手段
   と、抽出した語を保存する保存手段とを備えてなる未知
   語抽出装置。