JPH09237281A - テキストデータ検索装置およびテキストデータ検索方法 - Google Patents

Abstract

(57)【要約】 【課題】「ひらがな」と「漢字」等の文字種が混合して
いる未登録単語も辞書に登録することができるテキスト
データ検索装置およびテキストデータ検索方法を提供す
る。 【解決手段】テキストデータ検索装置１は、キーワード
入力部７からキーワードが入力されると、未登録単語管
理部９でこの入力されたキーワードが辞書ファイル４に
登録されている単語であるかどうかを判定する。そし
て、入力されたキーワードが辞書ファイル４に未登録の
単語であると判定すると、この単語を辞書ファイル４に
登録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力されたキー
ワードを用いてテキストデータを検索するテキストデー
タ検索装置およびテキストデータ検索方法に関する。

【０００２】

【従来の技術】最近、日本語等の分かち書き（単語と単
語との間をスペース等で区切る書き方）されていない言
語で書かれたテキストデータに対して、予め単語単位で
全文検索のインデックスを作成しておき、キーワードが
入力されたときにはこのインデックスを利用してテキス
トデータを検索することのできるテキストデータ検索装
置が提案されている。このテキストデータ検索装置で
は、最初に辞書を用いて入力されたテキストデータを単
語単位に分割する形態素解析処理を行い、形態素解析処
理の結果に基づいて名詞や動詞等の単語を登録したイン
デックスを作成しておく。そして、キーワードが入力さ
れると、作成されているインデックスにキーワードが含
まれているかどうかを判定する。この判定で、インデッ
クスにキーワードが含まれている場合には該当する部分
（キーワードが含まれる部分）のテキストデータを出力
し、インデックスにキーワードが含まれていない場合に
は該当するテキストデータが存在しない旨のメッセージ
等を表示する。

【０００３】ところが、辞書に登録されていない単語が
含まれるテキストデータに対して形態素解析処理を行う
と、単語の分割に失敗する。例えば、「ら致」という単
語が辞書に登録されていない場合に「ら致の容疑で逮捕
された。」というテキストデータに対して形態素解析処
理を実行すると、「ら」「致」「の」「容疑」「で」
「逮捕」「さ」「れ」「た」と分割されることとなり、
「ら致」という単語はインデックスに登録されない。し
たがって、「ら致」等の辞書に登録されていない単語が
キーワードとして入力されたときには、テキストデータ
の検索を正しく行えないという問題が生じる。このた
め、テキストデータ等から辞書に登録されていない単語
（以下、未登録単語と言う。）を検出したときに、該未
登録単語を辞書に登録する処理が重要となっている。

【０００４】

【発明が解決しようとする課題】該未登録単語を辞書に
登録する方法として、漢字やカタカナ等の同一の文字種
が連続する文字列が辞書に登録されていないときに、こ
の文字列を未登録単語として検出し、これを辞書に登録
する方法がある。しかしながら、この方法では上記した
例のように「ひらがな」と「漢字」からなる「ら致」等
の文字種が混合している単語は未登録単語として検出す
ることができない。よって、このような文字種が混合し
ている未登録単語を辞書に登録することもできないとい
う問題がある。

【０００５】この発明の目的は、「ひらがな」と「漢
字」等の文字種が混合している未登録単語も辞書に登録
することができるテキストデータ検索装置およびテキス
トデータ検索方法を提供することにある。

【０００６】

【課題を解決するための手段】請求項１に記載されたこ
の発明は、辞書ファイルを用いて入力されたテキストデ
ータの形態素解析を行う形態素解析手段と、キーワード
の入力を受け付けるキーワード受付手段と、前記キーワ
ード受付手段で受け付けたキーワードと一致する単語を
形態素解析されたテキストデータから検索して検索結果
を出力する検索手段と、を備えたテキストデータ検索装
置であって、前記キーワード受付手段で受け付けたキー
ワードが前記辞書ファイルに登録されている単語である
かどうかを判定する判定手段と、前記受け付けたキーワ
ードが前記辞書ファイルに登録されていない単語である
ときに該キーワードを単語として前記辞書ファイルに登
録する登録手段と、を備えたことを特徴とする。

【０００７】この構成では、形態素解析手段が、辞書フ
ァイルを用いて入力されたテキストデータの形態素解析
を行う。検索手段は、形態素解析手段によって分割され
た単語内にキーワード受付手段で受け付けたキーワード
と一致する単語を検索し、検索結果を出力する。また、
判定手段は、入力されたキーワードが辞書に登録されて
いない単語であるかどうかを判定する。この判定結果が
辞書に登録されていない単語であれば、登録手段がこの
キーワードを辞書に登録する。

【０００８】また、前記登録手段は、キーワード受付手
段で所定回数以上受け付けたキーワードを単語として辞
書ファイルに登録する手段であることを特徴とする。

【０００９】この構成では、辞書に登録されていないキ
ーワードをキーワード受付手段が所定回数以上受け付け
た時に、このキーワードを単語として辞書ファイルに登
録する。

【００１０】また、形態素解析された結果に基づいて単
語とともに前記入力されたテキストデータ中において該
単語が存在する位置を示す位置情報を登録したインデッ
クスを作成するインデックス作成手段を備え、前記検索
手段は、検索結果に前記位置情報も含めて出力する手段
を含むことを特徴とする。

【００１１】この構成では、インデックス作成手段が単
語とテキストデータ中における該単語の存在する位置を
示す位置情報とを登録したインデックスを作成する。そ
して、検索手段が検索結果に前記位置情報も含めて出力
する。

【００１２】さらに、請求項４〜請求項６に記載した発
明は、請求項１〜請求項３に記載したテキストデータ検
索装置を方法の発明としてとらえた構成である。

【００１３】

【発明の実施の形態】図１は、この発明の実施の形態で
あるテキストデータ検索装置の機能を示すブロック図で
ある。テキストデータ検索装置１は、テキストデータ記
憶部２と形態素解析部３と、辞書ファイル４と、インデ
ックス作成部５、インデックス記憶部６と、キーワード
入力部７と、テキストデータ検索部８と、未登録単語登
録部９と、を備えている。テキストデータ記憶部２に
は、複数のテキストデータが記憶されている。形態素解
析部３は、テキストデータ記憶部２に記憶されているテ
キストデータを取り込み、このテキストデータを単語に
分割する形態素解析を実行する。辞書ファイル４は、単
語毎に文字列とその品詞等の属性を対応させて記憶して
いる。インデックス作成部５は、形態素解析された結果
に基づいて、インデックスを作成する。インデックス記
憶部６は、作成されたインデックスを記憶する。キーワ
ード入力部７はキーワードの入力を受け付ける。テキス
トデータ検索部８は、受け付けたキーワードがインデッ
クス記憶部６に記憶されているインデックスにあるかな
いかを検索する。未登録単語登録部９は、辞書ファイル
４への未登録単語の登録を実行する。なお、形態素解析
の結果に対して分割した単語の接続性を検定するために
辞書ファイル４に単語の品詞を記憶させている。例え
ば、名詞の後に形容詞がつながることはない等の品詞と
品詞との接続関係を予めルールとして定めておくこと
で、文字列「考えない」の形態素解析の結果を「考え
（名詞）＋ない（形容詞）」の２文節としてではなく、
「考え（下一段動詞）＋ない（助動詞）」の１文節とし
て得ることができる。

【００１４】以下、詳細にこの実施の形態のテキストデ
ータ検索装置１の動作を説明する。今、辞書ファイル４
には、図２に示す単語が登録されており、「ら致」とい
う単語は辞書ファイル４に登録されていない未登録単語
であるとする。図２に示すように辞書ファイル４は、単
語毎に文字列とその品詞を対応させて記憶している。図
３は、テキストデータ検索装置がテキストデータのイン
デックスを作成する処理を示すフローチャートである。
形態素解析部３が、テキストデータ記憶部２に記憶され
ている指定されたテキストデータを読み出す（ｎ１）。
形態素解析部３は、辞書ファイル４を用いてｎ１で読み
出したテキストデータを単語に分割する形態素解析処理
を実行する（ｎ２）。例えば、「ら致の容疑で逮捕され
た。」というテキストデータＡはｎ２の形態素解析処理
によって、図４に示すように９つの単語に分割される。
なお、この形態素解析処理では辞書ファイルに登録され
ていない単語（この例では、「ら」「致」）の品詞は未
登録とする。

【００１５】インデックス作成部６は、形態素解析によ
って分割された単語内でその品詞が名詞または未登録で
ある単語を検出し（ｎ３）、インデックスを作成する
（ｎ４）（図５参照）。インデックスには、単語に対応
させてその単語が含まれていたテキストデータを示すテ
キスト情報が登録される。そして、インデックス作成部
５で作成されたインデックスをインデックス記憶部６に
記憶して処理を完了する（ｎ５）。

【００１６】以上のように、この実施の形態のテキスト
データ検索装置１は、テキストデータを形態素解析によ
って単語に分割し、その品詞が名詞または辞書ファイル
４に登録されていなかった単語をインデックスに登録す
る。また、インデックスには単語と該単語が含まれてい
たテキストデータを示すテキスト情報とが対応して記憶
される。

【００１７】つぎに、入力されたキーワードでテキスト
データを検索する処理を説明する。図６は、検索処理を
示すフローチャートである。テキストデータ検索装置１
は、キーワード入力部７から文書検索のキーワードが入
力されると（ｎ１１）、テキストデータ検索部８がこの
入力されたキーワードがインデックス記憶部６に記憶し
ているインデックスに登録されているかどうかを判定す
る（ｎ１２）。インデックス記憶部６に入力されたキー
ワードが登録されていると、テキストデータ検索部８は
インデックスからこのキーワードに対応させて記憶して
いるテキスト情報を読み出す（ｎ１３）。そして、テキ
ストデータ検索部８はこの読み出したテキスト情報を出
力し（ｎ１４）、処理を完了する。

【００１８】例えば、インデックス記憶部６が図５に示
すインデックスを記憶している時に、キーワードとして
「容疑」が入力されたとする。インデックスには「容
疑」という単語が登録されているので、テキストデータ
検索部８は「容疑」という単語に対応させて記憶してい
るテキスト情報「テキストデータＡ」を検索結果として
出力する。この検索結果から「容疑」というキーワード
が含まれるテキストデータを簡単に読み出したりするこ
とができる。また、図７（Ａ）に示すように表示部でテ
キストデータを表示する場合に、テキストデータＡにお
けるキーワードの部分にのみアンダーラインを付けて他
の部分と区別して表示するようにすれば、表示されてい
るテキストデータＡから簡単にキーワードを見つけるこ
とができる。また、キーワードの部分を反転表示して他
の部分と区別してもよい（図７（Ｂ）参照）。

【００１９】インデックスに入力されたキーワードが登
録されていないと、テキストデータ検索部８は未登録単
語管理部９にこのキーワードを入力する。未登録単語管
理部９は、このキーワードが辞書ファイル４に登録され
ている単語であるか、どうかを判定する（ｎ１５）。ｎ
１５で、入力された単語が辞書ファイル４に登録されて
いる単語であると判定すると、「該当するキーワードを
含むテキストデータが存在しません」というメッセージ
を検索結果として出力し（ｎ１６）、処理を完了する。

【００２０】例えば、辞書ファイル４には図２に示す単
語が登録されており、インデックス記憶部６には図５に
示すインデックスが記憶されている場合、キーワードと
して「監禁」が入力されたとする。インデックスには
「監禁」という単語が登録されていないが、辞書ファイ
ル４には「監禁」という単語が登録されているので、検
索結果として「該当するキーワード（「監禁」）を含む
テキストデータが存在しません。」というメッセージが
出力される。

【００２１】ｎ１５で入力されたキーワードが辞書ファ
イル４に登録されていない未登録単語であると判定する
と、未登録単語管理部９はこのキーワードを辞書ファイ
ル４に登録する（ｎ１７）。そして、検索結果として
「キーワードが辞書に未登録であり、このキーワードで
は検索できません。このキーワードは先程辞書に登録し
ました。」というメッセージを表示して処理を完了する
（ｎ１８）。

【００２２】例えば、辞書ファイル４には図２に示す単
語が登録されており、インデックス記憶部６には図５に
示すインデックスが記憶されている場合、キーワードと
して「ら致」が入力されたとする。インデックスおよび
辞書ファイル４に「ら致」という単語が登録されていな
いので、検索結果として「キーワード（「ら致」）が辞
書に未登録であり、このキーワードでは検索できませ
ん。このキーワードは先程辞書に登録しました。」とい
うメッセージが表示される。この処理によって、辞書フ
ァイル４には図８に示すように「ら致」という単語が新
たに登録されることになる。また、この実施の形態では
ｎ１７で辞書ファイル４に登録した単語の品詞は名詞と
した。

【００２３】テキストデータＡ（「ら致の容疑で逮捕さ
れた。」）に対して再度インデックス作成処理が実行さ
れると、形態素解析では８つの単語に分割され（図９
（Ａ）参照）、図９（Ｂ）に示すインデックスが作成さ
れることになる。したがって、キーワードとして「ら
致」を入力してテキストデータの検索を行うことができ
るようになる。

【００２４】また、「一般人がら致監禁された。」とい
う文字列のテキストデータＢに対してインデックスを作
成処理を実行すると、形態素解析では図１０（Ａ）に示
すように７つの単語に分割され（辞書ファイル４は図８
に示す単語が登録されているとする。）、インデックス
は更新されて図９（Ｂ）から図１０（Ｂ）に示すように
変化する。このときに、キーワードとして「ら致」を入
力してテキストデータの検索を行うと、検索結果として
キーワードを含むテキストデータとして、テキストデー
タＡ、テキストデータＢの２つを検出することができ
る。

【００２５】以上のように、この実施の形態のテキスト
データ検索装置１は、検索時に入力されたキーワードが
辞書ファイル４に登録されていない単語であれば、その
キーワードを単語として辞書ファイル４に登録する。し
たがって、次回からはこの登録された単語による検索も
行えるようになる。また、検索結果としてキーワードを
含むテキストデータを示す情報がテキスト情報として出
力されるので、キーワードを含むテキストデータを簡単
に見つけることができる。

【００２６】なお、上記した実施の形態では、入力され
たキーワードが辞書ファイル４に登録されていない単語
であれば、辞書ファイル４に登録するとしたが、辞書フ
ァイル４への単語の登録を以下に示す処理で行うように
してもよい。この例では、未登録単語管理部９には補助
辞書９ａを備えている。補助辞書９ａは、図１１に示す
ようにキーワードとこのキーワードが入力された回数と
を対応させて記憶している。テキストデータ検索装置１
は、キーワード入力部７から辞書ファイル４に登録され
ていないキーワードが入力されたことを検出すると、こ
のキーワードが補助辞書９ａに登録されているキーワー
ドであるかどうかを判定する。このキーワードが補助辞
書９ａに登録されていれば対応させて記憶している回数
を１増加させる。また、このキーワードが補助辞書９ａ
に登録されていなければ、このキーワードを補助辞書９
ａに登録するとともに、この登録したキーワードに対応
する回数を１にする。すなわち、辞書ファイル４に登録
されていない単語がキーワードとして入力された場合に
は、補助辞書９ａにそのキーワードを登録する。また、
補助辞書９ａでは、登録されているキーワード毎に入力
された回数を記憶させている。そして、テキストデータ
検索装置１が、立ち上げ時等の所定時に、補助辞書９ａ
に登録されているキーワードで入力された回数が所定回
数以上のキーワードがあれば、そのキーワードを辞書フ
ァイル４に登録する。なお、補助辞書９ａに登録されて
いたキーワードは辞書に登録されたときに、補助辞書９
ａから削除される。

【００２７】すなわち、この例では辞書ファイル４に登
録されていない単語がキーワードとして入力されても、
すぐに辞書ファイル４に登録されない。入力された回数
が所定回数以上となったときに、このキーワードが辞書
ファイル４に登録される。したがって、繰り返し使われ
たキーワードが辞書ファイル４に登録されるので、誤入
力されたキーワードが辞書ファイル４に登録されること
がない。このため、辞書ファイル４に不要な単語（誤入
力されたキーワード）が登録されることを防止すること
ができる。

【００２８】

【発明の効果】以上のように、この発明によれば、入力
された検索のキーワードが辞書に登録されていない単語
であれば、その単語が「ひらがな」と「漢字」等の文字
種が混合しているキーワードであっても辞書に自動的に
登録される。

【００２９】また、キーワードとして入力された回数が
所定の回数以上になったときに辞書に登録されるように
構成したことで、誤入力されたキーワードが不要に辞書
に登録されることを防止することができる。

【００３０】さらに、検索結果として出力される、入力
されたキーワードが存在する位置を示す位置情報によっ
て、簡単にキーワードが含まれるテキストデータ読み出
すことができる。

【図面の簡単な説明】

【図１】この発明の実施の形態であるテキストデータ検
索装置の構成を示すブロック図である。

【図２】辞書の構成を示す図である。

【図３】テキストデータのインデックスを作成する処理
を示すフローチャートである。

【図４】形態素解析結果の例を示す図である。

【図５】作成されるインデックスの内容を示す図であ
る。

【図６】検索処理を示すフローチャートである。

【図７】テキストデータの表示例を示す図である。

【図８】「ら致」が新たに登録された辞書の構成を示す
図である。

【図９】形態素解析結果および更新されたインデックス
を示す図である。

【図１０】形態素解析結果および更新されたインデック
スを示す図である。

【図１１】補助辞書の構成を示す図である。

【符号の説明】

１−テキストデータ検索装置 ２−テキストデータ記憶部 ３−形態素解析部 ４−辞書 ５−インデックス作成部 ６−インデックス記憶部 ７−キーワード入力部 ８−テキストデータ検索部 ９−未登録単語登録部 ９ａ−補助辞書

Claims (6)

【特許請求の範囲】
1. 【請求項１】 辞書ファイルを用いて入力されたテキス
   トデータの形態素解析を行う形態素解析手段と、キーワ
   ードの入力を受け付けるキーワード受付手段と、前記キ
   ーワード受付手段で受け付けたキーワードと一致する単
   語を形態素解析されたテキストデータから検索して検索
   結果を出力する検索手段と、を備えたテキストデータ検
   索装置であって、 前記キーワード受付手段で受け付けたキーワードが前記
   辞書ファイルに登録されている単語であるかどうかを判
   定する判定手段と、前記受け付けたキーワードが前記辞
   書ファイルに登録されていない単語であるときに該キー
   ワードを単語として前記辞書ファイルに登録する登録手
   段と、を備えたことを特徴とするテキストデータ検索装
   置。
2. 【請求項２】 前記登録手段は、キーワード受付手段で
   所定回数以上受け付けたキーワードを単語として辞書フ
   ァイルに登録する手段であることを特徴とする請求項１
   記載のテキストデータ検索装置。
3. 【請求項３】 形態素解析された結果に基づいて単語と
   ともに前記入力されたテキストデータ中において該単語
   が存在する位置を示す位置情報を登録したインデックス
   を作成するインデックス作成手段を備え、 前記検索手段は、検索結果に前記位置情報も含めて出力
   する手段を含むことを特徴とする請求項１または２のい
   ずれかに記載のテキストデータ検索装置。
4. 【請求項４】 辞書ファイルを用いて入力されたテキス
   トデータの形態素解析を行い、入力されたキーワードと
   一致する単語を形態素解析されたテキストデータから検
   索して検索結果を出力するテキストデータ検索方法であ
   って、 受け付けたキーワードが前記辞書ファイルに登録されて
   いない単語であるときに該キーワードを単語として前記
   辞書ファイルに登録することを特徴とするテキストデー
   タ検索方法。
5. 【請求項５】 キーワードとして受け付けた回数が所定
   回数未満の単語は前記辞書ファイルに登録しないことを
   特徴とする請求項４記載のテキストデータ検索方法。
6. 【請求項６】 形態素解析された結果に基づいて単語と
   ともに前記入力されたテキストデータ中において該単語
   が存在する位置を示す位置情報を登録したインデックス
   を作成するとともに、検索結果として前記位置情報も含
   めて出力することを特徴とする請求項４または５のいず
   れかに記載のテキストデータ検索方法。