JPH11259487A - 類似文書検索装置、類似文書検索方法、および類似文書検索のためのプログラムが記録された記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 検索キー文書と検索対象文書から複合語を抽
出して類似文書を検索する場合の検索精度の向上を図
る。 【解決手段】 検索キー文書或いは検索対象文書に例え
ば「筆文字宛名印刷機能」といった複合語が存在し、最
大結合数を３と指定したとき「筆文字宛名」「文字宛名
印刷」「宛名印刷機能」「筆文字」「文字宛名」などの
最大結合数以下の単語数からなる複合語を各文書からす
べて抽出し、これらの複合語の出現頻度を計算して、検
索キー文書と検索対象文書との類似度を算出する。特定
の内容の文書を特徴付ける異なる複合語を漏れなく抽出
することができるので、文書間のより妥当な類似度を計
算でき、ユーザの意図する精度の高い類似文書検索を行
うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書データベース
から、文書間の類似度に基づく文書データの検索を行う
類似文書検索装置、類似文書検索方法、および類似文書
検索のためのプログラムが記録された記録媒体に関す
る。

【０００２】

【従来の技術】近年、大量の電子化された文書データが
流通するようになり、自動分類等を行う目的で、文書デ
ータベース中から指定された文書（以下、検索キー文書
と呼ぶ）に類似する文書の自動検索を行うシステムが実
用化されてきている。この文書検索システムでは、検索
キー文書に含まれている単語と検索対象となる文書（以
下、検索対象文書と呼ぶ）に含まれている単語とを比較
し、共通する単語の種類、出現場所、出現回数などから
空間ベクトル法により類似度を算出して、類似度の高い
検索対象文書を検索結果として出力する。

【０００３】このような類似文書検索では、検索キー文
書や検索対象文書から、その文書を特徴付ける単語を抽
出することが、精度の高い類似文書検索を行うために非
常に重要な鍵となる。これまで、文書から名詞やサ変名
詞などの単語を対象に単語の抽出を行っていたが、文書
から抽出された単一の単語が必ずしもその文書を特徴付
ける単語として使用されているとは限らない。

【０００４】そこで、文書を特徴付ける複数の単語の結
合からなる複合語を文書から抽出する方法が提案されて
いる。このように文書を特徴付ける複合語を抽出するこ
とで、単位の単語を抽出する方法に比べ、ユーザの意図
する検索結果をより高い精度で得ることができる。

【０００５】

【発明が解決しようとする課題】ところで、このように
複合語を抽出する方法では、複合語の語長（単語数）が
長くなればなるほど、その複合語がその文書を特徴付け
る度合も高くなるが、その反面、検索対象の文書から抽
出される単語の数が極端に減ってしまう傾向がある。こ
のため、本来類似文書として検索されるべき文書に対す
る類似度として妥当な値が得られず、やはりユーザの意
図する検索結果を高精度に得ることは困難であった。

【０００６】本発明は、このような課題を解決するため
のもので、検索キー文書と検索対象文書から複合語を抽
出して類似文書を検索する場合の検索精度の向上を図る
ことのできる類似文書検索装置、類似文書検索方法、お
よび類似文書検索のためのプログラムが記録された記録
媒体の提供を目的とする。

【０００７】

【課題を解決するための手段】上記した目的を達成する
ために、本発明は、請求項１に記載されるように、ある
文書を検索キー文書としてこの検索キー文書と類似する
文書を複数の検索対象文書の中から検索する類似文書検
索装置において、前記検索キー文書および前記検索対象
文書を単語単位に分割する分割手段と、前記分割手段に
よって分割された単語の中から予め指定された条件を満
たす単語を抽出する単語抽出手段と、前記検索キー文書
および前記検索対象文書から抽出すべき複合語を構成す
る単語数の上限値を指定する指定手段と、前記単語抽出
手段によって抽出された単語の結合により構成される複
合語のうち前記指定手段により指定された上限値以下の
数の単語により構成されるすべての複合語を前記検索キ
ー文書および前記検索対象文書から抽出する複合語抽出
手段と、前記複合語抽出手段によって抽出された複合語
の前記検索キー文書および前記検索対象文書での出現頻
度をそれぞれ算出する手段とを具備することを特徴とす
る。

【０００８】本発明の類似文書検索装置では、文書から
抽出された単語の結合により構成される複合語のうち、
指定された上限値以下の数の単語により構成されるすべ
ての複合語を検索キー文書および検索対象文書から抽出
することで、文書を特徴付ける複合語を漏れなく抽出す
ることができ、検索キー文書と検索対象文書との類似度
をより高精度に算出することができる。

【０００９】また、本発明は、請求項２に記載されるよ
うに、ある文書を検索キー文書としてこの検索キー文書
と類似する文書を複数の検索対象文書の中から検索する
類似文書検索装置において、前記検索キー文書および前
記検索対象文書を単語単位に分割する分割手段と、前記
分割手段によって分割された単語の中から予め指定され
た条件を満たす単語を抽出する単語抽出手段と、前記検
索キー文書および前記検索対象文書から抽出すべき複合
語を構成する単語の数の上限値を指定する指定手段と、
前記単語抽出手段によって抽出された単語の結合により
構成される複合語のうち前記指定手段により指定された
上限値以下の数の単語により構成されるすべての複合語
を前記検索キー文書および前記検索対象文書から抽出す
る複合語抽出手段と、任意の単語を不要語として選択す
る不要語選択手段と、前記複合語抽出手段によって抽出
された複合語のうち前記不要語選択手段によって選択さ
れた不要語を含む複合語を無効とする複合語無効化手段
と、前記複合語抽出手段によって抽出された有効な複合
語の前記検索キー文書および前記検索対象文書での出現
頻度をそれぞれ算出する手段とを具備することを特徴と
する。

【００１０】本発明の類似文書検索装置では、文書を特
徴付ける複合語を漏れなく抽出することができ、検索キ
ー文書と検索対象文書との類似度をより高精度に算出す
ることができるとともに、予め指定された不要語の単語
を含む複合語を無効なものとすることで、ユーザの意図
をさらに反映したより一層高精度な類似文書検索を行う
ことが可能になる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１２】図１は本発明の実施形態である類似文書検
索装置のハードウェア構成を示すブロック図である。

【００１３】同図に示すように、この類似文書検索装置
は、キーボードなどの入力装置１、ＣＰＵおよびメモリ
などから構成される制御装置２、類似文書の検索結果な
どを表示する表示装置３、および、文書データや類似文
書検索のための各文書の単語情報や品詞辞書、不要語辞
書などを格納する外部記億装置４などから構成されてい
る。外部記億装置４に格納された品詞辞書、不要語辞書
の構成を図６、図７にそれぞれ示す。

【００１４】図２にこの類似文書検索装置における制御
装置１の構成を示す。制御装置１は、制御部１００とメ
モリ部２００から構成される。

【００１５】制御部１００は、初期化部１０１、入力部
１０２、出力部１０３、抽出対象品詞設定部１０４、最
大結合数設定部１０５、検索対象文書読み出し部１０
６、検索対象単語切り出し部１０７、検索対象単語複合
語抽出部１０８、検索対象単語出現頻度算出部１０９、
検索対象単語情報書き込み部１１０、検索キー文書入力
部１１１、検索キー単語切り出し部１１２、検索キー単
語複合語抽出部１１３、検索キー単語出現頻度算出部１
１４、検索対象単語情報読み出し部１１５、共通単語抽
出部１１６、類似度算出部１１７、検索結果出力部１１
８などから構成される。メモリ部２００は、品詞情報バ
ッファ部２０１、選択品詞情報バッファ部２０２、不要
語情報バッファ部２０３、最大結合数バッファ部２０
４、検索対象文書格納バッファ部２０５、検索対象全文
分割単語格納バッファ部２０６、検索対象複合語候補格
納バッファ部２０７、検索対象抽出複合語格納バッファ
部２０８、検索対象単語情報格納バッファ部２０９、検
索キー文書格納バッファ部２１０、検索キー全文分割単
語格納バッファ部２１１、検索キー複合語候補格納バッ
ファ部２１２、検索キー抽出複合語格納バッファ部２１
３、検索キー単語情報格納バッファ部２１４、共通単語
情報格納バッファ部２１５、算出類似度格納バッファ部
２１６、検索結果出力バッファ部２１７などから構成さ
れる。

【００１６】初期化部１０１は、上記各バッファ部の初
期化を行い、更に、外部記憶装置４における辞書（品詞
辞書、不要語辞書など）の内容をメモリ部に読み込む。

【００１７】入力部１０２は、ユーザによる入力装置１
からの検索キー文書や単語抽出条件の設定など各種設定
の入力を行う。

【００１８】出力部１０３は、入力部１０２により入力
された検索キー文書などの各種設定内容を表示装置３に
出力する。

【００１９】抽出対象品詞設定部１０４は、ユーザが品
詞情報バッファ部２０１から選択した抽出対象単語の品
詞を選択品詞情報バッファ部２０２に格納する。

【００２０】最大結合数設定部１０４は、ユーザが指定
した複合語の最大結合数を最大結合数バッファ部２０４
に格納する。

【００２１】検索対象文書読み出し部１０６は、外部記
億装置４に格納されている検索対象文書に関する情報を
文書データベース化するために、文書データベース化す
べき文書情報を外部記億装置４から読み込み、検索対象
文書格納バッファ部２０５に格納する。

【００２２】検索対象単語切り出し部１０７は、検索対
象文書格納バッファ部２０５に格納されている検索対象
文書からの単語切り出しを行う。そして、その検索対象
文書から抽出される全ての単語とその品詞を検索対象文
書全文分割単語格納バッファ部２０６に格納する。単語
の切り出しは形態素解析などにより行い、その文書から
抽出される単語の品詞情報を「名詞」、 「サ変名詞」、
「形容詞」などで表現する。

【００２３】検索対象単語複合語抽出部１０８は、検索
対象全文分割単語格納バッファ部２０６に格納されてい
る全ての単語とその品詞情報の中から、選択品詞情報バ
ッファ部２０２に格納されている品詞情報を参照して、
該当する単語群（１つ、または複数の単語）を順次抽出
し、検索対象複合語候補格納バッファ部２０７に格納す
る。さらに、検索対象複合語候補バッファ部２０７に格
納されている単語群から最大結合数バッファ部２０４に
格納されている結合数以下の複合語を抽出し、検索対象
抽出複合語格納バッファ部２０８に格納する。

【００２４】検索対象単語出現頻度算出部１０９は、検
索対象単語複合語抽出部２０８により抽出された個々の
単語や複合語について、検索対象文書中での出現頻度を
算出し、これを検索対象文書の単語情報として検索対象
単語情報格納バッファ部２０９に格納する。

【００２５】検索対象単語情報書き込み部１１０は、検
索対象単語情報格納バッファ部２０９に格納されている
検索対象文書の単語情報を外部記憶装置４に格納する。

【００２６】検索キー文書入力部１１１は、入力装置１
から入力された検索キー文書の情報を検索キー文書格納
バッファ部２１０に格納する。

【００２７】検索キー単語切り出し部１１２は、検索キ
ー文書格納バッファ部２１０に格納されている検索キー
文書からの単語切り出しを行う。そして、その検索キー
文書から抽出される全ての単語とその品詞を検索キー文
書全文分割単語格納バッファ部２１１に格納する。単語
の切り出しは形態素解析などにより行、その文書から抽
出される単語の品詞情報を「名詞」、「サ変名詞」、「形
容詞」などで表現する。 検索キー単語複合語抽出部１
１３は、検索キー全文分割単語格納バッファ部２１１に
格納されている全ての単語とその品詞情報の中から、選
択品詞情報バッファ部２０２に格納されている品詞情報
を参照して、該当する単語群（１つ、または複数の単
語）を順次抽出し、検索キー複合語候補格納バッファ部
２１２に格納する。さらに、検索キー複合語候補格納バ
ッファ部２１２に格納されている単語群から最大結合数
バッファ部に格納されている結合数以下の複合語を抽出
し、検索キー抽出複合語格納バッファ部２１３に格納す
る。

【００２８】検索キー単語出現頻度算出部１１４は、検
索キー単語複合語抽出部１１３により抽出された個々の
単語や複合語について、検索キー文書中での出現頻度を
算出し、これを検索キー文書の単語情報として検索対象
単語情報格納バッファ部２１４に格納する。

【００２９】検索対象単語情報読み出し部１１５は、外
部記憶装置４に格納されている各検索対象文書の単語情
報（単語の出現頻度情報）を１文書毎に呼び出し、検索
対象単語情報格納バッファ部２０９に格納する。

【００３０】共通単語抽出部１１６は、検索キー単語情
報格納バッファ部２１４に格納されている検索キー文書
の単語情報と検索対象単語情報格納バッファ部２０９に
格納されている検索対象文書の単語情報とを比較して、
一致する単語の種類と出現頻度情報を共通単語情報格納
バッファ部２１５に格納する。

【００３１】類似度算出部１１７は、共通単語情報格納
バッファ部２１５に格納されている情報に基づき、検索
キー文書と検索対象文書との類似度を算出し、その類似
度を算出類似度格納バッファ部２１６に格納する。

【００３２】検索結果出力部１１８は、算出類似度格納
バッファ部２１６に格納されている各検索対象文書の類
似度値を適宜並べ替えて、検索結果出力バッファ部２１
７に格納し、さらに検索結果出力バッファ部２１７の内
容を表示装置３に出力する。次に、本実施形態の類似文
書検索装置の動作を説明する。

【００３３】最初に検索対象文書データベースの作成手
順を図３のフローチャートにより説明する。

【００３４】まず、初期化部１０１により全メモリ部の
初期化を行い、外部記憶装置４の品詞辞書と不要語辞書
の情報をそれぞれ品詞情報バッファ部２０１、不要語情
報バッファ部２０３に格納する（ステップ３０１）。品
詞情報バッファ部２０１の構成を図９に、不要語情報バ
ッファ部２０３の構成を図１１にそれぞれ示す。

【００３５】続いて抽出対象品詞設定部１０４が起動さ
れ、入力装置１を通じてユーザより抽出する単語の品詞
選択の入力を受け付けて、図１０に示すように、抽出対
象品詞を選択品詞情報バッファ部２０２に格納する。ま
た、同様に最大結合数設定部１０５が起動され、入力装
置１を通じてユーザより抽出する複合語の最大結合数値
の入力を受け付けて、図１２に示すように、最大結合数
バッファ部２０４に格納する（ステップ３０２）。

【００３６】これらの設定が完了すると、検索対象文書
読み出し部１０６が外部記憶装置４から複数のテキスト
文書を読み出し、検索対象文書格納バッファ２０５に検
索対象文書として格納する（ステップ３０３）。具体例
として、例えば、図１３に示すような内容のテキスト文
書を検索対象文書として格納されたとする。

【００３７】次に、検索対象単語切り出し部１０７が、
検索対象文書格納バッファ部２０５に格納されている検
索対象文書について、形態素解析などによって単語の切
り出しを行い、切り出した単語とその品詞情報を、図１
４に示すように、検索対象全文分割単語格納バッファ部
２０６に格納する（ステップ３０４）。

【００３８】続いて検索対象単語複合語抽出部１０８が
起動される。検索対象単語複合語抽出部１０８は、検索
対象全文分割単語格納バッファ部２０６に格納されてい
る当該検索対象文書の全単語とその品詞情報、選択品詞
情報バッファ２０２を参照し、該当する単語（１個以
上）を、図１５に示すように、検索対象複合語候補格納
バッファ部２０７に格納する。

【００３９】さらに、検索対象単語複合語抽出部１０８
は、検索対象複合語候補格納バッファ部２０７に格納さ
れている１個、または複数の単語群、不要語情報バッフ
ァ部２０３の不要語情報、そして最大結合数バッファ部
２０４の最大結合数値を参照し、１以上かつ最大結合数
以下の単語の結合からなる複合語を検索対象文書の中か
ら抽出し、図１６に示すように、検索対象抽出複合語格
納バッファ部２０８に全て格納する（ステップ３０
５）。なお、ここで抽出される複合語には、単独の単
語、つまり結合数１の単語も含むものとする。

【００４０】ここで、検索対象単語複合語抽出部１０８
により、単語、複合語が少なくとも１個以上抽出された
場合（ステップ３０６）、検索対象単語出現頻度算出部
１０９が起動される。検索対象単語出現頻度算出部１０
９は、検索対象抽出複合語格納バッファ部２０８に格納
されている複合語について、当該検索対象文書中での出
現頻度を複合語別に累積し、図１７に示すように、検索
対象単語情報格納バッファ部２０９に順次格納する（ス
テップ３０７）。検索対象語情報格納バッファ部２０９
において、複合語（単語も含む）と頻度とは対応して登
録されており、例えば、単語「住所録」は当該文書中に
４回出現していることを表す。

【００４１】以上の複合語抽出処理と抽出単語出現頻度
算出処理は当該文書の文末まで行われる（ステップ３０
８）。

【００４２】当該文書の複合語抽出処理と抽出単語出現
頻度算出処理が終了すると、図１７に示す検索対象単語
情報格納バッファ部２０９に格納された情報は、検索対
象文書のデータベースとして外部記憶装置４に蓄積され
る（テップ３０９）。

【００４３】これで１検索対象文書のデータベースへの
蓄積が終了するが、検索対象文書格納バッファ部２０５
にまだ検索対象文書が残っている場合、ステップ３０４
にもどって、前記同様の文書データベース生成が行われ
る。検索対象文書が残っていない場合、データベースの
生成は終了する。

【００４４】ここで、検索対象単語複合語抽出部１０８
による単語複合語抽出（ステップ３０５）の手順を図
５、図６、図１４〜図１６を使って詳しく説明する。

【００４５】まず、初期化として現結合数に０を代入す
る（ステップ５１０）。複合語候補となる結合単語を抽
出するため、図１４に示す検索対象全文分割単語格納バ
ッファ２０６に記憶されている単語に対応する品詞情報
と、図１０に示す選択品詞情報バッファ部２０２にある
品詞情報とを比較し（ステップ５０２）、検索対象全文
分割単語格納バッファ２０６に記憶されている単語が対
象品詞の単語であった場合、図１５に示すように、当該
単語を検索対象複合語候補格納バッファ部２０７に格納
し（ステップ５０３）、現結合数に１を加える（ステッ
プ５０４）。対象品詞の単語をすべて抽出したらステッ
プ５０５に移る。

【００４６】ステップ５０５では現結合数を調べ、現結
合数が０より大きかった場合は処理を続行し、０であっ
た場合は複合語抽出処理を終了する。

【００４７】現結合数が０より大きい場合は、続いて、
複合語抽出のための先頭カウンタと結合数カウンタにそ
れぞれ１をセットして初期化を行う（ステップ５０
６）。

【００４８】ここから、複合語の抽出が、結合数カウン
タが最大結合数バッファ部２０４が示す値になるまで以
下のように行われる（ステップ５０７）。

【００４９】先頭カウンタが示す検索対象複合語候補格
納バッファ部２０７の単語から結合数カウンタの示す単
語数の複合語を抽出できる場合（ステップ５０８）、ス
テップ５０９からステップ５１２にかけて不要語チェッ
クを行う。不要語チェックは、当該複合語を構成する単
語と図１１に示す不要語情報バッファ部２０３の単語と
を全て比較し、不要語に該当するものがあった場合、そ
の不要語を含む複合語を抽出の対象としない処理を行う
（ステップ５１３）。

【００５０】なお、ここでは複合語の一要素となる単語
が不要語であった場合、複合語抽出の対象としない処理
を行ったが、そうした不要語が複合語の頭に接頭する、
あるいは、末尾に接尾する場合にだけ、複合語抽出の対
象としない処理を行うようにしてもよい。

【００５１】不要語にあたる単語が、抽出された複合語
に含まれない場合は、その複合語を検索対象抽出複合語
格納バッファ部２０８に格納する（ステップ５１４）。

【００５２】このときの結合数カウンタが示す単語数の
複合語を図１５に示す検索対象複合語候補格納バッファ
２０７からすべて抽出する（ステップ５１４）。すべて
抽出したら、結合数カウンタに１を加え（ステップ５１
５）、先頭から新たな結合数カウンタが示す結合数の複
合語の抽出を行う（ステップ５１６）。

【００５３】そして結合数カウンタが最大結合数バッフ
ァ部２０４が示す値を超えた場合、複合語抽出を終了す
る（ステップ５０７）。

【００５４】次に、類似文書の検索手順を、図４のフロ
ーチャートにより説明する。

【００５５】まず、初期化部１０１により全メモリ部を
初期化し、外部記億装置４の品詞辞書と不要語辞書の情
報をそれぞれ品詞情報バッファ部２０１、不要語情報バ
ッファ部２０３に格納する。（ステップ４０１）。続い
て抽出対象品詞設定部１０４が起動され、入力装置１を
通じてユーザより抽出する単語の品詞選択の入力を受け
付けて抽出対象品詞を選択品詞情報バッファ部２０２に
格納する。また、同様に最大結合数設定部１０５が起動
され、入力装置１を通じてユーザより抽出する複合語の
最大結合数値の入力を受け付けて最大結合数バッファ部
２０４に格納する（ステップ４０２）。

【００５６】続いて、検索キー文書入力部１１１が起動
され、入力装置１を通じてユーザより検索キーとなる文
書の入力を受け付けて検索キー文書格納バッファ部２１
０に格納する（ステップ４０３）。具体例として、例え
ば、図１８に示すような内容のテキスト文書を検索キー
文書として格納したとする。

【００５７】次に、検索キー単語切り出し部１１２が、
検索キー文書格納バッファ部２１０に格納されている検
索キー文書について、形態素解析などによって単語の切
り出しを行い、切り出した単語とその品詞情報を検索キ
ー全文分割単語格納バッファ部２１１に格納する（ステ
ップ４０４）。

【００５８】そして、検索キー単語複合語抽出部１１３
が起動される。検索キー単語複合語抽出部１１３は、検
索キー全文分割単語格納バッファ部２１１に格納されて
いる当該検索キー文書の全単語とその品詞情報、選択品
詞情報バッファ２０１，２０２を参照し、該当する単語
（１個以上）を検索キー複合語候補格納バッファ部２１
２に格納する。さらに、検索キー単語複合語抽出部１１
３は、検索キー複合語候補格納バッファ部２１２に格納
されている１個、または複数の単語群、不要語情報バッ
ファ部２０３の不要語情報、そして最大結合数バッファ
２０４の最大結合数値を参照し、１以上かつ最大結合数
以下の単語が結合した複合語を検索キー文書の中から抽
出し、これらを検索キー抽出複合語格納バッファ部２１
３に全て格納する（ステップ４０５）。

【００５９】なお、ここで抽出される複合語には、単独
の単語、つまり結合数１の単語も含むものとする。

【００６０】ここで、検索キー単語複合語抽出部１１３
により、単語、複合語が少なくとも１個以上抽出された
場合（ステップ４０６）、検索キー単語出現頻度算出部
１１４が起動される。検索キー単語出現頻度算出部１１
４は、検索キー抽出複合語格納バッファ部２１３に格納
されている複合語について、当該検索キー文書中での出
現頻度を複合語別に累積し、検索キー単語情報格納バッ
ファ部２１４に順次格納する（ステップ４０７）。図２
２に検索キー単語情報格納バッファ部２１４の格納例を
示す。この検索キー単語情報格納バッファ部２１４にお
いて、複合語（単語も含む）と頻度は対応しており、例
えば、単語「筆文字」は当該文書中に３回出現している
ことを表す。

【００６１】この複合語抽出処理と抽出単語出現頻度算
出処理を当該文書の文末まで行う（ステップ４０８）。
これで検索キー文書の単語情報の生成が終了する。

【００６２】次に、検索対象単語情報読み出し部１１５
が、外部記憶装置４に格納されている各検索対象文書の
単語情報を１文書毎に読み込み、検索対象単語情報格納
バッファ２０９に格納する（ステップ４０９）。

【００６３】続いて、共通単語抽出部１１６が起動さ
れ、検索対象単語情報格納バッファ部２０６と検索キー
単語情報格納バッファ部２１４とに共通して格納されて
いる単語、複合語を共通単語情報格納バッファ部２１５
に格納する。具体例を図２３に示す。図１７の検索対象
単語情報格納バッファ部２０９と図２２の検索キー単語
情報格納バッファ部２１４に共通する単語（複合語）と
して、「宛名印刷」が抽出され、この「宛名印刷」とそ
の頻度が検索キー側、検索対象側それぞれ１、２という
ように対応づけて格納する（ステップ４１０）。

【００６４】次に、類似度算出部１１７が、共通単語情
報格納バッファ部２１５に格納されている頻度情報に基
づき検索キーと検索対象文書との類似度を空間ベクトル
法などにより算出し、その類似度値を算出類似度格納バ
ッファ部２１６に格納する（ステップ４１１）。例え
ば、図２４に示すように、各検索対象文書ごとの類似度
が算出類似度格納バッファ部２１６に格納される。

【００６５】全ての検索対象文書について類似度計算が
終了すると（ステップ４１２）、検索結果出力部１１８
は、算出類似度格納バッファ部２１６に格納されている
各検索対象文書ごとの類似度を類似度が高い順に並べ替
えて検索結果出力バッファ部２１７に格納し、そのバッ
ファの内容を表示装置３に出力する。出力結果は、例え
ば、図２６が示すような形で出力される（ステップ４１
３）。なお、図２６では類似度値に閾値を設けて表示し
ているが、類似度値に一定の閾値を設けて、検索結果と
して表示する検索対象文書の量を制限できるようにして
もよい。

【００６６】これで１検索キー文書の類似文書検索は終
了するが、新たに検索キー文書がある場合、ステップ４
０２に戻って、同様な処理を行う。検索キー文書がなけ
れば検索処理はこれで終了する（ステップ４１４）。

【００６７】なお、この類似文書検索処理における単語
複合語抽出の手順は、検索対象文書データベース作成に
おける処理と対象となる文書による処理部、バッファ部
の違いはあるが全く同様の処理である。

【００６８】以上のように、本実施形態の類似文書検索
装置では、検索キー文書あるいは検索対象文書に、例え
ば「筆文字宛名印刷機能」といった複合語が存在するな
らば、最大結合数を３としたとき「筆文字宛名」「文字
宛名印刷」「宛名印刷機能」「筆文字」「文字宛名」
「宛名印刷」「印刷機能」などの各所において部分的に
連続した複合語が抽出される。このように、特定の内容
の文書を特徴付ける異なる複合語を漏れなく抽出するこ
とができるので、文書間のより妥当な類似度を計算で
き、ユーザの意図する精度の高い類似文書検索を行うこ
とができる。また、検索対象となる文書全体から抽出さ
れる単語種の総数が少なくなり、データベースの規模を
縮小することができる。

【００６９】さらに、本実施形態の類似文書検索装置で
は、文書中から複合語を抽出するとき、ユーザにより指
定された不要語の単語を含む複合語を無効なものとする
ことで、ユーザの意図する類似文書検索をさらに高精度
に行うことが可能になる。

【００７０】なお、以上説明した類似文書検索装置は，
例えば、汎用的なハードウェア環境に、フロッピーディ
スク、ＣＤ−ＲＯＭなどの記録媒体に記録されたアプリ
ケーションプログラムを追加することによっても提供す
ることが可能である。

【００７１】

【発明の効果】以上説明したように、本発明によれば、
文書から抽出された単語の結合により構成される複合語
のうち、指定された上限値以下の数の単語により構成さ
れるすべての複合語を検索キー文書および検索対象文書
から抽出することで、文書を特徴付ける複合語を漏れな
く抽出することができ、検索キー文書と検索対象文書と
の類似度をより高精度に算出することができる。また、
予め指定された不要語の単語を含む複合語を無効なもの
とすることで、ユーザの意図をさらに反映したより一層
高精度な類似文書検索を行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の実施形態である類似文書検索装置のハ
ードウェア構成を示すブロック図

【図２】図１の制御装置の内部構成を示すブロック図

【図３】本実施形態の類似文書検索装置の検索対象文書
データベース生成の動作手順を示すフローチャート

【図４】本実施形態の類似文書検索装置の類似文書検索
の動作手順を示すフローチャート

【図５】複合語抽出処理の詳細な動作手順を示すフロー
チャート

【図６】図５と同じく複合語抽出処理の詳細な動作手順
を示すフローチャート

【図７】品詞辞書の内容を示す図

【図８】不要語辞書の内容を示す図

【図９】品詞情報バッファの内容を示す図

【図１０】選択品詞情報バッファの内容を示す図

【図１１】不要語情報バッファの内容を示す図

【図１２】最大結合数バッファの内容を示す図

【図１３】検索対象文書格納バッファの内容を示す図

【図１４】検索対象全文分割単語格納バッファの内容を
示す図

【図１５】検索対象複合語候補格納バッファの内容を示
す図

【図１６】検索対象抽出複合語格納バッファの内容を示
す図

【図１７】検索対象単語情報格納バッファの内容を示す
図

【図１８】検索キー文書格納バッファの内容を示す図

【図１９】検索キー全文分割単語格納バッファの内容を
示す図

【図２０】検索キー複合語候補格納バッファの内容を示
す図

【図２１】検索キー抽出複合語格納バッファの内容を示
す図

【図２２】検索キー単語情報格納バッファの内容を示す
図

【図２３】共通単語情報格納バッファの内容を示す図

【図２４】算出類似度格納バッファの内容を示す図

【図２５】検索結果出力バッファの内容を示す図

【図２６】類似文書検索結果の出力例を示す図

【符号の説明】

１００ 制御部 １０１ 初期化部 １０２ 入力部 １０３ 出力部 １０４ 抽出対象品詞設定部 １０５ 最大結合数設定部 １０６ 検索対象文書読み出し部 １０７ 検索対象単語切り出し部 １０８ 検索対象単語複合語抽出部 １０９ 検索対象単語出現頻度算出部 １１０ 検索対象単語情報書き込み部 １１１ 検索キー文書入力部 １１２ 検索キー単語切り出し部 １１３ 検索キー単語複合語抽出部 １１４ 検索キー単語出現頻度算出部 １１５ 検索対象単語情報読み出し部 １１６ 共通単語抽出部 １１７ 類似度算出部 １１８ 検索結果出力部 ２００ メモリ部 ２０１ 品詞情報バッファ部 ２０２ 選択品詞情報バッファ部 ２０３ 不要語情報バッファ部 ２０４ 最大結合数バッファ部 ２０５ 検索対象文書格納バッファ部 ２０６ 検索対象全文分割単語格納バッファ部 ２０７ 検索対象複合語候補格納バッファ部 ２０８ 検索対象抽出複合語格納バッファ部 ２０９ 検索対象単語情報格納バッファ部 ２１０ 検索キー文書格納バッファ部 ２１１ 検索キー全文分割単語格納バッファ部 ２１２ 検索キー複合語候補格納バッファ部 ２１３ 検索キー抽出複合語格納バッファ部 ２１４ 検索キー単語情報格納バッファ部 ２１５ 共通単語情報格納バッファ部 ２１６ 算出類似度格納バッファ部 ２１７ 検索結果出力バッファ部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 仁科 卓哉 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内 (72)発明者 中本 幸夫 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内 (72)発明者 久保田 直秀 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ある文書を検索キー文書としてこの検索
   キー文書と類似する文書を複数の検索対象文書の中から
   検索する類似文書検索装置において、 前記検索キー文書および前記検索対象文書を単語単位に
   分割する分割手段と、 前記分割手段によって分割された単語の中から予め指定
   された条件を満たす単語を抽出する単語抽出手段と、 前記検索キー文書および前記検索対象文書から抽出すべ
   き複合語を構成する単語数の上限値を指定する指定手段
   と、 前記単語抽出手段によって抽出された単語の結合により
   構成される複合語のうち前記指定手段により指定された
   上限値以下の数の単語により構成されるすべての複合語
   を前記検索キー文書および前記検索対象文書から抽出す
   る複合語抽出手段と、 前記複合語抽出手段によって抽出された複合語の前記検
   索キー文書および前記検索対象文書での出現頻度をそれ
   ぞれ算出する手段とを具備することを特徴とする類似文
   書検索装置。
2. 【請求項２】 ある文書を検索キー文書としてこの検索
   キー文書と類似する文書を複数の検索対象文書の中から
   検索する類似文書検索装置において、 前記検索キー文書および前記検索対象文書を単語単位に
   分割する分割手段と、 前記分割手段によって分割された単語の中から予め指定
   された条件を満たす単語を抽出する単語抽出手段と、 前記検索キー文書および前記検索対象文書から抽出すべ
   き複合語を構成する単語の数の上限値を指定する指定手
   段と、 前記単語抽出手段によって抽出された単語の結合により
   構成される複合語のうち前記指定手段により指定された
   上限値以下の数の単語により構成されるすべての複合語
   を前記検索キー文書および前記検索対象文書から抽出す
   る複合語抽出手段と、 任意の単語を不要語として選択する不要語選択手段と、 前記複合語抽出手段によって抽出された複合語のうち前
   記不要語選択手段によって選択された不要語を含む複合
   語を無効とする複合語無効化手段と、 前記複合語抽出手段によって抽出された有効な複合語の
   前記検索キー文書および前記検索対象文書での出現頻度
   をそれぞれ算出する手段とを具備することを特徴とする
   類似文書検索装置。
3. 【請求項３】 請求項１または２記載の類似文書検索装
   置において、 前記単語抽出手段による単語の抽出条件として単語の品
   詞を指定する手段を有することを特徴とする類似文書検
   索装置。
4. 【請求項４】 ある文書を検索キー文書としてこの検索
   キー文書と類似する文書を複数の検索対象文書の中から
   検索する類似文書検索方法において、 前記検索キー文書および前記検索対象文書を単語単位に
   分割し、 前記分割された単語の中から予め指定された条件を満た
   す単語を抽出し、 前記抽出された単語の結合により構成される複合語のう
   ち予め指定された数以下の単語で構成されるすべての複
   合語を前記検索キー文書および前記検索対象文書から抽
   出し、 前記抽出された複合語の前記検索キー文書および前記検
   索対象文書での出現頻度を算出することを特徴とする類
   似文書検索方法。
5. 【請求項５】 ある文書を検索キー文書としてこの検索
   キー文書と類似する文書を複数の検索対象文書の中から
   検索するためのプログラムが記録された記録媒体であっ
   て、 前記検索キー文書および前記検索対象文書を単語単位に
   分割する分割手段と、 前記分割手段によって分割された単語の中から予め指定
   された条件を満たす単語を抽出する単語抽出手段と、 前記検索キー文書および前記検索対象文書から抽出すべ
   き複合語を構成する単語数の上限値を指定する指定手段
   と、 前記単語抽出手段によって抽出された単語の結合により
   構成される複合語のうち前記指定手段により指定された
   上限値以下の単語数で構成されるすべての複合語を前記
   検索キー文書および前記検索対象文書から抽出する複合
   語抽出手段と、 前記複合語抽出手段によって抽出された複合語の前記検
   索キー文書および前記検索対象文書での出現頻度をそれ
   ぞれ算出する手段とを具備するプログラムが記録されて
   いることを特徴とする記録媒体。