JPH1173422A - 類似文書検索システムおよびそれに用いる記憶媒体 - Google Patents
類似文書検索システムおよびそれに用いる記憶媒体Info
- Publication number
- JPH1173422A JPH1173422A JP9232654A JP23265497A JPH1173422A JP H1173422 A JPH1173422 A JP H1173422A JP 9232654 A JP9232654 A JP 9232654A JP 23265497 A JP23265497 A JP 23265497A JP H1173422 A JPH1173422 A JP H1173422A
- Authority
- JP
- Japan
- Prior art keywords
- document
- word
- index
- search
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 与えられた文書に類似した文書を検索する文
書検索において、単語辞書や構文規則等の外部情報とそ
の準備や保守を必要とせず、かつ重要概念の文書間の包
含関係を考慮して利用者にとって有用な検索結果を得る
ことができ、また、文書間の類似度の計算において入力
文書の特性と検索結果を考慮して冗長な計算を省くこと
のできる、効率的な類似文書検索システムを提供するこ
と。 【解決手段】 準備や保守が必要となる外部情報を持つ
代わりに、その時点で与えられている全ての文書テキス
トから語群とその頻度情報を抽出・更新し、これを索引
に保持することによって、文書テキストのみから得られ
る最大限の情報を参照および加工して、検索に役立て
る。
書検索において、単語辞書や構文規則等の外部情報とそ
の準備や保守を必要とせず、かつ重要概念の文書間の包
含関係を考慮して利用者にとって有用な検索結果を得る
ことができ、また、文書間の類似度の計算において入力
文書の特性と検索結果を考慮して冗長な計算を省くこと
のできる、効率的な類似文書検索システムを提供するこ
と。 【解決手段】 準備や保守が必要となる外部情報を持つ
代わりに、その時点で与えられている全ての文書テキス
トから語群とその頻度情報を抽出・更新し、これを索引
に保持することによって、文書テキストのみから得られ
る最大限の情報を参照および加工して、検索に役立て
る。
Description
【０００１】
【発明の属する技術分野】本発明は、電子化文書を格納
した文書データベースをもつシステムにおける、類似文
書の検索手法に関するものである。
した文書データベースをもつシステムにおける、類似文
書の検索手法に関するものである。
【０００２】
【従来の技術】文書を入力として類似文書を検索する技
術としては、以下の公知例がある。特開平３−１７２９
６６号公報（名称「類似文書検索装置」）や特開平４−
１８２８７１号公報（名称「類似文書検索装置」）で
は、単語辞書や構文規則、シソーラス、深層格情報等の
外部情報のうち、複数の情報を用いるため、処理が重
く、また、これらの情報の準備および保守作業が必要で
ある。
術としては、以下の公知例がある。特開平３−１７２９
６６号公報（名称「類似文書検索装置」）や特開平４−
１８２８７１号公報（名称「類似文書検索装置」）で
は、単語辞書や構文規則、シソーラス、深層格情報等の
外部情報のうち、複数の情報を用いるため、処理が重
く、また、これらの情報の準備および保守作業が必要で
ある。
【０００３】一方、情報検索システムとして代表的なも
のに、米国Ｃｏｒｎｅｌｌ大学のＳＭＡＲＴシステムが
ある。このシステムでは、語の重要度をＴｆ＊ＩＤｆと
呼ばれる「より少ない文書により多く現れるほど高くな
る」値とし、この値で重みづけしたベクトル空間上に文
書を位置づけ、その近さで類似性を表すものである。し
たがって、類似度は文書に関して対称、つまり文書Ａに
とっての文書Ｂの類似度は、文書Ｂにとっての文書Ａの
類似度と同じであり、重要概念の包含関係を考慮できな
い。たとえば、文書Ａが文書Ｂの重要概念を包含し、文
書Ｂは文書Ａの重要概念を包含しないような場合、文書
Ｂは文書Ａの重要概念を網羅しないから、文書Ａをもっ
た利用者にとっての文書Ｂの評価は、文書Ｂをもった利
用者にとっての文書Ａの評価より低いことを説明できな
い。
のに、米国Ｃｏｒｎｅｌｌ大学のＳＭＡＲＴシステムが
ある。このシステムでは、語の重要度をＴｆ＊ＩＤｆと
呼ばれる「より少ない文書により多く現れるほど高くな
る」値とし、この値で重みづけしたベクトル空間上に文
書を位置づけ、その近さで類似性を表すものである。し
たがって、類似度は文書に関して対称、つまり文書Ａに
とっての文書Ｂの類似度は、文書Ｂにとっての文書Ａの
類似度と同じであり、重要概念の包含関係を考慮できな
い。たとえば、文書Ａが文書Ｂの重要概念を包含し、文
書Ｂは文書Ａの重要概念を包含しないような場合、文書
Ｂは文書Ａの重要概念を網羅しないから、文書Ａをもっ
た利用者にとっての文書Ｂの評価は、文書Ｂをもった利
用者にとっての文書Ａの評価より低いことを説明できな
い。
【０００４】なお、ＳＭＡＲＴシステムについては、G.
Salton, M.McGill, Introductionto Modern Informati
on Retrieval McGraw Hill（１９８３）等に記述があ
る。
Salton, M.McGill, Introductionto Modern Informati
on Retrieval McGraw Hill（１９８３）等に記述があ
る。
【０００５】
【発明が解決しようとする課題】本発明の目的は、与え
られた文書に類似した文書を検索する文書検索におい
て、単語辞書や構文規則等の外部情報とその準備や保守
を必要とせず、かつ、重要概念の文書間の包含関係を考
慮して利用者にとって有用な検索結果を得ることがで
き、さらに、文書間の類似度の計算において入力文書の
特性と検索結果を考慮して冗長な計算を省くことのでき
る、効率的な類似文書検索システムを提供することにあ
る。
られた文書に類似した文書を検索する文書検索におい
て、単語辞書や構文規則等の外部情報とその準備や保守
を必要とせず、かつ、重要概念の文書間の包含関係を考
慮して利用者にとって有用な検索結果を得ることがで
き、さらに、文書間の類似度の計算において入力文書の
特性と検索結果を考慮して冗長な計算を省くことのでき
る、効率的な類似文書検索システムを提供することにあ
る。
【０００６】
【課題を解決するための手段】本発明では上記目的を達
成するために、準備や保守が必要となる外部情報を持つ
代わりに、その時点で与えられている全ての文書テキス
トから語群とその頻度情報を抽出・更新し、これを索引
に保持することによって、文書テキストのみから得られ
る最大限の情報を参照および加工して、検索に役立てる
ものである。
成するために、準備や保守が必要となる外部情報を持つ
代わりに、その時点で与えられている全ての文書テキス
トから語群とその頻度情報を抽出・更新し、これを索引
に保持することによって、文書テキストのみから得られ
る最大限の情報を参照および加工して、検索に役立てる
ものである。
【０００７】このため、入力文書から語を抽出する語抽
出部と、抽出された語から文書を検索するための索引を
更新する索引更新部と、索引を参照して文書を検索する
検索部と、入力文書を文書群に追加する文書蓄積部と
を、有する類似文書検索システムにおいて、次の処理を
行う。
出部と、抽出された語から文書を検索するための索引を
更新する索引更新部と、索引を参照して文書を検索する
検索部と、入力文書を文書群に追加する文書蓄積部と
を、有する類似文書検索システムにおいて、次の処理を
行う。
【０００８】すなわち、請求項１に記載の発明では、語
の抽出に際して字種分割を基本とし、かつ包含関係に基
づく分割処理を行う。また、請求項２に記載の発明で
は、抽出した各語の頻度を文書ごとに記憶しておき、こ
れを参照して語の重要度を文書ごとに求め、各語につい
て、入力文書における重要度が被検索文書における重要
度でどれだけ説明されるかを表す指標を計算し、これを
基に入力文書に対する被検索文書の類似度判定を行う。
また、請求項３に記載の発明では、入力文書における重
要度の高い語から類似度計算に使用する語を取り出し、
検索結果が一定の計算終了基準に達した時点で、計算を
終了する処理を行う。
の抽出に際して字種分割を基本とし、かつ包含関係に基
づく分割処理を行う。また、請求項２に記載の発明で
は、抽出した各語の頻度を文書ごとに記憶しておき、こ
れを参照して語の重要度を文書ごとに求め、各語につい
て、入力文書における重要度が被検索文書における重要
度でどれだけ説明されるかを表す指標を計算し、これを
基に入力文書に対する被検索文書の類似度判定を行う。
また、請求項３に記載の発明では、入力文書における重
要度の高い語から類似度計算に使用する語を取り出し、
検索結果が一定の計算終了基準に達した時点で、計算を
終了する処理を行う。
【０００９】そして、請求項１に記載の発明では、入力
文書のテキストを字種分割した文字列同士を、重複およ
び余りのない包含関係から文字列を分割するから、参照
できる文書が増えるにつれて、索引における語をなす文
字列のうち、日本語文で使用される文字列の最小単位、
すなわち単語であるものが増えていく。したがって、単
語辞書の準備および保守作業を必要とせずに、結果的に
単語辞書を使用した場合の検索精度に近づけることがで
きる。
文書のテキストを字種分割した文字列同士を、重複およ
び余りのない包含関係から文字列を分割するから、参照
できる文書が増えるにつれて、索引における語をなす文
字列のうち、日本語文で使用される文字列の最小単位、
すなわち単語であるものが増えていく。したがって、単
語辞書の準備および保守作業を必要とせずに、結果的に
単語辞書を使用した場合の検索精度に近づけることがで
きる。
【００１０】また、請求項２に記載の発明では、各語の
重要度が文書ごとに異なるように計算されることを用
い、入力文書における重要度を基準として、被検索文書
における重要度を類似度に反映させるから、入力文書に
おける重要語を重要語として多く含む文書ほど類似度が
高くなる。たとえば、入力文書の重要概念が少なく被検
索文書の重要概念がそれを包含して多い場合は、被検索
文書の類似度は高く、逆に、入力文書の重要概念が被検
索文書のそれを包含して多い場合は、被検索文書の類似
度は比較的低くなる。これは２文書のうちどちらが入力
文書であるかによって、文書間の類似度が異なるという
ことであり、類似度が文書に関して対称な場合に比べ、
入力文書をもった利用者にとってより有用な文書に対し
てより高い類似度を付与できる。
重要度が文書ごとに異なるように計算されることを用
い、入力文書における重要度を基準として、被検索文書
における重要度を類似度に反映させるから、入力文書に
おける重要語を重要語として多く含む文書ほど類似度が
高くなる。たとえば、入力文書の重要概念が少なく被検
索文書の重要概念がそれを包含して多い場合は、被検索
文書の類似度は高く、逆に、入力文書の重要概念が被検
索文書のそれを包含して多い場合は、被検索文書の類似
度は比較的低くなる。これは２文書のうちどちらが入力
文書であるかによって、文書間の類似度が異なるという
ことであり、類似度が文書に関して対称な場合に比べ、
入力文書をもった利用者にとってより有用な文書に対し
てより高い類似度を付与できる。
【００１１】また、請求項３に記載の発明では、入力文
書にとって重要な語から順に選択し、語を新たに選択す
るたびに、選択されている語群について、前回までの計
算結果を用いて類似度が計算され、検索結果等が一定の
基準に達したら計算を終了することができるから、入力
文書にとって重要な語を含む文書が検索され、かつ、無
駄な計算を省くことができる。
書にとって重要な語から順に選択し、語を新たに選択す
るたびに、選択されている語群について、前回までの計
算結果を用いて類似度が計算され、検索結果等が一定の
基準に達したら計算を終了することができるから、入力
文書にとって重要な語を含む文書が検索され、かつ、無
駄な計算を省くことができる。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態を、図
面を用いて説明する。図１は、本発明の一実施形態に係
る類似文書検索システムの構成を示すブロック図であ
る。図１において、１は語抽出部、２は索引更新部、３
は検索部、４は文書蓄積部、５は入力文書、６は類似文
書群、７は索引、８は文書データベースである。
面を用いて説明する。図１は、本発明の一実施形態に係
る類似文書検索システムの構成を示すブロック図であ
る。図１において、１は語抽出部、２は索引更新部、３
は検索部、４は文書蓄積部、５は入力文書、６は類似文
書群、７は索引、８は文書データベースである。
【００１３】語抽出部１は、入力文書５のテキストを字
種ごとに分割し、入力文書５の語群およびそれらの文書
内頻度を計算する。索引更新部２は、索引７に入力文書
５の語群および文書内頻度情報を反映させる。検索部３
は、入力文書５の語の文書内頻度と、索引７に保持され
ている各語の全文書での頻度情報とから、入力文書５の
語の重要度を求め、これの高い語から索引７を参照し
て、当該語を含む文書との類似度を求める。これを一定
の計算終了基準を満たす語までについて行う。次に、類
似度が上位の文書について、その内容を文書データベー
ス８から取り出す。文書蓄積部４は、索引７に保持され
る文書識別子と文書内容の対を、文書データベース８に
追加する。
種ごとに分割し、入力文書５の語群およびそれらの文書
内頻度を計算する。索引更新部２は、索引７に入力文書
５の語群および文書内頻度情報を反映させる。検索部３
は、入力文書５の語の文書内頻度と、索引７に保持され
ている各語の全文書での頻度情報とから、入力文書５の
語の重要度を求め、これの高い語から索引７を参照し
て、当該語を含む文書との類似度を求める。これを一定
の計算終了基準を満たす語までについて行う。次に、類
似度が上位の文書について、その内容を文書データベー
ス８から取り出す。文書蓄積部４は、索引７に保持され
る文書識別子と文書内容の対を、文書データベース８に
追加する。
【００１４】図２は、本実施形態における索引のイメー
ジ図である。図２において、ｆij，ｆi・，ｆ・j，ｆ
・・は、それぞれ、語ｉの文書ｊにおける頻度、語ｉの全
文書での頻度合計、文書ｊの全語の頻度合計、全語の全
文書での頻度合計を表わしている。なお、索引ファイル
の記憶効率を考慮し、実際には頻度が０の頻度値は保持
しない。
ジ図である。図２において、ｆij，ｆi・，ｆ・j，ｆ
・・は、それぞれ、語ｉの文書ｊにおける頻度、語ｉの全
文書での頻度合計、文書ｊの全語の頻度合計、全語の全
文書での頻度合計を表わしている。なお、索引ファイル
の記憶効率を考慮し、実際には頻度が０の頻度値は保持
しない。
【００１５】図３は、本実施形態の語抽出部１における
処理の詳細を示す図である。まず、入力文書のテキスト
先頭から、同一字種の連続する文字列を切り出す。
処理の詳細を示す図である。まず、入力文書のテキスト
先頭から、同一字種の連続する文字列を切り出す。
【００１６】ここで、字種として基本的には、英字，数
字，ひらがな，カタカナ，漢字を扱い、それ以外の文字
は、デリミタとみなす。
字，ひらがな，カタカナ，漢字を扱い、それ以外の文字
は、デリミタとみなす。
【００１７】また、本実施形態では、表記のゆれを吸収
するために、次の処理を行なう。 （ａ）英字，数字，カタカナは、全角と半角があるが、
これらはすべてどちらかに統一する（たとえば全角に変
換する）。 （ｂ）英字は大文字と小文字があるが、どちらかに統一
する（たとえば大文字に変換する）。 （ｃ）連続するひらがなあるいはカタカナの次に現われ
る「ー」は、それぞれひらがなおよびカタカナとして扱
う（「しらーっ」，「スプーラ」など）。 （ｄ）連続する漢字の次に現われる「ヶ」および「ノ」
は、漢字として扱う（「嵐ヶ丘」，「北ノ湖」など）。
するために、次の処理を行なう。 （ａ）英字，数字，カタカナは、全角と半角があるが、
これらはすべてどちらかに統一する（たとえば全角に変
換する）。 （ｂ）英字は大文字と小文字があるが、どちらかに統一
する（たとえば大文字に変換する）。 （ｃ）連続するひらがなあるいはカタカナの次に現われ
る「ー」は、それぞれひらがなおよびカタカナとして扱
う（「しらーっ」，「スプーラ」など）。 （ｄ）連続する漢字の次に現われる「ヶ」および「ノ」
は、漢字として扱う（「嵐ヶ丘」，「北ノ湖」など）。
【００１８】次に、得られた文字列群から対象外文字列
を除く。たとえば、日本語ではキーワードとして有効な
ひらがなや数字の文字列がきわめて少ないことから、こ
れを除くようにシステムパラメータで指定できる。
を除く。たとえば、日本語ではキーワードとして有効な
ひらがなや数字の文字列がきわめて少ないことから、こ
れを除くようにシステムパラメータで指定できる。
【００１９】対象となる文字列は、その頻度をカウント
する。結果として、入力文書に含まれる語とその頻度情
報を得る。
する。結果として、入力文書に含まれる語とその頻度情
報を得る。
【００２０】図４は、本実施形態の索引更新部２におけ
る処理の詳細を示す図である。まず、索引に入力文書を
表わす列を追加し、各語についてこれが索引に存在すれ
ば、その行の追加した列に頻度情報を格納し、頻度合計
列を更新する。索引に存在しない語については、新たに
行を追加し、頻度情報および頻度合計を格納する。
る処理の詳細を示す図である。まず、索引に入力文書を
表わす列を追加し、各語についてこれが索引に存在すれ
ば、その行の追加した列に頻度情報を格納し、頻度合計
列を更新する。索引に存在しない語については、新たに
行を追加し、頻度情報および頻度合計を格納する。
【００２１】次に、索引の各語が、他の複数の語に重複
および余りなく分解されるときには、これを複合語とみ
なし、その頻度を構成要素となる語に加えて、複合語の
行を削除する。たとえば「開発効率」という語は、「開
発」と「効率」という語が索引に共に存在すれば削除さ
れ、その各文書での頻度が上記２つの語の各文書での頻
度に加算される。この処理により、たとえば「開発効
率」を含み「開発」を含まない文書で、「開発」を含み
「開発効率」を含まない文書を検索できるようになる。
ここで、分割が細かくなりすぎるのを防ぐため、分割後
の文字列のうち少なくとも１つが持つべき文字数の最小
値と、すべての分割後文字列が持つべき文字数の最小値
とを、字種毎にパラメータで指定できる（漢字で各々
２，１とすれば、例えば「開発」は「開く」や「発つ」
によっても分割されない）。索引更新部２ではまた、後
の処理のため、入力文書の語がどの行にあたるかを記憶
しておく。
および余りなく分解されるときには、これを複合語とみ
なし、その頻度を構成要素となる語に加えて、複合語の
行を削除する。たとえば「開発効率」という語は、「開
発」と「効率」という語が索引に共に存在すれば削除さ
れ、その各文書での頻度が上記２つの語の各文書での頻
度に加算される。この処理により、たとえば「開発効
率」を含み「開発」を含まない文書で、「開発」を含み
「開発効率」を含まない文書を検索できるようになる。
ここで、分割が細かくなりすぎるのを防ぐため、分割後
の文字列のうち少なくとも１つが持つべき文字数の最小
値と、すべての分割後文字列が持つべき文字数の最小値
とを、字種毎にパラメータで指定できる（漢字で各々
２，１とすれば、例えば「開発」は「開く」や「発つ」
によっても分割されない）。索引更新部２ではまた、後
の処理のため、入力文書の語がどの行にあたるかを記憶
しておく。
【００２２】図５は、本実施形態の検索部３におけるス
コアリング処理の詳細を示す図である。検索部３は、索
引を参照して、入力文書の各語について、入力文書にお
ける重要度を求める。語ｉの文書ｊにおける重要度は、
語ｉの文書ｊでの文書内頻度の比率に、文書間での頻度
の比較を加味して求める。たとえば、次の式にしたが
って求める。
コアリング処理の詳細を示す図である。検索部３は、索
引を参照して、入力文書の各語について、入力文書にお
ける重要度を求める。語ｉの文書ｊにおける重要度は、
語ｉの文書ｊでの文書内頻度の比率に、文書間での頻度
の比較を加味して求める。たとえば、次の式にしたが
って求める。
【００２３】
【数１】
【００２４】上記式は、語ｉの頻度を、文書内および
文書間で基準化した値を加えたものである。ｔ（０≦ｔ
≦１）はパラメータであり、文書内頻度情報と文書間比
較情報の重みの配分を表している。
文書間で基準化した値を加えたものである。ｔ（０≦ｔ
≦１）はパラメータであり、文書内頻度情報と文書間比
較情報の重みの配分を表している。
【００２５】入力文書における重要度の高い語から順に
取り出し、これを検索語群とし、検索語群のいずれかの
語を含む文書群を索引から検索し、その各文書の類似度
を更新する。検索結果、または計算に使用した語数、ま
たはその重要度が計算終了基準を満たしたら、語を取り
出すのをやめる。計算終了基準とは、類似度が一定値以
上となる文書が一定数現れるか、検索語群の大きさ（語
数）が一定数に達するか等である。スコア閾値やそれを
超える文書数の閾値、および計算に使う語候補の最大数
等は、システムパラメータで指定できる。入力文書ｊで
の重要度の高いものからｎ個の語候補についての、入力
文書ｊと文書ｋの類似度は、各語の文書ｊにおける重要
度と語ｉの文書ｋでの重要度から、たとえば、次の式
のように計算する。語ｉの文書ｊにおける重要度をＷij
とすると、入力文書ｊと文書ｋの類似度は、次の式に
よって算出される。
取り出し、これを検索語群とし、検索語群のいずれかの
語を含む文書群を索引から検索し、その各文書の類似度
を更新する。検索結果、または計算に使用した語数、ま
たはその重要度が計算終了基準を満たしたら、語を取り
出すのをやめる。計算終了基準とは、類似度が一定値以
上となる文書が一定数現れるか、検索語群の大きさ（語
数）が一定数に達するか等である。スコア閾値やそれを
超える文書数の閾値、および計算に使う語候補の最大数
等は、システムパラメータで指定できる。入力文書ｊで
の重要度の高いものからｎ個の語候補についての、入力
文書ｊと文書ｋの類似度は、各語の文書ｊにおける重要
度と語ｉの文書ｋでの重要度から、たとえば、次の式
のように計算する。語ｉの文書ｊにおける重要度をＷij
とすると、入力文書ｊと文書ｋの類似度は、次の式に
よって算出される。
【００２６】
【数２】
【００２７】上記式は、入力文書ｊでの重要語の重要
度の和を、文書ｋがどれだけカバーしているかを示し、
被検索文書の妥当な類似度となる。検索部３では次に、
スコア（類似度）が上位の文書について、その内容を文
書データベース８から取り出す。
度の和を、文書ｋがどれだけカバーしているかを示し、
被検索文書の妥当な類似度となる。検索部３では次に、
スコア（類似度）が上位の文書について、その内容を文
書データベース８から取り出す。
【００２８】最後に、文書蓄積部４において、索引に保
持される文書識別子と文書内容の対が文書データベース
８に追加される。
持される文書識別子と文書内容の対が文書データベース
８に追加される。
【００２９】
【発明の効果】以上のように本発明によれば、入力文書
に類似した文書を検索する際、辞書等の外部情報の準備
やメンテナンスを不要とし、かつ、利用者にとっての有
用性をより反映した類似度を求めることが可能となる。
また、利用者にとって十分な検索結果が得られた時点で
計算を終了させるようにしているので、効率的な類似文
書検索が可能となる。
に類似した文書を検索する際、辞書等の外部情報の準備
やメンテナンスを不要とし、かつ、利用者にとっての有
用性をより反映した類似度を求めることが可能となる。
また、利用者にとって十分な検索結果が得られた時点で
計算を終了させるようにしているので、効率的な類似文
書検索が可能となる。
【図１】本発明の一実施形態に係る類似文書検索システ
ムの構成を示すブロック図である。
ムの構成を示すブロック図である。
【図２】本発明の一実施形態に係る類似文書検索システ
ムにおける、索引のイメージを示す説明図である。
ムにおける、索引のイメージを示す説明図である。
【図３】本発明の一実施形態に係る類似文書検索システ
ムにおける、語抽出部の処理の詳細を示す説明図であ
る。
ムにおける、語抽出部の処理の詳細を示す説明図であ
る。
【図４】本発明の一実施形態に係る類似文書検索システ
ムにおける、索引更新部の処理の詳細を示す説明図であ
る。
ムにおける、索引更新部の処理の詳細を示す説明図であ
る。
【図５】本発明の一実施形態に係る類似文書検索システ
ムにおける、検索部のスコアリング処理の詳細を示す説
明図である。
ムにおける、検索部のスコアリング処理の詳細を示す説
明図である。
１ 語抽出部 ２ 索引更新部 ３ 検索部 ４ 文書蓄積部 ５ 入力文書 ６ 類似文書群 ７ 索引 ８ 文書データベース
Claims (4)
- 【請求項１】 入力文書の類似文書を文書群から検索す
るため入力文書から語を抽出する語抽出部と、抽出され
た語から文書を検索するための索引を更新する索引更新
部と、索引を参照して文書群から文書を索引する検索部
と、入力文書を文書群に追加する文書蓄積部とを、備え
た類似文書検索システムであって、 語を抽出するため入力文書のテキストを字種ごとに分割
し、さらにこれら字種分割された文字列を語とし、これ
らの語および索引に含まれる各語どうしの包含関係に基
づいて語を分割し、対応する語の文書情報を再編成して
索引を更新することを特徴とする類似文書検索システ
ム。 - 【請求項２】 入力文書の類似文書を文書群から検索す
るため入力文書から語を抽出する語抽出部と、抽出され
た語から文書を検索するための索引を更新する索引更新
部と、索引を参照して文書群から文書を索引する検索部
と、入力文書を文書群に追加する文書蓄積部とを、備え
た類似文書検索システムであって、 各文書における語の頻度情報を基に、入力文書における
重要な情報を含む程度を指標とすることにより、入力文
書をもった利用者の評価を反映した、文書に関して非対
称な文書類似度を求めることを特徴とする類似文書検索
システム。 - 【請求項３】 入力文書の類似文書を文書群から検索す
るため入力文書から語を抽出する語抽出部と、抽出され
た語から文書を検索するための索引を更新する索引更新
部と、索引を参照して文書群から文書を索引する検索部
と、入力文書を文書群に追加する文書蓄積部とを、備え
た類似文書検索システムであって、 索引を参照して類似文書を検索する際、入力文書におい
て重要度の高い語からｋ個の語を取り出し、これらの語
について入力文書と被検索文書との類似度を、ｋ−１個
での計算結果を参照しながら求める処理を、ｋを徐々に
大きくしながら検索結果または対象とする語数または重
要度が一定の計算終了基準に達するまで繰り返すことを
特徴とする類似文書検索システム。 - 【請求項４】 請求項１または２または３に記載の前記
した処理を実行するためのプログラムを少なくとも格納
したことを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9232654A JPH1173422A (ja) | 1997-08-28 | 1997-08-28 | 類似文書検索システムおよびそれに用いる記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9232654A JPH1173422A (ja) | 1997-08-28 | 1997-08-28 | 類似文書検索システムおよびそれに用いる記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1173422A true JPH1173422A (ja) | 1999-03-16 |
Family
ID=16942700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9232654A Pending JPH1173422A (ja) | 1997-08-28 | 1997-08-28 | 類似文書検索システムおよびそれに用いる記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1173422A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024280A (ja) * | 2000-07-04 | 2002-01-25 | Shin Etsu Polymer Co Ltd | 文書検索装置及び文書検索方法 |
| JP2002163275A (ja) * | 2000-11-29 | 2002-06-07 | Matsushita Electric Ind Co Ltd | 技術文書検索装置 |
| US7010515B2 (en) | 2001-07-12 | 2006-03-07 | Matsushita Electric Industrial Co., Ltd. | Text comparison apparatus |
| JP2006236221A (ja) * | 2005-02-28 | 2006-09-07 | Kazuhiko Mori | ウエブページ検索のための管理サーバ装置 |
| KR100657016B1 (ko) | 2005-12-27 | 2006-12-14 | 중앙대학교 산학협력단 | 문서에서 연관성 있는 구문 검출을 위한 증거소스 결합과,증거소스 결합을 통한 질의 검색방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03172966A (ja) * | 1989-12-01 | 1991-07-26 | Nippon Telegr & Teleph Corp <Ntt> | 類似文書検索装置 |
| JPH08335222A (ja) * | 1995-06-08 | 1996-12-17 | Fuji Electric Co Ltd | 類似文章及び文書検索機能付コンピュータ装置 |
| JPH09212589A (ja) * | 1996-01-31 | 1997-08-15 | Hitachi Ltd | 住所照合辞書作成支援装置 |
-
1997
- 1997-08-28 JP JP9232654A patent/JPH1173422A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03172966A (ja) * | 1989-12-01 | 1991-07-26 | Nippon Telegr & Teleph Corp <Ntt> | 類似文書検索装置 |
| JPH08335222A (ja) * | 1995-06-08 | 1996-12-17 | Fuji Electric Co Ltd | 類似文章及び文書検索機能付コンピュータ装置 |
| JPH09212589A (ja) * | 1996-01-31 | 1997-08-15 | Hitachi Ltd | 住所照合辞書作成支援装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024280A (ja) * | 2000-07-04 | 2002-01-25 | Shin Etsu Polymer Co Ltd | 文書検索装置及び文書検索方法 |
| JP2002163275A (ja) * | 2000-11-29 | 2002-06-07 | Matsushita Electric Ind Co Ltd | 技術文書検索装置 |
| US7010515B2 (en) | 2001-07-12 | 2006-03-07 | Matsushita Electric Industrial Co., Ltd. | Text comparison apparatus |
| JP2006236221A (ja) * | 2005-02-28 | 2006-09-07 | Kazuhiko Mori | ウエブページ検索のための管理サーバ装置 |
| KR100657016B1 (ko) | 2005-12-27 | 2006-12-14 | 중앙대학교 산학협력단 | 문서에서 연관성 있는 구문 검출을 위한 증거소스 결합과,증거소스 결합을 통한 질의 검색방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7519590B2 (en) | Method and system for performing phrase/word clustering and cluster merging | |
| EP0597630B1 (en) | Method for resolution of natural-language queries against full-text databases | |
| Ahonen et al. | Applying data mining techniques for descriptive phrase extraction in digital document collections | |
| Sharma et al. | Stemming algorithms: a comparative study and their analysis | |
| Pfeifer et al. | Retrieval effectiveness of proper name search methods | |
| EP1095326B1 (en) | A search system and method for retrieval of data, and the use thereof in a search engine | |
| Nakagawa | Automatic term recognition based on statistics of compound nouns | |
| Ahonen et al. | Applying data mining techniques in text analysis | |
| US6496820B1 (en) | Method and search method for structured documents | |
| Litvak et al. | DegExt—A language-independent graph-based keyphrase extractor | |
| KR100396826B1 (ko) | 정보검색에서 질의어 처리를 위한 단어 클러스터 관리장치 및 그 방법 | |
| Kallimani et al. | Summarizing news paper articles: experiments with ontology-based, customized, extractive text summary and word scoring | |
| Alotaibi et al. | A cognitive inspired unsupervised language-independent text stemmer for Information retrieval | |
| Kalaivani et al. | The effect of stop word removal and stemming in datapreprocessing | |
| JP2572314B2 (ja) | キーワード抽出装置 | |
| Haddad et al. | Relations between terms discovered by association rules | |
| JPH1173422A (ja) | 類似文書検索システムおよびそれに用いる記憶媒体 | |
| Croft et al. | TREC-2 routing and ad-hoc retrieval evaluation using the INQUERY system | |
| Bhamidipati et al. | Stemming via distribution-based word segregation for classification and retrieval | |
| KR20020054254A (ko) | 사전구조를 이용한 한국어 형태소 분석방법 | |
| Al-Taani et al. | Searching concepts and keywords in the Holy Quran | |
| Wan et al. | Experiments with automatic indexing and a relational thesaurus in a Chinese information retrieval system | |
| JPH0954781A (ja) | 文書検索システム | |
| JPH06259482A (ja) | データ・ベース検索装置および方法 | |
| JP3438947B2 (ja) | 情報検索装置 |