JPH1153381A - 類似文書検索装置および類似文書検索方法 - Google Patents

Abstract

(57)【要約】 【課題】 ある文書に類似した文書を自動検索する装置
において、より高速な検索処理が可能でしかも検索精度
の高い類似文書検索装置を実現する。 【解決手段】 外部記憶装置５に記憶された各文書デー
タについて単語頻度表と文書ノルム表を予め作成してお
き、検索対象および被検索対象の各文書が指定されたと
ころで各文書の単語頻度表および文書ノルム表を参照し
て文書データ間の類似度計算を行う。これにより連続し
て複数の検索対象文書と複数の被検索対象文書との類似
度を算出する場合に単語頻度表の作成やノルムの計算を
重複して行う必要がなくなり高速な処理が可能となる。
また、文書データ中の検索条件単語の出現頻度を考慮し
た類似文書検索が可能となり、同時に複数の検索対象文
書と複数の被検索対象文書を対象とした類似文書検索を
高精度に行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子化された文書
データの検索装置に係り、特にある文書データに対して
これと類似した文書データを検索する類似文書検索装置
および類似文書検索方法に関する。

【０００２】

【従来の技術】近年、大量の電子化された文書データが
流通するようになり、自動分類等を行う目的で、文書デ
ータベース中から指定された文書に類似する文書を自動
検索するシステムが実用されてきている。これらのシス
テムでは、指定された文書（これを検索対象文書と呼
ぶ。）の類似文書を検索するにあたって、この検索対象
文書と他の文書（これを被検索対象文書と呼ぶ。）との
間で共通する単語の種類数を反映した類似度を計算し、
この値の大きなものを検索結果として出力する。

【０００３】例えば、図２７に示すように、予めいくつ
かの単語ｉ１，ｉ２，…，ｉｎを一次の検索条件として
指定しておき、文書データベースに格納されたｍ個の文
書データｂ１，ｂ２，…，ｂｍについて、該文書中にお
ける個々の一次検索条件単語ｉ１，ｉ２，…，ｉｎの有
無を調べる。このように各文書についての単語有無表を
作成した後、上記一次検索条件単語ｉ１，ｉ２，…，ｉ
ｎの中で検索対象文書中に存在するいくつかの単語を二
次検索条件として指定し、この単語をより多く含む文書
を上記単語有無表を参照することによって判定し、これ
を類似文書の検索結果として出力する。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の類似文書検索方式では、被検索対象文書中に
検索条件となる単語の有る／無しを判定基準として類似
検索を行っているにすぎないため、被検索対象文書中の
検索条件単語の持つ重みまでは考慮されないものとな
り、常により多くの種類の単語を含んだ長文の文書が類
似文書の候補として選ばれやすくなるなど、精度的に難
があることが指摘されている。また、上記従来の方式で
は、類似文書の検索を行おうとする度に検索対象文書中
に存在する、該文書の特徴をよく表すような単語を二次
検索条件として正しく指定し、そうでない種類の単語は
二次検索条件から必ず除外する必要があり、二次検索条
件の選定の際に、例えばオペレータが検索対象文書を参
照してキーとなる単語を見付け出すなどの人為的な労力
を要するなどの問題もあった。

【０００５】本発明はこのような課題を解決するために
なされたもので、検索精度に優れ高速処理が可能な類似
文書検索装置および類似文書検索方法を提供することを
目的としている。

【０００６】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の発明の類似文書検索装置は、複
数の文書データを格納する格納手段と、前記格納手段に
格納された文書データごとに、予め設定された検索条件
単語ごとの出現頻度を求めて単語頻度表を作成する単語
頻度表作成手段と、前記格納手段に格納された文書デー
タごとに、前記単語頻度表作成手段により作成された単
語頻度表中の検索条件単語ごとの出現頻度を要素とする
１次元ベクトルのノルムを算出して文書ノルム表を作成
する文書ノルム表作成手段と、前記格納手段に格納され
た文書データの中から検索対象および被検索対象の文書
データを指定する指定手段と、前記指定手段により指定
された各文書データ間の類似度を、前記単語頻度表およ
び前記文書ノルム表に基づき算出する類似度算出手段と
を有することを特徴とする。

【０００７】本発明によれば、文書データ中の検索条件
単語の出現頻度を考慮した類似文書検索が可能となり、
また、同時に複数の検索対象文書と複数の被検索対象文
書を対象とした類似文書検索を高効率にかつ高精度に行
うことが可能となる。

【０００８】また、請求項１の発明では、格納手段に格
納された各文書データについて単語頻度表と文書ノルム
表を予め計算して記憶しておき、検索対象および被検索
対象の文書データが指定されたところで、類似度算出手
段によって、該当する各文書データの単語頻度表および
文書ノルム表から文書データ間の類似度を求めること
で、連続して複数の検索対象文書と複数の被検索対象文
書を対象とした類似文書検索を行う場合、すなわち１つ
の検索対象文書と各被検索対象文書との類似度計算を行
った後、続けて次の１つの検索対象文書と各被検索対象
文書との類似度計算を行うような場合でも、各被検索対
象文書に対する単語頻度表の作成やノルム計算が各々一
回で済むので高速処理が可能となる。

【０００９】さらに、請求項２記載の発明の類似文書検
索装置は、複数の文書データを格納する格納手段と、前
記格納手段に格納された文書データごとに、予め設定さ
れた検索条件単語ごとの出現頻度を求めて単語頻度表を
作成する単語頻度表作成手段と、前記格納手段に格納さ
れた文書データごとに、前記単語頻度表作成手段により
作成された単語頻度表中の検索条件単語ごとの出現頻度
を要素とする１次元ベクトルのノルムを算出して文書ノ
ルム表を作成する文書ノルム表作成手段と、前記格納手
段に格納された文書データの中から検索対象および被検
索対象の文書データを指定する指定手段と、前記指定手
段により指定された各文書データに対して前記単語頻度
表作成手段にて作成された各単語頻度表間の共通単語の
登録位置関係を示す単語対応表を作成する単語対応表作
成手段と、前記指定手段により指定された各文書データ
間の類似度を、前記単語頻度表、前記文書ノルム表およ
び前記単語対応表に基づき算出する類似度算出手段とを
有することを特徴とする。この発明では、各文書データ
間の類似度算出において、各単語頻度表のベクトルデー
タの内積計算に必要な、検索対象文書の単語頻度表と被
検索対象文書の単語頻度表との間での共通単語について
の出現頻度情報を単語対応表を参照することによって一
意に得られるので、より一層の処理の高速化を図ること
ができる。また、上記目的を達成するために、本発明の
類似文書検索方法は、請求項３に記載されるように、文
書データベースに格納された個々の文書データごとに、
予め設定された検索条件単語ごとの出現頻度を求めて単
語頻度表を作成する工程と、文書データベースに格納さ
れた個々の文書データごとに、前記作成された単語頻度
表中の検索条件単語ごとの出現頻度を要素とする１次元
ベクトルのノルムを算出して文書ノルム表を作成する工
程と、前記文書データベースに格納された文書データの
中から検索対象および被検索対象の文書データを指定す
る工程と、前記指定された各文書データ間の類似度を、
前記単語頻度表および前記文書ノルム表に基づき算出す
る工程とを有することを特徴とするものであり、この発
明の作用、効果は請求項１の発明のそれと等価である。

【００１０】さらに、本発明の類似文書検索方法は、請
求項４に記載されるように、文書データベースに格納さ
れた個々の文書データごとに、予め設定された検索条件
単語ごとの出現頻度を求めて単語頻度表を作成する工程
と、文書データベースに格納された個々の文書データご
とに、前記作成された単語頻度表中の検索条件単語ごと
の出現頻度を要素とする１次元ベクトルのノルムを算出
して文書ノルム表を作成する工程と、前記文書データベ
ースに格納された文書データの中から検索対象および被
検索対象の文書データを指定する工程と、前記指定され
た各文書データに対して作成された各単語頻度表間の共
通単語の登録位置関係を示す単語対応表を作成する工程
と、前記指定された各文書データ間の類似度を、前記単
語頻度表、前記文書ノルム表および単語対応表に基づき
算出する工程とを有することを特徴とものであり、この
発明の作用、効果は請求項２の発明のそれと等価であ
る。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００１２】図１は本発明に係る一実施形態である類似
文書検索装置のハードウェア構成を示す図である。

【００１３】同図に示すように、この類似文書検索装置
は、入力装置１、表示装置２、制御装置３、メモリ４、
外部記憶装置５および通信装置６から構成され、各装置
は互いにバスを介して結合されている。

【００１４】入力装置１はキーボード、マウス、タブレ
ット或いはタッチパネルなどからなり、文字列を入力し
たり、本装置に各種のデータおよび命令の入力を行う。
表示装置２はＣＲＴ或いは液晶ディスプレイと表示コン
トローラなどからなり、検索結果やシステムからユーザ
への指示を表示する。制御装置３はＣＰＵから構成さ
れ、各装置の制御、装置間のデータの転送などの処理を
行うものである。

【００１５】メモリ４はＲＡＭなどからなり、図２、図
３に示すように、制御装置３が各種制御や処理を実行す
るためのプログラムを格納するプログラム部と、処理の
際に必要なデータを格納するためのバッファ部からなっ
ている。

【００１６】プログラム部は、図２に示すように、単語
抽出処理のための単語抽出部１０ａのほか、図３に示す
ように、処理全体の制御を行うメイン処理部１１ａ、メ
イン処理部１１ａで呼び出されるサブルーチンとして、
初期化部１１ｂ、ノルム計算部１１ｃ、単語対応表作成
部１１ｄ、類似度算出部１１ｅ、出力編集部１１ｆ、文
書一覧表示部１１ｇ、文書選択部１１ｈ、文書内容表示
部１１ｉからなる。

【００１７】バッファ部は、図２に示すように、単語抽
出部１０ａの作業領域としての、入力文書データ格納バ
ッファ１０ｂ、単語ＩＤ−単語表格納バッファ１０ｃ、
単語頻度表格納バッファ１０ｄおよび単語抽出表格納バ
ッファ１０ｅからなる。また、メイン処理部１１ａの作
業領域として、図３に示すように、検索対象・単語頻度
表格納バッファ１１ｊ、被検索対象・単語頻度表格納バ
ッファ１１ｋ、文書ノルム表格納バッファ１１ｌ、単語
対応表格納バッファ１１ｍ、類似度算出結果格納バッフ
ァ１１ｎ、出力編集結果格納バッファ１１ｏがある。

【００１８】入力文書データ格納バッファ１０ｂには図
４に示すような文書データが格納される。図４において
Ａ、Ｂ、Ｃは一文書の個々の節である。単語ＩＤ−単語
表格納バッファ１０ｃには、図５に示すように単語ＩＤ
と単語との対応を示す形式の単語ＩＤ−単語表データが
格納される。単語頻度表格納バッファ１０ｄには、図６
或いは図７に示すような形式の単語頻度表が格納され
る。検索対象・単語頻度表格納バッファ１１ｊには、図
６に示すような形式の検索対象文書の単語頻度表が格納
される。被検索対象・単語頻度表格納バッファ１１ｋに
は、図７に示すような形式の被検索対象文書の単語頻度
表が格納される。文書ノルム表格納バッファ１１ｌに
は、図８に示すような形式の文書ノルム表が格納され
る。単語対応表格納バッファ１１ｍには、図９に示すよ
うな形式の単語対応表が格納される。類似度算出結果格
納バッファ１１ｎには、図１０に示すような形式の類似
度算出結果が格納される。出力編集結果バッファ１１ｏ
には、図１１に示すような形式の類似度算出結果の出力
編集結果が格納される。

【００１９】バッファ部にはその他、作業用変数のため
の領域１０ｆ、１１ｐが確保されている。これら作業用
変数のための領域内１０ｆ、１１ｐには、後で述べる処
理で用いられる変数として、検索対象・単語頻度表の総
数ｄａｔ、被検索対象・単語頻度表の総数ｄｂｔ、総文
書数ｄｔ、現在参照中の検索対象・単語頻度表のＩＤと
してｄａ、被検索対象・単語頻度表のＩＤとしてｄｂな
どが確保される。

【００２０】外部記憶装置５はハードディスク或いはフ
ラッシュメモリ或いは光磁気ディスクとコントローラか
らなり、文書データ、単語頻度表、単語抽出表などを格
納する。この外部記憶装置５に格納されている文書デー
タおよび単語頻度表の格納形式を図１２に、単語抽出表
の格納形式を図１３にそれぞれ示す。図１２に示すよう
に、各文書データは、文書タイトル、ファイル作成日
時、作成者などの属性データなどを格納したへッダ部
と、文書を構成する文字コードデータであるテキストデ
ータ部からなっており、これらがＩＤ順に格納されてい
る。単語抽出表はテキストデータから単語頻度表を作成
する際に単語を抽出するために参照される。この単語抽
出表は例えばオペレータによって任意に設定される。

【００２１】前記の図５に示した単語ＩＤ−単語表は、
図１３の単語抽出表に基づいて作成されたものであり、
単語ＩＤに対応する実際の単語が記述されている。この
単語ＩＤ−単語表は単語ＩＤと単語との間の変換に用い
られるものである。

【００２２】図６に示した単語頻度表は単語抽出処理に
よって個々の文書データから作成されたもので、この単
語頻度表には文書の構成要素である節ごとの、単語ＩＤ
−単語表に記述された単語ＩＤ（単語抽出表に記述され
た単語）に対応する単語の出現頻度が記述される。な
お、図６に示す単語頻度表の内容は図４に示した文書デ
ータを単語抽出処理した例である。この単語頻度表に
は、文書データの節Ａ〜Ｚごとに単語出現頻度情報が記
述される。

【００２３】図８に示した文書ノルム表には、個々の単
語頻度表に対する、節（Ａ〜Ｚ）ごとのベクトルの大き
さ（ノルム）が記述される。

【００２４】図９に示した単語対応表は類似度算出処理
が行われる際に一時的に作成される表である。この単語
対応表には、図６に示した検索対象文書の単語頻度表に
記載されている単語ＩＤと、この単語ＩＤと図７に示し
た被検索対象文書の単語頻度表における同一の単語ＩＤ
とを対応付けるための情報が記述されている。具体的に
は、検索対象文書と被検索対象文書において共通に存在
する単語ＩＤの場合、前記対応付け情報として被検索対
象文書の単語頻度表上での当該単語ＩＤのオフセット位
置が記述されている。被検索対象文書において存在しな
い単語ＩＤの場合はこれを示す値（例えば（−１））が
記述される。この単語対応表は文書データ間の類似度算
出の際に内積を必要最小限の計算で求めることを目的と
して利用される。

【００２５】図１０に示す類似度算出結果は、類似度算
出処理によって作成される表で、一つの検索対象文書に
対する各被検索対象文書の各々の類似度が記述される。
ここで、全ての被検索対象文書をｒ個のブロックに分割
したとき、１つの検索対象文書に対応する類似度算出結
果はｒ（図１０の例では２）個作成される。すなわち、
図１４（ａ）において、検索対象文書としてａ１〜ａｎ
のｎ個、被検索対象文書としてｂｌ〜ｂｎのｎ個が与え
られているものとする。ｎ＝１０とし、分割数ｒ＝２と
すると、１つのブロックの文書数は５となる。この例で
は、ａ１の検索対象文書に対し図１４（ｃ）に示すよう
に類似度算出結果としてｏ11（ｂｌ〜ｂ５に対応する類
似度）とｏ12（ｂｎ−４〜ｂｎに対応する類似度）の２
つが得られる。

【００２６】通信装置６は、通信回線を介して外部とデ
ータのやり取りを行う装置であり、たとえばＬＡＮ回線
とＬＡＮコントローラ等から構成される。

【００２７】以下、本実施形態の動作について説明す
る。

【００２８】外部記憶装置５には図１２に示すように、
文書ＩＤが０〜ｎのｎ個の文書データと個々の文書デー
タに対応する単語頻度表が格納されているものとする。

【００２９】この動作説明では、はじめに、本装置の全
体的な処理動作を説明し、その後で個々の重要な処理に
ついての詳細を説明することにする。

【００３０】本装置におけるプログラム処理は単語抽出
処理とメイン処理の２つからなる。単語抽出処理は文書
データから単語頻度表を作成する処理である。メイン処
理は単語抽出処理で作成された単語頻度表を用いて類似
文書の検索を行う処理である。したがって単語抽出処理
はメイン処理よりも前に行われる。

【００３１】図１５は単語抽出処理の全体的な手順を示
すフローチャートである。

【００３２】単語抽出部１０ａは起動後直ちにバッファ
部１０ｂ〜１０ｆ内の各バッファをクリアする。また、
単語抽出部１０ａは外部記憶装置５に格納されている単
語抽出表（図１３）を単語抽出表格納バッファ１０ｄ
に、単語ＩＤ−単語表（図５）を単語ＩＤ−単語表格納
バッファ１０ｃにそれぞれ格納する（ステップＳ１）。
その際、単語抽出部１０ａは単語抽出表（図１３）を参
照して単語ＩＤ−単語表の作成を行い、これを単語ＩＤ
−単語表格納バッファ１０ｃに格納する。

【００３３】次に、単語抽出部１０ａは外部記憶装置５
に格納された文書データを読み出し、この文書データに
対応する単語頻度表（図６、図７）を作成し、これを外
部記憶装置５に格納する（ステップＳ２）。全ての文書
データに対する単語頻度表の作成および格納を終えると
単語抽出処理を終了する（ステップＳ３）。

【００３４】次に、メイン処理の動作を図１６により説
明する。

【００３５】メイン処理部１１ａが起動されると、まず
初期化部１１ｂにて各バッファ部１１ｊ〜１１ｐのクリ
アや、検索対象文書と被検索対象文書の単語頻度表の数
を変数にセットするなど、類似文書検索に必要な各種の
初期化処理を行う（ステップＳ４）。

【００３６】この後、ノルム計算部１１ｃが起動され
る。ノルム計算部１１ｃは各単語頻度表に格納された検
索対象文書および被検索対象文書の各節ごとに、単語Ｉ
Ｄごとの単語出現頻度を要素とする１次元ベクトルのノ
ルム（＝ベクトルの大きさ）を計算し、文書ノルム表格
納バッファ１１ｌ上に文書ノルム表を作成して外部記憶
装置５へ出力する（ステップＳ５）。

【００３７】文書ノルム表が作成されると、メイン処理
部１１ａは初期化処理Ｓ４で指定された数の検索対象文
書の単語頻度表（図６）を外部記憶装置５から読み込
み、検索対象・単語頻度表格納バッファ１１ｊに格納す
る（ステップＳ６）。次にメイン処理部１１ａは、指定
された数の被検索対象文書の単語頻度表（図７）を外部
記憶装置５から読み込み、被検索対象・単語頻度表格納
バッファ１１ｋに格納する（ステップＳ７）。

【００３８】この後、メイン処理部１１ａは検索対象・
単語頻度表格納バッファ１１ｊと被検索対象・単語頻度
表格納バッファ１１ｋから各々１つずつ単語頻度表を取
り出し、単語対応表作成部１１ｄへ処理を渡す。単語対
応表作成部１１ｄにて単語対応表（図９）が作成され、
単語対応表格納バッファ１１ｍにこれが格納されると
（ステップＳ８）、メイン処理部１１ａは類似度算出部
１１ｅに処理をわたす。類似度算出部１１ｅは、単語対
応表と文書ノルム表を参照して、検索対象文書と被検索
対象文書の各単語頻度表の各節ごとに両者の類似度を算
出する。そして、節ごとの類似度の平均値をとるなどし
て文書間の類似度を算出し、この類似度算出結果を外部
記憶装置５へ出力する（ステップＳ９）。

【００３９】そして、検索対象・単語頻度表格納バッフ
ァ１１ｊに格納されたすべて（指定数分）の検索対象文
書の単語頻度表について、検索対象・単語頻度表格納バ
ッファ１１ｋに格納されたすべて（指定数分）の被検索
対象文書の単語頻度表との類似度算出が完了するまでス
テップＳ８、ステップＳ９を繰り返す（ステップＳ１
０）。

【００４０】この後、次の指定数分の被検索対象文書の
単語頻度表を外部記憶装置５から読み込み、これらの単
語頻度表で被検索対象・単語頻度表格納バッファ１１ｋ
を書き換えて、検索対象・単語頻度表格納バッファ１１
ｊに格納されたすべて（指定数分）の検索対象文書の単
語頻度表について、前記と同様に検索対象・単語頻度表
格納バッファ１１ｋに格納されたすべて（指定数分）の
被検索対象文書の単語頻度表との類似度算出が完了する
までステップＳ７〜Ｓ１０を繰り返す（ステップＳ１
１）。

【００４１】その後、次の指定数分の検索対象文書の単
語頻度表を外部記憶装置５から読み込み、これらの単語
頻度表で検索対象・単語頻度表格納バッファ１１ｊを書
き替えて同様に類似度計算を行う（ステップＳ１２）。

【００４２】次に、このステップＳ６からＳ１２までの
処理について図１４を参照して具体的に説明する。

【００４３】まず、図１４（ａ）の太線枠で囲まれてい
る範囲、つまり複数の検索対象文書の単語頻度表ａ１〜
ａ５と複数の被検索対象文書の単語頻度表ｂ１〜ｂ５を
メモリ上に一括して書き込み、先頭の検索対象文書の単
語頻度表ａ1 と各被検索対象文書の単語頻度表ｂ１〜ｂ
５との各々の類似度を計算して図１０に示したような類
似度算出結果ｏ11を出力する。続いて、図１４（ｂ）に
示すように、次の検索対象文書の単語頻度表ａ２と被検
索対象文書の単語頻度表ｂ１〜ｂ５との各々の類似度計
算を行って類似度算出結果ｏ21を出力する。同様に検索
対象文書の単語頻度表ａ３，ａ４，ａ５と被検索対象文
書の単語頻度表ｂ１〜ｂ５との各々の類似度計算を行っ
て類似度算出結果ｏ31，ｏ41，ｏ51を出力する。

【００４４】次に、図１４（ｃ）に示すように、メモリ
上のｂ１〜ｂ５の被検索対象文書の単語頻度表の確保領
域を解放し、そこにｂｎ−４〜ｂｎの被検索対象文書の
単語頻度表を書き込む。そして前記と同様に、検索対象
文書の単語頻度表ａ１〜ａ５と被検索対象文書の単語頻
度表ｂｎ−４〜ｂｎとの各々類似度を計算して類似度算
出結果ｏ12を出力する。

【００４５】さらにこの後、図１４（ｄ）に示すよう
に、メモリ上のａ１〜ａ５の検索対象文書の単語頻度表
の確保領域を解放し、そこに次の指定数分の検索対象文
書の単語頻度表ａｎ−４〜ａｎを書き込むとともに、メ
モリ上のｂｎ−４〜ｂｎの被検索対象文書の単語頻度表
の確保領域を解放し、そこに再び被検索対象文書の単語
頻度表ｂ１〜ｂ５を書き込み、前記と同様に検索対象文
書の単語頻度表ａｎ−４〜ａｎと被検索対象文書の単語
頻度表ｂ１〜ｂ５との各々の類似度を計算し、続いてメ
モリ上の被検索対象文書の単語頻度表ｂ１〜ｂ５の確保
領域を解放してそこに被検索対象文書の単語頻度表ｂｎ
−４〜ｂｎを書き込み、同様に類似度を計算する。

【００４６】以上、外部記憶装置５に存在するすべての
検索対象文書の単語頻度表とすべての被検索対象文書の
単語頻度表との類似度が算出され、その類似度算出結果
が外部記憶装置５に記憶されると、メイン処理部１１ａ
は出力編集部１１ｆへ制御を移す。

【００４７】出力編集部１１ｆは、外部記憶装置５に格
納されている、個々の検索対象文書に対する全被検索対
象文書との間の類似度算出結果を順次読み込み、例えば
類似度の高いものを上位に配置するなどのソートを行
い、図１１に示すような出力編集結果として外部記憶装
置５に格納する（ステップＳ１３）。

【００４８】すべての検索対象文書に対応する出力編集
結果が外部記憶装置５に記憶されたところで、メイン処
理部１１ａは、図１８に示すような文書一覧画面を文書
一覧表示部１１ｇを介して表示装置２に出力し（ステッ
プＳ１４）、引き続き文書選択部１１ｈを起動する（ス
テップＳ１５）。この文書一覧画面には、ユーザが検索
対象文書のＩＤを入力するための入力項目が設けられて
おり、この入力項目に文書選択部１１ｈを通じて検索対
象文書ＩＤ（例えばａ１）を入力することで、その検索
結果となる被検索対象文書ＩＤの一覧と各々の類似度が
表示される。

【００４９】また、被検索対象文書ＩＤに対応するチェ
ックボックスをマウスなどのポインティングディバイス
などで選択することにより、文書内容表示部１１ｉが起
動され、図１９に示すように、選択された文書の類似度
とその文書内容が表示される（ステップＳ１６）。

【００５０】これら類似検索結果の表示処理は、図１８
または図１９に示す画面左上のクローズボックスをポイ
ンティングディバイスなどで選択することで終了する
（ステップＳ１７）。

【００５１】次に、ステップＳ２の単語抽出処理、ステ
ップＳ４の初期化処理、ステップＳ５のノルム計算処
理、ステップＳ８の単語対応表作成処理、ステップＳ９
の類似度算出処理、ステップＳ１３の出力編集処理につ
いて具体的に説明する。

【００５２】まず、ステップＳ２の単語抽出処理につい
て説明する。図２０はステップＳ２の単語抽出処理を示
す詳細フローチャートである。

【００５３】外部記憶装置５に文書データが格納された
状態で、初期化処理ステップＳ１で文書数などの環境が
設定されると単語抽出部１０ａが起動する。単語抽出部
１０ａは指定された入力文書データを入力文書データ格
納バッファ１０ｂに格納する（ステップＳ２１）。次
に、単語抽出部１０ａは単語抽出表を参照し、入力文書
データ中から単語抽出表に含まれる単語を抽出して作業
用領域に格納する（ステップＳ２２）。

【００５４】次に、単語抽出部１０ａは単語ＩＤ−単語
表を参照し、抽出された単語が既に単語ＩＤ−単語表に
登録されていなければ制御をステップＳ２５へ移し、登
録されていれば制御をステップＳ２４へ移す（ステップ
Ｓ２３）。ステップＳ２４では、単語ＩＤ−単語表に未
登録の単語の追加処理を行う。また、該当の単語に対し
て新規の単語ＩＤを発行する（ステップＳ２４）。ステ
ップＳ２２で格納された単語は、単語ＩＤ−単語表に基
づいて単語ＩＤに置き換えられる（ステップＳ２５）。

【００５５】次に、単語抽出部１０ａは作業領域に格納
された単語を再集計し、文書データの節ごとに単語（単
語抽出表に含まれる単語と同じ単語）の出現頻度を調
べ、その結果を単語頻度表格納バッファ１１ｍに書き込
む（ステップＳ２６）。そして文書データのすべての節
について単語出現頻度の算出および算出結果の書き込み
が完了したところで次のステップ２８に移行する（ステ
ップＳ２７）。最後に、単語抽出部１０ａは単語頻度表
格納バッファ１１ｍに書き込まれた内容を単語頻度表と
して外部記憶装置５に出力する（ステップＳ２８）。

【００５６】次に、ステップＳ４の初期化処理について
説明する。図２１はこの初期化処理の詳細を示すフロー
チャートである。

【００５７】外部記憶装置５に単語頻度表が格納される
と、メイン処理部１１ａは初期化部１１ｂへ制御を移
す。初期化部１１ｂは作業用変数のための領域１１ｐ
に、作業用変数として検索対象文書と被検索対象文書の
各単語頻度表格納バッファ１１ｊ，１１ｋに単語頻度表
を格納する際に、１回に読み込む文書数：ｓｅｐ、検索
対象・単語頻度表の総数：ｄａｔ、被検索対象・単語頻
度表の総数：ｄｂｔ、単語頻度表の総数：ｄｔ、計算対
象となる検索対象・単語頻度表のＩＤ：ｄａ、計算対象
となる被検索対象・単語頻度表のＩＤ：ｄｂを用意す
る。また、これらの変数に初期値を代入する。本実施形
態では、読み込む文書数ｓｅｐに５、それ以外の変数０
を代入する（ステップＳ４１）。

【００５８】この後、初期化部１１ｂは外部記憶装置５
中の検索対象文書の単語頻度表の数を調べ、その値を検
索対象・単語頻度表の総数ｄａｔへ代入する（ステップ
Ｓ４２）。さらに、初期化部１１ｂは外部記憶装置５中
の被検索対象文書の単語頻度表の数を調べ、被検索対象
・単語頻度表の総数ｄｂｔへ代入する（ステップＳ４
３）。最後に、初期化部１１ｂは、検索対象・単語頻度
表の総数ｄａｔと、被検索対象・単語頻度表の総数ｄｂ
ｔの和を単語頻度表の総数ｄｔへ代入する（ステップＳ
４４）。

【００５９】次に、ステップＳ５のノルム計算処理につ
いて説明する。図２２はこのノルム計算処理の詳細を示
すフローチャートである。

【００６０】ノルムとは、１次元の行列をＡ＝［ａ１，
ａ２，…，ａｎ］としたとき、

【数１】 で表せられる値のことである。本実施形態では、１つの
文書データが複数の節に分割されるため、文書ノルム表
の文書ＩＤごとに節の数と等しいｐ個のノルムが計算さ
れる。

【００６１】ノルム計算処理は次のようにして行われ
る。初期化部１１ｂの処理が終わるとメイン処理部１１
ａに制御が戻され、メイン処理部１１ａはノルム計算部
１１ｃへ制御を移す。ノルム計算部１１ｃは、作業用変
数のための領域１１ｐに、作業用変数として、参照中の
節：ｐ、節の総数：ｐｔ、参照中の単語ＩＤ：ｑ、単語
の総数：ｑｔ、参照中の文書：ｄ、参照中の単語出現頻
度：ｆ、作業用：ｗ、ノルム：ｎｏｒｍを用意する。ま
た、これらの変数に初期値０を代入する（ステップＳ５
０１）。

【００６２】次に、ノルム計算部１１ｃは外部記憶装置
５から文書ノルムを読み出し、文書ノルム表格納バッフ
ァ１１ｌヘ格納する（ステップＳ５０２）。続いてノル
ム計算部１１ｃは、外部記憶装置５に格納されたｄ番目
の単語頻度表を、検索対象・単語頻度表格納バッファ１
１ｊに書き込む（ステップＳ５０３）。さらにノルム計
算部１１ｃは検索対象・単語頻度表格納バッファ１１ｊ
から節の総数と単語の総数を読み出し、それぞれ変数ｐ
ｔ、ｑｔへ代入する（ステップＳ５０４）。

【００６３】続いて、ノルム計算部１１ｃは指定された
節：ｐ、単語ＩＤ：ｑごとの単語出現頻度を調べ、単語
出現頻度：ｆへ代入する（ステップＳ５０５）。また、
指定された節：ｐのノルムを求めるため、指定された単
語ＩＤ：ｑの単語出現頻度ｆを２乗した値を作業変数ｗ
に累積加算して行く（ステップＳ５０６）。さらに、単
語ＩＤを進めるためｑの値を１加算する（ステップＳ５
０７）。そして指定する節の単語すべてが参照されるま
でステップＳ５０５〜Ｓ５０７を繰り返す（ステップＳ
５０８）。

【００６４】次に、ノルム計算部１１ｃは節ｐのノルム
の計算する。節ｐのノルムはｎｏｒｍ←Ｗ^1/2 によって
求められ、求められた節ｐのノルムは文書ノルム表格納
バッファ１１ｌの該当する箇所へ格納される（ステップ
Ｓ５０９）。続いて次の節のノルムを計算するため、単
語ｑとノルム作業領域ｗをクリアする（ステップＳ５１
０）。全ての節のノルム計算が終了したならば制御をス
テップＳ５１２へ移す（ステップＳ５１１）。ステップ
Ｓ５１２では、次の文書ΙＤを進めるためにｄの値を１
つ進める。全ての文書について以上のノルム計算を終了
したところで制御がステップＳ５１４に移り（ステップ
Ｓ５１３）、最後に、文書ノルム表格納バッファ１１ｌ
の内容を文書ノルム表として外部記憶装置５へ出力（ス
テップＳ５１４）。

【００６５】次に、ステップＳ８の単語対応表作成処理
について説明する。図２３はこの単語対応表作成処理の
詳細を示すフローチャートである。

【００６６】外部記憶装置５に文書ノルム表が格納され
ると、メイン処理部１１ａは単語対応表作成部１１ｄヘ
制御を移す。単語対応表作成部１１ｄはステップＳ４で
指定された、検索対象・単語頻度表のＩＤ：ｄａ、被検
索対象・単語頻度表のＩＤ：ｄｂの値を受けとる。この
値は、単語対応表作成時に参照される単語頻度表の文書
ＩＤである（ステップＳ８０１）。

【００６７】次に、単語対応表作成部１１ｄは単語対応
表格納バッファ１１ｍ内に、図９に示したように、検索
対象文書の単語頻度表中で使われている単語数と同数の
単語対応表を作成し、被検索対象文書中の単語ＩＤの位
置情報欄をすべて初期値（例では（−１））で埋める
（ステップＳ８０２）。

【００６８】続いて、単語対応表作成部１１ｄは検索対
象・単語頻度表格納バッファ１１ｊから検索対象文書Ｉ
Ｄ＝ｄａの単語頻度表と、被検索対象・単語頻度表格納
バッファ１１ｋから被検索対象文書ＩＤ＝ｄｂの単語頻
度表を各々参照する。ここでは、検索対象・単語頻度表
と被検索対象・単語頻度表中で使われている単語のマッ
チングをとり、検索対象・単語頻度表中の単語が被検索
対象・単語頻度表中に含まれている場合はその単語の被
検索対象・単語頻度表中での位置情報を単語対応表格納
バッファ１１ｍの単語対応表に書き込み、検索対象・単
語頻度表中の単語が被検索対象・単語頻度表中に含まれ
ていない場合は「参照先なし」を示す任意の値（例では
（−１））を単語対応表に書き込む（ステップＳ８０
３）。

【００６９】そして単語対応表作成部１１ｄは検索対象
・単語頻度表の単語数または、被検索対象・単語頻度表
の単語数のどちらかがなくなったらステップＳ８０５へ
制御を進める。それ以外は、ステップＳ８０３を繰り返
すためにステップＳ８０３へ制御を戻す（ステップＳ８
０４）。また、単語対応表作成部１１ｄは検索対象・単
語頻度表の単語数が被検索対象・単語頻度表の単語数よ
り多いときはステップＳ８０６へ制御を移し、それ以外
はステップＳ９へ制御を移す（ステップＳ８０５）。

【００７０】検索対象・単語頻度表の単語数が被検索対
象・単語頻度表の単語数よりも多い場合、単語対応表作
成部１１ｄは、単語対応表格納バッファ１１ｍの単語対
応表に空欄ができている箇所に対してステップＳ８０３
と同様に「参照先なし」を示す任意の値を書き込む（ス
テップＳ８０６）。

【００７１】次に、ステップＳ９の類似度算出処理につ
いて説明する。図２４、図２５はこの類似度算出処理の
詳細を示すフローチャートである。

【００７２】文書類似度ｓは、類似度：ｓ、各節の類似
度ｓｐ、節の数ｉ、各節の検索対象・単語出現頻度を要
素とするベクトルをｆａｐ、各節の被検索対象・単語出
現頻度を要素とするベクトルをｆｂｐとするとき、

【数２】 で表される。

【００７３】単語対応表格納バッファ１１ｍに単語対応
表が格納されると、メイン処理部１１ａは類似度算出部
１１ｅへ制御を移す。類似度算出部１１ｅは作業用変数
のための領域１１ｐに、作業用変数として、参照中の
節：ｐ、節の総数：ｐｔ、参照中の単語ＩＤ：ｑ、単語
の総数：ｑｔ、検索対象文書の単語出現頻度：ｆａ、被
検索対象文書の単語出現頻度：ｆｂ、作業用：ｗ、検索
対象文書のノルム作業用：ｎｏｒｍａ、被検索対象文書
のノルム作業用：ｎｏｒｍｂ、文書類似度：ｓと、大き
さｐｔの配列として、内積：ｉｎｎｐｒｄ［ｐｔ］、節
ごとの類似度：ｓｐ［ｐｔ］を用意し、これらの変数に
初期値を代入する（ステップＳ９０１）。

【００７４】次に、類似度算出部１１ｅはステップＳ４
で指定された、検索対象・単語頻度表の文書ＩＤ：ｄ
ａ、被検索対象・単語頻度表の文書ＩＤ：ｄｂの値を受
けとる。この文書ＩＤはステップＳ８で受け取った文書
ＩＤと同じものである（ステップＳ９０２）。

【００７５】続いて、類似度算出部１１ｅはステップＳ
８で単語対応表格納バッファ１１ｍに作成した単語対応
表を参照し、節ｐ、単語ｑにおける、検索対象・単語頻
度表中の位置情報を読みとる。この位置情報が「参照先
なし（−１）」である場合は、制御をステップＳ９０４
へ移し、それ以外の場合は制御をステップＳ９０５へ移
す（ステップＳ９０３）。

【００７６】ステップＳ９０３において、参照先が「参
照先なし」のとき、類似度算出部１１ｅは節ｐ、単語ｑ
における、検索対象文書の単語出現頻度を格納する変数
ｆａに０を代入する（ステップＳ９０４）。また、ステ
ップＳ９０３において、参照先に「参照先なし」以外の
何らかの値が入っているとき、類似度算出部１１ｅは節
ｐ，単語ｑにおける検索対象文書の単語出現頻度ｆａ
に、その検索対象文書の単語出現頻度を、また被検索対
象文書の単語出現頻度ｆｂには、被検索対象文書の単語
出現頻度をそれぞれ代入する（ステップＳ９０５）。

【００７７】検索対象文書の単語出現頻度ｆａおよび被
検索対象文書の単語出現頻度ｆｂがセットされると、類
似度算出部１１ｅは節ごとの内積を計算する。節の内積
ｉｎｎｐｒｄ［ｐ］は ｉｎｎｐｒｄ［ｐ］←ｉｎｎｐｒｄ［ｐ］＋ｆａ×ｆｂ で表される（ステップＳ９０６）。

【００７８】また、類似度算出部１１ｅは単語頻度表の
すべての節の内積を計算したならばステップＳ９０８
へ、計算途中であればステップＳ９０３へ制御を移す
（ステップＳ９０７）。さらに、類似度算出部１１ｅは
単語頻度表のすべての単語について計算を完了したなら
ばステップＳ９０９へ、計算途中であればステップＳ９
０３へ制御を移す（ステップＳ９０８）。

【００７９】以上までが節ごとの類似度の分子に関する
計算である。次に分母に関する計算を行う。

【００８０】まず、類似度算出部１１ｅはステップＳ５
で計算した文書ノルム表を参照し（ステップ９０９）、
文書ＩＤ＝ｄａ、節ｐにおけるノルムを変数ｎｏｒｍａ
に、文書ＩＤ＝ｄｂ、節ｐにおけるノルムを変数ｎｏｒ
ｍｂにそれぞれ代入する（ステップ９１０）。

【００８１】次に、類似度算出部１１ｅは節ｐの類似度
ｓｐ［ｐ］を求める。節ｐの類似度ｓｐ［ｐ］は、ステ
ップＳ９０６で計算したｉｎｎｐｒｄ［ｐ］と、ステッ
プＳ９１０のｎｏｒｍａ、ｎｏｒｍｂから、 ｓｐ［ｐ］←ｉｎｎｐｒｄ［ｐ］／（ｎｏｒｍａ×ｎｏ
ｒｍｂ） で求められる（ステップＳ９１１）。

【００８２】続いて類似度算出部１１ｅは節ｐのチェッ
クを行い、全ての節の類似度が求められていないときは
制御をステップＳ９０１へ戻し、全ての節の類似度が求
められたときは制御をステップＳ９１３へ進める（ステ
ップＳ９１２）。

【００８３】ここで文書の類似度を求める。ここで、総
節数：ｐｔ、節：ｐ、節ｐの類似度：ｓｐ［ｐ］とする
と、文書類似度ｓは

【数３】 により求められる（ステップＳ９１３）。

【００８４】最後に類似度算出部１１ｅは、ステップＳ
９１３で求めた文書類似度ｓを被検索対象となった文書
ＩＤと共に外部記憶装置５へ類似度算出結果として出力
する（ステップＳ９１４）。

【００８５】次に、ステップＳ１３の出力編集処理につ
いて説明する。図２６はこの出力編集処理の詳細を示す
フローチャートである。

【００８６】出力編集部１１ｆは外部記憶装置５に格納
された、複数に分割された類似度算出結果を１つの出力
編集結果として出力する。ここで出力編集部１１ｆの役
割を説明する。

【００８７】本方式では図１４（ｂ）に示したように、
検索対象文書ａ１と各被検索対象文書ｂ１〜ｂｎとの類
似度算出結果はｏ11とｏ12の２ファイルとなる。このた
め複数に分割された類似度算出結果を１つの出力編集結
果として統合するための処理が必要となる。

【００８８】まず、全ての類似度算出結果が外部記憶装
置５に格納されると、メイン処理部１１ａは出力編集部
１１ｆへ制御を移す。出力編集部１１ｆは分割された類
似度算出結果を外部記憶装置５から読み込んで類似度算
出結果格納バッファ１１ｎへ書き込む（ステップＳ１３
１）。

【００８９】次に、出力編集部１１ｆは各類似度算出結
果に付された分割番号（類似度算出結果を２ファイルに
分割した場合、最初の類似度算出結果の分割番号は１、
次の類似度算出結果の分割番号は２となる。）ｒのチェ
ックを行う。総分割数がｄｒであるとき、分割番号ｒ＜
ｄｒの間は制御をステップＳ１３１へ戻し、それ以外は
制御をＳ１３３へ進める（ステップＳ１３２）。図１４
の例ではｏ11→ｏ12の順番で類似度算出結果が読み込ま
れる。

【００９０】分割された類似度算出結果が類似度算出結
果格納バッファ１１ｎに全て格納されと、出力編集部１
１ｆは文書類似度をキーにソートを行い（ステップＳ１
３３）、出力編集結果（図１１）を出力編集結果格納バ
ッファ１１ｏに書き込み後、外部出力装置５に出力する
（ステップＳ１３４）。

【００９１】本実施形態では、図１４（ｃ）の類似度算
出結果ｏ11に相当する類似度算出結果を図１０の「ａ１
＃１」、ｏ12に相当する類似度算出結果を図１０の「ａ
１＃２」とするとき、図１１に示すような出力編集結果
が得られる。すなわち、類似度が高い順に各情報が並び
換えられる。

【００９２】さらに、出力編集部１１ｆは外部出力装置
５内から、ステップＳ１３１、Ｓ１３２で読み込んだ類
似度算出結果を削除する（ステップＳ１３５）。最後
に、すべての類似度算出結果が出力編集処理されたかを
チェックし。出力編集処理が処理中のときは制御をステ
ップＳ１３１へ戻し、それ以外は制御をＳ１４へ進める
（ステップＳ１３６）。

【００９３】このように本実施形態の類似文書検索装置
は、文書データ中の特定の単語（単語抽出表の単語）の
出現頻度を考慮した、従来よりも信頼性に優れた類似文
書検索が可能となるとともに、同時に複数の検索対象文
書と複数の被検索対象文書を対象とした類似文書検索を
高効率にかつ高精度に行うことが可能となる。

【００９４】また、外部記憶装置５に記憶された各文書
データについて単語頻度表と文書ノルム表を予め作成し
ておき、検索対象および被検索対象の各文書が指定され
たところで各文書の単語頻度表および文書ノルム表を参
照して文書データ間の類似度計算を行うことで、連続し
て複数の検索対象文書と複数の被検索対象文書との類似
度を算出する場合、すなわち１つの検索対象文書と各被
検索対象文書との類似度計算を行った後、次の１つの検
索対象文書と各被検索対象文書との類似度計算を行う場
合に、単語頻度表の作成やノルムの計算を重複して行う
必要がなくなり、高速な処理が可能となる。

【００９５】さらに、本実施形態においては、検索対象
文書と被検索対象文書との類似度算出において、各単語
頻度表のベクトルデータの内積計算に必要な、検索対象
文書の単語頻度表と被検索対象文書の単語頻度表との間
での共通単語についての出現頻度情報を単語対応表を参
照することによって一意に得られるので、より一層の処
理の高速化を図ることができる。

【００９６】さらに、本実施形態においては、図１４に
て説明したように、検索対象文書と被検索対象文書の各
単語頻度表を複数個のグループ単位で外部記憶装置５か
らメモリ上に呼び出して、可能な限りの組み合わせで検
索対象文書と被検索対象文書との類似度計算を行い、引
き続き次のグループの検索対象文書と被検索対象文書の
各単語頻度表をメモリ上に呼び出して（書き替えて）同
様に類似度計算を行うようにしたことで、外部記憶装置
５のアクセス回数を減らすことができる。

【００９７】例えば、検索対象文書の単語頻度表の数を
ｍ、被検索対象文書の単語頻度表の数をｎ、分割数を
ｖ、節を１としたとき、本方式では、単語頻度表読み込
み時にｎｖ＋ｍ回，類似度算出結果の書き込み時にｖｍ
回、また、出力編集時の類似度算出結果の読み込み時に
ｖｍ回、出力編集結果の書き出しにｍ回の、合計２ｍ
（ｖ＋１）＋ｎｖ回のアクセスが発生する。これは、計
算オーダとしてＯ（ｍ＋ｎ）と表すことができる。

【００９８】比較例として、図１７に示すように、検索
対象文書の単語頻度表と被検索対象文書の単語頻度表を
各々１文書ずつメモリ上に呼び出して類似度計算を行う
方式を考える。この場合、外部記憶装置５のアクセス回
数は、単語頻度表の読み込み時にｎｍ回、類似度算出結
果の書き出し時にｍ回の、合計ｍ（ｎ＋１）回となる。
これは、計算オーダとしてＯ（ｍｎ）なり、本方式の外
部記憶装置５のアクセス回数が非常に少ないことが言え
る。

【００９９】これを具体的な値で示すと、検索対象文書
の単語頻度表の数を１００、被検索対象文書の単語頻度
表の数を１００、分割数を２としたとき、本方式では８
００回、比較例の方式では１０，１００回のファイルア
クセスが発生する。

【０１００】またさらに、本実施形態においては、単語
頻度表を複数の節から構成する構造にしたことで、例え
ば、文書タイトル概要、本文といった節ごとに類似度を
求めることができ、より精度の高い類似度検索結果を得
られる。

【０１０１】

【発明の効果】以上説明したように請求項１および請求
項３記載の発明によれば、文書データ中の検索条件単語
の出現頻度を考慮した類似文書検索が可能となり、ま
た、同時に複数の検索対象文書と複数の被検索対象文書
を対象とした類似文書検索を高効率にかつ高精度に行う
ことが可能となる。

【０１０２】また、請求項１および請求項３の発明で
は、格納手段に格納された各文書データについて単語頻
度表と文書ノルム表を予め作成しておき、検索対象およ
び被検索対象の文書データが指定されたところで、該当
する各文書データの単語頻度表および文書ノルム表から
文書データ間の類似度を求めることで、連続して複数の
検索対象文書と複数の被検索対象文書を対象とした類似
文書検索を行う場合でも単語頻度表の作成やノルムの計
算を重複して行う必要がなくなり、高速な処理が可能と
なる。

【０１０３】さらに、請求項２および請求項４記載の発
明によれば、各文書データ間の類似度算出において、各
単語頻度表のベクトルデータの内積計算に必要な、検索
対象文書の単語頻度表と被検索対象文書の単語頻度表と
の間での共通単語についての出現頻度情報を単語対応表
を参照することによって一意に得られるので、より一層
の処理の高速化を図ることができる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態である類似文書検索装
置のハードウェア構成を示すブロック図

【図２】図１のメモリの構成を示す図

【図３】図２のメモリ内のプログラム部およびバッファ
部の構成を示す図

【図４】文書データの構造を示す図

【図５】単語ＩＤ−単語表の構造を示す図

【図６】検索対象文書の単語頻度表を示す図

【図７】被検索対象文書の単語頻度表を示す図

【図８】文書ノルム表を示す図

【図９】単語対応表を示す図

【図１０】類似度算出結果を示す図

【図１１】類似度算出結果の出力編集結果を示す図

【図１２】外部記憶装置内における文書データおよび単
語頻度表の格納形式を示す図

【図１３】単語抽出表を示す図

【図１４】図１６に示すメイン処理のステップＳ６から
Ｓ１２までの処理を具体的に説明するための図

【図１５】単語抽出処理の全体的な手順を示すフローチ
ャート

【図１６】メイン処理の全体的な手順を示すフローチャ
ート

【図１７】図１６に示すメイン処理のステップＳ６から
Ｓ１２までの処理に対する比較例を示す図

【図１８】類似文書検索結果である文書一覧画面を示す
図

【図１９】類似文書検索結果である文書画面を示す図

【図２０】単語抽出処理の詳細を示すフローチャート

【図２１】初期化処理の詳細を示すフローチャート

【図２２】ノルム計算処理の詳細を示すフローチャート

【図２３】単語対応表作成処理の詳細を示すフローチャ
ート

【図２４】類似度算出処理の詳細を示すフローチャート

【図２５】図２４に続いて類似度算出処理の詳細を示す
フローチャート

【図２６】出力編集処理の詳細を示すフローチャート

【図２７】従来の類似文書検索方式を説明するための図

【符号の説明】

１……入力装置 ２……表示装置 ３……制御装置 ４……メモリ ５……外部記憶装置 １０ａ……単語抽出部 １０ｂ……入力文書データ格納バッファ １０ｃ……単語ＩＤ−単語表格納バッファ １０ｄ……単語頻度表格納バッファ １０ｅ……単語抽出表格納 １１ａ……メイン処理部 １１ｂ……初期化部 １１ｃ……ノルム計算部 １１ｄ……単語対応表作成部 １１ｅ……類似度算出部 １１ｆ……出力編集部 １１ｇ……文書一覧表示部 １１ｈ……文書選択部 １１ｉ……文書内容表示部 １１ｊ……検索対象・単語頻度表格納バッファ １１ｋ……被検索対象・単語頻度表格納バッファ １１ｌ……文書ノルム表格納バッファ １１ｍ……単語対応表格納バッファ １１ｎ……類似度算出結果格納バッファ １１ｏ……出力編集結果格納バッファ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 久保田 直秀 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内 (72)発明者 中本 幸夫 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内 (72)発明者 仁科 卓哉 東京都青梅市新町1381番地１ 東芝コンピ ュータエンジニアリング株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の文書データを格納する格納手段
   と、 前記格納手段に格納された文書データごとに、予め設定
   された検索条件単語ごとの出現頻度を求めて単語頻度表
   を作成する単語頻度表作成手段と、 前記格納手段に格納された文書データごとに、前記単語
   頻度表作成手段により作成された単語頻度表中の検索条
   件単語ごとの出現頻度を要素とする１次元ベクトルのノ
   ルムを算出して文書ノルム表を作成する文書ノルム表作
   成手段と、 前記格納手段に格納された文書データの中から検索対象
   および被検索対象の各文書データを指定する指定手段
   と、 前記指定手段により指定された各文書データ間の類似度
   を、前記単語頻度表および前記文書ノルム表に基づき算
   出する類似度算出手段とを有することを特徴とする類似
   文書検索装置。
2. 【請求項２】 複数の文書データを格納する格納手段
   と、 前記格納手段に格納された文書データごとに、予め設定
   された検索条件単語ごとの出現頻度を求めて単語頻度表
   を作成する単語頻度表作成手段と、 前記格納手段に格納された文書データごとに、前記単語
   頻度表作成手段により作成された単語頻度表中の検索条
   件単語ごとの出現頻度を要素とする１次元ベクトルのノ
   ルムを算出して文書ノルム表を作成する文書ノルム表作
   成手段と、 前記格納手段に格納された文書データの中から検索対象
   および被検索対象の各文書データを指定する指定手段
   と、 前記指定手段により指定された各文書データに対して前
   記単語頻度表作成手段にて作成された各単語頻度表間の
   共通単語の登録位置関係を示す単語対応表を作成する単
   語対応表作成手段と、 前記指定手段により指定された各文書データ間の類似度
   を、前記単語頻度表、前記文書ノルム表および前記単語
   対応表に基づき算出する類似度算出手段とを有すること
   を特徴とする類似文書検索装置。
3. 【請求項３】 文書データベースに格納された個々の文
   書データごとに、予め設定された検索条件単語ごとの出
   現頻度を求めて単語頻度表を作成する工程と、 文書データベースに格納された個々の文書データごと
   に、前記作成された単語頻度表中の検索条件単語ごとの
   出現頻度を要素とする１次元ベクトルのノルムを算出し
   て文書ノルム表を作成する工程と、 前記文書データベースに格納された文書データの中から
   検索対象および被検索対象の各文書データを指定する工
   程と、 前記指定された各文書データ間の類似度を、前記単語頻
   度表および前記文書ノルム表に基づき算出する工程とを
   有することを特徴とする類似文書検索方法。
4. 【請求項４】 文書データベースに格納された個々の文
   書データごとに、予め設定された検索条件単語ごとの出
   現頻度を求めて単語頻度表を作成する工程と、 文書データベースに格納された個々の文書データごと
   に、前記作成された単語頻度表中の検索条件単語ごとの
   出現頻度を要素とする１次元ベクトルのノルムを算出し
   て文書ノルム表を作成する工程と、 前記文書データベースに格納された文書データの中から
   検索対象および被検索対象の各文書データを指定する工
   程と、 前記指定された各文書データに対して作成された各単語
   頻度表間の共通単語の登録位置関係を示す単語対応表を
   作成する工程と、 前記指定された各文書データ間の類似度を、前記単語頻
   度表、前記文書ノルム表および単語対応表に基づき算出
   する工程とを有することを特徴とする類似文書検索方
   法。