JPH09160928A - 文書検索方法及び装置 - Google Patents

文書検索方法及び装置

Info

Publication number
JPH09160928A
JPH09160928A JP7320544A JP32054495A JPH09160928A JP H09160928 A JPH09160928 A JP H09160928A JP 7320544 A JP7320544 A JP 7320544A JP 32054495 A JP32054495 A JP 32054495A JP H09160928 A JPH09160928 A JP H09160928A
Authority
JP
Japan
Prior art keywords
document
sentence
similarity
search
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7320544A
Other languages
English (en)
Inventor
Masato Yajima
真人 矢島
Noriko Koyama
紀子 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP7320544A priority Critical patent/JPH09160928A/ja
Publication of JPH09160928A publication Critical patent/JPH09160928A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】ユーザが望む文書と内容が類似した文書を検索
できるようにする。 【解決手段】入力文保存部8に保存された検索キーとな
る入力文書と、文書記憶部11に記憶されている各文書
(検索対象文書)との間の文書全体の類似度を求める文
書類似度計算部10を設け、入力部1から検索要求コマ
ンドが入力された場合には、入力文保存部8から1文を
検索入力文として取り出すと共に、文書記憶部11から
1文書を検索対象文書として取り出し、検索入力文と検
索対象文書の各文との間の文節ごとの類似度を文節類似
度計算部6により計算させ、その計算結果に基づく最適
組み合わせ算出部7の組み合わせ結果から、検索入力文
と検索対象文書の各文との間のそれぞれ文全体の類似度
を求めて順次加算する操作を、入力文書のすべての文に
ついて行うことで、入力文書と検索対象文書との間の文
書全体の類似度を求め、その類似度をもとに文書検索を
行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、検索の対象となる
大量の文書中からユーザ指定の文書と類似している文書
を検索するのに好適な文書検索方法及び装置に関する。
【0002】
【従来の技術】日本語ワードプロセッサや光学的文字読
取装置(OCR)などの文書入力装置の普及に伴い、従
来紙やマイクロフィルムという形態で保存していた文書
を、電子化して磁気ディスクや光磁気ディスクなどの外
部記憶装置に保存するようになってきた。また大量の電
子化された文書データから、いかにユーザが要求する文
書を検索するかというテキスト検索技術も開発され発展
しつつある。
【0003】従来の検索技術では、ユーザが文書を検索
するために検索キーとなる文字列や単語などを入力し
て、検索キーが含まれる文書を検索するという方式をと
ることが多く、検索キーである文字列や単語が検索文書
内でどのように使われているかを問わないので、ユーザ
が望む文書以外に、意味のない文書を検索してしまうと
いう問題があった。
【0004】これに対して、特願平5−212515号
にて提案されているように、文を一定の文構成単位、例
えば文節単位に分割して文節ごとに類似度を計算し、最
も類似している文節の組み合わせを求めるという検索方
式がある。この方式では、入力した文(ユーザ指定の
文)に対して文全体が類似している文を検索できるとい
う特長がある。これによると、単なる文字列や単語によ
る検索と異なり1文を検索キーとするため、ユーザが期
待する文章表現と類似した文を含む文書を検索すること
ができる。
【0005】しかし、この方式では、例えばユーザが特
定の文書と内容が類似した文書を検索したいと考えた場
合、当該特定の文書内の各文に対して類似した文を含む
文書を検索することはできるが、文書全体が類似した文
書とは限らないため、やはり意味のない文書を検索して
しまうという可能性を免れなかった。
【0006】
【発明が解決しようとする課題】上記したように従来の
文書検索方式では、ユーザ指定の1文と類似した文を含
む文書を検索することはできるものの、特定の文書に対
して類似した文書を検索することはできなかった。
【0007】本発明は上記事情を考慮してなされたもの
でその目的は、特定の文書(ユーザの入力した文書ある
いはユーザの指定した文書)内の各文と類似した文を含
む文書を検索するだけでなく、文書全体がどれだけ類似
しているかを総合的に判断することで、当該特定の文書
と内容が類似した文書を検索することができる文書検索
方法及び装置を提供することにある。
【0008】
【課題を解決するための手段】本発明の第1の観点に係
る文書検索方法は、指定文書(ユーザが入力した文書あ
るいはユーザが指定した文書)の中のすべての文を検索
入力文として、検索対象として用意されている文書中の
各文との間で一定の文構成単位ごとに比較することで当
該文構成単位の類似度を計算して、その文全体の類似度
を求め、その文全体の類似度を順次加算した値を上記指
定文書と検索対象文書との間の文書全体の類似度として
求める操作を、検索対象となるすべての文書について行
うことにより、この文書全体の類似度をもとに検索対象
となる複数の文書の中から上記指定文書と類似した文書
を検索することを特徴とする。
【0009】本発明の第2の観点に係る文書検索方法
は、単語辞書内の各単語ごとに重要度を付与しておき、
指定文書で使用されている各単語の重要度を上記単語辞
書から求めることで、その各単語の重要度に応じて指定
文書中の各文に重み付けを行い、上記第1の観点に係る
文書検索方法において、文全体の類似度を順次加算した
値を文書全体の類似度とするのに代えて、文全体の類似
度と当該文に付された重みとの乗算値を順次加算した値
を文書全体の類似度とするようにしたことを特徴とす
る。
【0010】本発明の第3の観点に係る文書検索方法
は、指定文書で使用されている各単語の頻度を求めるこ
とで、その各単語の頻度に応じて前記指定文書中の各文
に重み付けを行い、上記第1の観点に係る文書検索方法
において、文全体の類似度を順次加算した値を文書全体
の類似度とするのに代えて、文全体の類似度と当該文に
付された重みとの乗算値を順次加算した値を文書全体の
類似度とするようにしたことを特徴とする。
【0011】本発明においては、指定文書中のすべての
文を検索入力文として、検索対象文書中の各文に対して
1文全体の類似度を求めて順次加算した値を文書全体の
類似度とすることで、指定文書と検索対象文書とが文書
全体としてどれだけ類似しているかを、当該文書全体の
類似度で表すことができるため、この文書全体の類似度
をすべての検索対象文書について求めることにより、こ
の文書全体の類似度をもとにすべての検索対象文書の中
から指定文書と類似した文書を検索することが可能とな
る。
【0012】また本発明においては、指定文書で使用さ
れている各単語の重要度または使用頻度に応じて当該指
定文書中の各文に重み付けを行い、その各文ごとの重み
をその文(検索対象文)と検索入力文との文全体の類似
度に反映させることで、すべての検索対象文書の中から
指定文書と類似した文書であって且つ指定文書中で使用
している重要度の高い単語を多数含む、あるいは指定文
書中で使用している単語の使用数の多い文書を検索する
ことが可能となる。
【0013】このように本発明によれば、ユーザ指定の
文書と文書全体が類似した文書を検索することができる
ために、ユーザが特定の文書と類似した文書を検索した
い場合に、従来のように当該特定の文書内で使われてい
る単語やキーワードを選び出して検索したり、重要な文
を選び出して類似した文を含む文書を検索したりする手
間は一切いらなくなり、単に手元にある文書をそのまま
指定文書として入力したり、記憶手段内の文書群の中か
ら所望の文書を指定文書として呼び出すだけで、ユーザ
が意図する文書を検索することが可能となる。
【0014】
【発明の実施の形態】以下、本発明の実施の形態につき
図面を参照して説明する。図1は本発明の一実施形態に
係る文書検索装置の全体構成を示すブロック図である。
【0015】図1の文書検索装置は例えばパーソナルコ
ンピュータ等の情報処理装置により実現されるもので、
入力部1、制御部2、表示部3、単語分割部4、文節合
成部5、文節類似度計算部6、最適組み合わせ算出部
7、入力文保存部8、文重み付け部9、文書類似度計算
部10、文書記憶部11及び単語辞書12から構成され
る。
【0016】入力部1は、文字列や種々の制御コード
(コマンド等)を入力するためのもので、例えばキーボ
ードまたはOCR(光学的文字読取装置)からなる入力
装置である。
【0017】制御部2は装置全体を司るもので、例えば
中央処理ユニット(CPU)である。ここで制御部2
は、文書検索処理を実行するための装置内各部(単語分
割部4、文節合成部5、文節類似度計算部6、最適組み
合わせ算出部7、文重み付け部9、文書類似度計算部1
0)の制御を行う。
【0018】表示部3は、入力文の文字列や検索対象の
文書などを表示するためのもので、例えばCRTディス
プレイ装置または液晶表示装置(等のフラットパネルデ
ィスプレイ装置)である。
【0019】入力文保存部8は、検索のキーとなる入力
文書(指定文書)を一時的に保存するためのもので、例
えばメモリなどからなる内部記憶装置により実現され
る。文書記憶部11は、検索対象となる複数の文書を記
憶しておくためのもので、例えばハードディスク装置や
光ディスク装置などからなる大容量の外部記憶装置によ
り実現される。
【0020】単語辞書12は、多数の単語を、その単語
(を構成する文字列)の表記(見出し)、品詞等と対応
付けで登録しておくもので、ROM等の不揮発性記憶装
置に置かれる。この単語辞書12内の各単語には、その
単語の重要度(を示す情報)が付されている。本実施形
態において、単語辞書12内の重要度を含む登録情報は
固定であるものとする。このような状態で、上記単語の
重要度を変更可能とするためには、例えば単語辞書12
に優先して使用されるユーザ辞書を設け、このユーザ辞
書に所望の単語を登録して、その単語の重要度を任意に
設定可能とすればよい。
【0021】単語分割部4、文節合成部5、文節類似度
計算部6、最適組み合わせ算出部7、文重み付け部9及
び文書類似度計算部10は、文書検索処理に必要な機能
要素であり、それぞれ固有の処理ルーチン(と当該処理
ルーチンを実行するCPU)により実現されるものであ
る。
【0022】単語分割部4は、入力部1から検索のキー
となる文書を構成する文をなす文字列が入力された場合
に、その文字列からなる入力文を検索入力文として単語
単位に分割するものである。ここで文とは、句点で区切
られる文字列、箇条書きの文字列等、文書を構成する独
立の文字列をいう。
【0023】文節合成部5は、単語分割部4により分割
された単語からなる文節を合成するものである。文節類
似度計算部6は、文節合成部5により得られた検索入力
文の文節と、文書記憶部11に記憶されている文書(検
索対象文書)の1文(検索対象文)の文節との類似度計
算を行うものである。
【0024】最適組み合わせ算出部7は、文節類似度計
算部6での類似度計算結果に基づいて、文全体として最
も類似している文節の組み合わせを求めるものである。
文重み付け部9は、入力文保存部8に保存された入力文
書の各文について、その文書中で使用されている単語の
重要度または頻度(使用頻度)に応じて重み付けを行う
ものである。
【0025】文書類似度計算部10は、入力文保存部8
に保存された入力文書のすべての文(検索入力文)につ
いて、文書記憶部11に記憶されている文書(検索対象
文書)の各文(検索対象文)との類似度を計算して、順
次加算し、入力文書(指定文書)と検索対象文書との文
書全体としての類似度を算出するものである。
【0026】次に、図1の構成の動作について、その概
要を説明する。まず入力部1から、検索のキーとなる文
書(入力文書)を構成する文(検索入力文)をなす文字
列が入力されると、当該文字列(入力文)は制御部2を
介して単語分割部4に送られる。単語分割部4は、単語
辞書12を参照して、この入力文を単語単位に分割す
る。このとき単語分割部4は、分割した単語単位に、品
詞、及び活用形、時制などの(形態素情報と呼ばれる)
単語属性情報、及び重要度を付加する。
【0027】単語分割部4が入力文を単語単位に分割し
た結果は、入力文保存部8に保存されると共に、文節合
成部5に送られる。文節合成部5は、単語分割部4によ
り分割された単語から文節を合成する。
【0028】文節合成部5が文節合成した結果は、入力
文保存部8に送られ、先に保存された単語分割結果に対
応付けて保存される。以上の処理は、入力部1から順次
入力される各文について繰り返され、単語ごとに単語属
性情報及び重要度が付加され、さらに文節合成された状
態で、それぞれ検索のキーとなる入力文書(指定文書)
の検索入力文として入力文保存部8に保存される。
【0029】さて、入力文保存部8に検索入力文の群か
らなる入力文書が保存されている状態で、入力部1か
ら、検索要求のコマンドが入力されると、まず制御部2
により文重み付け部9が起動される。すると文重み付け
部9は、入力文保存部8に保存された各検索入力文それ
ぞれの重みを、対応する入力文書中で使用されている単
語の重要度または頻度をもとに計算し、文書類似度計算
部10に送る。
【0030】文書類似度計算部10は、文書記憶部11
から検索対象となる文書を先頭から1文書取り出し、さ
らに、その1文書の先頭から1文(検索対象文)を取り
出して文節類似度計算部6に送る。また文書類似度計算
部10は、入力文保存部8に保存された入力文書中の文
(検索入力文)を先頭から1文取り出して文節類似度計
算部6に送る。
【0031】文節類似度計算部6は、文書類似度計算部
10から送られた入力文の(文書構成単位としての)文
節と、検索対象文の(文書構成単位としての)文節とを
比較して類似度を計算する動作を、(入力文の文節数)
×(検索対象文の文節数)の総当たりで行う。最適組み
合わせ算出部7は、この文節類似度計算部6での各文節
ごとの類似度計算結果に基づいて、文全体として最も類
似している文節の組み合わせを求める。
【0032】文書類似度計算部10は、最適組み合わせ
算出部7での文節組み合わせ結果から文全体の類似度を
計算し、その計算結果(類似度)と、文重み付け部9に
より算出され(て当該文重み付け部9から送られ)た対
応する入力文の重みとの積(乗算値)を求め、文書全体
の類似度(初期値は0)に加算する。
【0033】文書類似度計算部10は、文書記憶部11
から取り出した文書(検索対象文書)に未処理の文(検
索対象文)が残っているか否かを調べ、残っているなら
ば次の文を取り出して、上記入力文(検索入力文)との
類似度を計算し、その計算結果と対応する入力文の重み
との積を求めて、文書全体の類似度に加算する動作を繰
り返す。
【0034】一方、文書記憶部11から取り出した文書
に未処理の文が残っていないならば、文書類似度計算部
10は、入力文保存部8に次の入力文(未処理の入力
文)があるか否かを調べ、あるならば文書記憶部11か
ら取り出した文書の先頭から1文を取り出して、当該次
の入力文との類似度を計算し、その計算結果と対応する
入力文の重みとの積を求めて、文書全体の類似度に加算
する動作を繰り返す。
【0035】やがて、入力文保存部8に次の入力文がな
くなると、文書類似度計算部10は、入力文保存部8に
保存されている文書(入力文書)と文書記憶部11から
取り出した文書(検索対象文書)との間の文書全体の類
似度が求まったものと判断する。
【0036】この場合、文書類似度計算部10は、求ま
った文書全体の類似度から、該当する検索対象文書が入
力文書に類似しているか否かを判断し、類似していると
判断できたならば、当該検索対象文書、即ち文書記憶部
11から取り出した文書を、入力文書に類似した文書で
あるとして表示部3に表示する。
【0037】次に文書類似度計算部10は、文書記憶部
11に未処理の文書(検索対象文書)が残っているか否
かを調べ、残っているならば次の文書を取り出す。そし
て文書類似度計算部10は、入力文保存部8に保存され
た入力文書中の文(検索入力文)を先頭から1文取り出
すと共に、上記文書記憶部11から取り出した検索対象
文書の先頭から1文(検索対象文)を取り出して、入力
文と検索対象文との類似度を求め、その類似度と対応す
る入力文の重みとの積を求めて、その検索対象文書(と
入力文書)との間の文書全体の類似度に加算する動作を
繰り返す。
【0038】やがて、文書記憶部11内に未処理の文書
がなくなると、上記した一連の検索処理は終了する。以
上が、図1の構成の動作の概要である。
【0039】次に、図1の構成の動作の詳細について、
図2乃至図4のフローチャートを参照して説明する。ま
ず制御部2は、入力部1から検索キーとなる文書の1文
(検索入力文)をなす文字列が入力されたと判断すると
(ステップS1)、当該入力文(入力文字列)を入力し
(ステップS2)、表示部3の表示画面に表示すると共
に、単語分割部4に送る。
【0040】ここでは、入力文として、図5(a)にお
いて符号a1で示すような「A社は、低価格のノート型
EWSを開発した。」という文字列が入力され、単語分
割部4に送られたとする。
【0041】単語分割部4は、制御部2から送られた入
力文(検索入力文)a1の文字列を単語辞書12の登録
情報を用いて解析することで単語単位に分割する(ステ
ップS3)。
【0042】ここでは単語分割部4は、図5(a)の入
力文a1を、図6(a)に示すように、「A社」「は」
「低価格」「の」「ノート型」「EWS」「を」「開発
する」のように単語に分割し、それぞれの品詞、活用形
及び時制などの単語属性の情報、及び(単語辞書12に
登録されている)当該単語の重要度を付加する。この図
6(a)に示したような単語分割部4による単語分割結
果は、入力文保存部8に保存されると共に文節合成部5
に渡される。
【0043】単語分割部4による単語分割処理が終了す
ると、制御部2により文節合成部5が起動される。文節
合成部5は、単語分割部4により得られた単語を合成し
て、文節を生成する(ステップS4)。
【0044】ここでは、図6(a)に示す単語分割処理
結果から、図6(b)のように、「A社は」「低価格
の」「ノート型」「EWSを」「開発する」の5文節が
生成される。
【0045】文節合成部5による文節単位への合成処理
が終了すると、図6(b)に示したような当該文節合成
の結果が、図6(a)に示したような単語分割結果に対
応付けて、制御部2により入力文保存部8に保存される
(ステップS5)。
【0046】以上のステップS1からS5までの処理を
繰り返すことで、入力文保存部8には入力部1から入力
された入力文(検索入力文)が図6(a),(b)に示
したような形式で順次保存される。
【0047】図5(a)は、このような入力部1から順
次文を入力してできた入力文書を示すもので、上記した
入力文a1の他に、入力文a2,a3から構成されるも
のとする。
【0048】次に、入力文保存部8に入力文書が保存さ
れている状態で、入力部1から検索要求のコマンドが入
力されたものとする。制御部2は、入力部1から検索要
求のコマンドが入力されたことを検出すると(ステップ
S1)、文重み付け部9を起動する。すると文重み付け
部9は、入力文保存部8に保存されている入力文書の各
文(検索入力文)それぞれの重みを、その文書中で使用
されている単語の重要度または頻度をもとに算出するす
る重み付け処理を行う(ステップS6)。
【0049】以下、この文重み付け部9によるステップ
S6の重み付け処理の詳細を、入力文保存部8に保存さ
れている文書中で使用されている単語の重要度から各文
に重み付けをする場合を例に、図4(a)のフローチャ
ートを参照して説明する。
【0050】文重み付け部9は、入力文保存部8に保存
されている入力文書の各文ごとに、その文で使われてい
る単語の重要度を加算して、各文ごとの重みを求める
(ステップS21)。ここで各文で使われている単語の
重要度は、前記ステップS3で単語分割部4が単語単位
の分割を行った時点で、図6(a)の例のように単語ご
とに付加されて、入力文保存部8に保存されたものであ
る。
【0051】図5(a)に示した入力文a1〜a3から
なる文書が入力文保存部8に保存されている例では、先
頭の「A社は、低価格のノート型EWSを開発した。」
という入力文a1中の各単語の重要度は、図6(a)か
ら明らかなように、「A社」=1、「ノート型」=2、
「EWS」=1なので(他の単語の重要度はすべて
0)、その重要度を加算した結果は1+2+1=4とな
り、これが先頭の入力文a1の重みとされる。
【0052】同様にして、後続の入力文a2,a3につ
いても、その入力文a2,a3中の各単語の重要度を加
算する処理が行われて、その加算結果が入力文a2,a
3の重みとされる。
【0053】図7(a)は、このようにして求められた
(入力文保存部8に保存されている文書中の)各入力文
a1〜a3の重みの一例を示す。次に、上記ステップS
6の処理の詳細を、入力文保存部8に保存されている文
書に使われている単語の頻度から各文に重み付けをする
場合を例に、図4(b)のフローチャートを参照して説
明する。
【0054】まず文重み付け部9は、入力文保存部8に
保存されている文書(ここでは、図5(a)に示すよう
に文a1〜a3からなる文書)で使用されている各単語
の頻度(使用頻度)を調べる(ステップS31)。
【0055】ここでは、各単語の頻度を上記した単語の
重要度と同様に扱うようにしており、1文書中で1回し
た使用されない単語(頻度1の単語)については対象外
とする。したがって、図5(a)の文書の例では、各単
語の頻度として、「A社」=2、「ノート型」=2、
「EWS」=3、「B社」=2が求められる。
【0056】次に文重み付け部9は、入力文保存部8に
保存されている文書の各文ごとに、その文で使われてい
る各単語の頻度を加算して、各文ごとの重みを求める
(ステップ32)。
【0057】図5(a)に示した入力文a1〜a3から
なる文書が入力文保存部8に保存されている例では、先
頭の「A社は、低価格のノート型EWSを開発した。」
という入力文(第1文)a1の重みは、当該入力文a1
中の単語の頻度が「A社」=2、「ノート型」=2、
「EWS」=3であることから、2+2+3=7とな
る。
【0058】同様に、「ノート型EWSは、すでにB社
が今年5月に発売した。」という入力文(第2文)a2
の重みは、当該入力文a2中の単語の頻度が「ノート
型」=2、「EWS」=3、「B社」=2であることか
ら、2+3+2=7となり、「A社のEWSは、B社よ
りも10%程度価格が下がった。」という入力文(第3
文)a3の重みは、当該入力文a3中の単語の頻度が、
「A社」=2、「EWS」=3、「B社」=2の頻度か
ら2+3+2=7となる以上が文重み付け部9によるス
テップS6の処理の詳細である。
【0059】文重み付け部9によるステップ6の処理が
行われて、入力文保存部8に保存されている文書の各文
ごとの重みが求められると、制御部2により文書類似度
計算部10が起動される。
【0060】文書類似度計算部10は、文書記憶部11
から検索対象となる文書を先頭から順に1文書取り出す
(ステップS7)。ここでは、文書記憶部11から、図
5(b)に示すような、文b1,b2からなる先頭の文
書が取り出されたものとする。但し、文書記憶部11に
実際に格納されている文書(中の各文)の形式は、入力
文保存部8に保存されている文書(中の各文)と同様で
あり、図5(b)に示したような単なる文字列(文字コ
ード列)の形ではない。即ち文書記憶部11には、各文
書中の各文が、あらかじめ単語分割部4の処理(または
単語分割部4と同等の機能)により分割された(単語属
性情報及び重要度が付加された)単語列と、文節合成部
5の処理(または文節合成部5と同等の機能)により生
成された文節列の形で格納されている。
【0061】文書類似度計算部10は、ステップS7で
文書記憶部11から検索対象となる1文書を取り出す
と、今度は入力文保存部8から先頭の1文(検索入力
文)を取り出すと共に(ステップS8)、ステップS7
で文書記憶部11から取り出した検索対象文書の先頭か
ら1文を検索対象文として取り出し(ステップS9)、
その取り出した検索入力文と検索対象文の文節を文節類
似度計算部6に渡す。
【0062】文節類似度計算部6は、文書類似度計算部
10がステップS8で取り出した検索入力文の文節とス
テップS9で取り出した文書記憶部11中の文書(検索
対象文書)の1文(検索対象文)の文節とを当該文書類
似度計算部10から受け取ると、その検索入力文の1文
節と検索対象文の1文節とを比較して、その文節間の類
似度を計算する(ステップS10)。この文節類似度計
算部6での類似度計算は、(検索入力文の文節数)×
(検索対象文の文節数)の総当たりで行われ、すべての
文節について繰り返される(ステップS11)。
【0063】最適組み合わせ算出部7は、文節類似度計
算部6による検索入力文と検索対象文との文節間の類似
度計算の結果に基づいて、当該検索入力文と検索対象文
との間で文全体として最も類似している文節の組み合わ
せ(最適組み合わせ)を求める(ステップS12)。
【0064】ここでは、図5(a)に示す文書中の入力
文(検索入力文)a1と、図5(b)に示す文書中の第
1文(検索対象文)b1の文節間の類似度計算が行わ
れ、その文a1,b1間で文全体として最も類似してい
る文節の組み合わせとして、「A社は」と「A社は」、
「低価格の」と「低価格の」、及び「EWSを」と「E
WSを」の3文節が求められたものとする。この最適組
み合わせ算出部7での最適組み合わせ算出結果は、文書
類似度計算部10に渡される。
【0065】文書類似度計算部10は、最適組み合わせ
算出部7から最適組み合わせ算出結果を受け取ると、そ
の結果をもとに、例えば検索入力文中の文節数に対する
最も類似している文節の組み合わせ数の割合を求めて文
全体の類似度とし、それにステップS6で文重み付け部
9により求められている対応する検索入力文の重みを乗
じた値(文全体の類似度と検索対象文書の重みとの積)
を算出する(ステップS13)。
【0066】ここでは、最適組み合わせ算出部7の処理
より、検索入力文a1の5文節中「A社は」「低価格
の」「EWSを」の3文節が検索対象文b1と一致して
いることが求められているため、その割合(最も類似し
ている文節の組み合わせ数の割合)3/5=0.6が、
検索入力文a1と検索対象文b1との間の文全体の類似
度として計算される。また、文重み付け部9で求められ
た検索入力文a1の重みは、例えば単語の重要度を用い
た重み付けの例では、4である。この場合、ステップS
13で求められる、検索入力文a1と検索対象文b1の
間の類似度と検索入力文a1の重みとの積は、0.6×
4=2.4となる。
【0067】次に文書類似度計算部10は、ステップS
13で求めた値(文全体の類似度と重みとの乗算値)
を、文書全体の類似度(ここでは、入力文保存部8に保
存されている文書とステップS7で文書記憶部11から
取り出された検索対象文書との間の文書全体の類似度)
に加算する(ステップS14)。この文書全体の類似度
の初期値は0であり、したがって1回目の加算結果は、
ステップS13で求めた値に一致する。
【0068】文書類似度計算部10はステップS14を
実行すると、ステップS7で取り出した検索対象文書の
中に未処理の文、即ちステップS9で未だ取り出されて
いない文が残っているか否かを調べる(ステップS1
5)。
【0069】もし、未処理の文があるならば、文書類似
度計算部10はステップS9に戻り、ステップS7で取
り出した検索対象文書の中から次の1文を検索対象文と
して取り出す。ここで取り出される次の文は、図5
(b)に示す文書中の第2文(最後の検索対象文)b2
である。
【0070】さて、検索入力文a1と検索対象文b2と
の間では、「ノート型の」と「ノート型の」、「EW
S」と「EWS」の2文節が対応している。このため、
上記ステップS9に続くステップS10〜S12を経た
後、検索入力文a1中の文節数に対する最も類似してい
る文節の組み合わせ数の割合2/5=0.4が文全体の
類似度として求められ、これに検索入力文a1の重み4
を乗じた値0.4×4=1.6が(その時点における)
文書全体の類似度に加算される(ステップS13,S1
4)。ここでは、加算前の文書全体の類似度が2.4で
あることから、新たな文書全体の類似度は2.4+1.
6=4.0となる。
【0071】ステップS14が実行されると、前記した
ように、ステップS7で取り出した検索対象文書の中に
未処理の文が残っているか否かが調べられる(ステップ
S15)。
【0072】この例のように未処理の文がないならば、
文書類似度計算部10は、入力文保存部8に保存されて
いる文書の中に未処理の文、即ちステップS8で取り出
した検索入力文が残っているか否かを調べる(ステップ
S16)。
【0073】もし、未処理の文があるならば、文書類似
度計算部10はステップS8に戻り、入力文保存部8に
保存されている文書の中から次の1文を検索入力文とし
て取り出す。ここで取り出される次の文は、図5(a)
に示す文書中の第2文(検索入力文)a2である。
【0074】文書類似度計算部10は、ステップS8で
次の検索入力文a2を取り出すと、前記ステップS9以
降の処理を繰り返す。これにより、図5(a)中の検索
入力文a2に対して図5(b)中の各検索対象文b1,
b2の類似度が順次計算され、その都度当該類似度に検
索入力文a2の重み(ここでは図7(a)に示すように
3)を乗じた値が求められて、文書全体の類似度に加算
される。
【0075】以下、同様にして、入力文保存部8に保存
されている文書中の第3文(最後の検索入力文)a3が
ステップS8で取り出され、ステップS9以降の処理が
繰り返される。すると、図5(a)中の検索入力文a3
に対して図5(b)中の各検索対象文b1,b2の類似
度が順次計算され、その都度当該類似度に検索入力文a
3の重み(ここでは図7(a)に示すように2)を乗じ
た値が求められて、文書全体の類似度に加算される。
【0076】この例では、検索入力文a1〜a3と検索
対象文b1,b2との間の文全体の類似度(検索入力文
中の文節数に対する、検索入力文と検索対象文との間で
最も類似している文節の組み合わせ数の割合)は図7
(b)のようになる。
【0077】そして、検索入力文と検索対象文との間の
文全体の類似度が求められる都度、上記ステップS1
3,S14にて、その類似度と当該検索入力文の重みと
の積の値が、文書全体の類似度に加算されていく。
【0078】したがって、図7(b)に示したような検
索入力文a1〜a3と検索対象文b1,b2との間の文
全体の各類似度に、対応する検索入力文の重み(図7
(a)参照)を乗じ、その乗算値(類似度と重みとの
積)を順次加算し終えた段階では、第5(a)に示した
入力文書と図5(b)に示した検索対象文書との間の文
書全体の類似度は、 0.6×4+0.4×4+0.25×3+0.375×
3+0,14×2+0.57×2=7.295 のように求められる。
【0079】この段階では、ステップS7で取り出した
検索対象文書の中に未処理の文はなく(ステップS1
5)、また入力文保存部8に保存された文書の中にも未
処理の文はないことから(ステップS16)、文書類似
度計算部10はステップS17に進む。
【0080】文書類似度計算部10は、ステップ17に
おいて、その時点において求められている文書全体の類
似度(ここでは、7.295)から、入力文保存部8に
保存された入力文書と文書記憶部11から取り出された
検索対象文書とが類似しているか否かを判断する。ここ
での判断基準は、設定された基準値(閾値)を越える類
似度を持つか否かであり、この基準値は、ユーザの要求
する検索精度に応じて適宜変更設定可能である。例え
ば、最低の検索精度でよい場合には、上記基準値は0に
設定される。この場合、文書全体の類似度として0以外
の値が求められているならば、即ち入力文書と検索対象
文書との間に少しでも類似度を持つならば、その大小に
無関係に両文書は類似していると判断される。
【0081】文書類似度計算部10は、入力文保存部8
に保存された文書と文書記憶部11から取り出された検
索対象文書とが類似していると判断した場合、その旨を
制御部2に通知する。すると制御部2は、文書類似度計
算部10により入力文書に類似していると判断された検
索対象文書を表示部3に検索結果として表示する(ステ
ップS18)。
【0082】次に文書類似度計算部10は、文書記憶部
11内に未処理の文書、即ちステップS7で未だ取り出
されていない文書が残っているか否かを調べる(ステッ
プS19)。
【0083】もし、未処理の文書があるならば、文書類
似度計算部10はステップS7に戻り、文書記憶部11
から次の1文書を検索対象文書として取り出し、前記し
たステップS8以降の処理を行う。
【0084】これに対し、未処理の文書がないならば、
文書類似度計算部10は制御部2に制御を戻して処理を
終了する。なお、本発明は前記した実施の形態に限定さ
れるものではない。
【0085】即ち、前記実施形態では、入力文保存部8
に保存された入力文書の各文の重み付けを行うのに、単
語の重要度に従う重み付けの手法を適用した場合と、入
力文書中で使用されている単語の頻度(使用頻度)に従
う重み付けの手法を適用した場合について説明したが、
これに限るものではない。例えば、単語の重要度をすべ
て同じ値(例えば1)に設定すれば、重み付けしない場
合と等価であると見なせる。また、単語の重要度と単語
の頻度とを組み合わせて重み付けするようにしても構わ
ない。具体的には、入力文書に現れる単語の重要度と当
該単語の頻度との積を各文で加算し、その加算結果を該
当する文の重みとするようにしてもよい。この場合、頻
度1の単語も対象とするとよい。
【0086】また、前記実施形態では、入力文保存部8
に保存される(単語分割、文節合成後の)入力文の群か
らなる文書、即ち検索キーとなる文書が、入力部1から
入力されたものである場合について説明したが、例えば
文書記憶部11に記憶されている複数の文書の中からユ
ーザにより指定された文書であっても構わない。
【0087】また、前記実施形態では、文書記憶部11
に記憶されている複数の文書のすべてが検索の範囲(検
索対象文書)となる場合について説明したが、ユーザに
より指定された範囲の文書だけを検索対象文書とするこ
とも可能である。要するに本発明は、その要旨を逸脱し
ない範囲で種々変形して実施することができる。
【0088】
【発明の効果】以上詳述したように本発明によれば、指
定文書(ユーザの入力した文書あるいはユーザの指定し
た文書)中のすべての文を検索入力文として、検索対象
として用意された文書中の各文に対して、1文全体の類
似度を求めて順次加算した値を文書全体の類似度とし、
指定文書と検索対象文書とが文書全体としてどれだけ類
似しているかを、当該文書全体の類似度で表すことによ
り、この文書全体の類似度をもとに検索対象となる複数
の文書の中から指定文書と類似した文書を検索すること
ができ、ユーザが望む文書と類似する文書を検索する際
に、ユーザは検索キーとして単語やキーワードなどを選
び出すというような手間が一切必要なくなる。
【0089】また本発明によれば、指定文書で使用され
ている各単語の重要度または使用頻度の少なくとも一方
に応じて当該指定文書中の各文に重み付けを行い、その
各文ごとの重みをその文(検索対象文)と検索入力文と
の文全体の類似度に反映させることで、すべての検索対
象文書の中から指定文書と類似した文書であって且つ指
定文書中で使用している重要度の高い単語を多数含む、
あるいは指定文書中で使用している単語の使用数の多い
文書を検索することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る文書検索装置の全体
構成を示すブロック図。
【図2】同実施形態の動作を説明するためのフローチャ
ートの一部を示す図。
【図3】同実施形態の動作を説明するためのフローチャ
ートの残りを示す図。
【図4】図3中のステップ6の処理(入力文の重み付け
処理)の詳細を説明するためのフローチャートであり、
図4(a)は単語の重要度により文に重み付けをする場
合のフローチャート、図4(b)は入力文書内での単語
の使用頻度により文に重み付けをする場合のフローチャ
ート。
【図5】入力部1から入力された検索のキーとなる入力
文書を構成する複数の入力文の例と、文書記憶部11か
ら取り出された検索対象文書を構成する複数の文(検索
対象文)の例を示す図。
【図6】図1中の単語分割部4による単語分割結果(単
語分割された文、当該文の各単語、及び重要度を含む付
加情報)の例と、この分割された各単語が文節合成部5
により合成されて文節が生成された例を示す図。
【図7】図5中の入力文書の各入力文a1〜a3に文重
み付け部9が単語の重要度により重み付けした場合の各
入力文a1〜a3の重みの例と、文書類似度計算部10
により求められる図5中の入力文書の各入力文a1〜a
3と検索対象文b1,b2との間の文全体の各類似度の
例を示す図。
【符号の説明】
1…入力部、 2…制御部、 3…表示部、 4…単語分割部、 5…文節合成部、 6…文節類似度計算部(文構成単位類似度計算手段)、 7…最適組み合わせ算出部、 8…入力文保存部、 9…文重み付け部、 10…文書類似度計算部、 11…文書記憶部、 12…単語辞書、 a1〜a3…文(検索入力文)、 b1,b2…文(検索対象文)。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 指定された文書中のすべての文を検索入
    力文として、検索対象として用意されている文書中の各
    文との間で一定の文構成単位ごとに比較することで当該
    文構成単位の類似度を計算して、その文全体の類似度を
    求め、 その文全体の類似度を順次加算した値を前記指定文書と
    検索対象文書との間の文書全体の類似度として求める操
    作を、検索対象となるすべての文書について順次行うこ
    とにより、 前記求めた文書全体の類似度をもとに、前記検索対象と
    なる複数の文書の中から前記指定文書と類似した文書を
    検索することを特徴とする文書検索方法。
  2. 【請求項2】 複数の文書を記憶しておくための文書記
    憶手段と、 検索入力文と検索対象文との間で一定の文構成単位ごと
    に比較することで当該文構成単位の類似度を計算する文
    構成単位類似度計算手段と、 この文構成単位類似度計算手段の計算結果をもとに、前
    記検索入力文と検索対象文との間で最も類似している文
    構成単位の組み合わせを求める最適組み合わせ算出手段
    と、 指定された文書から1文を検索入力文として取り出すと
    共に、前記文書記憶手段から1文書を検索対象文書とし
    て取り出して、前記検索入力文と前記検索対象文書の各
    文との間の文構成単位の類似度を、前記文構成単位類似
    度計算手段により計算させ、その計算結果に基づく前記
    最適組み合わせ算出手段の組み合わせ結果から、前記検
    索入力文と前記検索対象文書の各文との間のそれぞれ文
    全体の類似度を求めて順次加算する操作を、前記指定文
    書のすべての文について行うことで、前記指定文書と検
    索対象文書との間の文書全体の類似度を求める文書類似
    度計算手段とを具備し、 前記指定文書との文書全体の類似度を前記文書記憶手段
    内の検索対象となる複数の文書のそれぞれについて求め
    ることにより、当該文書全体の類似度をもとに、前記検
    索対象となる複数の文書の中から前記指定文書と類似し
    た文書を検索することを特徴とする文書検索装置。
  3. 【請求項3】 単語辞書内の各単語ごとにその重要度を
    付与しておき、 指定された文書で使用されている各単語の重要度を前記
    単語辞書から求めることで、その各単語の重要度に応じ
    て前記指定文書中の各文に重み付けを行い、 前記指定文書中のすべての文を検索入力文として、検索
    対象として用意されている文書中の各文との間で一定の
    文構成単位ごとに比較することで当該文構成単位の類似
    度を計算して、その文全体の類似度を求め、 その文全体の類似度と当該文に付された重みとの乗算値
    を順次加算した値を前記指定文書と検索対象の文書との
    間の文書全体の類似度として求める操作を、検索対象と
    なるすべての文書について行うことにより、 前記求めた文書全体の類似度をもとに、前記検索対象と
    なる複数の文書の中から前記指定文書と類似した文書を
    検索することを特徴とする文書検索方法。
  4. 【請求項4】 重要度を示す情報が付された複数の単語
    を登録しておくための単語辞書と、 この単語辞書の示す、指定された文書で使用されている
    各単語の重要度に応じて前記指定文書中の各文に重み付
    けを行う文重み付け手段と、 複数の文書を記憶しておくための文書記憶手段と、 検索入力文と検索対象文との間で一定の文構成単位ごと
    に比較することで当該文構成単位の類似度を計算する文
    構成単位類似度計算手段と、 この文構成単位類似度計算手段の計算結果をもとに、前
    記検索入力文と検索対象文との間で最も類似している文
    構成単位の組み合わせを求める最適組み合わせ算出手段
    と、 前記指定文書から1文を検索入力文として取り出すと共
    に、前記文書記憶手段から1文書を検索対象文書として
    取り出して、前記検索入力文と前記検索対象文書の各文
    との間の文構成単位の類似度を、前記文構成単位類似度
    計算手段により計算させ、その計算結果に基づく前記最
    適組み合わせ算出手段の組み合わせ結果から、前記検索
    入力文と前記検索対象文書の各文との間のそれぞれ文全
    体の類似度を求め、その文全体の類似度と前記文重み付
    け手段により当該文に付された重みとの乗算値を順次加
    算する操作を、前記指定文書のすべての文について行う
    ことで、前記指定文書と検索対象文書との間の文書全体
    の類似度を求める文書類似度計算手段とを具備し、 前記指定文書との文書全体の類似度を前記文書記憶手段
    内の検索対象となる複数の文書のそれぞれについて求め
    ることにより、当該文書全体の類似度をもとに、前記検
    索対象となる複数の文書の中から前記指定文書と類似し
    た文書を検索することを特徴とする文書検索装置。
  5. 【請求項5】 指定された文書で使用されている各単語
    の頻度を求めることで、その各単語の頻度に応じて前記
    指定文書中の各文に重み付けを行い、 前記指定文書中のすべての文を検索入力文として、検索
    対象として用意されている文書中の各文との間で一定の
    文構成単位ごとに比較することで当該文構成単位の類似
    度を計算して、その文全体の類似度を求め、 その文全体の類似度と当該文に付された重みとの乗算値
    を順次加算した値を前記指定文書と検索対象の文書との
    間の文書全体の類似度として求める操作を、検索対象と
    なるすべての文書について行うことにより、 前記求めた文書全体の類似度をもとに、前記検索対象と
    なる複数の文書の中から前記指定文書と類似した文書を
    検索することを特徴とする文書検索方法。
  6. 【請求項6】 指定された文書で使用されている各単語
    の頻度を求めることで、その各単語の頻度に応じて前記
    指定文書中の各文に重み付けを行う文重み付け手段と、 複数の文書を記憶しておくための文書記憶手段と、 検索入力文と検索対象文との間で一定の文構成単位ごと
    に比較することで当該文構成単位の類似度を計算する文
    構成単位類似度計算手段と、 この文構成単位類似度計算手段の計算結果をもとに、前
    記検索入力文と検索対象文との間で最も類似している文
    構成単位の組み合わせを求める最適組み合わせ算出手段
    と、 前記指定文書から1文を検索入力文として取り出すと共
    に、前記文書記憶手段から1文書を検索対象文書として
    取り出して、前記検索入力文と前記検索対象文書の各文
    との間の文構成単位の類似度を、前記文構成単位類似度
    計算手段により計算させ、その計算結果に基づく前記最
    適組み合わせ算出手段の組み合わせ結果から、前記検索
    入力文と前記検索対象文書の各文との間のそれぞれ文全
    体の類似度を求め、その文全体の類似度と前記文重み付
    け手段により当該文に付された重みとの乗算値を順次加
    算する操作を、前記指定文書のすべての文について行う
    ことで、前記指定文書と検索対象文書との間の文書全体
    の類似度を求める文書類似度計算手段とを具備し、 前記指定文書との文書全体の類似度を前記文書記憶手段
    内の検索対象となる複数の文書のそれぞれについて求め
    ることにより、当該文書全体の類似度をもとに、前記検
    索対象となる複数の文書の中から前記指定文書と類似し
    た文書を検索することを特徴とする文書検索装置。
JP7320544A 1995-12-08 1995-12-08 文書検索方法及び装置 Pending JPH09160928A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7320544A JPH09160928A (ja) 1995-12-08 1995-12-08 文書検索方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7320544A JPH09160928A (ja) 1995-12-08 1995-12-08 文書検索方法及び装置

Publications (1)

Publication Number Publication Date
JPH09160928A true JPH09160928A (ja) 1997-06-20

Family

ID=18122625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7320544A Pending JPH09160928A (ja) 1995-12-08 1995-12-08 文書検索方法及び装置

Country Status (1)

Country Link
JP (1) JPH09160928A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231569A (ja) * 1999-02-09 2000-08-22 Just Syst Corp インターネット情報検索装置、インターネット情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000242654A (ja) * 1999-02-18 2000-09-08 Just Syst Corp 情報処理装置、情報処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN115410602A (zh) * 2022-08-23 2022-11-29 河北工大科雅能源科技股份有限公司 一种语音情感识别方法、装置及电子设备
JP2025134970A (ja) * 2018-11-30 2025-09-17 株式会社半導体エネルギー研究所 文書検索システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231569A (ja) * 1999-02-09 2000-08-22 Just Syst Corp インターネット情報検索装置、インターネット情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000242654A (ja) * 1999-02-18 2000-09-08 Just Syst Corp 情報処理装置、情報処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2025134970A (ja) * 2018-11-30 2025-09-17 株式会社半導体エネルギー研究所 文書検索システム
CN115410602A (zh) * 2022-08-23 2022-11-29 河北工大科雅能源科技股份有限公司 一种语音情感识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US5953718A (en) Research mode for a knowledge base search and retrieval system
US8041560B2 (en) System for adaptive multi-cultural searching and matching of personal names
JP3181548B2 (ja) 情報検索装置及び情報検索方法
US5794177A (en) Method and apparatus for morphological analysis and generation of natural language text
JP2742115B2 (ja) 類似文書検索装置
US7720849B2 (en) Information processing device, information processing method, program, and recording medium
JPH1145241A (ja) かな漢字変換システムおよびそのシステムの各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000200281A (ja) 情報検索装置および情報検索方法ならびに情報検索プログラムを記録した記録媒体
JP4347226B2 (ja) 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
US20090083621A1 (en) Method and system for abstracting electronic documents
JP2004318510A (ja) 対訳情報作成装置、対訳情報作成用プログラム、対訳情報作成方法、対訳情報検索装置、対訳情報検索用プログラム及び対訳情報検索方法
CN115066679B (zh) 一种提取专业领域内的自造术语的方法及系统
JP3198932B2 (ja) 文書検索装置
JP4361299B2 (ja) 評価表現抽出装置、プログラム、及び記憶媒体
JPH09160928A (ja) 文書検索方法及び装置
US7359858B2 (en) User interface for data access and entry
JP2004326479A (ja) 単語間類似度計算プログラム及び装置
JP3848014B2 (ja) 文書検索方法および文書検索装置
JPH08212230A (ja) 文書検索方法及び文書検索装置
JPH08339376A (ja) 外国語検索装置及び情報検索システム
JP4985096B2 (ja) 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム
JP6181890B2 (ja) 文献解析装置、文献解析方法およびプログラム
JP2002073656A (ja) 異表記正規化処理・異表記展開処理方法および該処理方法による文書検索方法、該処理装置および文書検索装置並びにプログラム記録媒体
JP3436109B2 (ja) 関連検索式検索装置及び関連検索式検索プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003016105A (ja) 関連度値算出装置