JPH10320402A - 検索式作成方法、検索式作成装置、及び記録媒体 - Google Patents

検索式作成方法、検索式作成装置、及び記録媒体

Info

Publication number
JPH10320402A
JPH10320402A JP9124561A JP12456197A JPH10320402A JP H10320402 A JPH10320402 A JP H10320402A JP 9124561 A JP9124561 A JP 9124561A JP 12456197 A JP12456197 A JP 12456197A JP H10320402 A JPH10320402 A JP H10320402A
Authority
JP
Japan
Prior art keywords
document
keyword
documents
search
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9124561A
Other languages
English (en)
Inventor
Hiroyuki Nakajima
浩之 中島
Tsuyoshi Kitani
強 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
N T T DATA KK
NTT Data Group Corp
Original Assignee
N T T DATA KK
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by N T T DATA KK, NTT Data Corp filed Critical N T T DATA KK
Priority to JP9124561A priority Critical patent/JPH10320402A/ja
Publication of JPH10320402A publication Critical patent/JPH10320402A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 より重要度の高いキーワードを検索キーワ
ードとして決定することで文書検索精度を一定値以上に
維持する検索式作成装置を提供する。 【解決手段】キーワード抽出部31、文書集合分割部1
1、キーワード文書頻度辞書12、検索式作成部33の
各機能を備えて構成され、検索キーワードの候補が複数
となる場合に、各キーワードが出現する文書数(文書頻
度)をキーワード文書頻度辞書12を参照して比較し、
文書頻度が小さいキーワードを検索キーワードとして決
定し、文書集合を分割する。検索式作成部33では、文
書集合の分割過程で得られた検索キーワードを論理演算
子“and”、及び“or”で結合して検索式を作成す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば大量に蓄積
された学会論文や技術文書等の電子文書から特定のもの
を索出する文書データベースや、予め蓄積された電子文
書例等を文書作成や発想展開の支援のために利用する各
種支援システム等に適用される文書検索技術に係り、特
に、電子文書中から抽出したキーワードを用いて、検索
者が関心のある文書の索出を効率的に行うための検索式
を試行錯誤的に作成する技術に関する。
【0002】
【従来の技術】検索対象となる電子文書を蓄積した文書
データベースからあるキーワードを抽出し、このキーワ
ードの論理積や論理和の組み合わせにより所要の検索式
を検索者と協調して試行錯誤的に作成する検索式作成装
置が知られている。
【0003】図3は、従来のこの種の検索式作成装置の
機能構成図である。この検索式作成装置30は、コンピ
ュータ装置が所定のプログラムを読み込んで実行するこ
とにより形成される、キーワード抽出部31、文書集合
分割部32、及び検索式作成部33の機能ブロックを備
えている。なお、文書には、それぞれ検索者が関心のあ
る必要文書か、関心のない不要文書かを表す必要・不要
の指定情報が付与されているものとする。
【0004】キーワード抽出部31は、複数の文書から
公知の形態素解析処理によって文書毎に複数のキーワー
ドの抽出処理を行う。また、個々の文書におけるキーワ
ードの出現の有無を表す判別情報及び当該文書が必要文
書か不要文書かを表す識別情報を、文書名や文書番号等
の文書識別子と共に文書集合として出力する。符号31
Bは、キーワード抽出部31から出力される文書集合の
内容を例示したものである。
【0005】文書集合分割部32は、文書集合を上記判
別情報に基づいて段階的に分割し、文書検索に用いる検
索式を作成する場合の基礎となる複数の検索キーワード
を決定する。この場合、出来るだけ一つ(少数)のキー
ワードの判別情報によって文書集合を分割していくこと
で、必要文書と不要文書とを区別した検索者の意図の抽
出が可能となる。文書集合分割部32で決定した複数の
検索キーワードは、検索式作成部33において論理演算
子“and”または“or”で結合され、検索式として
後続処理に出力される。
【0006】文書集合分割部32における文書集合の分
割処理は、例えば公知の決定木(論理式を木構造で表現
したもの)学習アルゴリズムである「ID3」に基づい
て行われる。以下、この決定木学習アルゴリズム「ID
3」による文書集合の分割処理の概要を図4を参照して
説明する。まず、キーワード抽出部31から送られた文
書集合を初期文書集合Set0とする(ステップS10
1)。次に、初期文書集合Set0の“未分割”のフラ
グをオンにする(ステップS102)。これをSeti
とする(ステップS103)。次に、この文書集合Se
i中の必要文書、不要文書に含まれる各キーワードtj
(1≦j≦N)について、文書全体の情報量に対する個
別文書の情報量の相対関係を表す相互情報量I(tj)を
算出する(ステップS104)。相互情報量I(tj)
は、具体的には、未分割の文書集合についての情報量H
からキーワードtjが含まれた文書集合及びキーワード
が含まれない文書集合についての情報量H(tj)を
差し引いた値で表される。また、各情報量H、H(tj)
は、それぞれ下記(1)、(2)式で表される。
【0007】
【数1】
【0008】但し、(1)、(2)式におけるパラメー
タは下記のようになる。 pi:Seti中の必要文書数、 ni:Seti中の不要文書数、 si:pi+ni、i(tj):Seti中でキーワードtjを含む必要文書
数、 ni(tj):Seti中でキーワードtjを含む不要文書
数、 si(tj):pi(tj)+ni(tj)、 pi not(tj):Seti中でキーワードtjを含まない
必要文書数、 ni not(tj):Seti中でキーワードtjを含まない
不要文書数、 si not(tj):pi not(tj)+ni not(tj)、 h(a,b,c):-{a/c・log2(a/c)+b/c・log2(b/c)}
【0009】次に、複数のキーワードtjから相互情報
量I(tk)の値を最大にすることが可能なキーワードt
kを選択し、これを検索キーワードとする(ステップS
105)。この相互情報量I(tk)が正の有限値(>
0)の場合(ステップS106)、検索キーワードtk
を含む文書の番号からなる文書集合をSeti′、検索キ
ーワードtkを含まない文書の番号からなる文書集合を
Seti″として分割し、分割したそれぞれの文書集合
の“未分割”のフラグをオンにする(ステップS107
〜S110)。i′,i″は既に文書集合Seti′、S
eti″が存在しなければ任意の値で良い。一方、相互
情報量I(tk)がゼロ値(=0)の場合は文書集合の分
割を行わない(ステップS106)。
【0010】その後、集合Setiの“未分割”のフラ
グをオフにする(ステップS111)。“未分割”のフ
ラグがオンの文書集合がある場合はステップS103に
戻り(ステップS112,Yes)、“未分割”のフラ
グがオンの文書集合がなくなるまで処理を繰り返す。そ
して、すべての文書集合についての“未分割”のフラグ
がオフになった時点で処理を終える(ステップS11
2,No)。
【0011】この決定木学習アルゴリズム「ID3」に
ついての詳細は、「知識獲得と学習シリーズ1:知識獲
得入門」(Michalski,R.S.他編、共立出
版)を参考にすることができる。また、上記アルゴリズ
ム「ID3」による処理過程は、例えば、公知のアルゴ
リズムである「C4.5」や、また、文書中のキーワー
ドの有無のみを用いて文書集合を分割する他のアルゴリ
ズム等による代用も可能である。「C4.5」の詳細に
ついては、「C4.5 Programs for Machine Learning」
(Quinlan、J.R.著、Morgan Kaufmann Publishers 刊)の
記載を参考にすることができる。
【0012】図5は、上記検索式作成装置30におい
て、一つの文書集合から複数の文書集合に分割され、検
索式が試行錯誤的に作成されていく過程を示す説明図で
ある。以下、図5を参照して、従来の検索式の作成手順
を説明する。まず、キーワード抽出部31から出力され
た初期文書集合Set0から、上述の決定木学習アルゴ
リズム「ID3」に基づいて相互情報量が最大となるキ
ーワードを決定し、これを検索キーワードとする。ここ
では、検索キーワードkwd3が決定されたとする。そ
して、この検索キーワードkwd3によって、初期文書
集合Set0を、検索キーワードkwd3を含む必要文
書の集合Set1と検索キーワードkwd3を含まない
必要文書及び不要文書の集合Set2とに分割する。
【0013】文書集合Set1は、これ以上の分割は不
可能であるが、一方、文書集合Set2はさらなる分割
が可能である。そこで、この文書集合Set2において
相互情報量が最大となる検索キーワードkwd2を決定
し、この検索キーワードkwd2によって文書集合Se
2を、検索キーワードkwd2を含まない不要文書の
集合Set3と検索キーワードkwd2を含む必要及び
不要文書の集合Set4とに分割する。文書集合Set4
は、さらなる分割が可能なので、この文書集合Set4
において相互情報量が最大となるキーワードkwd1を
検索キーワードとして決定し、この検索キーワードkw
d1を含む必要文書の集合Set5と、検索キーワード
kwd1を含まない文書の集合Set6とを分割する。
文書集合Set5及びSet6は、共にこれ以上の分割が
不可能であるため、分割処理を終える。
【0014】上記分割処理において決定された複数の検
索キーワードkwd1〜kwd3は逐次図示しない記憶
手段に保持され、分割処理が終了した時点で検索式作成
部33に渡される。
【0015】検索式作成部33では、文書集合分割部3
2の結果である各検索キーワードを、論理演算子“an
d”、及び“or”により結合して検索式queryを
作成する。符号33Bは、検索式作成部33から出力さ
れる検索式を例示したものである。
【0016】
【発明が解決しようとする課題】しかし、上記従来の検
索式作成装置30では、以下に示すような問題があっ
た。
【0017】(1)文書集合の分割に用いる検索キーワ
ードを、相互情報量と必要文書/不要文書の判別情報を
基準として決定しており、検索者にとって真に重要な検
索キーワードかどうかを考慮していない。そのため、重
要性の低いキーワードがたまたま必要文書/不要文書を
よく区別できる(相互情報量が大きい)場合にはそのキ
ーワードが検索式に含まれてしまう。一方、少数の必要
文書や不要文書にしか含まれないキーワードや、必要・
不要の判別情報が付与されていない文書に含まれるキー
ワードについては、それが検索者にとって重要なキーワ
ードであったとしても検索式に反映されない。その結
果、この検索式を用いた実際の文書検索の精度を高める
ことができない。 (2)決定木学習[ID3」アルゴリズムでは、検索キ
ーワードを決定する際に文書集合を繰り返すが、大規模
な文書データベースを入力として与えた場合には文書集
合の分割処理に多大な処理時間が必要となる。
【0018】そこで本発明の課題は、キーワードの重要
性を検索式の作成処理に反映させて文書検索等における
検索精度を一定値以上に維持するとともに、文書データ
ベース全体を分割することなく検索キーワードの決定及
び検索式の作成をコンピュータ装置を用いて行うことが
できる、改良された方法を提供することにある。また、
本発明の他の課題は、上記検索式作成方法の実施に適し
た検索式作成装置及び上記装置等を汎用のコンピュータ
装置で実現するための記録媒体を提供することにある。
【0019】
【課題を解決するための手段】上記課題を解決する本発
明の検索式作成方法は、文書データベースにおける指定
文書から複数のキーワードを抽出し、抽出した個々のキ
ーワードが出現する文書の総数、出現しない文書の総
数、及び前記文書データベースにおける指定文書と残部
の非指定文書との相対関係に基づくキーワードの重要度
関数を計算する過程、前記計算により得られた関数値が
最大となる単一のキーワードを検索キーワードとして決
定する過程、及び、決定した検索キーワードを論理式で
結合して文書検索に用いる検索式を作成する過程を含む
ことを特徴とする。
【0020】前記重要度関数は、例えば前記文書集合に
おいて個々のキーワードを含む指定文書の数、当該キー
ワードを含まない指定文書の数、当該キーワードを含む
非指定文書の数、当該キーワードを含まない非指定文書
の数、及びすべての文書数に対する当該文書数の比率を
パラメータとする関数である。
【0021】上記課題を解決する本発明の検索式作成装
置は、文書データベースから特定の文書を索出するため
の検索式を作成する装置であって、前記文書データベー
スにおける指定文書群から形態素解析によって複数のキ
ーワードを抽出するとともに抽出した個々のキーワード
が文書中に含まれるか否かを表す判別情報、当該文書が
必要文書か不要文書かを表す指定情報または非指定文書
であることを表す情報を各文書の識別情報と共に集合さ
せた文書集合を生成するキーワード抽出部と、抽出した
個々のキーワードが出現する文書数、出現しない文書
数、及び前記指定文書数と全文書数との相対関係に基づ
くキーワードの重要度関数を設定し、当該関数値が例え
ば最大となる単一のキーワードを検索キーワードとして
決定するとともに、決定した検索キーワードを用いて一
つの文書集合を複数の文書集合に分割する文書集合分割
部と、前記文書集合の分割の際に用いた検索キーワード
を論理式で結合して前記検索式を作成する検索式作成部
と、を有することを特徴とする。
【0022】前記指定文書群は、それぞれ検索者にとっ
て関心のある必要文書と関心のない不要文書から成り、
それぞれ必要または不要の指定情報が付与されて前記検
索キーワードの決定の際の判定に用いられる。また、前
記文書集合分割部は、前記決定した検索キーワードを用
いて指定文書群についての文書集合のみを複数の文書集
合に分割するように構成される。
【0023】上記他の課題を解決する本発明の記録媒体
は、文書データベースにおける指定文書から複数のキー
ワードを抽出し、抽出した個々のキーワードが出現する
文書の総数、出現しない文書の総数、及び前記文書デー
タベースにおける指定文書と残部の非指定文書との相対
関係に基づくキーワードの重要度関数を計算する処理、
前記計算により得られた関数値が最大となる単一のキー
ワードを検索キーワードとして決定する処理、及び、決
定した検索キーワードを論理式で結合して文書検索に用
いる検索式を作成する処理をコンピュータ装置に実行さ
せるためのプログラムを当該コンピュータ装置が読み取
り可能な形態で記録して成る記録媒体である。
【0024】
【発明の実施の形態】以下、本発明の実施の形態を詳細
に説明する。図1は、上記検索式の作成方法の実施に適
した検索式作成装置を示す機能構成図であり、図3で説
明した従来の検索式作成装置30と同一の機能の構成要
素については、同一符号を付して重複説明を省略する。
【0025】本実施形態のデータベース検索装置10
は、コンピュータ装置が所定のプログラムを読み込んで
実行することにより形成される、キーワード抽出部3
1、文書集合分割部11、キーワード文書頻度辞書1
2、検索式作成部33の各機能を備えて構成される。上
記プログラムは、通常、コンピュータ装置に内蔵される
記憶手段に格納され、当該コンピュータ装置の主制御部
(CPU)に随時読み出されて使用されるが、コンピュ
ータ装置とは分離した形態で流通する記録媒体、例えば
CD−ROM等に格納され、使用時に上記記憶手段にイ
ンストールされるものであってもよい。
【0026】なお、本実施形態では、図示しない文書デ
ータベースに蓄積された複数の文書に、予め利用者等に
よって必要文書か不要文書かを表す必要・不要の指定情
報が付与されており、また、この必要・不要の指定情報
が付与されていないものは、不定文書(非指定文書)と
して判別されるものとする。このことから、文書データ
ベース中には必要・不要・不定の3種類に分類できる文
書が存在することになる。
【0027】キーワード文書頻度辞書12は、予め文書
データベースから取り込んだ必要文書、不要文書、不定
文書を形態素解析して抽出したすべてのキーワードにつ
いて、個々のキーワードを含む文書数(文書頻度)を計
数し、計数値をキーワード毎に対応づけて蓄積したもの
である。
【0028】文書集合分割部11は、キーワード抽出部
31から出力された文書集合の分割に用いる検索キーワ
ードを決定するものである。文書集合の分割には前述の
決定木学習アルゴリズム「ID3」を用いる。一般に文
書中に出現する頻度が小さいキーワードは、複数の文書
を区別する際の重要なキーワードとなりうる。そこで、
本実施形態の文書集合分割部11では、検索キーワード
の候補が複数特定された場合に、キーワード文書頻度辞
書12から該当キーワードの文書頻度を索出してそれら
のキーワードの重要度関数を計算し、これにより得られ
た関数値が最大となる単一のキーワード(文書頻度の小
さいキーワード)を検索キーワードとして決定する。本
実施形態では文書を上述のように3種類に分類したた
め、決定木学習アルゴリズム「ID3」に基づいた文書
集合Setiの相互情報量I(tj)を得るための情報量
H、H(tj)は、それぞれ下記(3)、(4)式のよう
になる。
【0029】
【数2】
【0030】但し、 pi:Seti中の必要文書の数 ni:Seti中の不要文書の数 ui:Seti中の不定文書の数 si:pi+ni+uii(tj):Seti中でtjを含む必要文書の数 ni(tj):Seti中でtjを含む不要文書の数 ui(tj):Seti中でtjを含む不定文書の数 si(tj):pi(tj)+ni(tj)+ui(tj) pi not(tj):Seti中でtjを含まない必要文書の
数 ni not(tj):Seti中でtjを含まない不要文書の
数 ui not(tj):Seti中でtjを含まない不定文書の
数 si not(tj):pi not(tj)+ni not(tj)+ui n
ot(tj) h(a,b,c,d)= -{a/d・log3(a/d)+b/d・log3(b/d)+c/d・log3
(c/d)}
【0031】上記式を評価し、検索キーワードを正しく
決定するためには、文書データベース全体、すなわち、
必要文書、不要文書のほか、膨大な不定文書を含めて上
記「ID3」に従って文書集合を分割していく必要があ
るが、大規模な文書データベースが処理対象となる場合
には、処理時間の点から現実的ではない。そこで本実施
形態では、文書データベース全体ではなく、必要文書、
不要文書のみの文書集合を分割することで検索キーワー
ドとして決定する。重要度関数は、そのために用いられ
るものである。
【0032】以下、重要度関数について説明する。本例
では、二つの方法を挙げて具体的に説明する。まず、文
書集合Set0から文書集合Setiを得るまでの分割に
用いられる検索キーワードをti1、・・・、tim、分割で
生成される文書集合をSeti0、・・・、Setim(但
し、Seti0=Set0、Setim=Seti)とする。な
お、0<n≦mである任意の整数nについて、文書集合
Setin-1の分割に検索キーワードtinが用いられて文
書集合Setinが得られるものとする。文書集合Set
0から文書集合Setiを得る過程における分割処理の模
式図を図2に示す。検索キーワードtjについての重要
度関数f(tj)が、f(tj)=(I(tj)−H)s0
で表される。また、検索キーワードtjによる文書頻度
をdf(tj)、文書データベース中の文書総数を|DB
|とする。
【0033】<第1の方法>以上の前提のもと、文書デ
ータベース中の複数の文書中に出現するキーワード相互
間で相関関係がなく、分割対象の文書集合でもキーワー
ドが出現する文書の比率が等しい、すなわち任意のキー
ワードtjにおいて、すべての分割対象の集合で、df
(tj)/s0=si(tj)/siの関係式が成り立つと
仮定する。この関係式より、文書集合Setikについ
て、sik(tik+1)=df(tik+1 )sik/so の式
が得られ、さらにこの式から、sik+1=sikdf’(t
ik+1 )が得られる。
【0034】但し、キーワードtikの文書頻度df′
(tik)は、文書集合Setikがキーワードtik を含む
場合はdf(tik)/so であり、含まない場合は(so
−df(tik))/soであるとする。これにより、下記
(5)〜(7)式で与えられるパラメータが得られる。
【0035】
【数3】
【0036】さらに、下記(8)式で表現される重要度
関数f(tj)に下記(9)式で与えれるui(tj)、
inot(tj)、及び上記(6)、(7)式を代入するこ
とで、文書データベース全体を分割することなく、重要
度関数f(t)の評価が可能となる。なお、(8)式
において、右辺1〜4項が必要文書、不要文書の文書
数、5及び6項が不定文書の文書数に関わる項である。
【0037】
【数4】
【0038】
【数5】
【0039】また、情報量H及び文書数s0は、各集合
においてキーワードに関係なく一定の値であることか
ら、相互情報量I(tj)の大小比較は、重要度関数f
(tj)の大小比較で代用できる。
【0040】<第2の方法>第1の方法では文書データ
ベース全体の文書におけるキーワード相互間の相対関係
に着目した方法であった。これに対し、必要文書、不要
文書については文書数が文書集合の分割時に判明すると
の前提にたち、不定文書のみにおけるキーワード相互間
の相対関係に着目して重要度関数を評価する。
【0041】この場合では、第1の方法の場合と同様
に、文書データベース中の複数の不定文書中ではキーワ
ード相互間に相関関係がなく、いずれの不定文書の集合
でもキーワードが出現する文書数の比率が等しい、すな
わち任意の検索キーワードtjにおいて、すべての分割
対象の文書集合で下記(10)式が成り立つと仮定す
る。
【0042】
【数6】
【0043】この(10)式より、文書集合Setik
ついて下記(11)、(12)式が得られる。但し、キ
ーワードtikの文書頻度df′(tik)は、文書集合S
etikがキーワードtik を含む場合はuo(tik)/uo
であり、含まない場合は(uo−uo(tik))/uo
あるとする。これにより、下記(13)〜(15)式で
与えられるパラメータが得られる。
【0044】
【数7】
【0045】上記(8)式のf(tj)に下記(16)式
及び上記(14)、(15)式を代入することで、重要
度関数f(tj)の評価が可能となる。この方法は、第2
の方法よりも精度が高いことが本発明者らによって立証
されている。
【0046】
【数8】
【0047】この方法においても、総情報量H及び総文
書数s0は、各文書集合においてキーワードに関係なく
一定の値であることから、相互情報量I(tj)の大小比
較は重要度関数f(tj)の大小比較で代用できる。
【0048】検索式作成部33では、文書集合分割部1
1の結果である各検索キーワードを、論理演算子“an
d”、及び“or”により結合して検索式queryを
作成する。符号33Aは、検索式作成部33から出力さ
れる検索式を例示したものである。
【0049】このように、本実施形態の検索式作成装置
10によれば、決定木学習アルゴリズム「ID3」を用
いて文書集合を分割する際に検索キーワードの候補が複
数存在する場合、重要度関数f(tj)がより大きいキー
ワードを優先して検索キーワードとして決定するように
したので、作成される検索式により重要なキーワードが
含まれるようになり、検索精度を従来よりも格段に高め
ることができるようになる。また、従来の分割基準であ
る相互情報量に代えて重要度関数f(tj)の大小比較を
行うことによって検索キーワードを決定することができ
るので、文書データベース全体を分割する必要がなくな
り、検索式作成処理の迅速化が可能になる。
【0050】
【発明の効果】以上の説明から明らかなように、本発明
によれば、個々のキーワードの重要性が考慮された検索
式が作成される効果がある。また、これにより得られる
検索式を用いることにより、文書の検索精度を一定値以
上に維持することが可能となり、検索処理の効率が大幅
に向上するという効果もある。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る検索式作成装置の実
施形態を表す機能ブロック図。
【図2】本実施形態による分割処理過程で得られる情報
の模式図。
【図3】従来の検索式作成装置の機能ブロック図。
【図4】従来の検索式作成装置における処理手順説明
図。
【図5】従来の分割処理過程で得られる情報の模式図。
【符号の説明】
10,30 検索式作成装置 31 キーワード抽出部 11,32 文書集合分割部 12 キーワード文書頻度辞書 33 検索式作成部

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 文書データベースにおける指定文書から
    複数のキーワードを抽出し、抽出した個々のキーワード
    が出現する文書の総数、出現しない文書の総数、及び前
    記文書データベースにおける指定文書と残部の非指定文
    書との相対関係に基づくキーワードの重要度関数を計算
    する過程、前記計算により得られた関数値が最大となる
    単一のキーワードを検索キーワードとして決定する過
    程、及び、決定した検索キーワードを論理式で結合して
    文書検索に用いる検索式を作成する過程を含む、コンピ
    ュータ装置を用いた検索式作成方法。
  2. 【請求項2】 前記重要度関数は、前記文書集合におい
    て個々のキーワードを含む指定文書の数、当該キーワー
    ドを含まない指定文書の数、当該キーワードを含む非指
    定文書の数、当該キーワードを含まない非指定文書の
    数、及びすべての文書数に対する当該文書数の比率をパ
    ラメータとする関数であることを特徴とする請求項1記
    載の検索式作成方法。
  3. 【請求項3】 文書データベースから特定の文書を索出
    するための検索式を作成する装置であって、 前記文書データベースにおける指定文書群から形態素解
    析によって複数のキーワードを抽出するとともに抽出し
    た個々のキーワードが文書中に含まれるか否かを表す判
    別情報、当該文書が必要文書か不要文書かを表す指定情
    報または非指定文書であることを表す情報を各文書の識
    別情報と共に集合させた文書集合を生成するキーワード
    抽出部と、 抽出した個々のキーワードが出現する文書数、出現しな
    い文書数、及び前記指定文書数と全文書数との相対関係
    に基づくキーワードの重要度関数を設定し、当該関数値
    に基づいて単一のキーワードを検索キーワードとして決
    定するとともに、決定した検索キーワードを用いて一つ
    の文書集合を複数の文書集合に分割する文書集合分割部
    と、 前記文書集合の分割の際に用いた検索キーワードを論理
    式で結合して前記検索式を作成する検索式作成部と、 を有することを特徴とする検索式作成装置。
  4. 【請求項4】 前記指定文書群は、それぞれ検索者にと
    って関心のある必要文書と関心のない不要文書から成
    り、それぞれ必要または不要の指定情報が付与されて前
    記検索キーワードの決定の際の判定に用いられることを
    特徴とする請求項3記載の検索式作成装置。
  5. 【請求項5】 前記重要度関数は、前記文書集合におい
    て個々のキーワードを含む指定文書の数、当該キーワー
    ドを含まない指定文書の数、当該キーワードを含む非指
    定文書の数、当該キーワードを含まない非指定文書の
    数、及びすべての文書数に対する当該文書数の比率をパ
    ラメータとする関数であり、 前記文書集合分割部は、当該重要度関数が最大になる単
    一のキーワードを前記検索キーワードとして決定するこ
    とを特徴とする請求項3記載の検索式作成装置。
  6. 【請求項6】 前記文書集合分割部は、前記決定した検
    索キーワードを用いて指定文書群についての文書集合の
    みを複数の文書集合に分割することを特徴とする請求項
    4記載の検索式作成装置。
  7. 【請求項7】 文書データベースにおける指定文書から
    複数のキーワードを抽出し、抽出した個々のキーワード
    が出現する文書の総数、出現しない文書の総数、及び前
    記文書データベースにおける指定文書と残部の非指定文
    書との相対関係に基づくキーワードの重要度関数を計算
    する処理、 前記計算により得られた関数値が最大となる単一のキー
    ワードを検索キーワードとして決定する処理、及び、 決定した検索キーワードを論理式で結合して文書検索に
    用いる検索式を作成する処理をコンピュータ装置に実行
    させるためのプログラムを当該コンピュータ装置が読み
    取り可能な形態で記録して成る記録媒体。
JP9124561A 1997-05-14 1997-05-14 検索式作成方法、検索式作成装置、及び記録媒体 Pending JPH10320402A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9124561A JPH10320402A (ja) 1997-05-14 1997-05-14 検索式作成方法、検索式作成装置、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9124561A JPH10320402A (ja) 1997-05-14 1997-05-14 検索式作成方法、検索式作成装置、及び記録媒体

Publications (1)

Publication Number Publication Date
JPH10320402A true JPH10320402A (ja) 1998-12-04

Family

ID=14888534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9124561A Pending JPH10320402A (ja) 1997-05-14 1997-05-14 検索式作成方法、検索式作成装置、及び記録媒体

Country Status (1)

Country Link
JP (1) JPH10320402A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634140B2 (en) 2002-02-27 2009-12-15 Nec Corporation Pattern feature selection method, classification method, judgment method, program, and device
JP2019003524A (ja) * 2017-06-19 2019-01-10 富士通株式会社 抽出プログラム、抽出方法および抽出装置
JP2019185478A (ja) * 2018-04-12 2019-10-24 富士通株式会社 分類プログラム、分類方法、および情報処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634140B2 (en) 2002-02-27 2009-12-15 Nec Corporation Pattern feature selection method, classification method, judgment method, program, and device
JP2019003524A (ja) * 2017-06-19 2019-01-10 富士通株式会社 抽出プログラム、抽出方法および抽出装置
JP2019185478A (ja) * 2018-04-12 2019-10-24 富士通株式会社 分類プログラム、分類方法、および情報処理装置

Similar Documents

Publication Publication Date Title
EP1585073B1 (en) Method for duplicate detection and suppression
CN109947904B (zh) 一种基于Spark环境的偏好空间Skyline查询处理方法
US6389412B1 (en) Method and system for constructing integrated metadata
US6826576B2 (en) Very-large-scale automatic categorizer for web content
US6665661B1 (en) System and method for use in text analysis of documents and records
JP3577972B2 (ja) 類似度判定方法及び文書検索装置及び文書分類装置及び文書検索プログラムを格納した記憶媒体及び文書分類プログラムを格納した記憶媒体
JPH09134363A (ja) データベース検索方法及び装置
MX2012011923A (es) Asignacion de atributis aplicables para datos que describen la identidad personal.
CN119577124B (zh) 一种基于大数据软件系统的信息检索及引导的方法和装置
JP4017354B2 (ja) 情報分類装置および情報分類プログラム
JP5780036B2 (ja) 抽出プログラム、抽出方法及び抽出装置
US20030126138A1 (en) Computer-implemented column mapping system and method
JP4426041B2 (ja) カテゴリ因子による情報検索方法
CN118467669B (zh) 索引构建方法、字段搜索方法、装置、设备及介质
JPH10320402A (ja) 検索式作成方法、検索式作成装置、及び記録媒体
JP4125951B2 (ja) テキスト自動分類方法及び装置並びにプログラム及び記録媒体
CN118349621A (zh) 一种索引建立方法、检索方法和电子设备
JPH10320403A (ja) 検索式作成方法、検索式作成装置、及び記録媒体
JP2001155020A (ja) 類似文書検索装置、類似文書検索方法及び記録媒体
JPH07104869B2 (ja) データ検索加工システム
CN109977269B (zh) 一种针对xml文件的数据自适应融合方法
CN115934556A (zh) 基于脑图结构的数值计算系统
WO2024180608A1 (ja) データ抽出装置、データ抽出方法及びプログラム
JPH11203309A (ja) 検索式作成方法及び装置
JPH11203310A (ja) 検索式作成方法及び装置