JPH09282331A - 文書類似判定装置および文書類似判定方法 - Google Patents

文書類似判定装置および文書類似判定方法

Info

Publication number
JPH09282331A
JPH09282331A JP8111158A JP11115896A JPH09282331A JP H09282331 A JPH09282331 A JP H09282331A JP 8111158 A JP8111158 A JP 8111158A JP 11115896 A JP11115896 A JP 11115896A JP H09282331 A JPH09282331 A JP H09282331A
Authority
JP
Japan
Prior art keywords
document
base
new
feature information
similarity determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8111158A
Other languages
English (en)
Inventor
Shiro Ito
史朗 伊藤
Noriko Otani
紀子 大谷
Takanari Ueda
隆也 上田
Yuji Ikeda
裕治 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP8111158A priority Critical patent/JPH09282331A/ja
Publication of JPH09282331A publication Critical patent/JPH09282331A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 基礎となるベース文書の集合したものに対し
新規文書が類似しているか否かを判定する際に、類似判
定が的確になされる文書類似判定装置を提供する。 【解決手段】 ベース文書集合保持部101の各ベース
文書から、類似判定の判定目的に特に合っている部分
(ある文章の範囲)を抜き出して強調点として強調点保
持部102が保持する。そして、前記各ベース文書と前
記強調点とから前記ベース文書集合の特徴情報(前記文
章の範囲に存在する単語の頻度を表すベクトル)をベー
ス文書集合特徴作成部103が作成する。また、新規文
書保持部104の新規文書から新規文書特徴作成手段1
05が新規文書の特徴情報(文書中に存在する単語の頻
度を表すベクトル)を作成する。そして、前記ベース文
書集合の特徴情報と前記新規文書の特徴情報とを比較
(前記二つのベクトルの内積が一定値以上)して、類似
判定手段106が判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば不特定の新
規文書から収集目的に合った新規文書だけを収集するた
めなどに用いられる文書類似判定装置および文書類似判
定方法に関するものである。
【0002】
【従来の技術】例えば、不特定の新規文書から収集目的
に合った新規文書だけを収集するためには、収集の基礎
となるベース文書を予めいくつか集めたベース文書集合
に対し新規文書が類似しているか否かを判定する文書類
似判定装置が用いられる。
【0003】この種の装置では、予め用意されたベース
文書の特徴を表わす情報を作成する。そして、さらにベ
ース文書からベース文書集合の特徴を表わす情報を作成
する。一方、同じ手法により収集の候補となる新規文書
の特徴を表わす情報を作成する。その上で両者を比較
し、比較的特徴が似ている場合に、収集候補の新規文書
を実際に収集することが一般的である。
【0004】このようなベース文書や新規文書の特徴を
表わす情報としては、例えば、特定の単語を基底とし、
その単語が文書中に出現する頻度を値とするベクトルに
よって表した情報がある。
【0005】
【発明が解決しようとする課題】予め用意するベース文
書において、各ベース文書全体が収集目的、すなわち類
似判定目的に合致するのではなく、ひとつベース文書の
一部だけが合致する場合や一部が他の部分に比較して合
致度が高い場合も多い。しかしながら、上記従来例の装
置では、文書の特徴を表わす情報を各ベース文書全体か
ら作成していたため、収集目的に関係ない部分あるいは
収集目的との関連性が薄い部分も同様にベース文書の特
徴情報に入り、類似判定が的確に成されないという欠点
があった。
【0006】この欠点を解消するために、各ベース文書
の構造や意味関係を用いて、ベース文書の重要な部分を
判定して、重要な部分を重視して、特徴情報を作成する
という装置もある。しかしながら、収集目的に合致する
部分が、必ずしもそのベース文書において重要な部分に
存在するとは限らない。例えば、ベース文書中の単なる
例示の部分に、収集目的からすると重要な情報が記述さ
れている場合もありえる。従ってこの種の装置でも上記
の欠点を解決できるわけではない。
【0007】以上の欠点は、不特定の新規文書から収集
目的に合った新規文書だけを収集するために用いられる
文書類似判定装置を例に説明したが、収集に限らず分類
や検索においても文書類似判定装置は用いられ、そのよ
うな場合においても前記欠点は同様に存在する。
【0008】この発明は、以上の欠点を解決するための
になされたもので、基礎となるベース文書を予めいくつ
か集めたベース文書集合に対し新規文書が類似している
か否かを判定する際に、類似判定が的確になされる文書
類似判定装置および文書類似判定方法を提供する事を目
的とする。
【0009】
【課題を解決するための手段】以上の目的を達成するた
めに、請求項1の発明は、類似判定の基礎となるベース
文書の集合を保持するベース文書集合保持手段と、前記
ベース文書集合保持手段に保持されている各ベース文書
から、類似判定の判定目的に特に合っている部分を抜き
出して強調点として保持する強調点保持手段と、前記各
ベース文書と前記各ベース文書ごとの強調点とから前記
ベース文書集合の特徴情報を作成するベース文書集合特
徴作成手段と、類似判定の対象となる新規文書を保持す
る新規文書保持手段と、前記新規文書の特徴情報を作成
する新規文書特徴作成手段と、前記ベース文書集合の特
徴情報と前記新規文書の特徴情報とを比較して、新規文
書がベース文書集合に類似するか否かを判定する類似判
定手段とを備えることを特徴とする文書類似判定装置で
ある。
【0010】請求項2の発明は、類似判定の基礎となる
ベース文書の集合を保持するベース文書集合保持手段
と、前記各ベース文書から、類似判定の判定目的に合っ
ている部分だけを抜き出して着目点として保持する着目
点保持手段と、前記各ベース文書と前記各ベース文書ご
との着目点とから前記ベース文書集合の特徴情報を作成
するベース文書集合特徴作成手段と、類似判定の対象と
なる新規文書を保持する新規文書保持手段と、前記新規
文書の特徴情報を作成する新規文書特徴作成手段と、前
記ベース文書集合の特徴情報と前記新規文書の特徴情報
とを比較して、新規文書がベース文書集合に類似するか
否かを判定する類似判定手段とを備えることを特徴とす
る文書類似判定装置である。
【0011】請求項3の発明は、類似判定の基礎となる
ベース文書の集合を保持するベース文書集合保持手段
と、前記各ベース文書から、類似判定の判定目的に合っ
ている部分だけを抜き出して着目点として保持する着目
点保持手段と、類似判定の判定目的に特に合っている部
分を強調点として保持する強調点保持手段と、前記各ベ
ース文書と前記各ベース文書ごとの着目点と強調点とか
ら前記ベース文書集合の特徴情報を作成するベース文書
集合特徴作成手段と、類似判断の対象となる新規文書を
保持する新規文書保持手段と、前記新規文書の特徴情報
を作成する新規文書特徴作成手段と、前記ベース文書集
合の特徴情報と前記新規文書の特徴情報とを比較して、
新規文書がベース文書集合に類似するかを判定する類似
判定手段とを備えることを特徴とする文書類似判定装置
である。
【0012】請求項4の発明は、さらに、ベース文書集
合特徴作成手段で作成したベース文書集合の特徴情報を
保持するベース文書集合特徴情報保持手段を備えること
を特徴とする文書類似判定装置である。
【0013】請求項5の発明は、類似判定の基礎となる
ベース文書集合の各ベース文書から、類似判定の判定目
的に特に合っている部分を抜き出して強調点とし、前記
各ベース文書と前記各ベース文書ごとの強調点とから前
記ベース文書集合の特徴情報を作成し、類似判定の対象
となる新規文書の特徴情報を作成し、前記ベース文書集
合の特徴情報と前記新規文書の特徴情報とを比較して、
新規文書がベース文書集合に類似するか否かを判定する
ことを特徴とする文書類似判定方法である。
【0014】請求項6の発明は、類似判定の基礎となる
ベース文書集合の各ベース文書から、類似判定の判定目
的に合っている部分だけを抜き出して着目点とし、前記
各ベース文書と前記各ベース文書ごとの着目点とから前
記ベース文書集合の特徴情報を作成し、類似判定の対象
となる新規文書の特徴情報を作成し、前記ベース文書集
合の特徴情報と前記新規文書の特徴情報とを比較して、
新規文書がベース文書集合に類似するか否かを判定する
ことを特徴とする文書類似判定方法である。
【0015】請求項7の発明は、類似判定の基礎となる
ベース文書集合の各ベース文書から、類似判定の判定目
的に合っている部分だけを抜き出して着目点とし、類似
判定の判定目的に特に合っている部分を強調点とし、前
記各ベース文書と前記各ベース文書ごとの着目点と強調
点とから前記ベース文書集合の特徴情報を作成し、類似
判断の対象となる新規文書の特徴情報を作成し、前記ベ
ース文書集合の特徴情報と前記新規文書の特徴情報とを
比較して、新規文書がベース文書集合に類似するかを判
定することを特徴とする文書類似判定方法である。
【0016】請求項8の発明は、一度作成したベース文
書集合の特徴情報を保持し、その後の判定では、前記保
持したベース文書集合の特徴情報と新規文書の特徴情報
とを比較して、新規文書がベース文書集合に類似するか
否かを判定することを特徴とする請求項5、6、または
7に記載の文書類似判定方法である。
【0017】
【発明の実施の形態】
(実施形態1)以下、図面を参照して本発明の実施形態
を詳細に説明する。
【0018】図1は、本発明の一実施例に係る装置の基
本構成を示すブロック図である。同図において、101
は、ある収集目的に合ったベース文書の集合を保持する
ベース文書集合保持部である。102は、ベース文書集
合保持部101に保持されているベース文書のうち、収
集目的に特に合っている部分を強調点として保持してい
る強調点保持部である。103は、ベース文書集合保持
部101に保持されている各ベース文書と強調点保持部
102に保持されているベース文書ごとの強調点とから
ベース文書集合保持部101に保持されているベース文
書集合の特徴情報を作成するベース文書集合特徴作成部
である。104は、収集の候補となる新しい文書を保持
する新規文書保持部である。105は、新規文書保持部
104に保持されている新規文書の特徴情報を作成する
新規文書特徴作成部である。106は、ベース文書集合
特徴作成部103で作成されたベース文書集合の特徴と
新規文書特徴作成部105で作成された新規文書の特徴
情報とを比較して、新規文書を収集すべきか否かを判定
する類似判定部である。
【0019】図2は、本実施形態の文書類似判定装置の
具体的構成を示す図である。同図において、201はC
PUであり、後述する手順を実現するプログラムに従っ
て動作する。202はRAMであり、新規文書保持部1
04と上記プログラムの動作に必要な記憶領域を提供す
る。203はROMであり、後述する手順を実現するプ
ログラムを保持する。204はディスク装置であり、ベ
ース文書集合保持部101と強調点保持部102を実現
する。205はバスである。
【0020】以下、図3のフローチャートを参照して、
本実施形態の文書類似判定装置の処理手順を説明する。
【0021】ステップS301では、新規文書保持部1
04に新規文書が保持されたか否かを調べ、新規文書が
保持された場合は、類似判定作業の準備を行うためステ
ップS302に移る。保持されていない場合は、ステッ
プS301を繰り返す。
【0022】ステップS302では、新規文書保持部1
04に保持されている文書の特徴情報を作成する。特徴
情報としては、例えば特定の単語を基底とし、その単語
が新規文書中に出現する頻度を値とするベクトルを利用
する。そして、ステップ303に移る。
【0023】ステップS303では、カウンタNの値を
1にセットする。そしてステップS304に移る。
【0024】ステップS304では、カウンタNの値が
ベース文書集合保持部101に保持されているベース文
書数より大きい(ベース文書の特徴作成完了)か否かを
調べ、大きい場合にはステップS307に移る。それ以
外の場合は、ステップS305に移る。
【0025】ステップS305では、ベース文書集合保
持部101中のN番目のベース文書の特徴情報を作成す
る。例えば、当該ベース文書の文章に存在する単語の頻
度をベクトルで表す。このとき、強調点保持部102に
当該ベース文書に対する強調点が保持されている場合
は、この強調点を反映した特徴情報を作成する。例え
ば、強調点として、当該ベース文書のある一定の範囲の
文章を抜き出して設定する。そして、この強調点に存在
する単語は、頻度を通常の(すなわち強調点以外に存在
する単語の場合の)2倍としてベクトルを作成する。そ
して、ステップS306に移る。
【0026】図4に、強調点保持部102の例を示す。
列401には、強調点を設定しているベース文書の番号
Nが入っている。列402には、当該ベース文書中での
強調点の開始位置(ベース文書先頭からの文字数)が入
っている。列403には、当該ベース文書中での強調点
の終了位置(ベース文書先頭からの文字数)が入ってい
る。ここで、ベース文書3の特徴情報を作成する場合を
例にとると、文書先頭からの文字数でみて、50文字か
ら80文字、および100文字から130文字の範囲に
ある単語は、頻度を作成するときに通常の2倍として計
算される。
【0027】ステップS306では、カウンタNの値を
1増やす。そして、ステップS304に移る。
【0028】ステップS307では、ステップS305
で作成した各ベース文書の特徴情報からベース文書集合
の特徴情報を作成する。例えば、各ベース文書の前記ベ
クトルのベクトル和をとる。そして、ステップS308
に移る。
【0029】ステップS308では、ステップS302
で作成した新規文書の特徴情報(ベクトル)とステップ
S307で作成したベース文書集合の特徴情報(ベクト
ル)とを比較して、収集すべきか否かの判定結果を出
す。例えば、双方のベクトルを正規化したベクトルの内
積が、予め定めた値より大きい場合は、新規文書はベー
ス文書集合に類似するもので収集すべきと判定する。そ
して、処理を終了する。
【0030】本実施形態の装置を用いると、収集目的に
合った文書だけを利用者に提示したり、収集目的に合っ
た新規文書だけを自動的に保存する文書処理装置を構築
することができる。この種の装置では、保存された文書
を利用者が見る機会は多く、この時に利用者が強調点を
設定することができる。この強調点は、本実施形態の装
置の入力となりえる。
【0031】なお、強調点を反映した特徴情報を作成す
る際に、強調点に属する単語だけで頻度を計算すること
ももちろん可能である。
【0032】(実施形態2)上記実施形態においては、
ベース文書集合の特徴情報を作成するにあたり、ベース
文書の強調点を利用する場合について説明した。一方、
ベース文書中に収集目的に無関係な部分がある場合に、
強調点に代わってベース文書中で収集目的に合う部分だ
けを集めた着目点を用いることができる。
【0033】すなわち、ベース文書集合が動物のネコ科
の専門的な文献からなる文書の集合である場合を例に説
明すると、新規文書がネコ科の専門的な文献からなる文
書であるか否かの類似判断をすることとなるが、強調点
は、例えばネコ科に特有なある種の“狩猟本能”につい
ての記載が成されている文章を抜き出して設定できる。
これに対し、ベース文書がネコ科のみならず収集目的に
無関係な他の草食動物等をも多数含んだ文献からなる場
合には、着目点は、虎やライオン等のネコ科の動物につ
いての記載がなされている文章を抜き出して設定でき
る。
【0034】この場合、上記実施形態のステップS30
5のベース文書の特徴情報を作成する処理を強調点では
なく着目点を反映した処理に変更する。例えば、着目点
に属する単語だけで頻度を計算する。
【0035】(実施形態3)上記実施形態においては、
ベース文書集合の特徴情報を作成するにあたり、ベース
文書の強調点と着目点とのいずれか一つを用いる場合に
ついて説明した。この双方を同時に利用しても差し仕え
はない。
【0036】図5は、本実施形態に係る装置の基本構成
を示すブロック図である。同図において、501は、あ
る収集目的に合ったベース文書の集合を保持するベース
文書集合保持部である。502は、ベース文書集合保持
部501に保持されているベース文書のうち、収集目的
に特に合っている部分を強調点として保持している強調
点保持部である。503は、ベース文書集合保持部50
1に保持されているベース文書のうち、収集目的に合っ
ている部分だけ着目点として保持している着目点保持部
である。504は、ベース文書集合保持部501に保持
されている各ベース文書と強調点保持部502に保持さ
れているベース文書ごとの強調点と着目点保持部503
に保持されているベース文書ごとの着目点とからベース
文書集合保持部501に保持されているベース文書集合
の特徴情報を作成するベース文書集合特徴作成部であ
る。505は、収集の候補となる新しい文書を保持する
新規文書保持部である。506は,新規文書保持部50
5に保持されている新規文書の特徴情報を作成する新規
文書特徴作成部である。507は、ベース文書集合特徴
作成部504で作成されたベース文書集合の特徴と新規
文書特徴作成部506で作成された新規文書の特徴情報
とを比較して、新規文書を収集すべきか否かを判定する
類似判定部である。
【0037】(実施形態4)上記実施形態においては、
新規情報の判定を行う時に、ベース文書集合の特徴情報
を作成する場合について説明したが、これに限定される
ものではなく、予めベース文書集合の特徴情報を作成し
ておいてもよい。
【0038】図6は、本実施形態に係る装置の基本構成
を示すブロック図である。
【0039】同図において、601は、ある収集目的に
あったベース文書の集合を保持するベース文書集合保持
部である。602は、ベース文書集合保持部601に保
持されているベース文書のうち、収集目的に特にあって
いる部分を強調点として保持している強調点保持部であ
る。603は、ベース文書集合保持部601に保持され
ている各ベース文書と強調点保持部602に保持されて
いるベース文書ごとの強調点とからベース文書集合保持
部601に保持されているベース文書集合の特徴情報を
作成するベース文書集合特徴作成部である。604は、
ベース文書集合特徴作成部603で作成されたベース文
書集合特徴保持部である。605は、収集の候補となる
新しい文書を保持する新規文書保持部である。606
は、新規文書保持部605に保持されている新規文書の
特徴情報を作成する新規文書特徴作成部である。607
は、ベース文書集合特徴保持部604に保持されている
ベース文書集合の特徴と新規文書特徴作成部606で作
成された新規文書の特徴情報とを比較して、新規文書を
収集すべきか否かを判定する類似判定部である。
【0040】本実施形態では、処理手順が二つに分かれ
る。一つは、ベース文書集合および強調点に変更があっ
た場合にベース文書集合の特徴情報を変更する処理であ
る。もう一つは、新規文書の判定を行う処理である。
【0041】まず、図7のフローチャートを参照して、
ベース文書集合特徴情報の変更処理を説明する。
【0042】ステップS701では、カウンタNの値を
1にセットする。そして、ステップS702に移る。
【0043】ステップS702では、カウンタNの値が
ベース文書集合保持部に保持されているベース文書数よ
り大きいか否かを調べ、大きい場合にはステップS70
5に移る。それ以外の場合は、ステップS703に移
る。
【0044】ステップS703では、ベース文書集合保
持部601中のN番目のベース文書の特徴情報を作成す
る。このとき、強調点保持部602に当該ベース文書に
対する強調点が保持されている場合は、この強調点を反
映した特徴情報を作成する。例えば、強調点に存在する
単語は、頻度を通常の2倍としてベクトルを作成する。
そしてステップS704に移る。
【0045】ステップS704では、カウンタNの値を
1増やす。そして、ステップS702に移る。
【0046】ステップS705では、ステップS703
で作成した各ベース文書の特徴情報からベース文書集合
の特徴情報を作成する。例えば、各ベクトルのベクトル
和をとる。そして、この情報をベース文書集合特徴保持
部604に保持する。そして、処理を終了する。
【0047】次に、図8のフローチャートを参照して、
新規文書の判定処理を説明する。
【0048】ステップS801では、新規文書保持部6
04に新規文書が保持されたか否かを調べ、新規文書が
保持された場合はステップS802に移る。保持されて
いない場合は、ステップS801を繰り返す。
【0049】ステップS802では、新規文書保持部6
04に保持されている新規文書の特徴情報を作成する。
特徴情報としては、例えば特定の単語を基底とし、その
単語が新規文書中に出現する頻度を値とするベクトルを
利用する。そして、ステップS803に移る。
【0050】ステップS803では、ステップS802
で作成した新規文書の特徴情報とベース文書集合特徴保
持部604に保持されているベース文書集合の特徴情報
とを比較して、収集すべきか否かの判定結果を出す。例
えば、双方のベクトルを正規化したベクトルの内積が、
予め定めた値より大きい場合は、新規文書はベース文書
集合に類似するもので収集すべきと判定する。そして処
理を終了する。
【0051】(他の実施形態)なお、上記実施形態にお
いては、文書およびベース文書集合の特徴を表わす情報
として、単語の頻度を用いたベクトルを使う場合につい
て説明したが、これに限定されるものではなく、特徴を
表わす任意の情報でよい。強調点に関しては、その部分
に関する特徴が強調されるように、着目点に関しては、
その部分だけを表わす特徴を作るようにすれば、本装置
の目的は達成される。例えば、ベース文書の構造から単
語の出現する位置の重みを計算して、その重みを掛け合
わせた値を使ったベクトルを利用する場合、強調点にあ
る単語については、強調点の重みをさらに掛け合わせ
る。
【0052】また、上記実施形態においては、強調点の
単語の重みを2倍にする場合について説明したが、これ
に限定されるものではなく、任意の定数倍でもよい。
【0053】また、上記実施形態においては、強調点の
単語の重みを定数倍にする場合について説明したが、こ
れに限定されるものではなく、可変にしてもよい。例え
ば、ある定数に、強調点の領域の長さの逆数あるいは強
調点に含まれる単語数の逆数を掛けた値を重みとして用
いてもよい。
【0054】また、上記実施形態においては、ベース文
書集合の特徴情報を変更する処理において、特徴情報を
作り直す場合について説明したが、作り直すのではな
く、更新処理としてもよい。例えば、ベース文書の追加
の場合には、そのベース文書のベクトルをベース文書集
合のベクトルに足せばよい。強調点の変更の場合は、変
更があったベース文書の元のベクトルをベース文書集合
のベクトルから引き、次に変更があったベース文書の新
しいベクトルをベース文書集合のベクトルに足せばよ
い。
【0055】また、上記実施形態においては、強調点お
よび着目点を、ベース文書中の文字位置で示した開始位
置と終了位置で保持する場合について説明したが、これ
に限定されるものではない。例えば、開始位置と終了位
置をバイト位置で示したり、強調点や着目点の文字列を
保持してもよい。
【0056】また、上記実施形態においては、不特定の
新規文書から収集目的に合った新規文書だけを収集する
ために用いられる文書類似判定装置を例に説明したが、
他の実施形態においては収集に限らず分類や検索におい
て本発明の文書類似判定装置を用いることができる。
【0057】
【発明の効果】以上説明したように、請求項1、4、5
または8の発明によれば、類似判定目的からみて重要な
部分である強調点を用いてベース文書の特徴情報を作成
するようにしたので、的確な類似判定を行うことができ
るという効果が得られる。
【0058】また、請求項2、4、6または8の発明に
よれば、ベース文書中に類似判定目的と無関係な部分が
ある場合に、類似判定目的に合った部分である着目点だ
けを用いてベース文書の特徴情報を作成するようにした
ので、的確な類似判定を行うことができるという効果が
得られる。
【0059】さらに、請求項3、4、7または8の発明
によれば、強調点と着目点を区別して処理するようにし
たので、より的確な類似判定を行うことができるという
効果が得られる。
【図面の簡単な説明】
【図1】本発明に係る文書類似判定装置の実施形態1の
基本構成を示すブロック図である。
【図2】本発明の実施形態の具体的構成を示す図であ
る。
【図3】本発明の実施形態1の処理の概要を示すフロー
チャートである。
【図4】本発明の実施形態1における強調点保持部の一
例を示す図である。
【図5】本発明の実施形態3の基本構成を示すブロック
図である。
【図6】本発明の実施形態4の基本構成を示すブロック
図である。
【図7】本発明の実施形態4のベース文書の特徴情報作
成および保存の処理を示すフローチャートである。
【図8】本発明の実施形態4の新規文書の特徴情報作成
および類似判定の処理を示すフローチャートである。
【符号の説明】
101 文書集合保持部 102 強調点保持部 103 文書集合特徴作成部 104 新規文書保持部 105 新規文書特徴作成部 106 類似判定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 裕治 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 類似判定の基礎となるベース文書の集合
    を保持するベース文書集合保持手段と、前記ベース文書
    集合保持手段に保持されている各ベース文書から、類似
    判定の判定目的に特に合っている部分を抜き出して強調
    点として保持する強調点保持手段と、前記各ベース文書
    と前記各ベース文書ごとの強調点とから前記ベース文書
    集合の特徴情報を作成するベース文書集合特徴作成手段
    と、類似判定の対象となる新規文書を保持する新規文書
    保持手段と、前記新規文書の特徴情報を作成する新規文
    書特徴作成手段と、前記ベース文書集合の特徴情報と前
    記新規文書の特徴情報とを比較して、新規文書がベース
    文書集合に類似するか否かを判定する類似判定手段とを
    備えることを特徴とする文書類似判定装置。
  2. 【請求項2】 類似判定の基礎となるベース文書の集合
    を保持するベース文書集合保持手段と、前記各ベース文
    書から、類似判定の判定目的に合っている部分だけを抜
    き出して着目点として保持する着目点保持手段と、前記
    各ベース文書と前記各ベース文書ごとの着目点とから前
    記ベース文書集合の特徴情報を作成するベース文書集合
    特徴作成手段と、類似判定の対象となる新規文書を保持
    する新規文書保持手段と、前記新規文書の特徴情報を作
    成する新規文書特徴作成手段と、前記ベース文書集合の
    特徴情報と前記新規文書の特徴情報とを比較して、新規
    文書がベース文書集合に類似するか否かを判定する類似
    判定手段とを備えることを特徴とする文書類似判定装
    置。
  3. 【請求項3】 類似判定の基礎となるベース文書の集合
    を保持するベース文書集合保持手段と、前記各ベース文
    書から、類似判定の判定目的に合っている部分だけを抜
    き出して着目点として保持する着目点保持手段と、類似
    判定の判定目的に特に合っている部分を強調点として保
    持する強調点保持手段と、前記各ベース文書と前記各ベ
    ース文書ごとの着目点と強調点とから前記ベース文書集
    合の特徴情報を作成するベース文書集合特徴作成手段
    と、類似判断の対象となる新規文書を保持する新規文書
    保持手段と、前記新規文書の特徴情報を作成する新規文
    書特徴作成手段と、前記ベース文書集合の特徴情報と前
    記新規文書の特徴情報とを比較して、新規文書がベース
    文書集合に類似するかを判定する類似判定手段とを備え
    ることを特徴とする文書類似判定装置。
  4. 【請求項4】 ベース文書集合特徴作成手段で作成した
    ベース文書集合の特徴情報を保持するベース文書集合特
    徴情報保持手段を備えることを特徴とする請求項1、
    2、または3に記載の文書類似判定装置。
  5. 【請求項5】 類似判定の基礎となるベース文書集合の
    各ベース文書から、類似判定の判定目的に特に合ってい
    る部分を抜き出して強調点とし、前記各ベース文書と前
    記各ベース文書ごとの強調点とから前記ベース文書集合
    の特徴情報を作成し、類似判定の対象となる新規文書の
    特徴情報を作成し、前記ベース文書集合の特徴情報と前
    記新規文書の特徴情報とを比較して、新規文書がベース
    文書集合に類似するか否かを判定することを特徴とする
    文書類似判定方法。
  6. 【請求項6】 類似判定の基礎となるベース文書集合の
    各ベース文書から、類似判定の判定目的に合っている部
    分だけを抜き出して着目点とし、前記各ベース文書と前
    記各ベース文書ごとの着目点とから前記ベース文書集合
    の特徴情報を作成し、類似判定の対象となる新規文書の
    特徴情報を作成し、前記ベース文書集合の特徴情報と前
    記新規文書の特徴情報とを比較して、新規文書がベース
    文書集合に類似するか否かを判定することを特徴とする
    文書類似判定方法。
  7. 【請求項7】 類似判定の基礎となるベース文書集合の
    各ベース文書から、類似判定の判定目的に合っている部
    分だけを抜き出して着目点とし、類似判定の判定目的に
    特に合っている部分を強調点とし、前記各ベース文書と
    前記各ベース文書ごとの着目点と強調点とから前記ベー
    ス文書集合の特徴情報を作成し、類似判断の対象となる
    新規文書の特徴情報を作成し、前記ベース文書集合の特
    徴情報と前記新規文書の特徴情報とを比較して、新規文
    書がベース文書集合に類似するかを判定することを特徴
    とする文書類似判定方法。
  8. 【請求項8】 一度作成したベース文書集合の特徴情報
    を保持し、その後の判定では、前記保持したベース文書
    集合の特徴情報と新規文書の特徴情報とを比較して、新
    規文書がベース文書集合に類似するか否かを判定するこ
    とを特徴とする請求項5、6、または7に記載の文書類
    似判定方法。
JP8111158A 1996-04-09 1996-04-09 文書類似判定装置および文書類似判定方法 Pending JPH09282331A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8111158A JPH09282331A (ja) 1996-04-09 1996-04-09 文書類似判定装置および文書類似判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8111158A JPH09282331A (ja) 1996-04-09 1996-04-09 文書類似判定装置および文書類似判定方法

Publications (1)

Publication Number Publication Date
JPH09282331A true JPH09282331A (ja) 1997-10-31

Family

ID=14553958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8111158A Pending JPH09282331A (ja) 1996-04-09 1996-04-09 文書類似判定装置および文書類似判定方法

Country Status (1)

Country Link
JP (1) JPH09282331A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030016799A (ko) * 2001-08-22 2003-03-03 장경진 인터넷 기반 문서 비교 시스템 및 방법
KR100478585B1 (ko) * 2002-09-02 2005-03-28 삼성에스디에스 주식회사 인터넷 신문 게재용 속보의 자동 통보 시스템 및 방법
KR100588739B1 (ko) * 1999-11-23 2006-06-13 주식회사 케이티 문서처리시스템에서 문서의 중복 방지 방법
KR100717998B1 (ko) * 2005-12-26 2007-05-15 고려대학교 산학협력단 문서의 표절 검사 방법
KR100816923B1 (ko) * 2006-04-13 2008-03-26 엘지전자 주식회사 문서 분류 시스템 및 그 방법
KR100816934B1 (ko) * 2006-04-13 2008-03-26 엘지전자 주식회사 문서검색 결과를 이용한 군집화 시스템 및 그 방법
KR100826014B1 (ko) * 2006-04-13 2008-04-28 엘지전자 주식회사 문서 관리 시스템 및 그 방법
KR100863943B1 (ko) * 2007-10-04 2008-10-16 부산대학교 산학협력단 표절탐색 방법 및 장치
KR100915995B1 (ko) * 2007-06-15 2009-09-10 에스케이 텔레콤주식회사 학습 과제물에 대한 짜깁기를 방지하는 방법과 그를 위한시스템, 사용자 단말기 및 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR100986404B1 (ko) * 2008-06-30 2010-10-08 한양대학교 산학협력단 블로그 환경에서 중복포스트의 검출 방법 및 그 장치
CN105081151A (zh) * 2015-08-05 2015-11-25 佛山市裕林机械有限公司 一种z型支力簧自动机
US10083229B2 (en) 2009-10-09 2018-09-25 International Business Machines Corporation System, method, and apparatus for pairing a short document to another short document from a plurality of short documents

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100588739B1 (ko) * 1999-11-23 2006-06-13 주식회사 케이티 문서처리시스템에서 문서의 중복 방지 방법
KR20030016799A (ko) * 2001-08-22 2003-03-03 장경진 인터넷 기반 문서 비교 시스템 및 방법
KR100478585B1 (ko) * 2002-09-02 2005-03-28 삼성에스디에스 주식회사 인터넷 신문 게재용 속보의 자동 통보 시스템 및 방법
KR100717998B1 (ko) * 2005-12-26 2007-05-15 고려대학교 산학협력단 문서의 표절 검사 방법
KR100816923B1 (ko) * 2006-04-13 2008-03-26 엘지전자 주식회사 문서 분류 시스템 및 그 방법
KR100816934B1 (ko) * 2006-04-13 2008-03-26 엘지전자 주식회사 문서검색 결과를 이용한 군집화 시스템 및 그 방법
KR100826014B1 (ko) * 2006-04-13 2008-04-28 엘지전자 주식회사 문서 관리 시스템 및 그 방법
KR100915995B1 (ko) * 2007-06-15 2009-09-10 에스케이 텔레콤주식회사 학습 과제물에 대한 짜깁기를 방지하는 방법과 그를 위한시스템, 사용자 단말기 및 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR100863943B1 (ko) * 2007-10-04 2008-10-16 부산대학교 산학협력단 표절탐색 방법 및 장치
KR100986404B1 (ko) * 2008-06-30 2010-10-08 한양대학교 산학협력단 블로그 환경에서 중복포스트의 검출 방법 및 그 장치
US10083229B2 (en) 2009-10-09 2018-09-25 International Business Machines Corporation System, method, and apparatus for pairing a short document to another short document from a plurality of short documents
CN105081151A (zh) * 2015-08-05 2015-11-25 佛山市裕林机械有限公司 一种z型支力簧自动机

Similar Documents

Publication Publication Date Title
CN107102981B (zh) 词向量生成方法和装置
CN111159359A (zh) 文档检索方法、装置及计算机可读存储介质
JP2000020524A (ja) 対訳文検索装置
CN119003795A (zh) 一种基于检索增强生成的检索方法、产品、设备及介质
CN117171331B (zh) 基于大型语言模型的专业领域信息交互方法、装置及设备
JPH09282331A (ja) 文書類似判定装置および文書類似判定方法
US20040181758A1 (en) Text and question generating apparatus and method
KR102028155B1 (ko) 문헌 스코어링 방법 및 문헌 검색 시스템
JP2009193219A (ja) インデックス作成装置、その方法、プログラム及び記録媒体
CN119719349A (zh) 用户问题的推荐方法、装置、电子设备以及可读存储介质
CN112711944B (zh) 一种分词方法、系统、分词器生成方法及系统
JP2002007433A (ja) 情報分類装置、情報分類方法および情報分類プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに情報分類プログラム
JP2003263441A (ja) キーワード決定データベース作成方法、キーワード決定方法、装置、プログラム、および記録媒体
JPH1049543A (ja) 文書検索装置
JP3614765B2 (ja) 概念辞書拡張装置
JPH03286372A (ja) キーワード抽出装置
JPH08221447A (ja) 文書自動分類装置
JP2005202924A (ja) 対訳判断装置、方法及びプログラム
CN110083679B (zh) 搜索请求的处理方法、装置、电子设备和存储介质
JP3862059B2 (ja) 検索式拡張方法および検索システム
JP4349480B2 (ja) 重要句・文抽出方法及び装置
JP2010040020A (ja) キーワード抽出装置、方法及びプログラム
JP4574186B2 (ja) 重要言語識別方法、重要言語識別プログラム、重要言語識別装置、文書検索装置およびキーワード抽出装置
JPH09185632A (ja) 情報検索・編集方法及び装置
JP4148247B2 (ja) 語彙獲得方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801