JPH05324726A - 文書データ分類装置及び文書分類機能構築装置 - Google Patents

文書データ分類装置及び文書分類機能構築装置

Info

Publication number
JPH05324726A
JPH05324726A JP4131211A JP13121192A JPH05324726A JP H05324726 A JPH05324726 A JP H05324726A JP 4131211 A JP4131211 A JP 4131211A JP 13121192 A JP13121192 A JP 13121192A JP H05324726 A JPH05324726 A JP H05324726A
Authority
JP
Japan
Prior art keywords
document data
keyword
classification
document
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4131211A
Other languages
English (en)
Inventor
Yasufumi Sakakibara
康文 榊原
Kazuo Mimatsu
和男 三末
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP4131211A priority Critical patent/JPH05324726A/ja
Priority to US08/066,218 priority patent/US5463773A/en
Publication of JPH05324726A publication Critical patent/JPH05324726A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】本発明は、文書データが与えられるときに、そ
の文書データの属する分類クラスを特定する文書データ
分類装置と、その文書データ分類装置の自動構築を実現
する文書分類機能構築装置に関する。 【構成】キーワードが割り付けられるとともに、キーワ
ードを含む場合の分岐先と、含まない場合の分岐先とが
異なるものとなるノードの木構造により構成され、かつ
葉ノードには、キーワードに代えて分類クラスが割り付
けられるよう構成される分類決定木１０を用意して、こ
の分類決定木１０を辿ることで文書データの属する分類
クラスを特定する構成を採り、一方、サンプルの文書デ
ータから文字列のキーワードを抽出し、未割付のキーワ
ードの持つ文書データに対しての評価値に従ってノード
にキーワードを割り付けていって、葉ノードには、それ
までに振り分けられた文書データの持つ分類クラスを割
り付けていく構成を採る。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、文書データが与えられ
るときに、その文書データの属する分類クラスを特定す
る文書データ分類装置と、その文書データ分類装置の自
動構築を実現する文書分類機能構築装置に関するもので
ある。
【０００２】
【従来の技術】近年、文書型データベースや、フルテキ
ストデータベースの普及に伴い、大量の文書データが電
子化されつつあり、これに伴って、文書ベースの情報検
索技術の開発が要求されている。この文書ベースの情報
検索技術では、文書データの分類に用いるキーワードの
抽出方法と、抽出されたキーワードをどのように用いて
文書データを自動分類していくかという構成が大きな課
題となる。
【０００３】現在までにも、コンピュータによるキーワ
ード自動抽出や、文書データの自動分類に関するいくつ
かの研究（文献１：杉山，山口，田村．自然語による索
引語自動抽出システムとその索引語分析．情報処理学会
情報学基礎研究会報告書，12-2,1989.／文献２：内山，
中村．重要キーワード抽出方式とその活用方法．情報処
理学会データベースシステム研究会報告書，84-19,199
1）は行われているが、まだまだ発展途上段階と言える
ものである。
【０００４】これらの従来技術に共通して言えること
は、日本語処理等の言語処理技術に頼っていることであ
り、そして、そこで必要とされる辞書やシソーラスなど
の構築は、結局、人手で行っているのが現状である。例
えば、人手でもって辞書を用意して、その辞書データを
用いて、文書データを分かち書きしてキーワードを獲得
していくような方法を採っているのである。
【０００５】また、このキーワード獲得の従来技術につ
いて詳述するならば、従来では、対象の文書データを単
語単位に分かち書きして、その切り出された単語の中か
ら、発生頻度の高い単語をキーワードとして抽出した
り、ユーザが指定したキーワードに適さない不要語を除
去した残りの単語をキーワードとして抽出したりしてい
る。
【０００６】しかしながら、前者のようなキーワード抽
出方法では、「問題」とか「影響」等のような本来キー
ワードに適さない単語が抽出されてしまい、発生頻度が
低くてもキーワードに適する重要な単語が抽出されない
不都合が起こるし、また、後者のようなキーワード抽出
方法では、文書の内容を考慮することなく単純に言葉を
切り出していくことから、非常に沢山のキーワードが抽
出されてしまう不都合が起こる。
【０００７】
【発明が解決しようとする課題】このように、現時点で
は、文書データが与えられるときに、その文書データの
属する分類クラスを特定するような文書データ分類装置
については、ほとんど開示されていないというのが実情
である。そして、この文書データ分類装置を構築するた
めに必要となるキーワードの獲得も、人手に頼っている
のが実情であり、しかも、適切なキーワードの抽出が実
現されていないというのが実情である。
【０００８】これから、現時点の技術では、上述のよう
な文書データ分類装置を自動構築していく状態にはない
のである。本発明はかかる事情に鑑みてなされたもので
あって、文書データが与えられるときに、その文書デー
タの属する分類クラスを特定する文書データ分類装置の
提供を目的とするとともに、その文書データ分類装置の
自動構築を実現する文書分類機能構築装置の提供を目的
とするものである。
【０００９】
【課題を解決するための手段】図１に本発明の原理構成
を図示する。図中、１は文書データが与えられるとき
に、その文書データの属する分類クラスを特定する文書
データ分類装置、２は文書データ分類装置１の自動構築
を実現する文書分類機能構築装置、３は文書データと文
書データの属する分類クラスとの組の集合からなるサン
プルデータを格納するサンプルデータ格納装置、４は文
書分類機能構築装置２が抽出するキーワードを格納する
キーワード格納装置である。
【００１０】この文書データ分類装置１は、キーワード
が割り付けられるとともに、割り付けられたキーワード
を含む場合の分岐先と、含まない場合の分岐先とが異な
るものとなるノードの木構造により構成され、かつ、葉
ノードには、キーワードに代えて分類クラスが割り付け
られる分類決定木１０と、文書データが与えられるとき
に、その文書データからキーワードを抽出しつつ分類決
定木１０を辿っていく検索手段１１とを備える。
【００１１】一方、文書分類機能構築装置２は、抽出手
段２０と、算出手段２１と、設定手段２２と、判断手段
２３と、割付手段２４とを備える。抽出手段２０は、サ
ンプルデータ格納装置３の格納する文書データから文字
列のつながりで定義されるキーワードを抽出してキーワ
ード格納装置４に格納する。例えば、抽出手段２０は、
文書データが「システムの研究」であるときには、３文
字以上のキーワードとして、「システ」、「システ
ム」、「システムの」、「システムの研」、「システム
の研究」を抽出する。このように、抽出手段２０の抽出
するキーワードは文字列のつながりで定義されるもので
あることから、辞書を準備しなくても、キーワードが抽
出可能となるのである。このキーワードの抽出にあたっ
て、抽出手段２０は、あまりに短い文字列や長い文字列
はキーワードとして不適当であることから、好ましく
は、規定の文字列長以上であって、かつ、規定の文字列
長以下のつながりで定義される文字列をキーワードとし
て抽出していくことになる。
【００１２】算出手段２１は、設定される処理対象文書
データの内の指定のキーワードを含む文書データの持つ
属性値と、含まない文書データの持つ属性値とにより規
定される評価値を算出する評価関数に従って、指定のキ
ーワードの持つ評価値を算出する。
【００１３】設定手段２２は、算出手段２１の処理対象
とする処理対象文書データを設定する。判断手段２３
は、設定手段２２が処理対象文書データを設定するとき
に、キーワードの割付処理を続行するか否かを判断す
る。例えば、処理対象文書データのデータ数が規定値以
下となるときとか、その文書データの持つ分類クラスが
規定の割合値以上で同一のものとなるときには、葉ノー
ドに達したと判断してキーワードの割付処理の続行の終
了を判断する。
【００１４】割付手段２４は、文書データ分類装置１の
ノードに対して、キーワード／分類クラスを割り付け
る。この割付処理にあって、割り付けの候補となるキー
ワードが複数ある場合には、最も長い文字列長のキーワ
ードを選択することがある。
【００１５】
【作用】本発明では、設定手段２２は、先ず最初に、サ
ンプルデータ格納装置３の文書データを処理対象文書デ
ータとして設定して算出手段２１に通知するとともに、
判断手段２３を呼び出す。この呼び出しを受けると、判
断手段２３は、キーワードの割付処理を続行すべき状態
にあることを判断して、割付手段２４にキーワードの割
付処理を指示し、この指示を受けて、割付手段２４は、
キーワード格納装置４のキーワードを順次指定して算出
手段２１を呼び出していくことで、各キーワードの持つ
評価値を得て、例えば、最も小さな評価値を示すキーワ
ードを選択して分類決定木１０の根ノードに割り付け
る。
【００１６】次に、設定手段２２は、第１ステップとし
て、根ノードに割り付けられたキーワードを含むサンプ
ルデータ格納装置３の文書データを処理対象文書データ
として設定して算出手段２１に通知するとともに、判断
手段２３を呼び出す。この呼び出しを受けると、判断手
段２３は、キーワードの割付処理を続行すべき状態にあ
ることを判断するときには割付手段２４にキーワードの
割付処理を指示し、この指示を受けて、割付手段２４
は、キーワード格納装置４の未割り付けのキーワードを
順次指定して算出手段２１を呼び出していくことで、各
未割り付けのキーワードの持つ評価値を得て、最も小さ
な評価値を示すキーワードを選択して分類決定木１０の
規定の分岐方向の次下位ノードに割り付ける。
【００１７】そして、第２ステップとして、根ノードに
割り付けられたキーワードを含まないサンプルデータ格
納装置３の文書データを処理対象文書データとして設定
して算出手段２１に通知するとともに、判断手段２３を
呼び出す。この呼び出しを受けると、判断手段２３は、
キーワードの割付処理を続行すべき状態にあることを判
断するときには割付手段２４にキーワードの割付処理を
指示し、この指示を受けて、割付手段２４は、キーワー
ド格納装置４の未割り付けのキーワードを順次指定して
算出手段２１を呼び出していくことで、各未割り付けの
キーワードの持つ評価値を得て、最も小さな評価値を示
すキーワードを選択して分類決定木１０の規定の分岐方
向の次下位ノードに割り付ける。
【００１８】以下同様に、設定手段２２は、第１ステッ
プとして、上位ノードに到るまでに振り分けられたサン
プルデータ格納装置３の文書データであって、かつ、上
位ノードに割り付けられたキーワードを含む文書データ
を処理対象文書データとして設定して算出手段２１に通
知するとともに、判断手段２３を呼び出す。この呼び出
しを受けると、判断手段２３は、キーワードの割付処理
を続行すべき状態にあることを判断するときには割付手
段２４にキーワードの割付処理を指示し、この指示を受
けて、割付手段２４は、キーワード格納装置４の未割り
付けのキーワードを順次指定して算出手段２１を呼び出
していくことで、各未割り付けのキーワードの持つ評価
値を得て、最も小さな評価値を示すキーワードを選択し
て分類決定木１０の規定の分岐方向の次下位ノードに割
り付ける。
【００１９】そして、第２ステップとして、上位ノード
に到るまでに振り分けられたサンプルデータ格納装置３
の文書データであって、かつ、上位ノードに割り付けら
れたキーワードを含まない文書データを処理対象文書デ
ータとして設定して算出手段２１に通知するとともに、
判断手段２３を呼び出す。この呼び出しを受けると、判
断手段２３は、キーワードの割付処理を続行すべき状態
にあることを判断するときには割付手段２４にキーワー
ドの割付処理を指示し、この指示を受けて、割付手段２
４は、キーワード格納装置４の未割り付けのキーワード
を順次指定して算出手段２１を呼び出していくことで、
各未割り付けのキーワードの持つ評価値を得て、最も小
さな評価値を示すキーワードを選択して分類決定木１０
のもう１つの分岐方向の次下位ノードに割り付けてい
く。
【００２０】このようにして、設定手段２２は、判断手
段２３が終了条件の充足を判断しないときには、割付手
段２４によるキーワードの割り付け後に再帰的に呼び出
されて、新たな処理対象文書データを設定していくこと
で、上述のようにキーワードの割付処理の続行を実行し
ていく。
【００２１】一方、設定手段２２による処理対象文書デ
ータの設定時に、キーワードの割付処理を続行すべき状
態にないことを判断するときには、判断手段２３は、葉
ノードに達したことに対応して、割付手段２４に分類ク
ラスの割付処理を指示し、この指示を受けて、割付手段
２４は、その葉ノードに対して、処理対象文書データと
して設定された文書データの示す分類クラスを割り付け
ていく。
【００２２】この文書分類機能構築装置２の実行処理に
より、全く人手が介在することなく、文書データの分類
を実現可能とする適切なキーワードが抽出され、このキ
ーワードを用いて、分類決定木１０により構成される文
書データ分類装置１が自動構築されることになるのであ
る。
【００２３】このようにして分類決定木１０が構築され
ると、文書データ分類装置１の検索手段１１は、分類対
象の文書データが与えられるときに、その文書データか
ら文字列のつながりで定義されるキーワードを抽出しつ
つ、この構築された分類決定木１０を辿ることで、その
文書データの属する分類クラスを特定していくことで文
書データの分類処理を実行する。
【００２４】このようにして、文書データ分類装置１
は、文書データの自動分類を実現可能にするのである。
【００２５】
【実施例】以下、実施例に従って本発明を詳細に説明す
る。図２に、文書データ分類装置１が備え、かつ、文書
分類機能構築装置２が自動構築する分類決定木１０の一
例を図示する。
【００２６】分類決定木１０は、図１で説明したよう
に、各内部ノードに部分文字列のキーワードがラベル付
けされるとともに、葉ノードに文書データの分類クラス
名がラベル付けされた２分木である。この分類決定木１
０は、ノードにラベル付けされるキーワードを含む場合
には右側の下位ノードに進み、含まない場合には左側の
下位ノードに進んでいくことで、１つの文書データに対
して、根ノードから葉ノードへのユニークなパスを決定
するものであって、このパスの辿り着き先の葉ノードの
分類クラス名が、その文書データの分類される分類クラ
スとなるものである。
【００２７】この図２に示す分類決定木１０は、根ノー
ドに「論文集」というキーワード、第１階層の２つの内
部ノードのそれぞれに「古典力学」、「システム」とい
うキーワード、第２階層の１つの内部ノードに「自動制
御」というキーワード、第３階層の１つの内部ノードに
「ブック」というキーワード、第４階層の２つの内部ノ
ードのそれぞれに「大辞典」、「ハンドブック」という
キーワードを割り付け、「システム」の内部ノードの右
側の下位ノードとなる葉ノードに“４”、左側の下位ノ
ードとなる葉ノードに“２”という分類クラス、「古典
力学」の内部ノードの右側の下位ノードとなる葉ノード
に“１１”という分類クラス、「自動制御」の内部ノー
ドの右側の下位ノードとなる葉ノードに“４”という分
類クラスを割り付ける例でもって示してある。
【００２８】文書データ分類装置１は、例えば、「離散
事象システム研究会講演論文集」が与えられると、この
文書データが「論文集」というキーワードを持つこと
で、右側の下位ノードである「システム」の内部ノード
に進み、ここで、「システム」というキーワードを持つ
ことで、右側の下位ノードである葉ノードの「分類クラ
ス４」に進むことで、この文書データの「離散事象シス
テム研究会講演論文集」が分類クラス４に属するという
ことを判断していくよう処理することになる。
【００２９】サンプルデータ格納装置３は、この分類決
定木１０の構築に必要となる文書データのサンプルデー
タを格納するものである。図３に、このサンプルデータ
格納装置３の格納するサンプルデータの一例を図示す
る。この図のサンプルデータは、本の表題を文書データ
とし、この本が属する分類項目を分類クラスとしてい
る。
【００３０】すなわち、図４に示すような１２種類の本
の分類クラスを設定する場合にあって、図３に示すよう
に、「ステッドマン医学大辞典改定第２版縮刷版」とい
う本は、分類クラス名が“００”で表示される「参考」
の分類クラスに属し、「ＳＡＬＳ入門」という本は、分
類クラス名が“０１”で表示される「数理科学」の分類
クラスに属し、「１９９１情報学シンポジウム講演論文
集」という本は、分類クラス名が“０２”で表示される
「情報」の分類クラスに属するというように、サンプル
データ格納装置３は、文書データと文書データの属する
分類クラスとの組の集合からなるサンプルデータを格納
するのである。
【００３１】次に、図５及び図６に示す文書分類機能構
築装置２が実行する処理フローの一実施例に従って、文
書分類機能構築装置２の実行する分類決定木１０の自動
構築処理について詳細に説明する。
【００３２】この処理フローの説明に入る前に、この処
理フローで使用する記号の説明をする。“ｗ”は、文書
データの文字列を表す。“ｌ”は、文書データの分類ク
ラス名を表す。“Ｓ”は、文書データと分類クラスとの
組の集合を表し、初期値としては、サンプルデータ格納
装置３の格納するサンプルデータを表す。“ｖ”は、部
分文字列で定義されるキーワードを表す。“Ｓ1 v ”
は、次で定義されるように、
【００３３】
【数１】
【００３４】集合Ｓの内のキーワードｖを含むものの集
合を表し、一方、“Ｓ0 v ”は、次で定義されるよう
に、
【００３５】
【数２】
【００３６】集合Ｓの内のキーワードｖを含まないもの
の集合を表す。“Ｏccur（Ｓ, ｃ）”は、次で定義され
るように、
【００３７】
【数３】
【００３８】集合Ｓの内の分類クラスｃに属するものの
データ数を表す。そして、分類クラス名として、ｌ1,ｌ
2,・・・, ｌm というｍ個があり、文書データと分類ク
ラスとの組の集合をＸで表すならば、関数Ｉ（Ｘ）は、
【００３９】
【数４】
【００４０】で定義され、評価関数Ｌoss(ｖ，Ｘ）は、
この関数Ｉ（Ｘ）を使って、
【００４１】
【数５】
【００４２】で定義される。ここで、“｜Ｘ｜”は、集
合Ｘのデータ数を表す。次に、図５及び図６に示す学習
アルゴリズムＬＥＡＲＮに従って、文書分類機能構築装
置２の実行する分類決定木１０の自動構築処理について
説明する。
【００４３】文書分類機能構築装置２は、分類決定木１
０の構築処理の開始に先立って、図５の処理フローの
で示すように、ユーザと対話することで、サンプルデー
タＳの入力処理を実行するとともに、で示すように、
キーワードの抽出条件となるパラメータ“keyl1","keyl
2"と、学習処理の終了条件となるパラメータ"prnrt","n
srt"とを設定する。
【００４４】次に、呼び出し元となる手続きＰrocedure
に従い、図中ので示すように、サンプルデータＳか
ら、keyl1 以上の文字列長を有し、かつkeyl2 以下の文
字列長を有する部分文字列をキーワードの候補“Ｋeywo
rds"として抽出する。この抽出処理に従って、図７に示
すような、キーワードの候補リストが生成される。この
ように、文書分類機能構築装置２は、指定された長さの
部分文字列の全てをキーワードの候補とするので、日本
語処理等に特有の分かち書きの処理を実行する必要がな
く、そのための辞書やパーザを用意する必要がないので
ある。
【００４５】このようにして、サンプルデータＳと、キ
ーワードの候補リスト“Ｋeywords"と、パラメータ"prn
rt","nsrt"とが設定されると、手続きＰrocedureは、図
中ので示すように、これを引数として、分類決定木Ｔ
を決定すべく、図５に示す処理フローの副手続きＦＩＮ
ＤＳを呼び出しいく。
【００４６】手続きＰrocedureから呼び出されると、副
手続きＦＩＮＤＳは、最初に、図６の処理フローの「3.
1.」で、処理対象文書データ集合としてサンプルデータ
Ｓを設定し、この処理対象文書データ集合を２つの非空
の“Ｓ1 v ”と“Ｓ0 v ”とに分離することのできるキ
ーワードｖ（informative なキーワード）を特定して、
このinformative なキーワードｖの全てについて評価関
数Ｌoss(ｖ，Ｓ）を計算する。次に、「3.2.」で、この
informative なキーワードが存在しない場合には、呼び
出し元の手続きＰrocedureに“Ｔ＝bad"を返して処理を
終了する。一方、このinformative なキーワードｖが存
在する場合には、続く「3.3.」で、このキーワードｖの
内、評価関数Ｌoss(ｖ，Ｓ）の関数値が最も小さな値を
示すキーワードｖg を選択する。このとき、この評価値
が同一値又は概略同一値となるときには、その内の最も
長い文字列長のキーワードｖg を選択する。
【００４７】続いて、「3.4.」で、キーワード候補リス
ト“Ｋeywords"から、「3.3.」で選択したキーワードｖ
g を取り除くとともに、このキーワードｖg を含まない
集合“Ｓ0 vg”を抽出して、この集合“Ｓ0 vg”と、新
たなキーワード候補リスト“Ｋeywords"と、パラメータ
"prnrt","nsrt"とを引数として、下位階層の分類決定木
Ｔ0 を決定すべく、再帰的に、副手続きＦＩＮＤＳを呼
び出していくとともに、このキーワードｖg を含む集合
“Ｓ1 vg”を抽出して、この集合“Ｓ1 vg”と、新たな
キーワード候補リスト“Ｋeywords"と、パラメータ"prn
rt","nsrt"とを引数として、下位階層の分類決定木Ｔ1
を決定すべく、再帰的に、副手続きＦＩＮＤＳを呼び出
していく。そして、このとき、「3.5.」で、キーワード
ｖg を分岐元ノードとし、左側に分岐する分離木Ｔ0 と
右側に分岐する分離木Ｔ1 とからなる分類決定木を呼び
出し元の手続きＰrocedureに返していく。
【００４８】再帰的に呼び出されると、副手続きＦＩＮ
ＤＳは、キーワードｖg を含まない集合“Ｓ0 vg”を新
たな処理対象文書データ集合として設定して、上述の処
理を繰り返していくとともに、キーワードｖg を含む文
書データ“Ｓ1 vg”を新たな処理対象文書データ集合と
して設定して、上述の処理を繰り返していく。
【００４９】このようにして、副手続きＦＩＮＤＳは、
上位ノードに到るまでに振り分けられた文書データ／分
類クラスの集合であって、かつ、上位ノードに割り付け
られたキーワードｖg を含まない集合“Ｓ0 vg”を新た
な処理対象文書データ集合として設定して、上述の処理
を繰り返していくとともに、上位ノードに到るまでに振
り分けられた文書データ／分類クラスの集合であって、
かつ、上位ノードに割り付けられたキーワードｖg を含
む集合“Ｓ1 vg”を新たな処理対象文書データ集合とし
て設定して、上述の処理を繰り返していくことで、分類
決定木を生成して呼び出し元の手続きＰrocedureに返し
ていくのである。
【００５０】この処理を実行していくときにあって、副
手続きＦＩＮＤＳは、図６の処理フローのに示すよう
に、処理対象文書データ集合Ｓの持つ分類クラスの内の
最大データ数の分類クラスｌi を特定し、処理対象文書
データ集合Ｓのデータ数と、その特定した分類クラスｌ
i に属さない処理対象文書データ集合Ｓのデータ数との
割合値を算出して、その割合値がパラメータ"nsrt"より
も小さな値になるときには、それより下位階層の分類決
定木の処理を終了して、呼び出し元の手続きＰrocedure
に“Ｔ＝ｌi ”を返していく。
【００５１】また、に示すように、処理対象文書デー
タ集合Ｓのデータ数を特定して、この特定したデータ数
がパラメータ"prnrt" よりも小さな値になるときには、
それより下位階層の分類決定木の処理を終了し、処理対
象文書データ集合Ｓの持つ分類クラスの内の最大データ
数の分類クラスｌi を特定して、呼び出し元の手続きＰ
rocedureに“Ｔ＝ｌi ”を返していく。
【００５２】そして、副手続きＦＩＮＤＳが全ての処理
を終了すると、手続きＰrocedureは、図５の処理フロー
のに示すように、副手続きＦＩＮＤＳが通知してきた
分類決定木Ｔを出力して処理を終了する。
【００５３】このようにして、文書分類機能構築装置２
は、図５及び図６の処理フローを実行することで、文書
データ分類装置１を構成する分類決定木１０を自動構築
していくのである。
【００５４】そして、このようにして分類決定木１０が
構築されると、文書データ分類装置１は、分類対象の文
書データが与えられるときに、その文書データから文字
列のつながりで定義されるキーワードを抽出しつつ、こ
の構築された分類決定木１０を辿ることで、その文書デ
ータの属する分類クラスを特定していくことで文書デー
タの分類処理を実行することになる。
【００５５】次に、この発明の有効性を検証するために
行った実験結果について説明する。この実験は、２つの
実験からなる。実験１では、図３にその一部を示した１
６３冊の本の表題を文書データとし、この本が属する分
類項目を分類クラスとするサンプルデータを用いて、適
切な分類決定木１０が生成されるか否かをチェックする
ことで行った。一方、実験２は、最初に、図３のその一
部を示した４４６冊の本の表題を文書データとし、この
本が属する分類項目を分類クラスとするサンプルデータ
を用いて分類決定木１０を生成して、次に、この分類決
定木１０に従って、サンプルデータに含まれない３０６
冊の本の表題が正しい分類クラスに識別されるか否かを
チェックすることで行った。
【００５６】図８に、実験１により得られた分類決定木
１０の一部を図示するとともに、図９に、分類クラス
“０４”に分類された本の表題を図示する。ここで、こ
の実験１は、３文字以上１２文字以下の部分文字列をキ
ーワードとして抽出するとともに、パラメータ"prnrt”
の値は“５”、パラメータ"nsrt"の値は“0.2"に設定し
て行った。
【００５７】この図８から分かるように、本発明の文書
分類機能構築装置２により、適切なキーワードが抽出さ
れることで、適切な分類決定木１０が生成されることが
検証された。そして、この図９から分かるように、分類
クラス“０２”に属する「大型プロジェクトパターン情
報処理システム研究開発成果発表会論文集」と、分類ク
ラス“１０”に属する「第３回ロボティクス・自動化シ
ステムシンポジウム講演論文集」という２つの表題が、
分類クラス“０４”に分類されることが分かる。この２
つの表題は、その意味内容から、本来は分類クラス“０
４”に分類されるべきものであったものであり、このよ
うな誤ったものがサンプルデータにノイズとして含まれ
ていても、本発明の採用する葉ノードの終了条件に従っ
て、適切に分類決定木１０が生成されることが検証され
たのである。
【００５８】実験２では、３文字以上８文字以下の部分
文字列をキーワードとして抽出するとともに、パラメー
タ"prnrt”の値は“３”、パラメータ"nsrt"の値は“0.
05"に設定して分類決定木１０を生成した。この生成さ
れた分類決定木１０に従って、サンプルデータに含まれ
ない３０６冊の本の表題は、約７２％の正解率でもって
正しい分類クラスに分類されることが確認された。まだ
十分な正解率とは言えないが、これは、分類決定木１０
の構築に用いたサンプルデータのデータ数が少ない点
や、各分野に特有の専門的な本が少数ずつあってサンプ
ルデータの例が偏っている点や、その本に固有のキーワ
ードが多いことにその理由があると思われ、十分改善可
能であると考える。
【００５９】図示実施例について説明したが、本発明は
これに限定されるものではない。例えば、実施例では、
本の表題を文書データとする例でもって本発明を開示し
たが、本発明はこれに限られることなく、如何なる文書
データであってもよい。また、実施例では、Ｌoss(ｖ，
Ｓ）という評価関数でもってキーワードを選択していく
構成に従って本発明を開示したが、本発明はこれに限ら
れることなく、別の評価関数を用いるものであってもよ
いのである。
【００６０】
【発明の効果】以上説明したように、本発明によれば、
文書データの分類を実現可能とする適切なキーワードが
抽出されつつ、分類決定木により構成される文書データ
分類装置が自動構築できるようになる。そして、この自
動構築される文書データ分類装置に従って、文書データ
の自動分類を実現できるようになるのである。
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】分類決定木の一例である。
【図３】サンプルデータの説明図である。
【図４】本の分類クラスの説明図である。
【図５】文書分類機能構築装置の実行する処理フローの
一実施例である。
【図６】文書分類機能構築装置の実行する処理フローの
一実施例である。
【図７】抽出されるキーワードの説明図である。
【図８】実験により得られた分類決定木の説明図であ
る。
【図９】実験により分類された文書データの説明図であ
る。
【符号の説明】
１ 文書データ分類装置 ２ 文書分類機能構築装置 ３ サンプルデータ格納装置 ４ キーワード格納装置 １０ 分類決定木 １１ 検索手段 ２０ 抽出手段 ２１ 算出手段 ２２ 設定手段 ２３ 判断手段 ２４ 割付手段

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 文書データが与えられるときに、該文書
    データの属する分類クラスを特定する文書データ分類装
    置であって、 キーワードが割り付けられるとともに、該キーワードを
    含む場合の分岐先と、含まない場合の分岐先とが異なる
    ものとなるノードの木構造により構成され、かつ、葉ノ
    ードには、キーワードに代えて分類クラスが割り付けら
    れるよう構成される分類決定木(10)を用意して、 文書データが与えられるときに、上記分類決定木(10)を
    辿ることで、該文書データの属する分類クラスを特定す
    るよう構成されることを、 特徴とする文書データ分類装置。
  2. 【請求項２】 請求項１記載の文書データ分類装置を構
    築する文書分類機能構築装置であって、 文書データと該文書データの属する分類クラスとの組の
    集合からなるサンプルデータを参照して、該文書データ
    から文字列のつながりで定義されるキーワードを抽出す
    る抽出手段(20)と、 設定される処理対象文書データの内の指定のキーワード
    を含む文書データの持つ属性値と、含まない文書データ
    の持つ属性値とにより規定される評価値を算出する評価
    関数に従って、該指定のキーワードの持つ評価値を算出
    する算出手段(21)と、 根ノードについては上記サンプルデータの文書データ、
    根ノード以外のノードについては、上位ノードに到るま
    でに振り分けられた文書データであって、かつ、上位ノ
    ードに割り付けられたキーワードにより分類される文書
    データを処理対象文書データとして設定する設定手段(2
    2)と、 上記設定手段(22)が処理対象文書データを設定するとき
    に、該処理対象文書データの持つ属性値が所定の終了条
    件を充足するか否かを判断する判断手段(23)と、 上記判断手段(23)が終了条件の充足を判断しないとき
    に、未割り付けのキーワードを順次指定して上記算出手
    段(21)を呼び出していくことで、各未割り付けのキーワ
    ードの持つ評価値を得るとともに、該評価値に従って未
    割り付けのキーワードの内の１つを選択してノードに割
    り付け、一方、終了条件の充足を判断するときには、キ
    ーワードに代えて、処理対象文書データの示す分類クラ
    スをノードに割り付ける割付手段(24)とを備え、 上記割付手段(24)がキーワードを割り付けるときには、
    上記設定手段(22)が再帰的に呼び出されていくよう処理
    することを、 特徴とする文書分類機能構築装置。
  3. 【請求項３】 請求項２記載の文書分類機能構築装置に
    おいて、 抽出手段(20)は、規定の文字列長以上であって、かつ、
    規定の文字列長以下のつながりで定義される文字列をキ
    ーワードとして抽出するよう処理することを、 特徴とする文書分類機能構築装置。
  4. 【請求項４】 請求項２又は３記載の文書分類機能構築
    装置において、 割付手段(24)は、複数のキーワードが同一値又は概略同
    一値となる評価値を持つときには、最も長い文字列長の
    キーワードを選択するよう処理することを、 特徴とする文書分類機能構築装置。
  5. 【請求項５】 請求項２、３又は４記載の文書分類機能
    構築装置において、 判断手段(23)は、処理対象文書データのデータ数が規定
    値以下となるときに、終了条件の充足を判断するよう処
    理することを、 特徴とする文書分類機能構築装置。
  6. 【請求項６】 請求項２、３又は４記載の文書分類機能
    構築装置において、 判断手段(23)は、処理対象文書データの持つ分類クラス
    が規定の割合値以上で同一のものとなるときに、終了条
    件の充足を判断するよう処理することを、 特徴とする文書分類機能構築装置。
JP4131211A 1992-05-25 1992-05-25 文書データ分類装置及び文書分類機能構築装置 Pending JPH05324726A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4131211A JPH05324726A (ja) 1992-05-25 1992-05-25 文書データ分類装置及び文書分類機能構築装置
US08/066,218 US5463773A (en) 1992-05-25 1993-05-25 Building of a document classification tree by recursive optimization of keyword selection function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4131211A JPH05324726A (ja) 1992-05-25 1992-05-25 文書データ分類装置及び文書分類機能構築装置

Publications (1)

Publication Number Publication Date
JPH05324726A true JPH05324726A (ja) 1993-12-07

Family

ID=15052640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4131211A Pending JPH05324726A (ja) 1992-05-25 1992-05-25 文書データ分類装置及び文書分類機能構築装置

Country Status (2)

Country Link
US (1) US5463773A (ja)
JP (1) JPH05324726A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0704810A1 (en) 1994-09-30 1996-04-03 Hitachi, Ltd. Method and apparatus for classifying document information
JPH11203302A (ja) * 1998-01-09 1999-07-30 Nec Corp 文書分類装置、方法及び記録媒体
JP2000113064A (ja) * 1998-10-09 2000-04-21 Fuji Xerox Co Ltd 最適行為者選定支援システム
US6549752B2 (en) 2001-01-29 2003-04-15 Fujitsu Limited Apparatus and method accumulating cases to be learned
JP2009099145A (ja) * 2007-10-12 2009-05-07 Palo Alto Research Center Inc 対象領域におけるディジタル情報開示方法
US12561523B2 (en) 2023-04-28 2026-02-24 Nec Corporation Information processing device, information processing method, and recording medium

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0615201B1 (en) * 1993-03-12 2001-01-10 Kabushiki Kaisha Toshiba Document detection system using detection result presentation for facilitating user's comprehension
US5991709A (en) * 1994-07-08 1999-11-23 Schoen; Neil Charles Document automated classification/declassification system
JP3030533B2 (ja) * 1994-07-26 2000-04-10 篤 今野 情報分類装置
JP3630734B2 (ja) * 1994-10-28 2005-03-23 キヤノン株式会社 情報処理方法
US5675710A (en) * 1995-06-07 1997-10-07 Lucent Technologies, Inc. Method and apparatus for training a text classifier
US5745893A (en) * 1995-11-30 1998-04-28 Electronic Data Systems Corporation Process and system for arrangement of documents
JPH09160821A (ja) * 1995-12-01 1997-06-20 Matsushita Electric Ind Co Ltd ハイパーテキスト文書作成装置
EP0891593B1 (de) * 1996-04-03 2000-03-01 Siemens Aktiengesellschaft Verfahren zur automatischen klassifikation eines auf einem dokument aufgebrachten textes nach dessen transformation in digitale daten
US5799311A (en) * 1996-05-08 1998-08-25 International Business Machines Corporation Method and system for generating a decision-tree classifier independent of system memory size
US20030061221A1 (en) * 1996-05-24 2003-03-27 Fumiaki Ito Document processing method system and storage medium for document processing programs
US5794236A (en) * 1996-05-29 1998-08-11 Lexis-Nexis Computer-based system for classifying documents into a hierarchy and linking the classifications to the hierarchy
WO1998012616A2 (en) 1996-09-23 1998-03-26 Lowrie Mcintosh Defining a uniform subject classification system incorporating document management/records retention functions
US6480194B1 (en) 1996-11-12 2002-11-12 Silicon Graphics, Inc. Computer-related method, system, and program product for controlling data visualization in external dimension(s)
US6373483B1 (en) 1997-01-13 2002-04-16 Silicon Graphics, Inc. Method, system and computer program product for visually approximating scattered data using color to represent values of a categorical variable
US6182058B1 (en) 1997-02-28 2001-01-30 Silicon Graphics, Inc. Bayes rule based and decision tree hybrid classifier
US6137499A (en) * 1997-03-07 2000-10-24 Silicon Graphics, Inc. Method, system, and computer program product for visualizing data using partial hierarchies
US6278464B1 (en) 1997-03-07 2001-08-21 Silicon Graphics, Inc. Method, system, and computer program product for visualizing a decision-tree classifier
US5960435A (en) * 1997-03-11 1999-09-28 Silicon Graphics, Inc. Method, system, and computer program product for computing histogram aggregations
US5930803A (en) * 1997-04-30 1999-07-27 Silicon Graphics, Inc. Method, system, and computer program product for visualizing an evidence classifier
US5924090A (en) * 1997-05-01 1999-07-13 Northern Light Technology Llc Method and apparatus for searching a database of records
US5940821A (en) * 1997-05-21 1999-08-17 Oracle Corporation Information presentation in a knowledge base search and retrieval system
US6026399A (en) * 1997-05-30 2000-02-15 Silicon Graphics, Inc. System and method for selection of important attributes
US6098066A (en) * 1997-06-13 2000-08-01 Sun Microsystems, Inc. Method and apparatus for searching for documents stored within a document directory hierarchy
US6185550B1 (en) * 1997-06-13 2001-02-06 Sun Microsystems, Inc. Method and apparatus for classifying documents within a class hierarchy creating term vector, term file and relevance ranking
EP1032896B1 (en) * 1997-11-24 2002-03-27 BRITISH TELECOMMUNICATIONS public limited company Information management and key term retrieval
US6640224B1 (en) * 1997-12-15 2003-10-28 International Business Machines Corporation System and method for dynamic index-probe optimizations for high-dimensional similarity search
US6389436B1 (en) * 1997-12-15 2002-05-14 International Business Machines Corporation Enhanced hypertext categorization using hyperlinks
US6101275A (en) * 1998-01-26 2000-08-08 International Business Machines Corporation Method for finding a best test for a nominal attribute for generating a binary decision tree
US6230151B1 (en) * 1998-04-16 2001-05-08 International Business Machines Corporation Parallel classification for data mining in a shared-memory multiprocessor system
US5991714A (en) * 1998-04-22 1999-11-23 The United States Of America As Represented By The National Security Agency Method of identifying data type and locating in a file
US6044375A (en) * 1998-04-30 2000-03-28 Hewlett-Packard Company Automatic extraction of metadata using a neural network
US6253169B1 (en) * 1998-05-28 2001-06-26 International Business Machines Corporation Method for improvement accuracy of decision tree based text categorization
JP3665480B2 (ja) * 1998-06-24 2005-06-29 富士通株式会社 文書整理装置および方法
US7039856B2 (en) * 1998-09-30 2006-05-02 Ricoh Co., Ltd. Automatic document classification using text and images
US6301579B1 (en) 1998-10-20 2001-10-09 Silicon Graphics, Inc. Method, system, and computer program product for visualizing a data structure
US6397205B1 (en) 1998-11-24 2002-05-28 Duquesne University Of The Holy Ghost Document categorization and evaluation via cross-entrophy
US6460049B1 (en) 1998-12-22 2002-10-01 Silicon Graphics, Inc. Method system and computer program product for visualizing an evidence classifier
JP2000285140A (ja) * 1998-12-24 2000-10-13 Ricoh Co Ltd 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7275061B1 (en) * 2000-04-13 2007-09-25 Indraweb.Com, Inc. Systems and methods for employing an orthogonal corpus for document indexing
US8554775B2 (en) 1999-04-13 2013-10-08 Semmx, Inc. Orthogonal corpus index for ad buying and search engine optimization
US6675161B1 (en) 1999-05-04 2004-01-06 Inktomi Corporation Managing changes to a directory of electronic documents
FR2797067B1 (fr) * 1999-06-09 2005-07-29 Ricoh Kk Procede, dispositif et support lisible par ordinateur pour effectuer une recherche de document
US6442555B1 (en) * 1999-10-26 2002-08-27 Hewlett-Packard Company Automatic categorization of documents using document signatures
US6397215B1 (en) 1999-10-29 2002-05-28 International Business Machines Corporation Method and system for automatic comparison of text classifications
US7200684B1 (en) * 2000-04-13 2007-04-03 International Business Machines Corporation Network data packet classification and demultiplexing
CA2307404A1 (en) * 2000-05-02 2001-11-02 Provenance Systems Inc. Computer readable electronic records automated classification system
JP3499808B2 (ja) * 2000-06-29 2004-02-23 本田技研工業株式会社 電子文書分類システム
US6990496B1 (en) 2000-07-26 2006-01-24 Koninklijke Philips Electronics N.V. System and method for automated classification of text by time slicing
EP1182581B1 (en) 2000-08-18 2005-01-26 Exalead Searching tool and process for unified search using categories and keywords
US20020065857A1 (en) * 2000-10-04 2002-05-30 Zbigniew Michalewicz System and method for analysis and clustering of documents for search engine
US6461166B1 (en) 2000-10-17 2002-10-08 Dennis Ray Berman Learning system with learner-constructed response based testing methodology
EP1244027A1 (de) * 2001-03-23 2002-09-25 Siemens Business Services GmbH & Co. OHG Methode zur Einordnung eines Dokuments in einen Dokumentenbestand
ATE278989T1 (de) * 2001-05-16 2004-10-15 Exentis Prozess zum extrahieren von schlüsselwörtern
US20020183984A1 (en) * 2001-06-05 2002-12-05 Yining Deng Modular intelligent multimedia analysis system
US7010515B2 (en) * 2001-07-12 2006-03-07 Matsushita Electric Industrial Co., Ltd. Text comparison apparatus
US7074128B2 (en) 2001-08-03 2006-07-11 Drb Lit Ltd. Method and system for enhancing memorization by using a mnemonic display
US7756320B2 (en) * 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US20110188759A1 (en) * 2003-06-26 2011-08-04 Irina Filimonova Method and System of Pre-Analysis and Automated Classification of Documents
RU2003108433A (ru) * 2003-03-28 2004-09-27 Аби Софтвер Лтд. (Cy) Способ предварительной обработки изображения машиночитаемой формы
US7395256B2 (en) * 2003-06-20 2008-07-01 Agency For Science, Technology And Research Method and platform for term extraction from large collection of documents
RU2635259C1 (ru) * 2016-06-22 2017-11-09 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и устройство для определения типа цифрового документа
US7357640B2 (en) * 2003-07-02 2008-04-15 Drb Lit Ltd. Lock-In Training system
US20050123526A1 (en) * 2003-12-01 2005-06-09 Medtronic Inc. Administration of growth factors for neurogenesis and gliagenesis
TWM249950U (en) * 2004-01-02 2004-11-11 Cvc Technologies Inc Cap tightening machine capable of controlling tightening torque
US7392262B1 (en) 2004-02-11 2008-06-24 Aol Llc Reliability of duplicate document detection algorithms
US7725475B1 (en) 2004-02-11 2010-05-25 Aol Inc. Simplifying lexicon creation in hybrid duplicate detection and inductive classifier systems
US7364432B2 (en) * 2004-03-31 2008-04-29 Drb Lit Ltd. Methods of selecting Lock-In Training courses and sessions
US9268780B2 (en) 2004-07-01 2016-02-23 Emc Corporation Content-driven information lifecycle management
US20060085469A1 (en) * 2004-09-03 2006-04-20 Pfeiffer Paul D System and method for rules based content mining, analysis and implementation of consequences
US8234309B2 (en) * 2005-01-31 2012-07-31 International Business Machines Corporation Method for automatically modifying a tree structure
US7747937B2 (en) * 2005-08-16 2010-06-29 Rojer Alan S Web bookmark manager
US8176004B2 (en) * 2005-10-24 2012-05-08 Capsilon Corporation Systems and methods for intelligent paperless document management
WO2007050646A2 (en) * 2005-10-24 2007-05-03 Capsilon Fsg, Inc. A business method using the automated processing of paper and unstructured electronic documents
US8380696B1 (en) * 2005-12-20 2013-02-19 Emc Corporation Methods and apparatus for dynamically classifying objects
JP2007286864A (ja) * 2006-04-17 2007-11-01 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
US7519619B2 (en) * 2006-08-21 2009-04-14 Microsoft Corporation Facilitating document classification using branch associations
US20090063470A1 (en) * 2007-08-28 2009-03-05 Nogacom Ltd. Document management using business objects
US9286345B2 (en) 2009-06-12 2016-03-15 International Business Machines Corporation Query tree navigation
US8577823B1 (en) 2011-06-01 2013-11-05 Omar M. A. Gadir Taxonomy system for enterprise data management and analysis
US9740765B2 (en) 2012-10-08 2017-08-22 International Business Machines Corporation Building nomenclature in a set of documents while building associative document trees
US20160314184A1 (en) * 2015-04-27 2016-10-27 Google Inc. Classifying documents by cluster
JP6540268B2 (ja) * 2015-06-24 2019-07-10 富士ゼロックス株式会社 オブジェクト分類装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4318184A (en) * 1978-09-05 1982-03-02 Millett Ronald P Information storage and retrieval system and method
US4606002A (en) * 1983-05-02 1986-08-12 Wang Laboratories, Inc. B-tree structured data base using sparse array bit maps to store inverted lists
US4817036A (en) * 1985-03-15 1989-03-28 Brigham Young University Computer system and method for data base indexing and information retrieval
JPH021057A (ja) * 1988-01-20 1990-01-05 Ricoh Co Ltd 文書検索装置
US5265065A (en) * 1991-10-08 1993-11-23 West Publishing Company Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query
US5325465A (en) * 1992-03-04 1994-06-28 Singapore Computer Systems Limited End user query facility

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0704810A1 (en) 1994-09-30 1996-04-03 Hitachi, Ltd. Method and apparatus for classifying document information
JPH11203302A (ja) * 1998-01-09 1999-07-30 Nec Corp 文書分類装置、方法及び記録媒体
JP2000113064A (ja) * 1998-10-09 2000-04-21 Fuji Xerox Co Ltd 最適行為者選定支援システム
US6549752B2 (en) 2001-01-29 2003-04-15 Fujitsu Limited Apparatus and method accumulating cases to be learned
JP2009099145A (ja) * 2007-10-12 2009-05-07 Palo Alto Research Center Inc 対象領域におけるディジタル情報開示方法
US12561523B2 (en) 2023-04-28 2026-02-24 Nec Corporation Information processing device, information processing method, and recording medium

Also Published As

Publication number Publication date
US5463773A (en) 1995-10-31

Similar Documents

Publication Publication Date Title
JPH05324726A (ja) 文書データ分類装置及び文書分類機能構築装置
NZ524988A (en) A document categorisation system
US5982933A (en) Information processing method, information processing apparatus, and storage medium
CN104142822A (zh) 使用信息检索进行源代码流分析
US7197697B1 (en) Apparatus for retrieving information using reference reason of document
KR20070102034A (ko) 문서검색 결과를 이용한 군집화 시스템 및 그 방법
CN110941959A (zh) 文本违规检测、文本还原方法、数据处理方法及设备
US20040122660A1 (en) Creating taxonomies and training data in multiple languages
WO2008062822A1 (en) Text mining device, text mining method and text mining program
CN110413779B (zh) 一种针对电力行业的词向量训练方法及其系统、介质
CN113010642A (zh) 语义关系的识别方法、装置、电子设备及可读存储介质
JP3612914B2 (ja) 構造化文書検索装置及び構造化文書検索方法
KR101846347B1 (ko) 대용량 문서의 관리 방법 및 그 장치
JP2000148770A (ja) 問合せ文書の分類装置および方法ならびに当該方法を記述したプログラムを記録した記録媒体
JPH11143904A (ja) データベース検索方法，装置およびデータベース検索プログラムを記録した記録媒体
CN111400320A (zh) 用于生成信息的方法和装置
KR102540939B1 (ko) 자연어 검색의 적절도 향상 시스템 및 적절도 향상 방법
JPH08305726A (ja) 情報検索装置
CN116910182B (zh) 一种跨语言代码搜索方法及装置
JP2006501545A (ja) オブジェクト分類のための顕著な特徴を自動的に判定する方法および装置
Палій et al. Data recognition in documents and classification algorithm
Palii et al. Data recognition in documents and classification algorithm
JPH09212523A (ja) 全文検索方法
Patrizi SIBILLA: An implementation of an intelligent library management system
CN108052508B (zh) 一种信息抽取方法及装置