JP2000285140A - 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2000285140A JP2000285140A JP11343890A JP34389099A JP2000285140A JP 2000285140 A JP2000285140 A JP 2000285140A JP 11343890 A JP11343890 A JP 11343890A JP 34389099 A JP34389099 A JP 34389099A JP 2000285140 A JP2000285140 A JP 2000285140A
- Authority
- JP
- Japan
- Prior art keywords
- document
- classification
- unit
- data
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99934—Query formulation, input preparation, or translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
て、単にその結果のみを出力するのではなく、情報分析
作業全般にわたる支援をおこなうことを課題とする。 【解決手段】 入力された文書データを記憶する文書記
憶部402と、文書記憶部402により記憶された文書
データの全部または一部を選択する選択部403と、選
択部403により選択された文書データの全部または一
部から文字列の特徴に関するデータを抽出する特徴抽出
部404と、特徴抽出404により抽出された文字列の
特徴に関するデータに基づいて文書データの全部または
一部を加工処理する加工処理部405と、加工処理部4
05により加工処理された文書データの全部または一部
を出力する出力部406とを備える。
Description
の文書データを所定の形式で表示または印刷するために
出力する文書処理装置、文書処理方法およびその方法を
コンピュータに実行させるプログラムを記録したコンピ
ュータ読み取り可能な記録媒体に関する。また、この発
明は、入力された複数の文書をその文書の内容に基づい
て分類をおこなう、特に文書分類の際に算出される分類
カテゴリ(体系)を精錬化する文書分類装置、文書分類
方法およびその方法をコンピュータに実行させるプログ
ラムを記録したコンピュータ読み取り可能な記録媒体に
関する。
索装置が開発されている。また、インターネット等のネ
ットワーク技術の普及により国内外の大量の電子化文書
へのアクセスが可能になり、それに比例して業務上電子
的に蓄積される情報の量も飛躍的に拡大した。その中で
収集した大量の文書情報を意味あるカテゴリ(体系)に
分類する等の知的作業の必要性が高まってきている。
るという作業の目的は、以下のようなものである。まず
第1に、検索容易性の向上が考えられる。これは、膨大
な文書群を分類名称(内容名)を手がかりに検索できる
ので検索が比較的容易になるというものである。
これは、文書群全体がどのような内容(個々の分類)で
構成されているかを把握する。しかし、大量の文書情報
を操作者が手動で分類する場合、正確な分類をすること
はできるが、分類に係る人的・時間的コストが膨大なも
のになるため、近年の文書の蓄積量の膨大さから、文書
情報の自動分類装置が提案されるようになってきた。
とえば、特開平7−36897号公報に記載されている
ように、文書を、単語を特徴とする文書ベクトルとみな
し、クラスタリング手法を用いてこれらの文書ベクトル
を群分けし、群分けした文書ベクトルに基づいて文書の
自動分類をおこなうものがある。
Efficient Document Clust
ering(著者名:Hinrich Schutze
and Craing Silverstein,
学会名:ACM, 論文名:Proceedings
of SIGIR, ページ:74−81, 発行年:
1997)」においては、潜在的意味空間において文書
分類を実施しているものがある。そのほかの方法として
は、確率論的アプローチを用いる方法等が考えられる。
り、大量の文書群へのアクセスが可能になり、その結
果、その文書群をさまざまな利用者の意図に基づいて、
かつ、効率的に利用できるようにする必要性が高まって
いる。そのため、大量の文書群を意味のあるカテゴリに
分類し、文書群の構造を把握するという知的作業がおこ
なわれ始めている。しかし、このような分類作業を人手
によりおこなう場合、その人的および時間的なコストが
膨大なものになるし、また、分類のための知識を分類者
のみが有することになるため、分類担当者が代わると分
類基準も変わってしまうことになる。
分類基準で自動的に分類しうる文書分類装置が望まれて
おり、文書分類装置としては、たとえば、特開平7−1
14572号公報に記載されているように、文書から自
動的に単語の特徴ベクトルを抽出し、その特徴ベクトル
をもとに文書分類することで、意味的な異なりを用いた
自動分類を可能にするものがある。
来技術の文書分類装置は、本質的には単語で構成される
多次元空間に布置した文書を統計的な分類をする方法で
あるため、分類結果は単語のいわゆる振る舞いという観
点から統計的に求められたものにすぎず,分類の結果、
算出される各クラスタ(分類された個々の文書の部分集
合)が操作者(利用者)に理解不能な場合がある。
類対象の文書集合の特徴や、利用者の作業の目的に依存
するため、最適な分類結果について定義することが困難
であるという問題点があった。特に、上記情報群全体の
把握に関し、多様な操作者の意図により要求される分類
も異なるため、一度の分類作業で、操作者の所望する結
果を得ることが困難であるという問題点があった。
わゆるノイズを含んだものであると解釈することがで
き、その一部についてのみが操作者にとって有益な場合
が多いという問題点があった。
の構成単位を考慮していないため、文書が一つまたは複
数の段落記号やタイトルなどにより区切られた構造を持
つ場合には、一つの文書の中に複数の話題や意味が含ま
れてしまい、その結果、利用者がその分類カテゴリを理
解し難くなったり、また、ある特定の話題や特定の意味
に限定されたカテゴリになったり、利用者の意図するカ
テゴリとは異なるカテゴリに分類されてしまうという問
題か生じている。
された文脈依存自動分類装置には、文書の段落情報を考
慮した文書自動分類をおこなうことにより分類精度を高
めようとするものが開示されているか、本質的に上記の
問題を解決するものではない。
検索装置等の文書処理装置は、単に文書を分類する、あ
るいは文書を検索する機能を有するのみで、その結果を
用いてさらなる分析をおこない、文書群に内在する隠れ
た情報の解析をおこなうことについては何ら考慮がされ
ておらず、文書群に内在する隠れた情報の解析は別の解
析装置を用いておこなわなければならないという問題点
があった。
業や検索作業をおこなうのは、これらの作業において、
結果は目的なのではなく、単に情報分析作業の途中経過
にすぎないからである。通常は、その後、さらに結果を
把握しやすくするために、元の文書に含まれる情報を最
大限に活用し、結果の並べ替えをおこなったり、集計・
統計処理を施したり、結果をもとに表の形式にまとめた
り、さらにはグラフ化したりというようなさまざまな処
理を繰り返しおこない、意味ある情報分析結果を導き出
す必要がある。
作業において、表計算ソフトウエアが用いられる場合が
あるが、表計算ソフトウエアは、元来、数値データの取
扱いを意図して開発されたものであり、文字データ、特
に文書の意味に係わるような分析作業においては十分な
効果を発揮することはできなかった。
を解消するため、文書の意味に係わるような分析作業に
おいて、単に分類作業や検索作業などを固定された機能
としておこない、その結果を出力するのではなく、情報
分析作業全般にわたる支援をおこなうことができる文書
処理装置、文書処理方法およびその方法をコンピュータ
に実行させるプログラムを記録したコンピュータ読み取
り可能な記録媒体を提供することを第1の目的とする。
題点を解消するため、任意の文書集合にどのような内容
が含まれるかを漸次的に収集することができる文書分類
装置、文書分類方法およびその方法をコンピュータに実
行させるプログラムを記録したコンピュータ読み取り可
能な記録媒体を提供することを第2の目的とする。
題点を解決するため、一つの文書の中に複数の話題や意
味が含まれている場合に、ある特定の話題や意味に限定
されたカテゴリに分類されたり、利用者の意図するカテ
ゴリとは異なるカテゴリに分類されることがないことに
より、利用者かその分類カテゴリをよく理解できる文書
分類装置、文書分類方法およびその方法をコンピュータ
に実行させるプログラムを記録したコンピュータ読み取
り可能な記録媒体を提供することを第3の目的とする。
目的を達成するため、請求項1の発明に係る文書処理装
置は、入力された複数の文書データを所定の形式で表示
または印刷するために出力する文書処理装置において、
入力された文書データを記憶する文書記憶手段と、前記
文書記憶手段により記憶された文書データの全部または
一部を選択する選択手段と、前記選択手段により選択さ
れた文書データの全部または一部から文字列の特徴に関
するデータを抽出する特徴抽出手段と、前記特徴抽出手
段により抽出された文字列の特徴に関するデータに基づ
いて前記文書データの全部または一部を加工処理する加
工処理手段と、前記加工処理手段により加工処理された
文書データの全部または一部を出力する出力手段と、を
備えたことを特徴とする。
に係わるような分析作業において、単にその結果のみを
出力するのではなく、情報分析作業全般にわたる支援を
おこなうことができる。
は、請求項1の発明において、前記出力手段が、前記加
工処理手段により加工処理された文書データの全部また
は一部の内容に基づいて複数の項目値を設定する項目値
設定手段と、前記項目値設定手段により設定された項目
値ごとに前記文書データの全部または一部を集計する集
計手段と、を備え、前記文書データの全部または一部
を、項目値を少なくとも一つの軸とする表形式に展開し
て出力することを特徴とする。
で加工処理の結果をクロス表として表すことができ、情
報の内容の把握を容易におこなうことができることか
ら、文書の意味に係わるような分析作業において、単に
その結果のみを出力するのではなく、情報分析作業全般
にわたる支援をおこなうことができる。
は、請求項1または2の発明において、前記出力手段
が、さらに、前記加工処理手段により加工処理された文
書データの全部または一部を、前記加工処理手段により
加工処理される前の文書データの全部または一部ととも
に出力することを特徴とする。
べき対象データとその他のデータが同時に表示され、そ
れを確認することにより、加工処理の対象範囲の決定を
正確かつ容易におこなうことができることから、文書の
意味に係わるような分析作業において、単にその結果の
みを出力するのではなく、情報分析作業全般にわたる支
援をおこなうことができる。
は、請求項1〜3の発明において、前記文書記憶手段
が、さらに、前記加工処理手段により加工処理された文
書データの全部または一部を記憶することを特徴とす
る。
データと同様に扱うことができることから、文書の意味
に係わるような分析作業において、単にその結果のみを
出力するのではなく、情報分析作業全般にわたる支援を
おこなうことができる。
は、請求項1〜4の発明において、前記選択手段が、さ
らに、前記出力手段により出力された文書データの全部
または一部を選択することを特徴とする。
より出力された文書データの全部または一部をさらなる
分析の対象とすることができ、多彩で高度な情報分析作
業ができることから、文書の意味に係わるような分析作
業において、単にその結果のみを出力するのではなく、
情報分析作業全般にわたる支援をおこなうことができ
る。
は、請求項1〜5の発明において、前記文書記憶手段
が、さらに、前記加工処理の内容に関するデータを記憶
することを特徴とする。
内容に関するデータの紛失を防止し、当該データの管理
が容易になるだけでなく、加工処理に用いた設定とそれ
による処理結果を関連づけて把握することができること
から、文書の意味に係わるような分析作業において、単
にその結果のみを出力するのではなく、情報分析作業全
般にわたる支援をおこなうことができる。
は、文書の内容に基づいて文書の分類をおこなう文書分
類装置において、文書データを入力する入力手段と、前
記入力手段により入力された文書データを解析して言語
解析情報を得る言語解析手段と、前記言語解析手段によ
り得られた言語解析情報に基づいて前記文書データに対
する文書特徴ベクトルを生成するベクトル生成手段と、
前記ベクトル生成手段により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類手段と、前記分類手段により生成された
文書の部分集合の特徴であるクラスタ特徴を算出するク
ラスタ特徴算出手段と、前記クラスタ特徴算出手段によ
り算出されたクラスタ特徴を分類体系の構成要素として
記憶する分類体系記憶手段と、を備えたことを特徴とす
る。
得ることができるとともに、クラスタ重心間の類似度等
を用いて、クラスタの内容に基づくクラスタの構造化・
体系化をおこなうことができる。
は、文書の内容に基づいて文書の分類をおこなう文書分
類装置において、文書データを入力する入力手段と、前
記入力手段により入力された文書データを解析して言語
解析情報を得る言語解析手段と、前記言語解析手段によ
り得られた言語解析情報に基づいて前記文書データに対
する文書特徴ベクトルを生成するベクトル生成手段と、
前記ベクトル生成手段により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類手段と、前記分類手段により生成された
文書の部分集合の特徴であるクラスタ特徴を算出するク
ラスタ特徴算出手段と、前記クラスタ特徴算出手段によ
り算出されたクラスタ特徴を表示する表示手段と、前記
分類手段により生成された文書の部分集合の中から所望
の部分集合を選択するクラスタ選択指示手段と、前記ク
ラスタ選択指示手段により選択された文書の部分集合を
分類体系の構成要素として記憶する分類体系記憶手段
と、を備えたことを特徴とする。
クラスタのみを用いており、より操作者の意図したもの
に近いクラスタの構造化・体系化をおこなうことができ
る。
は、請求項8の発明において、前記ベクトル生成手段に
より生成された文書特徴ベクトルを記憶する文書特徴ベ
クトル記憶手段と、前記文書特徴ベクトル記憶手段によ
り記憶された文書特徴ベクトルを、前記クラスタ選択指
示手段により選択された部分集合に属する文書の文書特
徴ベクトルを除去したのこりとなるように修正するベク
トル修正手段と、を備え、前記分類手段が、前記ベクト
ル修正手段により修正された文書特徴ベクトルに基づい
て文書を分類することを特徴とする。
たクラスタの影響を排除した新たなクラスタを生成する
ことができる。
置は、請求項8の発明において、前記ベクトル生成手段
により生成された文書特徴ベクトルを記憶する文書特徴
ベクトル記憶手段と、前記文書特徴ベクトル記憶手段に
より記憶された文書特徴ベクトル間の類似度を判断する
際の文書表現空間を前記クラスタ選択指示手段により選
択された部分集合から算出する特徴量に基づいて修正す
る文書表現空間修正手段と、を備え、前記分類手段が、
前記文書表現空間修正手段により修正された文書表現空
間を用いて、前記ベクトル生成手段により生成された文
書特徴ベクトル間の類似度に基づいて文書を分類するこ
とを特徴とする。
類実行の結果、操作者に選択されたクラスタの形成特徴
を次回の分類実行時に排除することができ、排除した状
態で新たなクラスタを生成することができる。
置は、請求項9の発明において、前記ベクトル生成手段
により生成された文書特徴ベクトルを記憶する文書特徴
ベクトル記憶手段と、前記文書特徴ベクトル記憶手段に
より記憶された文書特徴ベクトル間の類似度を判断する
際の文書表現空間を前記クラスタ選択指示手段により選
択された部分集合から算出する特徴量に基づいて修正す
る文書表現空間修正手段と、を備え、前記分類手段が、
前記文書表現空間修正手段により修正された文書表現空
間を用いて、前記ベクトル修正手段により修正された文
書特徴ベクトル間の類似度に基づいて文書を分類するこ
とを特徴とする。
ったクラスタの影響を排除し、かつ、前回の分類実行の
結果、操作者に選択されたクラスタの形成特徴を次回の
分類実行時に排除することができ、排除した状態で新た
なクラスタを生成することができる。
置は、請求項8または10の発明において、前記分類手
段により生成された文書の部分集合に所属する文書のす
べてあるいは一部が選択された場合に選択されたことを
示す選択情報を付与する選択情報付与手段を備え、前記
表示手段が、前記クラスタ特徴を表示するとともに、前
記選択情報付与手段により付与された選択情報を表示す
ることを特徴とする。
用される文書の識別性および一度も選択されない文書の
識別性を向上させることができる。
置は、請求項8〜12の発明において、前記分類体系記
憶手段が、前記選択指示手段により選択された文書の部
分集合に属する全部あるいは一部の文書のほか、クラス
タ特徴および/または操作者が作成した任意の情報を分
類体系の構成要素として記憶することを特徴とする。
の内容把握を容易にし、かつ、操作者独自の分類体系を
簡易に生成できるので、分類体系の利用価値を向上させ
ることができる。
置は、文書の内容にしたがって文書群を分類する文書分
類装置において、文書データ群を入力する文書入力手段
と、入力された文書データ群の各文書に対して所定の基
準に基づき文書の分割をおこない、一つの文書データか
ら一つまたは複数の分割文書データを生成する文書分割
手段と、前記文書データと前記分割文書データとの対応
を示す文書−分割文書対応マップを生成する文書−分割
文書対応マップ生成手段と、前記分割文書データを分類
する分割文書分類手段と、前記分割文書分類手段による
分類結果に基づいて分割文書分類結果情報を生成する分
割文書分類結果生成手段と、前記文書−分割文書対応マ
ップと前記分割文書分類結果情報とを用いて前記文書デ
ータの分類結果情報を生成する文書分類結果生成手段
と、を備えたことを特徴とする。
書の中に複数の話題や意味が含まれている場合に、ある
特定の話題や意味に限定されたカテゴリに分類された
り、利用者の意図するカテゴリとは異なるカテゴリに分
類されたりすることがなく、したがって、利用者がその
分類カテゴリをよく理解できる。また、分割前文書(所
属文書)中の分割文書の位置なども示されるので、利用
者は文書群中の読みたい部分を効率的に読むことができ
る。
置は、請求項14の発明において、前記文書データを保
存する文書保存手段と、前記分割文書データを保存する
分割文書保存手段と、前記文書−分割文書対応マップ生
成手段により生成された文書−分割文書対応マップを保
存する文書−分割文書対応マップ保存手段と、を備えた
ことを特徴とする。
データおよび文書−分割文書対応マップを再生成するこ
となしに、同一の文書データに対して、分類数、分類手
法、または分類時の諸設定などパラメータの異なる分類
結果を効率的に求めることができる。また、文書データ
を分類し、分類結果を生成するために必要なデータか保
存されることにより、利用者が分類作業に対して時間的
な自由度を持つことができるし、過去に行った文書分類
の再分析を任意の時間間におこなうこともできる。
置は、請求項15の発明において、前記分割文書分類結
果生成手段により生成された分割文書分類結果情報を保
存する分割文書分類結果保存手段を備えたことを特徴と
する。
5の発明の効果に加え、一度分類を実行すれば、その分
類結果をテキスト表現や表表現やグラフ表現などさまざ
まな形式で表現することができる。また、分割文書分類
結果情報が保存されることにより、分類の実行作業およ
び分類結果の分析作業において、利用者が時間的な自由
度を持つことができるし、過去に行った文書分類結果の
再分析をさまざまな表現形式で任意の時間におこなうこ
ともできる。
置は、請求項14〜16の発明において、前記文書分割
手段により生成される複数の分割文書データには分割前
の文書データそのものを含むことを特徴とする。
は、分割されている文書データを分類することで得られ
る詳細な文書データの分類構造だけでなく、分割前の文
書データ自体を分類した結果として得られる概略的でマ
クロな分類構造の融合した分類構造を得ることができ
る。
置は、請求項14〜17の発明において、前記文書分割
手段が、文書データの構造情報を基に文書データを分割
する構成にしたことを特徴とする。
話題の分割等を適切におこなうことができ、したがっ
て、文書データの詳細な分類構造がわかる文書分類を適
切におこなうことができる。
置は、請求項14〜17の発明において、前記文書デー
タに含まれる要素を抽出する文書要素抽出手段と、前記
文書要素抽出手段により抽出された要素に付随する要素
付随情報を抽出する要素付随情報抽出手段と、を備え、
前記文書分割手段が、前記文書要素抽出手段により抽出
された要素、または前記要素と前記要素付随情報抽出手
段により抽出された要素付随情報とを用いて前記文書デ
ータを分割する構成にしたことを特徴とする。
タの詳細な分類構造がわかる文書分類を適切におこなう
ことができる。
置は、請求項14〜17の発明において、前記文書分割
手段が、指示された指定範囲にしたがって文書データの
分割をおこなう構成にしたことを特徴とする。
意図に合い、かつ文書データの詳細な分類構造がわかる
文書分類をおこなうことができる。
置は、請求項14〜17において、前記文書分割手段
が、文書データ中の文字数、文数、または文字数と文数
の両方を基に文書データを分割する構成にしたことを特
徴とする。
なった内容などが異なった文書として分類される可能性
が高くなり、したがって、この発明でも文書データの詳
細な分類構造がわかる文書分類をおこなうことができ
る。
置は、請求項14〜21の発明において、前記文書分類
結果生成手段が、文書データを示す情報および前記文書
データに付随する代表的情報を、分類結果情報として抽
出して提示する構成にしたことを特徴とする。
文書データの詳細な分類構造の概要や全体的な構造を容
易に把握することができる。
置は、請求項22の発明において、前記文書分類結果生
成手段が、分割文書データを示す情報および前記分割文
書データに付随する代表的情報を、分類結果情報とし
て、抽出して提示する構成にしたことを特徴とする。
文書データの詳細な分類構造の概要や全体的な構造とと
もにどの分割文書が起因して当該カテゴリに分類された
かというようなことも容易にわかる。
法は、入力された複数の文書データを所定の形式で表示
または印刷するために出力する文書処理方法において、
入力された文書データを記憶する文書記憶工程と、前記
文書記憶工程により記憶された文書データの全部または
一部を選択する選択工程と、前記選択工程により選択さ
れた文書データの全部または一部から文字列の特徴に関
するデータを抽出する特徴抽出工程と、前記特徴抽出工
程により抽出された文字列の特徴に関するデータに基づ
いて前記文書データの全部または一部を加工処理する加
工処理工程と、前記加工処理工程により加工処理された
文書データの全部または一部を出力する出力工程と、を
含んだことを特徴とする。
味に係わるような分析作業において、単にその結果のみ
を出力するのではなく、情報分析作業全般にわたる支援
をおこなうことができる。
法は、請求項24の発明において、前記出力工程が、前
記加工処理工程により加工処理された文書データの全部
または一部の内容に基づいて複数の項目値を設定する項
目値設定工程と、前記項目値設定工程により設定された
項目値ごとに前記文書データの全部または一部を集計す
る集計工程と、を含み、前記文書データの全部または一
部を、項目値を少なくとも一つの軸とする表形式に展開
して出力することを特徴とする。
作で加工処理の結果をクロス表として表すことができ、
情報の内容の把握を容易におこなうことができることか
ら、文書の意味に係わるような分析作業において、単に
その結果のみを出力するのではなく、情報分析作業全般
にわたる支援をおこなうことができる。
法は、請求項24または25の発明において、前記出力
工程が、さらに、前記加工処理工程により加工処理され
た文書データの全部または一部を、前記加工処理工程に
より加工処理される前の文書データの全部または一部と
ともに出力することを特徴とする。
すべき対象データとその他のデータが同時に表示され、
それを確認することにより、加工処理の対象範囲の決定
を正確かつ容易におこなうことができることから、文書
の意味に係わるような分析作業において、単にその結果
のみを出力するのではなく、情報分析作業全般にわたる
支援をおこなうことができる。
は、請求項24〜26の発明において、前記文書記憶工
程が、さらに、前記加工処理工程により加工処理された
文書データの全部または一部を記憶することを特徴とす
る。
のデータと同様に扱うことができることから、文書の意
味に係わるような分析作業において、単にその結果のみ
を出力するのではなく、情報分析作業全般にわたる支援
をおこなうことができる。
法は、請求項24〜27の発明において、前記選択工程
が、さらに、前記出力工程により出力された文書データ
の全部または一部を選択することを特徴とする。
により出力された文書データの全部または一部をさらな
る分析の対象とすることができ、多彩で高度な情報分析
作業ができることから、文書の意味に係わるような分析
作業において、単にその結果のみを出力するのではな
く、情報分析作業全般にわたる支援をおこなうことがで
きる。
法は、請求項24〜28の発明において、前記文書記憶
工程が、さらに、前記加工処理の内容に関するデータを
記憶することを特徴とする。
の内容に関するデータの紛失を防止し、当該データの管
理が容易になるだけでなく、加工処理に用いた設定とそ
れによる処理結果を関連づけて把握することができるこ
とから、文書の意味に係わるような分析作業において、
単にその結果のみを出力するのではなく、情報分析作業
全般にわたる支援をおこなうことができる。
法は、文書の内容に基づいて文書の分類をおこなう文書
分類方法において、文書データを入力する入力工程と、
前記入力工程により入力された文書データを解析して言
語解析情報を得る言語解析工程と、前記言語解析工程に
より得られた言語解析情報に基づいて前記文書データに
対する文書特徴ベクトルを生成するベクトル生成工程
と、前記ベクトル生成工程により生成された文書特徴ベ
クトル間の類似度に基づいて文書を分類し、文書の部分
集合を生成する分類工程と、前記分類工程により生成さ
れた文書の部分集合の特徴であるクラスタ特徴を算出す
るクラスタ特徴算出工程と、前記クラスタ特徴算出工程
により算出されたクラスタ特徴に基づいて分類体系の構
成要素を生成する分類体系生成工程と、を含んだことを
特徴とする。
を得ることができるとともに、クラスタ重心間の類似度
等を用いて、クラスタの内容に基づくクラスタの構造化
・体系化をおこなうことができる。
法は、文書の内容に基づいて文書の分類をおこなう文書
分類方法において、文書データを入力する入力工程と、
前記入力工程により入力された文書データを解析して言
語解析情報を得る言語解析工程と、前記言語解析工程に
より得られた言語解析情報に基づいて前記文書データに
対する文書特徴ベクトルを生成するベクトル生成工程
と、前記ベクトル生成工程により生成された文書特徴ベ
クトル間の類似度に基づいて文書を分類し、文書の部分
集合を生成する分類工程と、前記分類工程により生成さ
れた文書の部分集合の特徴であるクラスタ特徴を算出す
るクラスタ特徴算出工程と、前記クラスタ特徴算出工程
により算出されたクラスタ特徴を表示する表示工程と、
前記分類工程により生成された文書の部分集合の中から
所望の部分集合を選択するクラスタ選択指示工程と、前
記クラスタ選択指示工程により選択されたクラスタ特徴
に基づいて分類体系の構成要素を生成する分類体系生成
工程と、を含んだことを特徴とする。
たクラスタのみを用いており、より操作者の意図したも
のに近いクラスタの構造化・体系化をおこなうことがで
きる。
法は、請求項31の発明において、前記ベクトル生成工
程により生成された文書特徴ベクトルを、前記クラスタ
選択指示工程により選択された部分集合に属する文書の
文書特徴ベクトルを除去したのこりとなるように修正す
るベクトル修正工程と、を含み、前記分類工程が、前記
ベクトル修正工程により修正された文書特徴ベクトルに
基づいて文書を分類することを特徴とする。
ったクラスタの影響を排除した新たなクラスタを生成す
ることができる。
法は、請求項31の発明において、前記ベクトル生成工
程により生成された文書特徴ベクトル間の類似度を判断
する際の文書表現空間を前記クラスタ選択指示工程によ
り選択された部分集合から算出する特徴量に基づいて修
正する文書表現空間修正工程と、を含み、前記分類工程
が、前記文書表現空間修正工程により修正された文書表
現空間を用いて、前記ベクトル生成手段工程により生成
された文書特徴ベクトル間の類似度に基づいて文書を分
類することを特徴とする。
類実行の結果、操作者に選択されたクラスタの形成特徴
を次回の分類実行時に排除することができ、排除した状
態で新たなクラスタを生成することができる。
法は、請求項32の発明において、前記ベクトル生成工
程により生成された文書特徴ベクトル間の類似度を判断
する際の文書表現空間を前記クラスタ選択指示工程によ
り選択された部分集合から算出する特徴量に基づいて修
正する文書表現空間修正工程と、を含み、前記分類工程
が、前記文書表現空間修正工程により修正された文書表
現空間を用いて、前記ベクトル修正工程により修正され
た文書特徴ベクトル間の類似度に基づいて文書を分類す
ることを特徴とする。
ったクラスタの影響を排除し、かつ、前回の分類実行の
結果、操作者に選択されたクラスタの形成特徴を次回の
分類実行時に排除することができ、排除した状態で新た
なクラスタを生成することができる。
法は、請求項31または33の発明において、前記分類
工程により生成された文書の部分集合に所属する文書の
すべてあるいは一部が選択された場合に選択されたこと
を示す選択情報を付与する選択情報付与工程を含み、前
記表示工程が、前記クラスタ特徴を表示するとともに、
前記選択情報付与工程により付与された選択情報を表示
することを特徴とする。
用される文書の識別性および一度も選択されない文書の
識別性を向上させることができる。
法は、請求項31〜35の発明において、前記分類体系
生成工程が、前記選択指示工程により選択されたクラス
タ特徴のほか、前記文書の部分集合の中から選択された
文書の部分集合に所属する文書群の全部あるいは一部お
よび/または操作者が作成した情報に基づいて分類体系
の構成要素を生成することを特徴とする。
の内容把握を容易にし、かつ、操作者独自の分類体系を
簡易に生成できるので、分類体系の利用価値を向上させ
ることができる。
法は、文書の内容にしたがって文書群を分類する文書分
類方法において、文書データ群を入力し、入力された文
書データ群の各文書に対して所定の基準に基づき文書の
分割をおこない、一つの文書データから一つまたは複数
の分割文書データを生成し、前記文書データと前記分割
文書データとの対応を示す文書−分割文書対応マップを
生成し、前記分割文書データを分類し、分割文書分類結
果情報を生成し、前記文書−分割文書対応マップと前記
分割文書分類結果情報とを用いて前記文書データの分類
結果情報を生成することを特徴とする。
書の中に複数の話題や意味が含まれている場合に、ある
特定の話題や意味に限定されたカテゴリに分類された
り、利用者の意図するカテゴリとは異なるカテゴリに分
類されたりすることがなく、したがって、利用者がその
分類カテゴリをよく理解できる。また、分割前文書(所
属文書)中の分割文書の位置なども示されるので、利用
者は文書群中の読みたい部分を効率的に読むことができ
る。
は、請求項24〜37に記載された方法をコンピュータ
に実行させるプログラムを記録したことで、そのプログ
ラムを機械読み取り可能となり、これによって、請求項
24〜37の動作をコンピュータによって実現すること
が可能である。
発明に係る文書処理装置、文書処理方法およびその方法
をコンピュータに実行させるプログラムを記録したコン
ピュータ読み取り可能な記録媒体の好適な実施の形態を
詳細に説明する。
形態1による文書処理装置を構成する情報処理システム
全体のハードウエア構成を説明する。図1は、実施の形
態1による文書処理装置を構成する情報処理システム全
体のハードウエア構成を示す説明図である。
理装置を構成する情報処理システムは、サーバー/クラ
イアント方式で構成されている。すなわち、サーバー1
01と複数のクライアント102がネットワーク103
によって接続されている。クライアント102は、分類
データ等の加工データの生成、サーバー101への指
示、分類結果等の加工処理結果の表示などをおこなう。
一方、クライアント102からの指示にしたがって、サ
ーバー101は文書(テキスト)分類等の加工処理を膨
大な数値演算によりおこない、その処理の結果をクライ
アント102へ送る。
ー101においては、テキスト分類処理(前処理、クラ
スタリング処理)がおこなわれ、クライアント102に
おいては、分類データ生成、処理実行指示、テキスト分
類結果表示等がおこなわれる。サーバー101における
処理は、上述のように、「前処理」と「分類処理」の二
つに分かれており、その処理はデータによっては非常に
負荷が大きくなる。したがって、サーバー101は「前
処理」と「分類処理」がそれぞれ一つずつしか処理をお
こなわないようにマネージャプロセスが処理受付リスト
を作成して管理する。
2との間のデータのやりとりはファイル共有という方法
を用いる。すなわち、分類処理等の加工処理に用いるフ
ァイルをサーバー101上の共有フォルダに作成するこ
とにより両者はデータのやりとりをおこなう。したがっ
て、クライアント102からはサーバー101の共有フ
ォルダをネットワーク共有して利用することが可能であ
る。
ト102のハードウエア構成について説明する。図2
は、実施の形態1による文書処理装置を構成する情報処
理システムにおけるサーバー101のハードウエア構成
を示す説明図である。サーバー101は、たとえばワー
クステーション(WS)等が用いられる。
体を制御するCPUを、202はブートプログラム等を
記憶したROMを、203はCPU201のワークエリ
アとして使用されるRAM203を、204は通信回線
205を介してネットワーク103に接続され、そのネ
ットワーク103と内部のインターフェイスを司るイン
ターフェイス(I/F)を、206はデータを記憶する
ディスク装置を示している。200は上記各部を結合さ
せるためのバスを示している。
等を表示するディスプレイ208や、データを入力する
ためのキーボード209およびマウス210等が同様に
接続されていてもよい。さらに、ディスク装置206に
は、クライアント102との間のデータのやりとりをす
るための共有フォルダ207が設けられている。
理装置を構成する情報処理システムにおけるクライアン
ト102のハードウエア構成を示す説明図である。クラ
イアント102は、たとえばパーソナルコンピュータ
(PC)等が用いられる。
御するCPUを、302はブートプログラム等を記憶し
たROMを、303はCPU301のワークエリアとし
て使用されるRAMを、304はCPU301の制御に
したがってHD(ハードディスク)305に対するデー
タのリード/ライトを制御するHDD(ハードディスク
ドライブ)を、305はHDD304の制御で書き込ま
れたデータを記憶するHDを、306はCPU301の
制御にしたがってFD(フロッピーディスク)307に
対するデータのリード/ライトを制御するFDD(フロ
ッピーディスクドライブ)を、307はFDD306の
制御で書き込まれたデータを記憶する着脱自在のFD
を、308はドキュメント、画像、機能情報等を表示す
るディスプレイをそれぞれ示している。
ットワーク103に接続され、そのネットワーク103
と内部のインターフェイスを司るインターフェイス(I
/F)を、311は文字、数値、各種指示等の入力のた
めのキーを備えたキーボードを、312はカーソルの移
動や範囲選択、あるいは表示画面に表示されたアイコン
やボタンの押下やウインドウの移動やサイズの変更等を
おこなうマウスを、313はOCR(Optical
Character Reader)機能を備えた画像
を光学的に読み取るスキャナを、314は分類結果を含
むデータの内容等を印刷するプリンタを、315は上記
各部を結合するためのバスをそれぞれ示している。ま
た、HD305にはワープロソフト等のアプリケーショ
ンソフト316が記憶されている。
の機能的構成について説明する。図4は、実施の形態1
による文書処理装置の構成を機能的に示すブロック図で
ある。図4において、文書処理装置は、入力部401
と、文書記憶部402と、選択部403と、特徴抽出部
404と、加工処理部405と、出力部406を含む構
成である。
403、特徴抽出部404、加工処理部405、出力部
406は、ROM202または302、RAM203ま
たは303、あるいはディスク装置306またはハード
ディスク316等の記録媒体に記録されたプログラムに
記載された命令にしたがってCPU201または301
等が命令処理を実行することにより、各部の機能を実現
する。
のであり、たとえば、キーボード209または311、
スキャナ313、OCR機能を備えたスキャナ313、
またはネットワーク103を経由して文書や文書群を得
ることができるI/F204または309等である。ま
た、入力部401は、上記以外に、文書データを取得す
ることができるものであれば、それらのすべてを含む。
たとえば、文書データがデータベース化されている場合
に、そのデータベースが記録された媒体を実施の形態1
の文書処理装置に組み入れた場合も文書データの入力と
する。
一つ以上の文の集まりであり、文字、文字列、数値等か
ら構成されており、それらの意味のあるまとまりを一つ
の文書とする。また、複数の文書の集まりを、文書群と
する。
れている。項目は、項目名と、項目値から構成されてい
る。項目名は項目の内容を示すラベルであり、文書に含
まれていても含まれていなくてもよい。項目値は項目の
実際の内容である。図5は、実施の形態1による文書処
理装置の項目名と項目値の関係を示す説明図である。た
とえば、一つの特許公報は一つの文書であり、特許公報
を項目名と項目値によって表現すると、図5のようにな
る。
いは文書群は、それぞれの文書に一意な文書IDが付与
され、文書記憶部402により記憶される。図6は、実
施の形態1による文書処理装置の文書記憶部402に記
憶された文書のデータ構造を示す説明図である。各項目
名あるいは項目値は、文書記憶部402のセル、すなわ
ち一つの記憶単位に収納される。
領域から構成されており、第1番目の記憶領域601に
はつぎのセルの文書記憶部402上の位置(番地)が記
憶されている。第2番目の記憶領域602には、セルの
属性値が記憶されている。
が「空」、「1」が「数値」、「2」が文字列・・・と
いうように設定することができる。第3番目の記憶領域
603には、セルの実際の内容、すなわち、項目名ある
いは項目値等が格納される領域の先頭位置が記憶されて
いる。
除は、第1番目の記憶領域601に記憶されたつぎのセ
ルの位置を変更することにより、容易に実現することが
できる。また、セルの実際の内容は、セルの構造とは異
なる別の領域に記憶されているので、たとえば、項目を
変更した結果、あらかじめ確保された領域では収まり切
れなくなった場合には、セルの構造自体には影響なく、
別途大きな領域を確保してそこに項目値を記憶し、第3
番目に記憶された記憶領域603の先頭位置を変更する
だけでよい。
の文書記憶部402に記憶された文書の別のデータ構造
を示す説明図である。図7において、一つのセルは二つ
の記憶領域を使用している。第1番目の記憶領域701
には、セル属性値が記憶されている。第2番目の記憶領
域702には、セルの実際の内容、すなわち項目名ある
いは項目値などが格納される領域の先頭位置が記憶され
ている。
り合うつぎの記憶領域に記憶されている。このデータ構
造では、セルの順序の並び替え、セルの追加・削除が発
生した場合には、記憶内容の移動操作が必要となる。
える半導体メモリで構成されるが、磁気ディスクあるい
は光ディスク等で構成される補助記憶装置を含んでいて
もよい。
は文書群は、出力部406により表示される。実施の形
態1においては、出力部406は、CRTディスプレ
イ、液晶ディスプレイ等から構成される。出力部406
は、文書記憶部402に記憶された文書あるいは文書群
の内容をセルと順次たどって読み出し、表の形式で表示
または印刷する。
たは印刷されたデータに基づいてグラフを描画するグラ
フ描画部407を含んでいてもよい。グラフ描画部40
7は、文書記憶部402に記憶された文書あるいは文書
群の項目値に対して利用者が設定した領域の内容を読み
出し、利用者の指示により棒グラフ、円グラフ、折れ線
グラフ等のグラフを描画し、表示または印刷する。
に関する表示、たとえば、操作メニューやマウスポイン
タ、カーソルの表示等もおこなう。また、処理結果を印
刷するためのプリンタ等の印刷装置を含んでいてもよ
い。
者の指示により、出力部406の表示上で選択された領
域のデータを文書記憶部402から読み出し、特徴抽出
部404へ送る。選択部403の選択方法について、図
8〜図10を用いて説明する。
処理装置の出力部406による画面表示の例、具体的に
は、自動車の故障状況の内容が表示された画面表示の例
を示す説明図である。図8において、画面表示には、文
書ID番号を示す「番号」欄801、故障情報を受け付
けた日付を示す「受付日」欄802、故障情報を受け付
けた営業所を示す「営業所」欄803、故障情報の対象
となった自動車の車種を示す「車種」欄804、故障情
報対象となった自動車の年式を示す「年式」欄805、
故障状況の内容を示す「内容」欄806が表示される。
囲まれ、表示色が変更されている部分であり、図10に
おいても同様に、選択領域1001は、矩形で囲まれ、
表示色が変更されている部分である。
9に示すように、画面上の列の一部であってもよいし、
また、図10に示すように項目名を選択した場合はその
項目名に属する項目値全部が選択されるようにしてもよ
い。なお、実施の形態1では、文字列の属性を持つ領域
のみ選択可能とする。
れる抽出処理の内容について説明する。選択部403に
より選択された項目値は、特徴抽出部404によりその
項目値の特徴が抽出される。図11は、実施の形態1に
よる文書処理装置の特徴抽出部404によりおこなわれ
る抽出処理の内容の一覧を示す説明図である。
る文字列に含まれる単語、その単語の単語数、単語の文
字数、単語のそれぞれの出現回数...等がある。これ
らの抽出処理は、規則音声合成装置や自動翻訳装置等の
一般的に用いられている形態素解析技術あるいは構文解
析技術等の自然言語処理技術を用いて実現する。
れる加工処理の内容について説明する。特徴抽出部40
4により抽出処理された特徴量に対して、加工処理部4
05により加工処理が施される。図12は、実施の形態
1による文書処理装置の加工処理部405によりおこな
われる加工処理の内容の一覧を示す説明図である。
「分類処理」、所定の特徴量を検索する「検索処理」、
特徴量の内容ごとに並べ替えをおこなう「並べ替え処
理」、特徴量の代表値を抽出する「代表値抽出処理」、
特徴量のうちの最大値を抽出する「最大値抽出処理」、
特徴量のうち最小値を抽出する「最小値抽出処理」、特
徴量を算術する「算術処理」等がある。
量の抽出処理の内容と、加工処理部405によりおこな
われる抽出された特徴量の加工処理の内容の組み合わせ
は、おのおの操作者が選択できるようにすることができ
る。また、効果の高い組み合わせをあらかじめ設定し
て、その設定された組み合わせを操作者に提供するよう
にしてもよい。
理結果は、加工処理部405内の加工処理結果保持部4
08に保持される。加工処理結果保持部408に保持さ
れた加工処理結果は、出力部406により出力される。
出力部406は、加工処理結果保持部408から内容を
読み出し、画像表示や印刷出力をおこなう。
る特徴(量)として、項目値に含まれる単語それぞれの
出現回数を選択し、加工処理部405によりおこなわれ
る加工処理として、分類処理を選択した場合について説
明する。
の文書を構成する単語の出現頻度が等しい場合、それら
二つの文書の意味は似通っていると考えることができ
る。すなわち、ある文書での単語の出現回数は、その文
書の意味に関係の深い特徴量であると考えることができ
る。したがって、単語の出現回数を特徴量として、複数
の文書を分類した場合、それぞれの分類カテゴリには意
味の近い文書が所属すると考えることができる。
は複数の項目値は、特徴抽出部404に含まれる解析部
409よって項目値ごとに形態素解析等の自然言語解析
をおこない、単語に分割される。また、それぞれの単語
には、その単語の品詞情報も付与される。出現した単語
のうち、名詞であるものに対して一意な単語IDを付与
し、一つの項目値および選択部403により選択された
すべての項目値に対する単語IDごとの出現回数を計数
する。
生成部410は、計数された出現回数に基づいて個々の
項目値の特徴(量)を示す項目値特徴ベクトルを生成す
る。たとえば、選択部403により選択された項目値
が、 「騒音が大きい」 「塗装が変色する」 「オーバーヒートが起こる」 「塗装がはげる」 「バッテリーが上がる」 「排気が黒い」 であった場合、各項目の特徴ベクトルは、図13に示す
ようになる。また、図14には、単語とその単語IDご
との出現回数を示す。
404からの出力として加工処理部405へ送られる。
加工処理部405においては、項目値の特徴ベクトルを
用いて、分類処理をおこなう。分類処理は、まず、おの
おののベクトル間の距離を計算することにより求める。
距離の尺度には、たとえば内積を用いることができる。
める処理をおこなう。この処理には、たとえばベクトル
の集合をその距離に応じてK個のベクトルの集合に分類
するK−means法を用いることができる。それぞれ
のベクトルの分類が完了したら、ベクトルに対応する項
目値に対してどの分類に属するかの番号、すなわち、ク
ラスタ番号と、項目値に対応する文書IDを付与し、加
工処理部405の出力とし、出力部406により出力表
示をおこなう。
た画面の表示例を示す。クラスタ番号が同一番号である
文書、たとえば、番号「1」および「6」の文書のクラ
スタ番号が「5」であり、両者が同一の分類に属するこ
とを示している。
を出力する場合について説明する。入力部401によ
り、分析対等とする文書群を読み込んだ後、操作者は分
類処理をおこなう対象となる項目名、クロス表の横軸あ
るいは縦軸となる項目名、いくつに分類をおこなうかの
分類数を指示する。
ある。図16において、指示画面1600は、処理対象
項目名入力欄1601と、軸となる項目名入力欄160
2と、縦軸指定ボタン1603と、横軸指定ボタン16
04と、分類数入力欄1605とから構成される。
対象となる項目名を入力する。キーボード209等から
入力するあるいは処理対象となる項目候補を表示させそ
の中からマウス210等により選択することにより項目
名を入力することができる。また、軸となる項目名入力
欄1602には、軸となる項目名を入力する。入力の方
法は、処理対象項目名入力欄1601への入力の方法と
同様である。
タン1604は、軸となる項目を縦軸に表示させるか横
軸に表示させるかを指定するためのボタンである。ま
た、分類数入力欄1605には、いくつに分類するかそ
の分類数を入力する。入力の方法としては、キーボード
209等から数字を入力するあるいは分類数候補を表示
させその中からマウス210等により選択することによ
り分類数を入力するようにしてもよい。
1601には「内容」が、軸となる項目名入力欄160
2には「車種」が、また、横軸指定ボタン1604がチ
ェックされ、分類数入力欄1605には「50」が入力
され、これにより、文書群の中の「内容」に基づいて、
「50(個)」に分類され、クロス表の横軸に「車種」
を表示するという指示がなされていることがわかる。
より、分類処理が実行され、その結果がクロス表で表示
される。図17および図18は、分類処理の結果が表示
されたクロス表を示す図である。図17において、クロ
ス表1700は、縦軸に分類を示す「クラスタ1」、
「クラスタ2」...が表示され、横軸に車種を示す
「ABC1600」、「ABC1800」...が表示
される。
り生成されたクラスタに対応する。各行の第1欄には、
分類処理終了時には既定値としてクラスタ番号を示す文
字列が入っている。表の横軸、すなわち各欄には、文書
群の項目「車種」に含まれる文字列が重複することなく
表示される。行「クラスタ1」の各セルには、クラスタ
1に分類された文書のうち、項目「車種」の値がその欄
の車種と一致するものの数が表示される。
の濃淡や、セルを塗りつぶす面積により数の大きさを表
現するようにしてもよい。また、表の最右欄および最下
欄には、該当する行、欄の合計が表示される。
セルにマウスポインタ1800を移動させ、マウス21
0のマウスボタンを押下する、あるいはキーボード20
9のカーソルキー操作によりカーソルを移動させ、特定
キーを押下すると、そのセルの近傍に内容表示画面18
01が表示されることにより、該当する文書の項目「内
容」が表示される。
タ数、表示項目、セル情報、および、各データにおける
表示項目の内容が表示される。マウスポインタ1800
により指定されたセルにおいては、データ数:「4」、
表示項目:「内容」、セル情報:「ABC2000−ク
ラスタ1」、表示項目の内容として「内容」の4つの内
容である「排気が黒い、排気が黒い、...」が表示さ
れる。これにより、マウスポインタを所望のセルに移動
させてマウスボタンを押下するという簡易な操作によ
り、セルの内容を認識することができる。
項目は、設定操作により変更することが可能であり、す
べての項目を表示させることもでき、また、項目を選択
して表示させることもできる。
定値としてクラスタ番号を示す文字列が入っているが、
操作者により、この欄の書き換えをすることができる。
たとえば、上記の操作によってセルの内容を確認した
後、「クラスタ1」を「排気の問題」と書き換えること
ができる。これにより、情報内容の把握がより容易にな
る。
番号を示す文字列を入れるのではなく、そのクラスタの
特徴を示す文字列を抽出し、セルに入れることも可能で
ある。たとえば、クラスタ1に含まれる文書の項目「内
容」から、もっとも頻度が高く出現する文や単語を抽出
することにより実現する。
が黒い」あるいは「排気」等の単語が入れられる。この
ように、操作者は簡易な操作により文書全体の分布状態
を把握するだけでなく、必要に応じて個々の文書の内容
をも詳細に知ることができる。
406の詳細な構成の内容について説明する。図19
は、実施の形態1による文書処理装置の出力部406の
詳細な構成を示すブロック図である。出力部406は、
グラフ描画部407のほかに、項目値選定部1901、
集計部1902とから構成され、集計部はさらに実際に
表示する内容に対応した記憶領域を持つ表保持部190
3を備えている。
表の一つの軸として指定した項目名(軸項目名)に対し
て、文書記憶部402に記憶された文書データから、項
目値を順次読み出し、重複のない項目値の集合を作成す
る。また、集計部1902は、表保持部1903の項目
値に対応する領域に数値を加算することにより文書の集
計をおこなう。
する。図20は、実施の形態1による文書処理装置のク
ロス表の出力手順を示すフローチャートである。図20
のフローチャートにおいて、まず、集計に先立ち、表保
持部1903の内容を初期化する(ステップS200
1)。
された項目値を、表の項目値ラベルに相当する部分に当
てはめ(ステップS2002)、クラスタ番号を表す文
字列を、クラスタ番号に相当する部分に当てはめる(ス
テップS2003)。
された項目値に対応する文書IDについて、文書記憶部
402に記憶された対応する文書を参照し、その軸項目
名に対応する項目値を決定する(ステップS200
4)。その後、表保持部1903の対応する領域の内容
に1を加算する(ステップS2005)。
ったか否かを判断し(ステップS2006)、すべての
項目値について上記処理がおこなわれていない場合(ス
テップS2006否定)は、ステップS2004へ移行
し、ステップS2004〜S2006の処理を繰り返し
おこなう。
目値について上記処理がおこなわれた場合(ステップS
2006肯定)は、最右列に表示するための行の合計を
計算し(ステップS2007)、併せて、最下行に表示
するための欄の合計を計算する(ステップS200
8)。
を、順次読み出して出力し(ステップS2009)、す
べての処理を終了する。
ータを、文書記憶部402に送り、文書記憶部402に
他のデータとともに記憶するように構成してもよい。文
書記憶部402に記憶された加工処理部405から出力
されたデータは、出力部406によって表の新たな列と
して表示することができる。また、表の既存の列を消去
し、消去した列へ上書きするようにしてもよい。
部405から出力されたデータは、文書記憶部402に
おいて、今回の加工処理の対象とならなかった他のデー
タと対等に取り扱うことができ、その後の分析作業等
で、もともとの入力データに存在していたか、分析作業
の途中で加工処理によって生成されたのかを区別するこ
となく、加工処理の対象として選択することが可能であ
る。
い情報分析作業の内容に応じて柔軟に加工処理対象と加
工処理内容を選択することができるので、多彩で高度な
情報分析作業が可能となる。
して、特徴抽出部404から出力されたデータだけでは
なく、選択部403により選択されたデータも含めるこ
とができる。これにより、文字列の特徴抽出を必要とし
ないデータや、加工処理結果の数値に対してもさらなる
加工処理を施すことができるので、より多彩で高度な情
報分析が可能となる。
書処理装置の出力部406による画面表示の別の例を示
す説明図である。図21において、「番号」、「受付
日」、「営業所」、「車種」、「年式」、「内容」の他
に、分類処理により得られた結果である「クラスタ番
号」2101が表示されている。
により「クラスタ番号」2101が選択されており、
「クラスタ番号」2101に関するデータが反転表示さ
れている。選択された「クラスタ番号」2101をキー
として、加工処理部405により並べ替え処理をおこな
うよう指示をする。
がおこなわれた結果を表示しているのが図22である。
図22においては、「クラスタ番号」が「1」のものが
集まって表示されるように並べ替えられ、それに続き、
「クラスタ番号」が「2」のものが集まって表示される
ように並び替えられる。
ある「番号」が「2」、「11」、「15」、「2
3」、「35」、「54」、「63」、「73」、「8
2」の順で並べ替えられ、それに続き「クラスタ番号」
が「2」である「番号」が「14」、「18」、「2
2」、「27」、「37」、...が表示されているこ
とがわかる。
番号」が「1」に属するものを選択する。図23におい
ては、項目「車種」の欄で、「クラスタ番号」が「1」
に属するものが選択され、その選択領域2301が反転
表示されていることを示している。このように、すでに
「クラスタ番号」により並べ替えがおこなわれており、
同一クラスタに属するものが集まって表示されているの
で、画面上の連続した領域として容易に選択することが
できる。
の発生頻度の棒グラフを表示させたのが、図24であ
る。図24において、棒グラフ表示領域2401には、
選択領域2301によって選択された「クラスタ番号」
が「1」である9つの文書が選択され、その9つの文書
を車種別に棒グラフ化したものが表示される。
易に選択でき、選択された対象について多様な加工処理
をおこなうことができ、また、その加工処理結果も次回
の加工処理の対象とすることができるので、高度な情報
分析作業が可能となる。
出して、その特徴量を用いておこなう加工処理を実施し
た後に多種の加工処理をおこなう例を示したが、事前に
多種の処理をおこなうことができるようにしてもよい。
をキーとして並べ替えをおこなった後、集まったある車
種、たとえば、「ABC1600」に対して分類処理を
おこなうこともできる。また、入力部401により入力
された文書が誤字等の誤りを含んでいる場合、分類等の
文字列の特徴量を抽出して、その特徴量を用いて加工処
理をおこなう前に、たとえば、文字列の検索・置換処理
をおこなって、誤字を一括して修正し、より好適な結果
が得られるようにデータを整えることもできる。
置の文書記憶部402の詳細な構成を示すブロック図で
ある。図25において、文書記憶部402は、設定値記
憶部2501および設定値送受信部2502を含んでい
る。設定値記憶部2501には、文書を分類する際の分
類数等の分類情報記憶部2503をはじめとするさまざ
な設定値、すなわち文書処理装置の動作に必要な設定値
に関する情報を記憶する記憶部を備えている。これによ
り設定値に関する情報は、文書情報とともに記憶するこ
とができる。
記憶部2501によって記憶された設定値に関する情報
を他の情報処理装置へ送信する。また、設定値送受信部
2502は、他の情報処理装置からの設定値に関する情
報を受信する。設定値送受信部2502により受信され
た設定値に関する情報は、設定値記憶部2501によっ
て記憶される。
書を再度読み込んだときに同時に読み込まれ設定値記憶
部2501に記憶される。この設定値に関する情報は操
作者が所定の操作をすることにより参照することができ
たり、以後の処理の際に、再利用することができる。こ
れにより、設定値に関する情報を文書とともに保存・管
理することが可能となるので、設定値に関する情報の紛
失を防ぎ、好適な設定値を後に再利用することができ
る。
書処理装置の出力部406による画面表示の別の例を示
す説明図である。図26において、まず、操作者が分類
をおこなうべき対象である「内容」を表示画面上で選択
する。それにより選択領域2601が反転表示される。
つぎに、メニュー・バー2603から、分類処理ボタン
2603を選択すると、分類処理に必要な分類数、すな
わち、対象をいくつに分類するかについての問い合わせ
画面2604が表示される。
分類数を入力すると、この分類数に関する情報が文書記
憶部402に記憶される。図26においては、分類数と
して「50」が入力されたことを示している。
て、メニュー・バー2603のファイルボタン2605
の選択によりポップアップする図示を省略する保存ボタ
ンを押下すると、文書記憶部402により、操作者が指
示したファイル名が付与され、文書の情報、分類結果と
ともに記憶される。
701にマウスポインタ2702を移動させ、マウスボ
タンを押下すると、その分類をおこなうことに用いた分
類に関する情報および分類設定値に関する情報を表示す
る分類情報表示画面2703が表示される。これによ
り、用いた設定値の関連づけが容易に把握することがで
きる。
ば、分類に関する情報として分類がおこなわれた日時に
関する情報を示す「分類日時」、分類の対象となった文
書数に関する情報を示す「分類対象数」等が表示され、
また、分類設定値に関する情報として、いくつに分類し
たかを示す「分類数」、どの品詞に基づいて分類をした
かを示す「分類品詞」等が表示される。
される。図28は、分類結果1を得た後、再度分類処理
がおこなわれ、分類結果2が表示された状態を示してい
る。分類結果1を再度表示させたい場合は、画面左下部
のラベル上の選択領域2801へマウスポインタを移動
させ、マウスボタンを押下する。これにより、分類結果
1が再度表示される。その後、分類結果2を再度表示さ
せる場合も同様の操作によりおこなうことができる。
に用いた設定値に関する情報が対応する表の所定の表示
領域2802に表示される。この表示領域2802は、
分類結果の表示を隠さないように表示させることがで
き、また、その表示位置を移動することもできる。これ
により、分類結果と、それに用いた設定値の関連づけが
容易に把握できる。
置の文書処理の一連の手順について説明する。図29
は、実施の形態1による文書処理装置の文書処理の一連
の手順を示すフローチャートである。
文書データが文書処理装置に入力されたか否かを判断す
る(ステップS2901)。ここで、文書データが入力
されるのを待って、文書データが入力された場合(ステ
ップS2901肯定)は、入力された文書データを記憶
する(ステップS2902)。なお、ステップS290
1およびS2902の各ステップは、文書の入力がある
ごとに他のステップとは独自におこなわれるようにして
もよい。
は一部が選択されたか否かを判断する(ステップS29
03)。ここで、文書データの全部または一部が選択さ
れるのを待って、選択された場合(ステップS2903
肯定)は、選択された文書データの全部または一部の文
字列の特徴に関するデータの抽出をおこなう(ステップ
S2904)。
出された文字列の特徴に関するデータに基づいて、分類
処理等、所定の加工処理をおこなう(ステップS290
5)。続いて、ステップS2905において加工処理が
おこなわれたデータを、表形式に展開する等の出力処理
をおこなう(ステップS2906)。
処理されてデータを元の文書データに関連づけして記憶
する(ステップS2907)。また、加工処理の設定値
等の加工処理の内容に関するデータも併せて記憶する
(ステップS2908)。
処理されたデータの全部または一部が選択されたか否か
を判断し(ステップS2908)、選択されなかった場
合(ステップS2909否定)は、ステップS2904
へ移行し、以後、ステップS2904〜S2909の処
理を繰り返しおこなう。一方、ステップS2909にお
いて、加工処理されたデータの全部または一部が選択さ
れた場合(ステップS2909肯定)は、すべての処理
を終了する。
法は、あらかじめ用意されたプログラムをパーソナルコ
ンピュータやワークステーション等のコンピュータで実
行することにより実現される。このプログラムは、ハー
ドディスク、フロッピーディスク、CD−ROM、M
O、DVD等のコンピュータで読み取り可能な記録媒体
に記録され、コンピュータによって記録媒体から読み出
されることによって実行される。またこのプログラム
は、上記記録媒体を介して、または伝送媒体として、イ
ンターネット等のネットワークを介して配布することが
できる。
装置について説明する。なお、以下説明する実施の形態
2〜6においては、上記のように多くのノイズを含んだ
ものであるとの解釈に基づいて、一回の文書集合からの
話題(内容)抽出と位置づけ、文書分類のためのパラメ
ータ(対象文書集合やクラスタ数、類似度測度、ストッ
プワード等)を変化させながら複数化の分類を実行さ
せ、その結果を保持・統合する手段を設けることで、任
意の文書集合にどのような内容が含まれるかを漸次的に
収集するものである。
に係る文書分類装置を構成する情報処理システムは、図
1に示したように実施の形態1の情報処理システムと同
様であるので、その説明は省略する。また、サーバー1
01およびクライアント102のハードウエア構成につ
いても、図2・図3に示したように実施の形態1と同様
であるので、その説明は省略する。
の機能的構成について説明する。図30は、実施の形態
2による文書分類装置の構成を機能的に示すブロック図
である。
置は、入力部3001と、言語解析部3002と、ベク
トル生成部3003と、分類部3004と、分類パラメ
ータ指示部3005と、分類結果記憶部3006と、ク
ラスタ特徴表示部3007と、クラスタ特徴算出部30
08と、分類体系記憶部3009と、クラスタ選択指示
部3010と、分類体系閲覧操作部3011と、を含む
構成である。
クトル生成部3003、分類部3004、分類パラメー
タ指示部3005、分類結果記憶部3006、クラスタ
特徴表示部3007、クラスタ特徴算出部3008、分
類体系記憶部3009、クラスタ選択指示部3010、
分類体系閲覧操作部3011は、ROM202または3
02、RAM203または303、あるいはディスク装
置306またはハードディスク316等の記録媒体に記
録されたプログラムに記載された命令にしたがってCP
U201または301等が命令処理を実行することによ
り、各部の機能を実現する。
入力するものであり、たとえば、キーボード209また
は311、スキャナ313、OCR機能を備えたスキャ
ナ313、またはネットワーク103を経由して文書や
文書群を得ることができるI/F204または309等
である。
書データを取得することができるものであれば、それら
のすべてを含む。たとえば、文書データがデータベース
化されている場合に、そのデータベースが記録された媒
体を本実施の形態の文書分類装置に組み入れた場合も文
書データの入力とする。
01により入力された文書データを解析して言語解析情
報を得るものであり、ベクトル生成部3003は、言語
解析部3002により得られた言語解析情報に基づいて
前記文書データに対する文書特徴ベクトルを生成するも
のである。
3003により生成された文書特徴ベクトル間の類似度
に基づいて文書を分類し、文書の部分集合を生成するも
のであり、分類パラメータ指示部3005は、分類パラ
メータを指示するものであり、たとえば、キーボード2
09または311、マウス210または312、または
ネットワーク103を経由して指示情報を得ることがで
きるI/F204または309等である。
3004により分類された結果、すなわち、分類された
文書の部分集合に関する情報を記憶するものである。ま
た、クラスタ特徴表示部3007は、クラスタ特徴算出
部3008により算出されたクラスタ特徴を表示する。
004により生成された文書の部分集合の特徴であるク
ラスタ特徴を算出するものである。また、分類体系記憶
部3009は、クラスタ特徴算出部3008により算出
されたクラスタ特徴を分類体系の構成要素として記憶す
るものである。また、分類体系記憶部3009は、クラ
スタ選択指示部3010により選択された文書の部分集
合を分類体系の構成要素として記憶するものである。す
なわち、クラスタ選択指示部3010により選択された
クラスタに所属する全ての文書もしくは所属する文書の
一部を分類体系の構成要素として記憶するものである。
表示部3007により表示された複数のクラスタ特徴の
中から所望のクラスタを選択するものである。また、ク
ラスタ選択指示部3010は、前記分類部3004によ
り生成された文書の部分集合の中から所望の部分集合を
選択するものである。また、分類体系閲覧操作部301
1は、分類体系記憶部3009に記憶されたデータを閲
覧したい場合に、その閲覧の操作をおこなうものであ
る。
を抽出することが重要となる好適な例を、アンケート調
査等により得られた自由記述回答の分析場面を想定し、
その具体例を用いて説明する。
て短期間に数千〜数万件の自由記述回答を回収すること
が可能であり、このような機能を用いて大量のテキスト
情報の収集をおこなうことができる。
スト情報の収集の例として、「オフィスのネットワーク
化による無駄を挙げてください」という質問に対して文
書で答えた一つの回答記述を文書とすると、文書集合
(クラスタ)は1件ごとの回答の集合ということにな
る。
は、そのニーズの一つとして、意見集合(文書集合)に
どのような種類の意見(話題)が含まれており、意見の
概略を把握したい場合がある。このようなニーズを満た
すべく、話題の抽出を類似する意見のまとまり(分類)
により実現し、アンケート結果にどのような種類の意見
が含まれているかを抽出する。
の3段階のステップから構成される。第1ステップで
は、入力部3001により入力された各文書(意見)に
ついて、言語解析部3002が、各文書に含まれる単語
(あるいは、特定の連続する文字列)を抽出する。この
際、たとえば、形態素形跡等の言語解析アルゴリズムが
用いられる。
し、各文書を行とし、要素を単語の出現頻度とした「単
語」×「文書」の行列が生成される。なお、一般的な形
態素解析機能と構文解析機能を有する言語解析ツールを
用いると単語抽出のほかに、単語の品詞情報、複合語
(フレーズ)、構文情報等の同時に取得することがで
き、こうした情報を上記単語×文書の行列を生成する
際、考慮することができる。
×「文書」の行列に基づいて単語で構成される多次元空
間内に各文書をベクトル表現する。これには、以下の方
法があり、本実施の形態においては、すべての方法を実
装している。
法、(2)各文書の長さ(文字の数やページ数等)や分
類対象全体の文書集合内での各単語の出現頻度を考慮し
て値の重み付けをする方法、(3)上記行列から文書間
の内積行列を算出し、これに特異値分解(たとえば、因
子分析や主成分分析、数量化理論第3類等を利用してお
こなわれる)を適用して潜在的意味空間を構成する方
法、等である。
Documents Usingan Explici
t Model of Their Similari
ties(著者名:Brian T. Bartel
l, Garrison W. Cottrell,
and Richard K. Belew, 論文
名:Journal of the American
Society for Information
Science, 学会名:the American
Society for Information
Science,ページ:254−271,Vol.4
6 No.4, 発行年:1995)」においては、上
記潜在的意味空間への変換手法を一般化し、文書間の内
積行列に、文書が有するほかの文書への参照情報から生
成される共参照情報などを付加した行列を用いて、これ
らの類似性を反映する空間へ文書や単語を射影するため
の表現空間変換関数を導出しているものもあり、この方
法も利用することができる。
書特徴ベクトルの類似度を用いて文書を分類する。具体
的には分類対象データに対してカイ自乗法の手法、判別
分析の方法、クラスタリングの方法等を適用することに
より分類が実行される。
クリッド距離、マハラノビスの距離等が考えられ、本実
施の形態においては、いずれの方法を用いてもよい。
してもさまざまなものが公知になっている。クラスタリ
ングは、大別して階層型クラスタリングと非階層型クラ
スタリングが考えられるが、本実施の形態においては、
いずれの方法を用いてもよい。
分類部3004が文書特徴ベクトルを分類するための分
類パラメータを指示する。分類部3004は、分類パラ
メータ指示部3005により指示された分類パラメータ
にしたがって内部に保持される文書特徴ベクトルを分類
する。
ップの各処理を実行することにより第1回目の文書分類
が終了すると、分類結果は分類結果記憶部3006によ
り保持される。
が、分類結果がどのようなクラスタを得ることができた
のかを示す特徴、すなわちクラス特徴を算出する。典型
的には各クラスタに所属する文書、あるいはその文書の
一部を算出するが、その際、クラスタの重心との類似度
に基づいて文書をソーティングして出力する。
スタに所属する文書数、クラスタ内での文書のばらつき
の程度を表すクラスタ内の標準偏差のような数値をクラ
スタの特徴を表現するものとして算出する。
対して出力(表示)されたクラスタがどのようなもの
(どのような特徴を有するもの)かを把握させるために
算出されるものであり、操作者に対してクラスタの特徴
を示すものであれば、上記の内容(特徴)以外のもので
あってもよい。
記のようにクラスタの特徴を示すもの以外に、クラスタ
間の関係を示す情報も算出する。階層型クラスタリング
の場合は、その上位あるいは下位のクラスタを、非階層
型クラスタリングの場合は、クラスタ重心間の類似度に
基づく近接のクラスタを算出する。
るクラスタ特徴の表示およびクラスタ選択の内容につい
て説明する。図31は、実施の形態2による文書分類装
置のクラスタ特徴表示部3007の表示の一例を示す説
明図である。
できるようになっており、各クラスタは「クラスタI
D」欄3101、「メンバー数」欄3102、「頻度の
高い単語」欄3103、「文書内容」欄3104、「重
心との類似度」欄3105等の項目から構成される。
タのIDを示す番号が通し番号で付与され、表示され
る。「メンバー数」欄3102はクラスタに所属する文
書あるいは文書の一部の数が算出され、表示される。そ
の中で頻度の高い単語が抽出され「頻度の高い単語」欄
3103に表示される。「文書内容」欄3104には文
書の内容が表示され、「重心との類似度」欄3105に
は、数値化された重心との類似度が表示される。これに
より、操作者の理解容易性が向上する。
づいてクラスタについてその特徴を把握することができ
る。ここで、内容(特徴)が理解可能なクラスタが一つ
でもあれば、操作者はクラスタ選択指示部3010によ
りクラスタを選択することができる。
2等によって、表示されているクラスタの所定の位置、
たとえば、「クラスタID」欄3101へカーソル31
10を移動させ、その位置でクリックすることにより、
当該クラスタIDのクラスタ全体を選択することができ
る。なお、選択したクラスタに所属する文書は必ずすべ
てが選択されるわけではなく、その一部の文書が選択さ
れるようにしてもよい。
101がクリックされ、これにより、クラスタ全体が反
転表示しており、当該クラスタ(クラスタID「1」)
が選択されたことを示している。
ラスタが存在しない場合は、分類パラメータ指示部30
05により分類パラメータの再設定をおこない、再度分
類実行をおこなうことができる。
れたクラスタIDに関するデータは分類体系記憶部30
09へ送信される。分類体系記憶部3009は、このク
ラスタIDに関するデータに基づいてクラスタ特徴算出
部3008からクラスタに関する上記特徴量を検索し記
憶する。
に、分類結果記憶部3006から分類結果を検索し記憶
する。さらに、分類体系記憶部3009は、操作者によ
り入力されたクラスタに関するコメント(たとえば、
「ネットワークの維持費が高い」等)の情報を併せて記
憶することもできる。このように、操作者が作成した情
報を分類体系の構成要素として記憶することにより、分
類体系の利用価値がより向上する。
されたデータは、別途閲覧操作用のインターフェイスを
設けることにより、選択・保持するクラスタの内容の閲
覧や、クラスタ間の意味的な関連を手動であるいは、保
持されているクラスタ重心間の類似度等を用いて自動
で、構造化・体系化することができる。
連の処理の手順について説明する。図32は、実施の形
態2による文書分類装置の一連の処理の手順を示すフロ
ーチャートである。図32のフローチャートにおいて、
まず、分類の対象となる文書が入力される(ステップS
3201)。
(ステップS3202)、解析された結果、すなわち、
抽出された単語に基づいて、文書特徴ベクトルが生成さ
れる(ステップS3203)。
待って、分類パラメータの指示があった場合(ステップ
S3204肯定)は、指示があった分類パラメータにし
たがって文書を分類し(ステップS3205)、その結
果、すなわち、クラスタに関する情報を記憶する(ステ
ップS3206)。
し(ステップS3207)、算出された結果を表示する
(ステップS3208)。表示されたクラスタの中か
ら、クラスタが選択されたか否かを判断し(ステップS
3209)、選択されなかった場合(ステップS320
9否定)は、ステップS3204へ移行し、再度分類パ
ラメータの指示があるのを待つ(ステップS320
4)。
スタが選択された場合(ステップS3209肯定)は、
選択されたクラスタに関して分類体系を生成し、記憶す
る(ステップS3210)。この際、操作者により入力
されたクラスタに関する情報を併せて記憶することもで
きる。これにより、一連の処理を終了する。
文書分類装置によれば、分類対象である文書群での文書
間の類似性に基づいて、各文書をそれら文書間の意味的
な関連性を反映しうる表現空間へ変換するための表現空
間変換関数を算出し、その表現空間で文書分類をおこな
うことにより、操作者の意図を反映しうる文書分類を実
現することができる。
タを得ることができるとともに、クラスタ特徴算出部3
008・分類体系記憶部3009により、クラスタ重心
間の類似度等を用いて、クラスタの内容に基づくクラス
タの構造化・体系化をおこなうことができる。
選択されたクラスタのみを用いて、より操作者の意図し
たものに近いクラスタの構造化・体系化をおこなうこと
ができる。
態2に加えて、以下に説明する実施の形態3のように、
さらにベクトル記憶部と、ベクトル修正部とを含む構成
とするようにしてもよい。
る情報処理システムは、図1に示したように実施の形態
1と同様であるので、その説明は省略する。また、サー
バー101およびクライアント102のハードウエア構
成についても、図2・図3に示したように実施の形態1
と同様であるので、その説明は省略する。
の機能的構成について説明する。図33は、この発明の
実施の形態3による文書分類装置の構成を機能的に示す
ブロック図である。図33において、実施の形態2の図
30と同一のものに関しては同じ符号を付して、その説
明を省略する。
置は、入力部3001、言語解析部3002、ベクトル
生成部3003、分類部3004、分類パラメータ指示
部3005、分類結果記憶部3006、クラスタ特徴表
示部3007、クラスタ特徴算出部3008、分類体系
記憶部3009、クラスタ選択指示部3010、分類体
系閲覧操作部3011のほか、ベクトル記憶部3301
と、ベクトル修正部3302とを含む構成である。
部3003により生成された文書特徴ベクトルを記憶す
るものである。また、ベクトル修正部3302は、文書
特徴ベクトル記憶部3301により記憶された文書特徴
ベクトルを、クラスタ選択指示部3010により選択さ
れた部分集合に属する文書の文書特徴ベクトルを除去し
たのこりとなるように修正するものである。
3302により修正された文書特徴ベクトルに基づいて
文書を分類する。
修正部3302は、ROM202または302、RAM
203または303、あるいはディスク装置306また
はハードディスク316等の記録媒体に記録されたプロ
グラムに記載された命令にしたがってCPU201また
は301等が命令処理を実行することにより、各部の機
能を実現する。
た文書特徴ベクトル(列ベクトル)・単語(単語特徴)
ベクトル(行ベクトル)はベクトル記憶部3301によ
って記憶される。これは、次回以降の分類実行の際に利
用する文書特徴ベクトルを確保するためである。
指示部3010により選択されたクラスタに所属する文
書のすべてあるいはその一部の文書を除き、次回以降も
これらの文書が除かれるよう削除する。削除された文書
特徴ベクトルはベクトル記憶部3301により記憶され
る。
されているベクトルデータのうち、選択されたクラスタ
に所属する文書(もしくは操作者に指定されたその一
部)列ベクトルを除いたものが、次回以降の分類が実行
される際に利用されるデータとなる。
連の処理の手順について説明する。図34は、実施の形
態3よる文書分類装置の一連の処理の手順を示すフロー
チャートである。図2のフローチャートにおいて、ま
ず、分類の対象となる文書が入力される(ステップS3
401)。
(ステップS3402)、解析された結果、すなわち、
抽出された単語に基づいて、文書特徴ベクトルが生成さ
れ(ステップS3403)、生成された文書特徴ベクト
ルが記憶される(ステップS3404)。
待って、分類パラメータの指示があった場合(ステップ
S3405肯定)は、指示があった分類パラメータにし
たがって文書を分類し(ステップS3406)、その結
果、すなわち、クラスタに関する情報を記憶する(ステ
ップS3407)。
し(ステップS3408)、算出された結果を表示する
(ステップS3409)。表示されたクラスタの中か
ら、クラスタが選択されたか否かを判断し(ステップS
3410)、選択されなかった場合(ステップS341
0否定)は、ステップS3405へ移行し、再度分類パ
ラメータの指示があるのを待つ(ステップS340
5)。
スタが選択された場合(ステップS3410肯定)は、
選択されたクラスタに関して分類体系を生成し、記憶す
る(ステップ3411)。この際、操作者により入力さ
れたクラスタに関する情報を併せて記憶することもでき
る。その後、繰り返し処理をおこなう旨の指示があった
か否かを判断する(ステップS3412)。
処理をおこなう旨の指示があった場合(ステップS34
12肯定)は、選択されたクラスタに所属する文書のす
べてあるいはその一部の文書を除くように文書特徴ベク
トルを修正する(ステップS3413)。その後、ステ
ップS3405へ移行し、以後、ステップS3405〜
S3413の各処理を繰り返しおこなう。
返して処理をおこなう旨の指示がない場合(ステップS
3412否定)は、これにより、一連の処理をすべて終
了する。
文書分類装置によれば、ベクトル修正部3301によ
り、既知になったクラスタの影響を排除した新たなクラ
スタを生成することができる。
態3においては、ベクトル記憶部およびベクトル修正部
とを含む構成であったが、以下に説明する実施の形態4
のように、ベクトル修正部に代わりに、文書表現空間修
正部を含む構成とするようにしてもよい。
る情報処理システムは、図1に示したように実施の形態
1と同様であるので、その説明は省略する。また、サー
バー101およびクライアント102のハードウエア構
成についても、図2・図3に示したように実施の形態1
と同様であるので、その説明は省略する。
の機能的構成について説明する。図35は、この発明の
実施の形態4による文書分類装置の構成を機能的に示す
ブロック図である。図35において、実施の形態2の図
30と同一のものに関しては同じ符号を付して、その説
明を省略する。
置は、入力部3001、言語解析部3002、ベクトル
生成部3003、分類部3004、分類パラメータ指示
部3005、分類結果記憶部3006、クラスタ特徴表
示部3007、クラスタ特徴算出部3008、分類体系
記憶部3009、クラスタ選択指示部3010、分類体
系閲覧操作部3011のほか、ベクトル記憶部3501
と、文書表現空間修正部3502とを含む構成である。
部3003により生成された文書特徴ベクトルを記憶す
るものである。また、文書表現空間修正部3502は、
文書特徴ベクトル記憶部3501により記憶された文書
特徴ベクトル間の類似度を判断する際の文書表現空間を
前記クラスタ選択指示部3010により選択された部分
集合から算出する特徴量に基づいて修正するものであ
る。
正部3502により修正された文書表現空間を用いて、
ベクトル生成部3003により生成された文書特徴ベク
トル間の類似度に基づいて文書を分類する。
空間修正部3502は、ROM202または302、R
AM203または303、あるいはディスク装置306
またはハードディスク316等の記録媒体に記録された
プログラムに記載された命令にしたがってCPU201
または301等が命令処理を実行することにより、各部
の機能を実現する。
容について説明する。実施の形態3におけるベクトル修
正部3302にあっては、既知になったクラスタの影響
を排除するために文書特徴ベクトルを除去するが、文書
特徴ベクトルを表現する多次元空間自体の変更はおこな
われない。
者により選択されたクラスタの形成特徴を次回の分類実
行の際に排除したい場合は、文書ベクトルを表現する空
間自体の変更が必要となる。
え、文書表現空間の修正をおこなうものである。ここ
で、文書表現空間の特徴次元を変更する例として、操作
者により選択されたクラスタの重心と類似度の高い特徴
次元の削除をおこなうことについて説明する。
ベクトルとして表現することができるので、このクラス
タ重心ベクトルとベクトル記憶部3501に記憶されて
いる文書表現空間の各特徴次元との類似度を算出するこ
とにより、類似度の高い特徴次元を判別する。
ユークリッド距離、マハラノビス距離等を用いる。ま
た、判別に関してはある類似度以上を削除対象として採
用するようなしきい値処理による判別や、類似度の高い
順にある一定数を削除対象として採用する定数処理によ
る判別を用いる。また、判別分析等も用いることができ
る。
うな削除対象の特徴次元を算出して、特徴次元の削除を
おこなう。特徴次元の削除は、ベクトル記憶部3501
に記憶されている「特徴次元(単語)」×「文書」の行
列から判別された特徴次元について行ベクトルを削除す
ることによりおこなう。文書表現空間修正部3502に
より修正された文書ベクトルは、次回以降の分類のため
に、ベクトル記憶部3501に記憶される。
連の処理の手順について説明する。図36は、実施の形
態4よる文書分類装置の一連の処理の手順を示すフロー
チャートである。図36のフローチャートにおいて、ま
ず、分類の対象となる文書が入力される(ステップS3
601)。
(ステップS3602)、解析された結果、すなわち、
抽出された単語に基づいて、文書特徴ベクトルが生成さ
れ(ステップS3603)、生成された文書特徴ベクト
ルが記憶される(ステップS3604)。
待って、分類パラメータの指示があった場合(ステップ
S3605肯定)は、指示があった分類パラメータにし
たがって文書を分類し(ステップS3606)、その結
果、すなわち、クラスタに関する情報を記憶する(ステ
ップS3607)。
し(ステップS3608)、算出された結果を表示する
(ステップS3609)。表示されたクラスタの中か
ら、クラスタが選択されたか否かを判断し(ステップS
3610)、選択されなかった場合(ステップS361
0否定)は、ステップS3605へ移行し、再度分類パ
ラメータの指示があるのを待つ(ステップS360
5)。
スタが選択された場合(ステップS3610肯定)は、
選択されたクラスタに関して分類体系を生成し、記憶す
る(ステップ3611)。この際、操作者により入力さ
れたクラスタに関する情報を併せて記憶することもでき
る。その後、繰り返し処理をおこなう旨の指示があった
か否かを判断する(ステップS3612)。
処理をおこなう旨の指示があった場合(ステップS36
12肯定)は、「特徴次元(単語)」×「文書」の行列
から判別された特徴次元について行ベクトルを削除する
ことにより文書表現空間を修正する(ステップS361
3)。その後、ステップS3605へ移行し、以後、ス
テップS3605〜S3613の各処理を繰り返しおこ
なう。
返して処理をおこなう旨の指示がなかった場合(ステッ
プS3612否定)は、これにより、一連の処理を終了
する。
文書分類装置によれば、前回の分類実行の結果、文書表
現空間修正部3502により操作者に選択されたクラス
タの形成特徴を次回の分類実行時に排除することがで
き、排除した状態で新たなクラスタを生成することがで
きる。
態3または実施の形態4においては、ベクトル修正部ま
たは文書表現空間修正部のいずれか一方のみを含む構成
であったが、以下に説明する実施の形態5のように、ベ
クトル修正部および文書表現空間修正部の両方を含む構
成とするようにしてもよい。
る情報処理システムは、図1に示したように実施の形態
1と同様であるので、その説明は省略する。また、サー
バー101およびクライアント102のハードウエア構
成についても、図2・図3に示したように実施の形態1
と同様であるので、その説明は省略する。
の機能的構成について説明する。図37は、この発明の
実施の形態5による文書分類装置の構成を機能的に示す
ブロック図である。図37において、実施の形態2の図
30と同一のものに関しては同じ符号を付して、その説
明を省略する。
置は、入力部3001、言語解析部3002、ベクトル
生成部3003、分類部3004、分類パラメータ指示
部3005、分類結果記憶部3006、クラスタ特徴表
示部3007、クラスタ特徴算出部3008、分類体系
記憶部3009、クラスタ選択指示部3010、分類体
系閲覧操作部3011のほか、ベクトル記憶部3701
と、ベクトル修正部3702と、文書表現空間修正部3
703とを含む構成である。
部3003により生成された文書特徴ベクトルを記憶す
るものである。また、ベクトル修正部3702は、文書
特徴ベクトル記憶部3701により記憶された文書特徴
ベクトルを分類部3004により生成された文書の部分
集合の文書特徴ベクトルを除去したのこりの文書特徴ベ
クトルとなるように修正するものである。
クトル記憶部3701により記憶された文書特徴ベクト
ル間の類似度を判断する際の文書表現空間を前記クラス
タ選択指示部3010により選択されたクラスタ特徴に
基づいて修正するものである。
正部3703により修正された文書表現空間を用いて、
ベクトル修正部3702により修正された文書特徴ベク
トル間の類似度に基づいて文書を分類する。
修正部3702、文書表現空間修正部3703は、RO
M202または302、RAM203または303、あ
るいはディスク装置306またはハードディスク316
等の記録媒体に記録されたプログラムに記載された命令
にしたがってCPU201または301等が命令処理を
実行することにより、各部の機能を実現する。
書表現空間修正部3703の内容について説明する。実
施の形態4においては、選択されたクラスタに所属する
文書は次回以降の分類実行の際にも使用される。
2および文書表現空間修正部3703の両方を具備する
ことにより、選択されたクラスタに所属する文書を次回
の分類実行の際に除去し、次回の分類実行の際には分類
対象文書としないようにする。
を強調し、ある文書が複数の話題として分類される可能
性を前提としており、たとえば、ネットワーク化に関す
る調査における「エンドユーザーがソフトウエアのイン
ストール方法について聞いてくるのでシステム管理者と
しての仕事ができない」という回答について言えば、こ
の意見は「ソフトウエアの操作方法理解に関する困難
性」という話題として分類され得るし、「システム管理
者の仕事の多忙さ」という話題で分類される可能性もあ
る。
も、「ソフトウエアの操作方法理解に関する困難性」と
いうクラスタと「システム管理者の仕事の多忙さ」とい
うクラスタの両方とも抽出したいというニーズに応えて
いる。
話題は既知であるので、次回の分類の際はなるべく異な
る分類結果が欲しいとするケースも考えられる。実施の
形態5では、このような要求に応えるため、ベクトル修
正部3702により、n回目の分類で選択されたクラス
タに所属する文書のすべてまたはその一部を次回以降の
分類を実行する際、分類対象から除去するものである。
示を受けたクラスタの所属文書はベクトル記憶部370
1において列ベクトルの形式で記憶されているため、ベ
クトル修正部3702では劣ベクトルを除去すること
で、次回以降の分類実行用の分類対象文書集合を生成す
る。
たクラスタにより文書表現空間修正部3703は、ベク
トル記憶部3701に記憶されている行列から特徴次元
を削除する。
連の処理の手順について説明する。図38は、実施の形
態5よる文書分類装置の一連の処理の手順を示すフロー
チャートである。図38のフローチャートにおいて、ま
ず、分類の対象となる文書が入力される(ステップS3
801)。
(ステップS3802)、解析された結果、すなわち、
抽出された単語に基づいて、文書特徴ベクトルが生成さ
れ(ステップS3803)、生成された文書特徴ベクト
ルが記憶される(ステップS3804)。
待って、分類パラメータの指示があった場合(ステップ
S3805肯定)は、指示があった分類パラメータにし
たがって文書を分類し(ステップS3806)、その結
果、すなわち、クラスタに関する情報を記憶する(ステ
ップS3807)。
し(ステップS3808)、算出された結果を表示する
(ステップS3809)。表示されたクラスタの中か
ら、クラスタが選択されたか否かを判断し(ステップS
3810)、選択されなかった場合(ステップS381
0否定)は、ステップS3805へ移行し、再度分類パ
ラメータの指示があるのを待つ(ステップS380
5)。
スタが選択された場合(ステップS3810肯定)は、
選択されたクラスタに関して分類体系を生成し、記憶す
る(ステップ3811)。この際、操作者により入力さ
れたクラスタに関する情報を併せて記憶することもでき
る。その後、繰り返し処理をおこなう旨の指示があった
か否かを判断する(ステップS3812)。
処理をおこなう旨の指示があった場合(ステップS38
12肯定)は、選択されたクラスタに所属する文書のす
べてあるいはその一部の文書を除くように文書特徴ベク
トルを修正する(ステップS3813)。
元(単語)」×「文書」の行列から判別された特徴次元
について行ベクトルを削除することにより文書表現空間
を修正する(ステップS3814)。その後、ステップ
S3805へ移行し、以後、ステップS3805〜S3
814を繰り返しおこなう。
返して処理をおこなう旨に指示がない場合(ステップS
3812否定)は、これにより、一連の処理をすべて終
了する。
書分類装置によれば、ベクトル修正部3702が、既知
になったクラスタの影響を排除し、かつ、文書表現空間
修正部3703が、前回の分類実行の結果、操作者に選
択されたクラスタの形成特徴を次回の分類実行時に排除
することができ、排除した状態で新たなクラスタを生成
することができる。
態2または実施の形態4においては、繰り返し分類処理
をおこなった場合に、ある文書が何度選択されたかその
情報については考慮していなかったが以下に説明する実
施の形態6のように、選択情報付与部を含む構成とし、
選択情報をクラスタ特徴とともに表示するようにしても
よい。
る情報処理システムは、図1に示したように実施の形態
1と同様であるので、その説明は省略する。また、サー
バー101およびクライアント102のハードウエア構
成についても、図2・図3に示したように実施の形態1
と同様であるので、その説明は省略する。
の機能的構成について説明する。図39は、この発明の
実施の形態6による文書分類装置の構成を機能的に示す
ブロック図である。図39において、実施の形態4の図
35と同一のものに関しては同じ符号を付して、その説
明を省略する。
置は、入力部3001、言語解析部3002、ベクトル
生成部3003、分類部3004、分類パラメータ指示
部3005、分類結果記憶部3006、クラスタ特徴表
示部3007、クラスタ特徴算出部3008、分類体系
記憶部3009、クラスタ選択指示部3010、分類体
系閲覧操作部3011、ベクトル記憶部3501、文書
表現空間修正部3502のほか、選択情報付与部390
1を含む構成である。
4により生成された文書の部分集合に所属する文書のす
べてあるいは一部が選択された場合に選択されたことを
示す選択情報を付与する。また、クラスタ特徴表示部3
007は、クラスタ特徴を表示するとともに、選択情報
付与部3901により付与された選択情報を表示する。
202または302、RAM203または303、ある
いはディスク装置306またはハードディスク316等
の記録媒体に記録されたプログラムに記載された命令に
したがってCPU201または301等が命令処理を実
行することにより、機能を実現する。
内容について説明する。アンケートの調査の例におい
て、独自性の高いユニークな意見は貴重であることが経
験的に知られている。これは、調査を企画する担当者が
予想できなかった意見である場合が多いからである。
属する文書を、次回以降の分類実行の際に使用する場合
において、クラスタ特徴表示部3007で個々の文書を
表示する際に、各文書が何回選択されたかを示すこと
で、多重に利用される文書の識別性を向上させ、かつ一
度も選択されない文書の識別性も向上させることができ
る。
置の分類結果記憶部3006において設けられたテーブ
ル4000を示す説明図である。図40において、文書
IDごとにテーブル化されており、テーブル4000
は、各文書がどのサイクルに分類実行の際に操作者に選
択されたかを記録する。すなわち、選択された場合は選
択情報として「1」を記録し、選択されなかった場合は
選択情報として「0」を記録する。
IDの「1」、第1回目および第2回目の分類実行時に
操作者に選択されたことを示し、第3回目、第4回目の
分類実行時には選択されなかったことを示している。一
方、文書IDの「2」は、未だ一度も選択されておら
ず、操作者にとって未知の意見という可能性を示唆して
いる。
示部3007が文書を操作者に表示する際、たとえば、
選択された回数に応じて表示を変化させるようにすると
よい。変化させる視覚的特性としては、たとえば文字や
背景の色の濃度や彩度等が考えられる。
た回数を表現することもできる。いずれにしてもよ選択
される文書と一度も選択されていない文書とを視覚的に
識別できる表示形式であれば、上記のものに限らない。
3011の閲覧操作により閲覧できるようにしてもよ
い。
内容について説明する。図41は、実施の形態6による
文書分類装置の選択情報付与部3901の処理の手順を
示すフローチャートである。図41のフローチャートに
おいて、まず、分類処理がおこなわれ(ステップS41
01)、それに引き続き、最初の文書が抽出される(ス
テップS4102)。
おける分類処理の際に選択されたか否かを判断する(ス
テップS4103)。ここで、選択された場合(ステッ
プS4103肯定)は、選択情報としてデータ「1」を
記録する(ステップS4104)。一方、選択されなか
った場合(ステップS4103否定)は、選択情報とし
てデータ「0」を記録する(ステップS4105)。
したか否かを判断する(ステップS4106)。ここ
で、すべての文書について処理が終了していない場合
(ステップS4106否定)は、つぎに文書を抽出し
(ステップS4107)、ステップS4103へ移行
し、以後、ステップS4103〜S4107を繰り返し
おこなう。
ての文書について処理が終了した場合(ステップS41
06肯定)は、ステップS4101へ移行し、再度分類
処理がおこなわれる(ステップS4101)。このよう
にして、分類処理がおこなわれる回数だけ、ステップS
4101〜S4107の各処理が繰り返しおこなわれ
る。
ば、選択情報付与部3901が選択情報を付与し、その
選択情報をクラスタ特徴表示部3007が表示するの
で、多重に利用される文書の識別性および一度も選択さ
れない文書の識別性を向上させることができる。
類方法は、あらかじめ用意されたプログラムをパーソナ
ルコンピュータやワークステーション等のコンピュータ
で実行することにより実現される。このプログラムは、
ハードディスク、フロッピーディスク、CD−ROM、
MO、DVD等のコンピュータで読み取り可能な記録媒
体に記録され、コンピュータによって記録媒体から読み
出されることによって実行される。またこのプログラム
は、上記記録媒体を介して、または伝送媒体として、イ
ンターネット等のネットワークを介して配布することが
できる。
類装置について説明する。本発明の実施の形態では、自
然言語で記述された一つ以上の文の集まりであり、かつ
その一つ以上の文の集まりが分類される対象である場
合、それを文書と言う。具体的な例をあげれば、IPC
分類等により分類される公開特許公報や、政治・経済・
文化・科学技術等の特定分野に分類される新聞記事も文
書であるし、それらから請求項や特定の一文を取り出し
たものであっても、請求項という分類に含まれる文であ
るか、用途等により分類可能な特定の一文であれば文書
とみなす。以下、図面によりこの発明の実施の形態7〜
16を詳細に説明する。
の形態7を示す文書分類装置の構成ブロック図である。
図42に示したように、実施の形態7の文書分類装置
は、文書データ群を入力する文書入力部(文書入力手
段)5001、それぞれの文書データを所定の基準に基
づいて一つまたは複数の分割文書データに分割する文書
分割部(文書分割手段)5002、上記文書データと分
割文書データとを対応付けるマップを生成する文書−分
割文書対応マップ生成部(文書−分割文書対応マップ生
成手段)5003を備えている。
タつまり分割された文書を分類する分割文書分類部(分
割文書分類手段)5004、分割文書分類結果情報を生
成する分割文書分類結果生成部(分割文書分類結果生成
手段)5005、上記文書−分割文書対応マップと上記
分割文書分類結果情報とを用いて上記文書データの分類
結果情報を生成する文書分類結果生成部(文書分類結果
生成手段)5006などを備えている。
割文書対応マップ生成部5003、分割文書分類部50
04、分割文書分類結果生成部5005、文書分類結果
生成部5006は共有または独自のプログラム記憶用メ
モリおよびプログラムにしたがって動作するCPUを有
している。
態7の文書分類装置、文書分類方法を詳細に説明する。
まず、文書入力部5001により、文書群が入力され
る。上記文書入力部5001はキーボード、OCR装
置、着脱型記録媒体、またはネットワーク通信手段を備
え、それらのいずれか一つを介して文書データ群を入力
するのである。
ータ群を取得し、それぞれの文書データを所定の基準に
基づいて分割し、一つの文書データから一つまたは複数
の分割文書データを生成する。なお、文書データを分割
する方法としては、文書の構造情報や文書を構成する要
素情報を用いたり、利用者が指定する方法などを用いる
が、ここでは、その方法は問わないこととする。
法でおこなわれる、文書データから複数の分割文書デー
タを生成する一例を示す。この例に示した文書1には複
数のニューストピックが記述されており、1日分のトピ
ックが文書単位となっている。図示したように、この文
書ではそれぞれのニューストピックが二つの改行コード
により分離されているので、この規則を用いて一つの文
書である文書1を分割し、一つが一つのトピックにより
形成される分割文書1−1〜1−7の7つの分割文書デ
ータを生成する。なお、分割前の文書1も分割文書デー
タとして含めることもできるが、ここでは含めないこと
にする。
マップ生成部5003が分割前の文書データとその文書
データから生成された分割文書データとを対応付けるマ
ップを生成する。たとえば、個々の文書データを一意に
示す識別子と個々の分割文書データを一意に示す識別子
とから構成されるマップ、あるいは文書データごとに分
割文書データを一意に示す識別子からなるマップを生成
するのである。なお、文書データと分割文書データを対
応付ける方法についてはここでは問わないこととする。
成する一例を示す。図44において、文書1〜文書3は
文書データを示し、分割文書1〜分割文書12は分割文
書データを示している。図示のように、それぞれの文書
データおよび分割文書データにそれぞれを一意に識別す
ることかできる識別番号(識別子)を付与し、上記文書
データの識別番号と分割文書データの識別番号とを図4
4の左下に示したテーブル形式で対応づけている。な
お、任意の複数の分割文書データが文書分類にて用いら
れる基準において同一とみなすことができる場合は、そ
れらの識別番号を同一にしてもよい。
割文書を対象に文書分類をおこなう。個々の分割文書に
対して、たとえば、言語処理を施し、文書中に含まれて
いるそれぞれの単語の出現頻度を計数し、それに基づい
てそれぞれの文書の特徴を計量的に表す特徴ベクトルを
求め、それらの特徴ベクトルに対してカイ自乗法、判別
分析手法、またはクラスタ分析手法などを適用すること
により文書分類をおこなう。
類結果生成部5005が上記の分割文書分類の結果に基
づいた分割文書分類結果情報を生成する。
えば、各分割文書データの所属カテゴリに関する情報
(たとえば、図45に示した「分割文書データを3つの
カテゴリに分類した結果」という表中の「分類カテゴ
リ」および「所属カテゴリの代表値との距離」の項の情
報)、生成された所属カテゴリ個々に関する情報(たと
えば、図45に示した「分類カテゴリに関する情報」と
いう表中の「代表値」および「所属データ数(分割文書
数)」の項の情報)、生成された所属カテゴリ間の情報
(たとえば図45に示した「分類カテゴリ間の距離」と
いう表の中の情報)などである。なお、利用者は上記の
ような種々の情報を分類結果分析の際の基礎データとし
て利用することができる。
らの有する計量的特徴ベクトルを用いて3つのカテゴリ
に分類した場合の分類結果の生成例である。分割文書デ
ータの有する計量的な3次元ベクトル(ベクトルの成分
数は分類対象文書群に生起するすべての単語の種類数に
なるが、ここでは、いくつかの単語が縮退した3次元ベ
クトルに線形変換している)に対してたとえばクラスタ
分析手法の一つであるWard法などを適用することで
3つのカテゴリに分類することができる。
に3つのカテゴリのうちのいずれか一つに属する。な
お、所属カテゴリの代表値とは、所属分割文書データの
特徴ベクトルの平均値(所属分割文書データの重心)で
ある。
似度に対応する)は、たとえば、図45の分割文書3に
ついては、分割文書データ特徴ベクトルの項における分
割文書3の値と、分割文書3の分類カテゴリであるカテ
ゴリ2の代表値(所属分割文書データの重心)の項の値
により、以下の数式から求めることができる。
−2.00)2÷(4.00−3.66)2)1/2=0.
48 上記の所属カテゴリの代表値との距離が小さいほど、そ
のカテゴリに属する平均的分割文書との類似度が高いと
いうことになる。
45に示した以外にも、カテゴリ内分散やカテゴリ間分
散、各カテゴリにおける類似度のレンジなどさまざまな
統計量を生成することかできる。
記文書−分割文書対応マップと上記分割文書分類結果情
報とを用いて、たとえば図46に示すような、上記文書
データの分類結果情報を生成する。図46の例では、図
示したように、各分類カテゴリごとに、所属する分割文
書データ、その類似度(所属カテゴリの代表値との距
離)、分割文書データの属する分割前文書データ(所属
文書)、文書占有率(分割文書データの当該カテゴリに
所属する割合)、分割文書データの所属文書における相
対位置(順序)、所属カテゴリ内での当該分割文書デー
タの類似度の順位などを生成している。
割文書対応マップから、それ以外の分類結果情報は分割
文書分類結果情報から得ている。文書分類結果生成部5
006は図46に示した情報以外にも、各カテゴリ内で
の分散、分割文書データの所属カテゴリ内での偏差値な
どさまざまな統計量、文書データや分割文書データの内
容などを分類結果情報として利用することもできる。
割文書データを単位とした表形式で表現しているが、分
類カテゴリや文書データを単位として表現することもで
きる。また、分類結果情報をテキスト表現にするだけで
なく、グラフィカルな表現にして、利用者が理解しやす
いようにすることも可能である。
文書が分割され、分割文書が分類され、分割前文書と上
記分割文書との対応が利用者に示され、上記分割文書の
分類結果が利用者に示されるので、一つの文書の中に複
数の話題や意味が含まれている場合に、ある特定の話題
や意味に限定されたカテゴリに分類されたり、利用者の
意図するカテゴリとは異なるカテゴリに分類されたりす
ることがなく、したがって、利用者がその分類カテゴリ
をよく理解できる。また、分割前文書(所属文書)中の
分割文書の位置なども示されるので、利用者は文書群中
の読みたい部分を効率的に読むことができる。
形態8に係る文書分類装置の構成ブロック図である。図
示したように、実施の形態8の文書分類装置は、図42
に示した実施の形態7の構成に加え、文書データを保存
する文書保存部(文書保存手段)5007、分割文書デ
ータを保存する分割文書保存部(分割文書保存手段)5
008、文書−分割文書対応マップ生成部5003によ
り生成された文書−分割文書対応マップを保存する文書
−分割文書対応マップ保存部(文書−分割文書対応マッ
プ保存手段)5009を備えている。なお、上記各保存
部はたとえば共有のハードディスクや半導体メモリなど
により構成される。
保存部5007は、文書データの内容や、文書の作成
者、作成日、最終修正日などの文書データに付随する情
報を適切な形式で保存する。また、文書データが文書内
容とともにその要素からなる計量的な特徴ベクトルを持
つ場合にはこれらも保存する。文書入力部5001に
て、個々の文書データにそれらを一意に表す識別子が付
与される場合にはこの識別子も適切な形式で保存するこ
とができる。
割部5002により生成される分割文書データの内容を
適切な形式で保存するとともに、計量的な特徴ベクトル
を持つ場合にはこれらも保存する。個々の上記分割文書
データにそれらを一意に表す識別子が付与される場合に
はこの識別子も適切な形式で保存することができる。
009は、文書−分割文書対応マップ生成部5003に
より生成される文書−分割文書対応マップを適切な形式
で保存する。
データ、分割文書データ、および文書−分割文書対応マ
ップが保存されるので、分割文書データおよび文書−分
割文書対応マップを再生成することなしに、同一の文書
データに対して、分類数、分類手法、または分類時の諸
設定などパラメータの異なる分類結果を効率的に求める
ことができる。また、文書データを分類し、分類結果を
生成するために必要なデータが保存されることにより、
利用者は、分類作業に対して時間的な自由度を持つこと
ができ、過去に行った文書分類の再分析を任意の時間に
おこなうこともできる。
形態9を示す文書分類装置の構成ブロック図である。図
48に示したように、本実施の形態の文書分類装置は、
図47に示した実施の形態8の構成に加え、分割文書分
類結果生成部5005により生成された分割文書分類結
果情報を保有する分割文書分類結果保存部(分割文書分
類結果保存手段)5010を備えている。なお、上記分
割文書分類結果保存部5010は、たとえば、共有のハ
ードディスクや半導体メモリなどにより構成される。
文書データ、分割文書データ、文書−分割文書対応マッ
プ、および、分割文書分類結果情報が保存されるので、
実施の形態8の効果に加え、一度分類を実行すれば、そ
の分類結果をテキスト表現や表表現やグラフ表現などさ
まざまな形式で表現することかできる。また、分割文書
分類結果情報が保存されることにより、分類の実行作業
および分類結果の分析作業において、利用者は、時間的
な自由度を持つことができ、過去に行った文書分類結果
の再分析をさまざまな表現形式で任意の時間におこなう
こともできる。
10では、前記各実施の形態の文書分類装置、文書分類
方法において、図49に示すように、文書分割部500
2により生成される複数の分割文書データ中に分割前の
文書データである文書1を含む。これにより、本実施の
形態では、利用者は、分割されている文書データを分類
することで得られる詳細な文書データの分類構造だけで
なく、分割前の文書データ自体を分類した結果として得
られるマクロな分類構造の融合した分類構造を得ること
ができる。
11では、前記各実施の形態の文書分類装置、文書分類
方法において、文書分割部5002は、文書データの構
造情報を基に文書データを分割する。図50に、分類対
象文書データかHTML形式で記述された文書の例を示
す。分割をおこなう前に、図50に示したようなHTM
L形式の文書データから構造情報を抽出し、それらの構
造を用いて文書の適切な分割規則を設定することにより
文書データから分割文書データを生成する。
<Ll>に着目し、「タグ<Ll>を持つテキストを一
つの分割文書データとする」という文言を分割文書デー
タを生成する規則とする。この規則を文書データに適用
することにより図50に示したような7つの分割文書か
生成される。
L、SGMLなど特定の構造化文書の形式を有していな
い場合でも、文字の大きさ、文字の装飾、文字の色、お
よびフォントなどに関する情報から分割規則を生成し、
分割文書を生成することもできる。また、文書データが
イメージであってOCR装置などにより入力される場合
には、元のイメージのレイアウト情報などを利用するこ
とにより分割規則を生成し、分割文書を生成することも
できる。
割文書データにする必要はない。たとえば、図50に示
した例では、文字列「ニューストピック(98/09/
25)」は分割文書には採用しない。
ータから構造情報を抽出し、文書割をおこなう前に構造
情報を用いて文書の適切な分割規則を設定することによ
り、異なった話題の分割などを適切におこなうことがで
き、したがって、文書データの詳細な分類構造がわかる
文書分類を適切におこなうことができる。
12では、前記実施の形態7〜10の文書分類装置、文
書分類方法において、図51に示すように、文書データ
に含まれる単語など要素を抽出する文書要素解析部(文
書要素抽出手段)5011、上記文書要素解析部501
1により抽出された要素に付随する品詞など要素付随情
報を抽出する要素付随情報抽出部(要素付随情報抽出手
段)5012を備え(図51は図48に示した実施の形
態9に文書要素抽出部5011、要素付随情報抽出50
12を加えた例で示している)、文書分割部5002
が、上記文書要素解析部5011により抽出された要
素、または上記要素と上記要素付随情報抽出部5012
により抽出された要素付随情報とを用いて上記文書デー
タを分割する。
前に、自然言語処理手段である文書要素解析部5011
が文書データから単語などそれらの要素を抽出し、要素
付随情報抽出部5012が品詞など要素付随情報を抽出
して文書の適切な分割規則を設定するのである。なお、
上記文書要素解析部5011および要素付随情報抽出部
5012は新たに設けるのではなく、分割文書分類部5
004内の同様の手段を用いることが可能である。
示したように、文書データが特定の構造情報を持たない
複数のニューストピックの集まりであり、各トピック
が、単語「トピック」+「数字」+「改行コード」とい
う文字列の後に記述されている場合で説明すると、上記
のような構造が文書要素解析部5011および要素付随
情報抽出部5012の抽出結果から認識され、文章の終
端を考慮して、「トピック+数字+改行コードという文
字列を先頭とし、上記文字列または文書終端記号を終端
として囲まれる文字列を一つの分割文書データとする」
という分割規則が生成されることになる。
とその品詞情報などから、まず、名詞と改行コードのみ
を抽出し、つぎに、文字列「トピック+数字+改行コー
ド」および文書終端記号を検出し、文書内でのそれらの
位置を記憶する。そして、文書データに対して前記分割
規則を適用し、図52に示したような分割文書データを
生成する。
割文書データにする必要はなく、たとえば、図52に示
した例では、文字列「ニューストピック(98/09/
25)」は分割文書には採用しない。また、上記の例で
は、文書データから要素およびその付随情報を抽出して
分割規則を設定する場合で説明したが、要素のみを抽出
してその要素情報から分割規則を設定することも可能で
ある。
データからそれらの要素情報などを抽出し、抽出した要
素情報などを用いて文書の分割規則を設定することによ
り、実施の形態11と同様に、文書データの詳細な分類
構造がわかる文書分類を適切におこなうことができる。
13では、前記実施の形態7〜10の文書分類装置、文
書分類方法において、利用者により指示された指定範囲
にしたがって文書分割部5002が文書データを分割す
る。図53に示すような文書データに対して利用者がそ
れぞれの分割文書の範囲を指定すると、指定にしたがっ
て文書分割部5002が文書分割をおこなう。
部5002がまず、画面上に、その初期状態として左右
の指示ポイントおよび領域指定ラインからなる領域指定
オブジェクトを文書の最上部に表示する。この状態で、
利用者は、マウスなどポインティングデバイスを用い
て、左右どちらかの指示ポイントをドラッグし、それを
上下に移動させることにより、それぞれの分割文書の領
域を選択することができる。
は、領域選択処理をおこなっていることを示すため、指
示ポインタを黒色から白色に、領域指定ラインを実線か
ら破線に変化させる。選択領域を決定するには、所望の
位置で指示ポイントのドラッグを止めればよい。
とするかしないか決定する。分割領域としない場合に
は、それを明示的に表示するために、文書分割部500
2は選択領域を図示のように網掛け表示にさせる。
は文書データからそれぞれの分割文書データを所望通り
に選択することができるので、文書データの詳細な分類
構造がわかり、かつ利用者の意図に合った文書分類をお
こなうことができる。
14では、前記実施の形態7〜10の文書分類装置、文
書分類方法において、文書データ中の文字数、文数、ま
たは文字数と文数の両方を基に文書データを分割する。
たとえば、図54に示す文書データをほぼ200文字を
単位として分割をおこなう。
は、正確な200文字単位としてもその終端が句点であ
る保証がないことから、200文字目の前後のもっとも
近い句点をそれぞれの分割文書の終端とするからであ
る。こうして、図54に示したような分割文書が生成さ
れる。同様に、所定の文数を単位とした文書分割をおこ
なうこともできるし、文字数と文数の両方を基にした文
書分割をおこなうこともできる。
字数、文数、または文字数と文数の両方を基に文書デー
タを分割することにより、話題の異なった内容などが異
なった分割文書として分割され、分類される可能性が高
くなるので、文書データの詳細な分類構造がわかる文書
分類をおこなうことができる。
15では、前記各実施の形態の文書分類装置、文書分類
方法において、文書分類結果生成部5006が分類結果
情報として、文書データを示す情報および上記文書デー
タに付随する代表的情報のみを提示する。
カテゴリ名を表示し、その横にそのカテゴリを代表する
キーワードを表示し、カテゴリ名の下には文書データを
示す情報として当該カテゴリに属する分割文書データを
含んでいる文書データの、たとえば、文書データ名(文
書名)を表示する。また、各文書データ名の左側には文
書アイコンを表示させ、この文書アイコンが指示された
とき、文書データの内容を表示させる。
リ代表値との類似度が高い分割文書データの文書データ
名を先(左側)にする。また、同じ文書データから生成
された複数の分割文書データが同一の分類カテゴリに属
している場合には、類似度のもっとも高い分割文書デー
タに対応する文書データ名のみを表示する。なお、上記
キーワードとは出現頻度の多い単語である。
書分類結果が文書データを示す情報と文書データに付随
する代表的情報のみが表示されるので、利用者は文書デ
ータの詳細な分類構造の概要を容易に把握することがで
きる。
16では、実施の形態15の文書分類結果提示に加え
て、分割文書データを示す情報および上記分割文書デー
タに付随する情報を提示する。
類カテゴリ名を表示し、その横にそのカテゴリを代表す
るキーワードを表示し、カテゴリ名の下には文書データ
を示す情報として当該カテゴリに属する分割文書データ
を含んでいる文書データのたとえば文書データ名(文書
名)を表示する。
コンを表示させ、この文書アイコンが指示されたとき、
文書データの内容を表示させる。また、文書データ名の
右側には分割文書アイコンを表示させる。なお、分割文
書アイコン中には当該文書データにおける分割文書デー
タの位置と当該文書データ中の分割文書数を表示させ
る。さらに、上記分割文書アイコンを指示することで文
書データ中の当該分割文書データを表示させることがで
きる。
代表値との類似度が高い分割文書データの文書データ名
を先にする。また、同じ文書データから生成された複数
の分割文書データが同一の分類カテゴリに属している場
合には類似度の順位がわかるようにその順位を表示させ
る。
書分類結果が文書データを示す情報と文書データに付随
する代表的情報、および分割文書データを示す情報と分
割文書データに付随する代表的情報のみが表示されるの
で、利用者は文書データの詳細な分類構造の概要ととも
にどの分割文書が起因して当該カテゴリに分類されたか
というようなことも容易にわかる。
類方法を説明したが、この文書分類方法を実現するプロ
グラムを着脱可能であるとともにコンピュータ読み取り
可能な記録媒体に記録し、上記記録媒体を移した先の情
報処理装置内で本発明によった文書分類をおこなうこと
もできる。
よれば、入力された文書データを記憶する文書記憶手段
と、前記文書記憶手段により記憶された文書データの全
部または一部を選択する選択手段と、前記選択手段によ
り選択された文書データの全部または一部から文字列の
特徴に関するデータを抽出する特徴抽出手段と、前記特
徴抽出手段により抽出された文字列の特徴に関するデー
タに基づいて前記文書データの全部または一部を加工処
理する加工処理手段と、前記加工処理手段により加工処
理された文書データの全部または一部を出力する出力手
段とを備えるため、文書の意味に係わるような分析作業
において、単にその結果のみを出力するのではなく、情
報分析作業全般にわたる支援をおこなうことが可能な文
書処理装置が得られるという効果を奏する。
手段が、前記加工処理手段により加工処理された文書デ
ータの全部または一部の内容に基づいて複数の項目値を
設定する項目値設定手段と、前記項目値設定手段により
設定された項目値ごとに前記文書データの全部または一
部を集計する集計手段と、を備え、前記文書データの全
部または一部を、項目値を少なくとも一つの軸とする表
形式に展開して出力するため、簡易な操作で加工処理の
結果をクロス表として表すことができ、情報の内容の把
握を容易におこなうことができることから、文書の意味
に係わるような分析作業において、単にその結果のみを
出力するのではなく、情報分析作業全般にわたる支援を
おこなうことが可能な文書処理装置が得られるという効
果を奏する。
手段が、さらに、前記加工処理手段により加工処理され
た文書データの全部または一部を、前記加工処理手段に
より加工処理される前の文書データの全部または一部と
ともに出力するため、加工処理すべき対象データとその
他のデータが同時に表示され、それを確認することによ
り、加工処理の対象範囲の決定を正確かつ容易におこな
うことができることから、文書の意味に係わるような分
析作業において、単にその結果のみを出力するのではな
く、情報分析作業全般にわたる支援をおこなうことが可
能な文書処理装置が得られるという効果を奏する。
記憶手段が、さらに、前記加工処理手段により加工処理
された文書データの全部または一部を記憶するため、以
後、他のデータと同様に扱うことができることから、文
書の意味に係わるような分析作業において、単にその結
果のみを出力するのではなく、情報分析作業全般にわた
る支援をおこなうことが可能な文書処理装置が得られる
という効果を奏する。
手段が、さらに、前記出力手段により出力された文書デ
ータの全部または一部を選択するため、出力手段により
出力された文書データの全部または一部をさらなる分析
の対象とすることができ、多彩で高度な情報分析作業が
できることから、文書の意味に係わるような分析作業に
おいて、単にその結果のみを出力するのではなく、情報
分析作業全般にわたる支援をおこなうことが可能な文書
処理装置が得られるという効果を奏する。
記憶手段が、さらに、前記加工処理の内容に関するデー
タを記憶するため、加工処理の内容に関するデータの紛
失を防止し、当該データの管理が容易になるだけでな
く、加工処理に用いた設定とそれによる処理結果を関連
づけて把握することができることから、文書の意味に係
わるような分析作業において、単にその結果のみを出力
するのではなく、情報分析作業全般にわたる支援をおこ
なうことが可能な文書処理装置が得られるという効果を
奏する。
が、文書データを入力し、言語解析手段が、前記入力手
段により入力された文書データを解析して言語解析情報
を得、ベクトル生成手段が、前記言語解析手段により得
られた言語解析情報に基づいて前記文書データに対する
文書特徴ベクトルを生成し、分類手段が、前記ベクトル
生成手段により生成された文書特徴ベクトル間の類似度
に基づいて文書を分類し、文書の部分集合を生成し、ク
ラスタ特徴算出手段が、前記分類手段により生成された
文書の部分集合の特徴であるクラスタ特徴を算出し、分
類体系記憶手段が、前記クラスタ特徴算出手段により算
出されたクラスタ特徴を分類体系の構成要素として記憶
するため、クラスタを得ることができるとともに、クラ
スタ重心間の類似度等を用いて、クラスタの内容に基づ
くクラスタの構造化・体系化をおこなうことができ、こ
れにより、任意の文書集合にどのような内容が含まれる
かを漸次的に収集することが可能な文書分類装置が得ら
れるという効果を奏する。
が、文書データを入力し、言語解析手段が、前記入力手
段により入力された文書データを解析して言語解析情報
を得、ベクトル生成手段が、前記言語解析手段により得
られた言語解析情報に基づいて前記文書データに対する
文書特徴ベクトルを生成し、分類手段が、前記ベクトル
生成手段により生成された文書特徴ベクトル間の類似度
に基づいて文書を分類し、文書の部分集合を生成し、ク
ラスタ特徴算出手段が、前記分類手段により生成された
文書の部分集合の特徴であるクラスタ特徴を算出し、表
示手段が、前記クラスタ特徴算出手段により算出された
クラスタ特徴を表示し、クラスタ選択指示手段が、前記
分類手段により生成された文書の部分集合の中から所望
の部分集合を選択し、分類体系記憶手段が、前記クラス
タ選択指示手段により選択された文書の部分集合を分類
体系の構成要素として記憶するため、選択されたクラス
タのみを用いて、より操作者の意図したものに近いクラ
スタの構造化・体系化をおこなうことができ、これによ
り、任意の文書集合にどのような内容が含まれるかを漸
次的に収集することが可能な文書分類装置が得られると
いう効果を奏する。
の発明において、文書特徴ベクトル記憶手段が、前記ベ
クトル生成手段により生成された文書特徴ベクトルを記
憶し、ベクトル修正手段が、前記文書特徴ベクトル記憶
手段により記憶された文書特徴ベクトルを、前記クラス
タ選択指示手段により選択された部分集合に属する文書
の文書特徴ベクトルを除去したのこりとなるように修正
し、前記分類手段が、前記ベクトル修正手段により修正
された文書特徴ベクトルに基づいて文書を分類するた
め、既知になったクラスタの影響を排除した新たなクラ
スタを生成することができ、これにより、任意の文書集
合にどのような内容が含まれるかを漸次的に収集するこ
とが可能な文書分類装置が得られるという効果を奏す
る。
8の発明において、文書特徴ベクトル記憶手段が、前記
ベクトル生成手段により生成された文書特徴ベクトルを
記憶し、文書表現空間修正手段が、前記文書特徴ベクト
ル記憶手段により記憶された文書特徴ベクトル間の類似
度を判断する際の文書表現空間を前記クラスタ選択指示
手段により選択された部分集合から算出する特徴量に基
づいて修正し、前記分類手段が、前記文書表現空間修正
手段により修正された文書表現空間を用いて、前記ベク
トル生成手段により生成された文書特徴ベクトル間の類
似度に基づいて文書を分類するため、前回の分類実行の
結果、操作者に選択されたクラスタの形成特徴を次回の
分類実行時に排除することができ、排除した状態で新た
なクラスタを生成することができ、これにより、任意の
文書集合にどのような内容が含まれるかを漸次的に収集
することが可能な文書分類装置が得られるという効果を
奏する。
9の発明において、文書特徴ベクトル記憶手段が、前記
ベクトル生成手段により生成された文書特徴ベクトルを
記憶し、文書表現空間修正手段が、前記文書特徴ベクト
ル記憶手段により記憶された文書特徴ベクトル間の類似
度を判断する際の文書表現空間を前記クラスタ選択指示
手段により選択されたクラスタ特徴に基づいて修正し、
前記分類手段が、前記文書表現空間修正手段により修正
された文書表現空間を用いて、前記ベクトル修正手段に
より修正された文書特徴ベクトル間の類似度に基づいて
文書を分類するため、既知になったクラスタの影響を排
除し、かつ、前回の分類実行の結果、操作者に選択され
たクラスタの形成特徴を次回の分類実行時に排除するこ
とができ、排除した状態で新たなクラスタを生成するこ
とができ、これにより、任意の文書集合にどのような内
容が含まれるかを漸次的に収集することが可能な文書分
類装置が得られるという効果を奏する。
8または10の発明において、選択情報付与手段が、前
記分類手段により生成された文書の部分集合に所属する
文書のすべてあるいは一部が選択された場合に選択され
たことを示す選択情報を付与し、前記表示手段が、前記
クラスタ特徴を表示するとともに、選択情報付与手段に
より付与された選択情報を表示するため、多重に利用さ
れる文書の識別性および一度も選択されない文書の識別
性を向上させることができ、これにより、任意の文書集
合にどのような内容が含まれるかを漸次的に収集するこ
とが可能な文書分類装置が得られるという効果を奏す
る。
8〜12の発明において、前記分類体系記憶手段が、前
記選択指示手段により選択された文書の部分集合に属す
る全部あるいは一部の文書のほか、クラスタ特徴および
/または操作者が作成した任意の情報を分類体系の構成
要素として記憶するため、クラスタの内容把握を容易に
し、かつ、操作者独自の分類体系を簡易に生成できるの
で、分類体系の利用価値を向上させることができ、これ
により、任意の文書集合にどのような内容が含まれるか
を漸次的に収集することが可能な文書分類装置が得られ
るという効果を奏する。
内容にしたがって文書群を分類する文書分類装置におい
て、文書データ群を入力する文書入力手段と、入力され
た文書データ群の各文書に対して所定の基準に基づき文
書の分割をおこない、一つの文書データから一つまたは
複数の分割文書データを生成する文書分割手段と、前記
文書データと前記分割文書データとの対応を示す文書−
分割文書対応マップを生成する文書−分割文書対応マッ
プ生成手段と、前記分割文書データを分類する分割文書
分類手段と、前記分割文書分類手段による分類結果に基
づいて分割文書分類結果情報を生成する分割文書分類結
果生成手段と、前記文書−分割文書対応マップと前記分
割文書分類結果情報とを用いて前記文書データの分類結
果情報を生成する文書分類結果生成手段と、を備えるた
め、一つの文書の中に複数の話題や意味が含まれている
場合に、ある特定の話題や意味に限定されたカテゴリに
分類されたり、利用者の意図するカテゴリとは異なるカ
テゴリに分類されたりすることがなく、したがって、利
用者がその分類カテゴリをよく理解が可能で、また、分
割前文書(所属文書)中の分割文書の位置なども示され
るので、利用者は文書群中の読みたい部分を効率的に読
むことが可能な文書分類装置が得られるという効果を奏
する。
14の発明において、前記文書データを保存する文書保
存手段と、前記分割文書データを保存する分割文書保存
手段と、前記文書−分割文書対応マップ生成手段により
生成された文書−分割文書対応マップを保存する文書−
分割文書対応マップ保存手段と、を備えるため、分割文
書データおよび文書−分割文書対応マップを再生成する
ことなしに、同一の文書データに対して、分類数、分類
手法、または分類時の諸設定などパラメータの異なる分
類結果を効率的に求めることが可能で、また、文書デー
タを分類し、分類結果を生成するために必要なデータが
保存されることにより、利用者が分類作業に対して時間
的な自由度を持つことが可能で、過去に行った文書分類
の再分析を任意の時間間におこなうことも可能な文書分
類装置が得られるという効果を奏する。
15の発明において、前記分割文書分類結果生成手段に
より生成された分割文書分類結果情報を保存する分割文
書分類結果保存手段を備えるため、請求項15の発明の
効果に加え、一度分類を実行すれば、その分類結果をテ
キスト表現や表表現やグラフ表現などさまざまな形式で
表現することが可能で、また、分割文書分類結果情報が
保存されることにより、分類の実行作業および分類結果
の分析作業において、利用者が時間的な自由度を持つこ
とが可能で、過去に行った文書分類結果の再分析をさま
ざまな表現形式で任意の時間におこなうことも可能な文
書分類装置が得られるという効果を奏する。
14〜16の発明において、前記文書分割手段により生
成される複数の分割文書データには分割前の文書データ
そのものを含むため、利用者は、分割されている文書デ
ータを分類することで得られる詳細な文書データの分類
構造だけでなく、分割前の文書データ自体を分類した結
果として得られる概略的でマクロな分類構造の融合した
分類構造を得ることが可能な文書分類装置が得られると
いう効果を奏する。
14〜17の発明において、前記文書分割手段が、文書
データの構造情報を基に文書データを分割する構成にし
たため、異なった話題の分割等を適切におこなうことが
でき、したがって、文書データの詳細な分類構造がわか
る文書分類を適切におこなうことが可能な文書分類装置
が得られるという効果を奏する。
14〜17の発明において、前記文書データに含まれる
要素を抽出する文書要素抽出手段と、前記文書要素抽出
手段により抽出された要素に付随する要素付随情報を抽
出する要素付随情報抽出手段と、を備え、前記文書分割
手段が、前記文書要素抽出手段により抽出された要素、
または前記要素と前記要素付随情報抽出手段により抽出
された要素付随情報とを用いて前記文書データを分割す
る構成にしたため、文書データの詳細な分類構造がわか
る文書分類を適切におこなうことが可能な文書分類装置
が得られるという効果を奏する。
14〜17の発明において、前記文書分割手段が、指示
された指定範囲にしたがって文書データの分割をおこな
う構成にしたため、利用者の意図に合い、かつ文書デー
タの詳細な分類構造がわかる文書分類をおこなうことが
可能な文書分類装置が得られるという効果を奏する。
14〜17において、前記文書分割手段が、文書データ
中の文字数、文数、または文字数と文数の両方を基に文
書データを分割する構成にしたため、話題の異なった内
容などが異なった文書として分類される可能性が高くな
り、したがって、この発明でも文書データの詳細な分類
構造がわかる文書分類をおこなうことが可能な文書分類
装置が得られるという効果を奏する。
14〜21の発明において、前記文書分類結果生成手段
が、文書データを示す情報および前記文書データに付随
する代表的情報を、分類結果情報として抽出して提示す
る構成にしたため、利用者は文書データの詳細な分類構
造の概要や全体的な構造を容易に把握することが可能な
文書分類装置が得られるという効果を奏する。
22の発明において、前記文書分類結果生成手段が、分
割文書データを示す情報および前記分割文書データに付
随する代表的情報を、分類結果情報として、抽出して提
示する構成にしたため、利用者は文書データの詳細な分
類構造の概要や全体的な構造とともにどの分割文書が起
因して当該カテゴリに分類されたかというようなことも
容易にわかる文書分類装置が得られるという効果を奏す
る。
れた文書データを記憶する文書記憶工程と、前記文書記
憶工程により記憶された文書データの全部または一部を
選択する選択工程と、前記選択工程により選択された文
書データの全部または一部から文字列の特徴に関するデ
ータを抽出する特徴抽出工程と、前記特徴抽出工程によ
り抽出された文字列の特徴に関するデータに基づいて前
記文書データの全部または一部を加工処理する加工処理
工程と、前記加工処理工程により加工処理された文書デ
ータの全部または一部を出力する出力工程と、を含むの
で、文書の意味に係わるような分析作業において、単に
その結果のみを出力するのではなく、情報分析作業全般
にわたる支援をおこなうことが可能な文書処理方法が得
られるという効果を奏する。
力工程が、前記加工処理工程により加工処理された文書
データの全部または一部の内容に基づいて複数の項目値
を設定する項目値設定工程と、前記項目値設定工程によ
り設定された項目値ごとに前記文書データの全部または
一部を集計する集計工程と、を含み、前記文書データの
全部または一部を、項目値を少なくとも一つの軸とする
表形式に展開して出力するので、簡易な操作で加工処理
の結果をクロス表として表すことができ、情報の内容の
把握を容易におこなうことができることから、文書の意
味に係わるような分析作業において、単にその結果のみ
を出力するのではなく、情報分析作業全般にわたる支援
をおこなうことが可能な文書処理方法が得られるという
効果を奏する。
力工程が、さらに、前記加工処理工程により加工処理さ
れた文書データの全部または一部を、前記加工処理工程
により加工処理される前の文書データの全部または一部
とともに出力するので、加工処理すべき対象データとそ
の他のデータが同時に表示され、それを確認することに
より、加工処理の対象範囲の決定を正確かつ容易におこ
なうことができることから、文書の意味に係わるような
分析作業において、単にその結果のみを出力するのでは
なく、情報分析作業全般にわたる支援をおこなうことが
可能な文書処理方法が得られるという効果を奏する。
書記憶工程が、さらに、前記加工処理工程により加工処
理された文書データの全部または一部を記憶するので、
以後、他のデータと同様に扱うことができることから、
文書の意味に係わるような分析作業において、単にその
結果のみを出力するのではなく、情報分析作業全般にわ
たる支援をおこなうことが可能な文書処理方法が得られ
るという効果を奏する。
択工程が、さらに、前記出力工程により出力された文書
データの全部または一部を選択するので、出力工程によ
り出力された文書データの全部または一部をさらなる分
析の対象とすることができ、多彩で高度な情報分析作業
ができることから、文書の意味に係わるような分析作業
において、単にその結果のみを出力するのではなく、情
報分析作業全般にわたる支援をおこなうことが可能な文
書処理方法が得られるという効果を奏する。
書記憶工程が、さらに、前記加工処理の内容に関するデ
ータを記憶するので、加工処理の内容に関するデータの
紛失を防止し、当該データの管理が容易になるだけでな
く、加工処理に用いた設定とそれによる処理結果を関連
づけて把握することができることから、文書の意味に係
わるような分析作業において、単にその結果のみを出力
するのではなく、情報分析作業全般にわたる支援をおこ
なうことが可能な文書処理方法が得られるという効果を
奏する。
程が、文書データを入力し、言語解析工程が、前記入力
工程により入力された文書データを解析して言語解析情
報を得、ベクトル生成工程が、前記言語解析工程により
得られた言語解析情報に基づいて前記文書データに対す
る文書特徴ベクトルを生成し、分類工程が、前記ベクト
ル生成工程により生成された文書特徴ベクトル間の類似
度に基づいて文書を分類し、文書の部分集合を生成し、
クラスタ特徴算出工程が、前記分類工程により生成され
た文書の部分集合の特徴であるクラスタ特徴を算出し、
分類体系生成工程が、前記クラスタ特徴算出工程により
算出されたクラスタ特徴に基づいて分類体系の構成要素
を生成するので、クラスタを得ることができるととも
に、クラスタ重心間の類似度等を用いて、クラスタの内
容に基づくクラスタの構造化・体系化をおこなうことが
でき、これにより、任意の文書集合にどのような内容が
含まれるかを漸次的に収集することが可能な文書分類方
法が得られるという効果を奏する。
程が、文書データを入力し、言語解析工程が、前記入力
工程により入力された文書データを解析して言語解析情
報を得、ベクトル生成工程が、前記言語解析工程により
得られた言語解析情報に基づいて前記文書データに対す
る文書特徴ベクトルを生成し、分類工程が、前記ベクト
ル生成工程により生成された文書特徴ベクトル間の類似
度に基づいて文書を分類し、文書の部分集合を生成し、
クラスタ特徴算出工程が、前記分類工程により生成され
た文書の部分集合の特徴であるクラスタ特徴を算出し、
表示工程が、前記クラスタ特徴算出工程により算出され
たクラスタ特徴を表示し、クラスタ選択指示工程が、前
記分類工程により生成された文書の部分集合の中から所
望の部分集合を選択し、分類体系生成工程が、前記クラ
スタ選択指示工程により選択されたクラスタ特徴に基づ
いて分類体系の構成要素を生成するので、選択されたク
ラスタのみを用いて、より操作者の意図したものに近い
クラスタの構造化・体系化をおこなうことができ、これ
により、任意の文書集合にどのような内容が含まれるか
を漸次的に収集することが可能な文書分類方法が得られ
るという効果を奏する。
31の発明において、ベクトル修正工程が、前記クラス
タ選択指示手段により選択された部分集合に属する文書
の文書特徴ベクトルを除去したのこりとなるように修正
し、前記分類工程が、前記ベクトル修正工程により修正
された文書特徴ベクトルに基づいて文書を分類するの
で、既知になったクラスタの影響を排除した新たなクラ
スタを生成することができ、これにより、任意の文書集
合にどのような内容が含まれるかを漸次的に収集するこ
とが可能な文書分類方法が得られるという効果を奏す
る。
31の発明において、文書表現空間修正工程が、前記ベ
クトル生成工程により生成された文書特徴ベクトル間の
類似度を判断する際の文書表現空間を前記クラスタ選択
指示工程により選択された部分集合から算出する特徴量
に基づいて修正し、前記分類工程が、前記文書表現空間
修正工程により修正された文書表現空間を用いて、前記
ベクトル生成手段工程により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類するので、前回の分
類実行の結果、操作者に選択されたクラスタの形成特徴
を次回の分類実行時に排除することができ、排除した状
態で新たなクラスタを生成することができ、これによ
り、任意の文書集合にどのような内容が含まれるかを漸
次的に収集することが可能な文書分類方法が得られると
いう効果を奏する。
32の発明において、文書表現空間修正工程が、前記ベ
クトル生成工程により生成された文書特徴ベクトル間の
類似度を判断する際の文書表現空間を前記クラスタ選択
指示工程により選択された部分集合から算出する特徴量
に基づいて修正し、前記分類工程が、前記文書表現空間
修正工程により修正された文書表現空間を用いて、前記
ベクトル修正工程により修正された文書特徴ベクトル間
の類似度に基づいて文書を分類するので、既知になった
クラスタの影響を排除し、かつ、前回の分類実行の結
果、操作者に選択されたクラスタの形成特徴を次回の分
類実行時に排除することができ、排除した状態で新たな
クラスタを生成することができ、これにより、任意の文
書集合にどのような内容が含まれるかを漸次的に収集す
ることが可能な文書分類方法が得られるという効果を奏
する。
31または33の発明において、選択情報付与工程が、
前記分類工程により生成された文書の部分集合に所属す
る文書のすべてあるいは一部が選択された場合に選択さ
れたことを示す選択情報を付与し、前記表示工程が、前
記クラスタ特徴を表示するとともに、選択情報付与工程
により付与された選択情報を表示するので、多重に利用
される文書の識別性および一度も選択されない文書の識
別性を向上させることができ、これにより、任意の文書
集合にどのような内容が含まれるかを漸次的に収集する
ことが可能な文書分類方法が得られるという効果を奏す
る。
31〜35の発明において、前記分類体系生成工程が、
前記選択指示工程により選択されたクラスタ特徴のほ
か、前記文書の部分集合の中から選択された文書の部分
集合に所属する文書群の全部あるいは一部および/また
は操作者が作成した情報に基づいて分類体系の構成要素
を生成するので、クラスタの内容把握を容易にし、か
つ、操作者独自の分類体系を簡易に生成できることの
で、分類体系の利用価値を向上させることができ、これ
により、任意の文書集合にどのような内容が含まれるか
を漸次的に収集することが可能な文書分類方法が得られ
るという効果を奏する。
文書の中に複数の話題や意味が含まれている場合に、あ
る特定の話題や意味に限定されたカテゴリに分類された
り、利用者の意図するカテゴリとは異なるカテゴリに分
類されたりすることがなく、したがって、利用者がその
分類カテゴリをよく理解できる。また、分割前文書(所
属文書)中の分割文書の位置なども示されるので、利用
者は文書群中の読みたい部分を効率的に読むことが可能
な文書分類方法が得られるという効果を奏する。
24〜37のいずれか一つに記載された方法をコンピュ
ータに実行させるプログラムを記録したことで、そのプ
ログラムを機械読み取り可能となり、これによって、請
求項24〜37の動作をコンピュータによって実現する
ことが可能な記録媒体が得られるという効果を奏する。
構成する情報処理システム全体のハードウエア構成を示
す説明図である。
構成する情報処理システムにおけるサーバーのハードウ
エア構成を示す説明図である。
構成する情報処理システムにおけるクライアントのハー
ドウエア構成を示す説明図である。
構成を機能的に示すブロック図である。
項目名と項目値の関係を示す説明図である。
文書記憶部に記憶された文書のデータ構造を示す説明図
である。
文書記憶部に記憶された文書の別のデータ構造を示す説
明図である。
出力部による画面表示の例を示す説明図である。
出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の特徴抽出部によりおこなわれる抽出処理の内容の一覧
を示す説明図である。
の加工処理部によりおこなわれる加工処理の内容の一覧
を示す説明図である。
の各項目の特徴ベクトルを示す説明図である。
の単語とその単語IDごとの出現回数を示す説明図であ
る。
の出力部による画面表示の別の例を示す説明図である。
の出力部によるクロス表作成のための指示画面を示す説
明図である。
の出力部による分類処理の結果が表示されたクロス表を
示す説明図である。
の出力部による分類処理の結果が表示された別のクロス
表を示す説明図である。
の出力部の詳細な構成を示すブロック図である。
のクロス表の出力手順を示すフローチャートである。
の出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の文書記憶部の詳細な構成を示すブロック図である。
の出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の出力部による画面表示の別の例を示す説明図である。
の文書処理の一連の手順を示すフローチャートである。
の構成を機能的に示すブロック図である。
のクラスタ特徴表示部の表示の一例を示す説明図であ
る。
の一連の処理の手順を示すフローチャートである。
の構成を機能的に示すブロック図である。
一連の処理の手順を示すフローチャートである。
の構成を機能的に示すブロック図である。
一連の処理の手順を示すフローチャートである。
の構成を機能的に示すブロック図である。
一連の処理の手順を示すフローチャートである。
の構成を機能的に示すブロック図である。
の分類結果記憶部において設けられたテーブルを示す説
明図である。
の選択情報付与部の処理の手順を示すフローチャートで
ある。
の構成ブロック図である。
および文書分類方法の説明図である。
および文書分類方法の他の説明図である。
および文書分類方法の他の説明図である。
および文書分類方法の他の説明図である。
の構成ブロック図である。
の構成ブロック図である。
置および文書分類方法の説明図である。
置および文書分類方法の説明図である。
置の構成ブロック図である。
置および文書分類方法の説明図である。
置および文書分類方法の説明図である。
置および文書分類方法の説明図である。
置および文書分類方法の説明図である。
置および文書分類方法の説明図である。
Claims (38)
- 【請求項1】 入力された複数の文書データを所定の形
式で表示または印刷するために出力する文書処理装置に
おいて、 入力された文書データを記憶する文書記憶手段と、 前記文書記憶手段により記憶された文書データの全部ま
たは一部を選択する選択手段と、 前記選択手段により選択された文書データの全部または
一部から文字列の特徴に関するデータを抽出する特徴抽
出手段と、 前記特徴抽出手段により抽出された文字列の特徴に関す
るデータに基づいて前記文書データの全部または一部を
加工処理する加工処理手段と、 前記加工処理手段により加工処理された文書データの全
部または一部を出力する出力手段と、 を備えたことを特徴とする文書処理装置。 - 【請求項2】 前記出力手段は、 前記加工処理手段により加工処理された文書データの全
部または一部の内容に基づいて複数の項目値を設定する
項目値設定手段と、 前記項目値設定手段により設定された項目値ごとに前記
文書データの全部または一部を集計する集計手段と、 を備え、 前記文書データの全部または一部を、項目値を少なくと
も一つの軸とする表形式に展開して出力することを特徴
とする請求項1に記載の文書処理装置。 - 【請求項3】 前記出力手段は、さらに、前記加工処理
手段により加工処理された文書データの全部または一部
を、前記加工処理手段により加工処理される前の文書デ
ータの全部または一部とともに出力することを特徴とす
る請求項1または2に記載の文書処理装置。 - 【請求項4】 前記文書記憶手段は、さらに、前記加工
処理手段により加工処理された文書データの全部または
一部を記憶することを特徴とする請求項1〜3のいずれ
か一つに記載の文書処理装置。 - 【請求項5】 前記選択手段は、さらに、前記出力手段
により出力された文書データの全部または一部を選択す
ることを特徴とする請求項1〜4のいずれか一つに記載
の文書処理装置。 - 【請求項6】 前記文書記憶手段は、さらに、前記加工
処理の内容に関するデータを記憶することを特徴とする
請求項1〜5のいずれか一つに記載の文書処理装置。 - 【請求項7】 文書の内容に基づいて文書の分類をおこ
なう文書分類装置において、 文書データを入力する入力手段と、 前記入力手段により入力された文書データを解析して言
語解析情報を得る言語解析手段と、 前記言語解析手段により得られた言語解析情報に基づい
て前記文書データに対する文書特徴ベクトルを生成する
ベクトル生成手段と、 前記ベクトル生成手段により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類手段と、 前記分類手段により生成された文書の部分集合の特徴で
あるクラスタ特徴を算出するクラスタ特徴算出手段と、 前記クラスタ特徴算出手段により算出されたクラスタ特
徴を分類体系の構成要素として記憶する分類体系記憶手
段と、 を備えたことを特徴とする文書分類装置。 - 【請求項8】 文書の内容に基づいて文書の分類をおこ
なう文書分類装置において、 文書データを入力する入力手段と、 前記入力手段により入力された文書データを解析して言
語解析情報を得る言語解析手段と、 前記言語解析手段により得られた言語解析情報に基づい
て前記文書データに対する文書特徴ベクトルを生成する
ベクトル生成手段と、 前記ベクトル生成手段により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類手段と、 前記分類手段により生成された文書の部分集合の特徴で
あるクラスタ特徴を算出するクラスタ特徴算出手段と、 前記クラスタ特徴算出手段により算出されたクラスタ特
徴を表示する表示手段と、 前記分類手段により生成された文書の部分集合の中から
所望の部分集合を選択するクラスタ選択指示手段と、 前記クラスタ選択指示手段により選択された文書の部分
集合を分類体系の構成要素として記憶する分類体系記憶
手段と、 を備えたことを特徴とする文書分類装置。 - 【請求項9】 前記ベクトル生成手段により生成された
文書特徴ベクトルを記憶する文書特徴ベクトル記憶手段
と、 前記文書特徴ベクトル記憶手段により記憶された文書特
徴ベクトルを、前記クラスタ選択指示手段により選択さ
れた部分集合に属する文書の文書特徴ベクトルを除去し
たのこりとなるように修正するベクトル修正手段と、 を備え、 前記分類手段は、前記ベクトル修正手段により修正され
た文書特徴ベクトルに基づいて文書を分類することを特
徴とする請求項8に記載の文書分類装置。 - 【請求項10】 前記ベクトル生成手段により生成され
た文書特徴ベクトルを記憶する文書特徴ベクトル記憶手
段と、 前記文書特徴ベクトル記憶手段により記憶された文書特
徴ベクトル間の類似度を判断する際の文書表現空間を前
記クラスタ選択指示手段により選択された部分集合から
算出する特徴量に基づいて修正する文書表現空間修正手
段と、 を備え、 前記分類手段は、前記文書表現空間修正手段により修正
された文書表現空間を用いて、前記ベクトル生成手段に
より生成された文書特徴ベクトル間の類似度に基づいて
文書を分類することを特徴とする請求項8に記載の文書
分類装置。 - 【請求項11】 前記ベクトル生成手段により生成され
た文書特徴ベクトルを記憶する文書特徴ベクトル記憶手
段と、 前記文書特徴ベクトル記憶手段により記憶された文書特
徴ベクトル間の類似度を判断する際の文書表現空間を前
記クラスタ選択指示手段により選択された部分集合から
算出する特徴量に基づいて修正する文書表現空間修正手
段と、 を備え、 前記分類手段は、前記文書表現空間修正手段により修正
された文書表現空間を用いて、前記ベクトル修正手段に
より修正された文書特徴ベクトル間の類似度に基づいて
文書を分類することを特徴とする請求項9に記載の文書
分類装置。 - 【請求項12】 前記分類手段により生成された文書の
部分集合に所属する文書のすべてあるいは一部が選択さ
れた場合に選択されたことを示す選択情報を付与する選
択情報付与手段を備え、 前記表示手段は、前記クラスタ特徴を表示するととも
に、前記選択情報付与手段により付与された選択情報を
表示することを特徴とする請求項8または10に記載の
文書分類装置。 - 【請求項13】 前記分類体系記憶手段は、前記選択指
示手段により選択された文書の部分集合に属する全部あ
るいは一部の文書のほか、クラスタ特徴および/または
操作者が作成した任意の情報を分類体系の構成要素とし
て記憶することを特徴とする請求項8〜12に記載の文
書分類装置。 - 【請求項14】 文書の内容にしたがって文書群を分類
する文書分類装置において、 文書データ群を入力する文書入力手段と、 入力された文書データ群の各文書に対して所定の基準に
基づき文書の分割をおこない、一つの文書データから一
つまたは複数の分割文書データを生成する文書分割手段
と、 前記文書データと前記分割文書データとの対応を示す文
書−分割文書対応マップを生成する文書−分割文書対応
マップ生成手段と、 前記分割文書データを分類する分割文書分類手段と、 前記分割文書分類手段による分類結果に基づいて分割文
書分類結果情報を生成する分割文書分類結果生成手段
と、 前記文書−分割文書対応マップと前記分割文書分類結果
情報とを用いて前記文書データの分類結果情報を生成す
る文書分類結果生成手段と、 を備えたことを特徴とする文書分類装置。 - 【請求項15】 前記文書データを保存する文書保存手
段と、 前記分割文書データを保存する分割文書保存手段と、 前記文書−分割文書対応マップ生成手段により生成され
た文書−分割文書対応マップを保存する文書−分割文書
対応マップ保存手段と、 を備えたことを特徴とする請求項14に記載の文書分類
装置。 - 【請求項16】 前記分割文書分類結果生成手段により
生成された分割文書分類結果情報を保存する分割文書分
類結果保存手段を備えたことを特徴とする請求項15に
記載の文書分類装置。 - 【請求項17】 前記文書分割手段により生成される複
数の分割文書データには分割前の文書データそのものを
含むことを特徴とする請求項14〜16のいずれか一つ
に記載の文書分類装置。 - 【請求項18】 前記文書分割手段が、文書データの構
造情報を基に文書データを分割する構成にしたことを特
徴とする請求項14〜17のいずれか一つに記載の文書
分類装置。 - 【請求項19】 前記文書データに含まれる要素を抽出
する文書要素抽出手段と、 前記文書要素抽出手段により抽出された要素に付随する
要素付随情報を抽出する要素付随情報抽出手段と、 を備え、 前記文書分割手段が、前記文書要素抽出手段により抽出
された要素、または前記要素と前記要素付随情報抽出手
段により抽出された要素付随情報とを用いて前記文書デ
ータを分割する構成にしたことを特徴とする請求項14
〜17のいずれか一つに記載の文書分類装置。 - 【請求項20】 前記文書分割手段が、指示された指定
範囲にしたがって文書データの分割をおこなう構成にし
たことを特徴とする請求項14〜17のいずれか一つに
記載の文書分類装置。 - 【請求項21】 前記文書分割手段が、文書データ中の
文字数、文数、または文字数と文数の両方を基に文書デ
ータを分割する構成にしたことを特徴とする請求項14
〜17のいずれか一つに記載の文書分類装置。 - 【請求項22】 前記文書分類結果生成手段が、文書デ
ータを示す情報および前記文書データに付随する代表的
情報を、分類結果情報として抽出して提示する構成にし
たことを特徴とする請求項14〜21のいずれか一つに
記載の文書分類装置。 - 【請求項23】 前記文書分類結果生成手段が、分割文
書データを示す情報および前記分割文書データに付随す
る代表的情報を、分類結果情報として、抽出して提示す
る構成にしたことを特徴とする請求項22に記載の文書
分類装置。 - 【請求項24】 入力された複数の文書データを所定の
形式で表示または印刷するために出力する文書処理方法
において、 入力された文書データを記憶する文書記憶工程と、 前記文書記憶工程により記憶された文書データの全部ま
たは一部を選択する選択工程と、 前記選択工程により選択された文書データの全部または
一部から文字列の特徴に関するデータを抽出する特徴抽
出工程と、 前記特徴抽出工程により抽出された文字列の特徴に関す
るデータに基づいて前記文書データの全部または一部を
加工処理する加工処理工程と、 前記加工処理工程により加工処理された文書データの全
部または一部を出力する出力工程と、 を含んだことを特徴とする文書処理方法。 - 【請求項25】 前記出力工程は、 前記加工処理工程により加工処理された文書データの全
部または一部の内容に基づいて複数の項目値を設定する
項目値設定工程と、 前記項目値設定工程により設定された項目値ごとに前記
文書データの全部または一部を集計する集計工程と、 を含み、 前記文書データの全部または一部を、項目値を少なくと
も一つの軸とする表形式に展開して出力することを特徴
とする請求項24に記載の文書処理方法。 - 【請求項26】 前記出力工程は、さらに、前記加工処
理工程により加工処理された文書データの全部または一
部を、前記加工処理工程により加工処理される前の文書
データの全部または一部とともに出力することを特徴と
する請求項24または25に記載の文書処理方法。 - 【請求項27】 前記文書記憶工程は、さらに、前記加
工処理工程により加工処理された文書データの全部また
は一部を記憶することを特徴とする請求項24〜26の
いずれか一つに記載の文書処理方法。 - 【請求項28】 前記選択工程は、さらに、前記出力工
程により出力された文書データの全部または一部を選択
することを特徴とする請求項24〜27のいずれか一つ
に記載の文書処理方法。 - 【請求項29】 前記文書記憶工程は、さらに、前記加
工処理の内容に関するデータを記憶することを特徴とす
る請求項24〜28のいずれか一つに記載の文書処理方
法。 - 【請求項30】 文書の内容に基づいて文書の分類をお
こなう文書分類方法において、 文書データを入力する入力工程と、 前記入力工程により入力された文書データを解析して言
語解析情報を得る言語解析工程と、 前記言語解析工程により得られた言語解析情報に基づい
て前記文書データに対する文書特徴ベクトルを生成する
ベクトル生成工程と、 前記ベクトル生成工程により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類工程と、 前記分類工程により生成された文書の部分集合の特徴で
あるクラスタ特徴を算出するクラスタ特徴算出工程と、 前記クラスタ特徴算出工程により算出されたクラスタ特
徴に基づいて分類体系の構成要素を生成する分類体系生
成工程と、 を含んだことを特徴とする文書分類方法。 - 【請求項31】 文書の内容に基づいて文書の分類をお
こなう文書分類方法において、 文書データを入力する入力工程と、 前記入力工程により入力された文書データを解析して言
語解析情報を得る言語解析工程と、 前記言語解析工程により得られた言語解析情報に基づい
て前記文書データに対する文書特徴ベクトルを生成する
ベクトル生成工程と、 前記ベクトル生成工程により生成された文書特徴ベクト
ル間の類似度に基づいて文書を分類し、文書の部分集合
を生成する分類工程と、 前記分類工程により生成された文書の部分集合の特徴で
あるクラスタ特徴を算出するクラスタ特徴算出工程と、 前記クラスタ特徴算出工程により算出されたクラスタ特
徴を表示する表示工程と、 前記分類工程により生成された文書の部分集合の中から
所望の部分集合を選択するクラスタ選択指示工程と、 前記クラスタ選択指示工程により選択されたクラスタ特
徴に基づいて分類体系の構成要素を生成する分類体系生
成工程と、 を含んだことを特徴とする文書分類方法。 - 【請求項32】 前記ベクトル生成工程により生成され
た文書特徴ベクトルを、前記クラスタ選択指示工程によ
り選択された部分集合に属する文書の文書特徴ベクトル
を除去したのこりとなるように修正するベクトル修正工
程と、 を含み、 前記分類工程は、前記ベクトル修正工程により修正され
た文書特徴ベクトルに基づいて文書を分類することを特
徴とする請求項31に記載の文書分類方法。 - 【請求項33】 前記ベクトル生成工程により生成され
た文書特徴ベクトル間の類似度を判断する際の文書表現
空間を前記クラスタ選択指示工程により選択された部分
集合から算出する特徴量に基づいて修正する文書表現空
間修正工程と、 を含み、 前記分類工程は、前記文書表現空間修正工程により修正
された文書表現空間を用いて、前記ベクトル生成手段工
程により生成された文書特徴ベクトル間の類似度に基づ
いて文書を分類することを特徴とする請求項31に記載
の文書分類方法。 - 【請求項34】 前記ベクトル生成工程により生成され
た文書特徴ベクトル間の類似度を判断する際の文書表現
空間を前記クラスタ選択指示工程により選択された部分
集合から算出する特徴量に基づいて修正する文書表現空
間修正工程と、 を含み、 前記分類工程は、前記文書表現空間修正工程により修正
された文書表現空間を用いて、前記ベクトル修正工程に
より修正された文書特徴ベクトル間の類似度に基づいて
文書を分類することを特徴とする請求項32に記載の文
書分類方法。 - 【請求項35】 前記分類工程により生成された文書の
部分集合に所属する文書のすべてあるいは一部が選択さ
れた場合に選択されたことを示す選択情報を付与する選
択情報付与工程を含み、 前記表示工程は、前記クラスタ特徴を表示するととも
に、前記選択情報付与工程により付与された選択情報を
表示することを特徴とする請求項31または33に記載
の文書分類方法。 - 【請求項36】 前記分類体系生成工程は、前記選択指
示工程により選択されたクラスタ特徴のほか、前記文書
の部分集合の中から選択された文書の部分集合に所属す
る文書群の全部あるいは一部および/または操作者が作
成した情報に基づいて分類体系の構成要素を生成するこ
とを特徴とする請求項31〜35に記載の文書分類方
法。 - 【請求項37】 文書の内容にしたがって文書群を分類
する文書分類方法において、 文書データ群を入力し、入力された文書データ群の各文
書に対して所定の基準に基づき文書の分割をおこない、
一つの文書データから一つまたは複数の分割文書データ
を生成し、前記文書データと前記分割文書データとの対
応を示す文書−分割文書対応マップを生成し、前記分割
文書データを分類し、分割文書分類結果情報を生成し、
前記文書−分割文書対応マップと前記分割文書分類結果
情報とを用いて前記文書データの分類結果情報を生成す
ることを特徴とする文書分類方法。 - 【請求項38】 前記請求項24〜37のいずれか一つ
に記載された方法をコンピュータに実行させるプログラ
ムを記録したことを特徴とするコンピュータ読み取り可
能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11343890A JP2000285140A (ja) | 1998-12-24 | 1999-12-02 | 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US09/472,249 US6826724B1 (en) | 1998-12-24 | 1999-12-27 | Document processor, document classification device, document processing method, document classification method, and computer-readable recording medium for recording programs for executing the methods on a computer |
| US11/677,976 US20070136288A1 (en) | 1998-12-24 | 2007-02-22 | Document processor, document classification device, document processing method, document classification method, and computer-readable recording medium for recording programs for executing the methods on a computer |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37657698 | 1998-12-24 | ||
| JP10-376576 | 1998-12-24 | ||
| JP10-369589 | 1998-12-25 | ||
| JP36958998 | 1998-12-25 | ||
| JP2291599 | 1999-01-29 | ||
| JP11-22915 | 1999-01-29 | ||
| JP11343890A JP2000285140A (ja) | 1998-12-24 | 1999-12-02 | 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008093105A Division JP4630911B2 (ja) | 1998-12-24 | 2008-03-31 | 文書分類装置、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000285140A true JP2000285140A (ja) | 2000-10-13 |
Family
ID=27457857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11343890A Pending JP2000285140A (ja) | 1998-12-24 | 1999-12-02 | 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6826724B1 (ja) |
| JP (1) | JP2000285140A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099446A (ja) * | 2001-09-21 | 2003-04-04 | Ricoh Co Ltd | 文書分類装置及びその方法とそれを記録した記録媒体 |
| JP2004341948A (ja) * | 2003-05-16 | 2004-12-02 | Ricoh Co Ltd | 概念抽出システム、概念抽出方法、プログラム及び記憶媒体 |
| JP2009211277A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 文書データ分類装置、文書データ分類方法、そのプログラム及び記録媒体 |
| JP2011040069A (ja) * | 2009-08-14 | 2011-02-24 | Buzzmetrics Ltd | 通信テキスト分類方法及び装置 |
| JP2013190988A (ja) * | 2012-03-13 | 2013-09-26 | Toshiba Corp | 文書分析装置および文書分析プログラム |
| US8930368B2 (en) | 2010-12-27 | 2015-01-06 | International Business Machines Corporation | Categorizing data to perform access control |
| KR20190011422A (ko) * | 2017-07-25 | 2019-02-07 | 주식회사 한글과컴퓨터 | 셀 자동 분할 장치 |
| JP2019096019A (ja) * | 2017-11-22 | 2019-06-20 | ダットジャパン株式会社 | 情報解析システム |
| JP2019215886A (ja) * | 2017-03-28 | 2019-12-19 | 日本電信電話株式会社 | 可視化装置、可視化方法、及びプログラム |
| JP2021157805A (ja) * | 2020-08-28 | 2021-10-07 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | テキスト予測方法、装置、機器及び記憶媒体 |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7139977B1 (en) * | 2001-01-24 | 2006-11-21 | Oracle International Corporation | System and method for producing a virtual online book |
| JP2004086846A (ja) * | 2002-06-27 | 2004-03-18 | Oki Electric Ind Co Ltd | 情報区分装置、方法及びプログラム、並びに、情報区分プログラムを記録した記録媒体 |
| JP4583003B2 (ja) * | 2003-03-20 | 2010-11-17 | 富士通株式会社 | 検索処理方法及びプログラム |
| JP4014160B2 (ja) * | 2003-05-30 | 2007-11-28 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報処理装置、プログラム、及び記録媒体 |
| US7610313B2 (en) * | 2003-07-25 | 2009-10-27 | Attenex Corporation | System and method for performing efficient document scoring and clustering |
| US7191175B2 (en) | 2004-02-13 | 2007-03-13 | Attenex Corporation | System and method for arranging concept clusters in thematic neighborhood relationships in a two-dimensional visual display space |
| JP2006260522A (ja) * | 2005-02-21 | 2006-09-28 | Ricoh Co Ltd | 情報処理装置、情報管理装置、情報管理システム、情報処理方法、情報管理方法、情報処理プログラム、情報管理プログラム及び記録媒体 |
| US7499591B2 (en) * | 2005-03-25 | 2009-03-03 | Hewlett-Packard Development Company, L.P. | Document classifiers and methods for document classification |
| JP2007133808A (ja) * | 2005-11-14 | 2007-05-31 | Canon Inc | 情報処理装置、コンテンツ処理方法、記憶媒体およびプログラム |
| KR100822376B1 (ko) * | 2006-02-23 | 2008-04-17 | 삼성전자주식회사 | 곡명을 이용한 음악 주제 분류 방법 및 시스템 |
| JP2007272390A (ja) * | 2006-03-30 | 2007-10-18 | Sony Corp | リソース管理装置、タグ候補選定方法及びタグ候補選定プログラム |
| US7933890B2 (en) * | 2006-03-31 | 2011-04-26 | Google Inc. | Propagating useful information among related web pages, such as web pages of a website |
| US8060505B2 (en) * | 2007-02-13 | 2011-11-15 | International Business Machines Corporation | Methodologies and analytics tools for identifying white space opportunities in a given industry |
| JP4896780B2 (ja) * | 2007-03-16 | 2012-03-14 | 株式会社リコー | 情報処理装置、情報処理方法、およびそのプログラム |
| US8533795B2 (en) * | 2007-03-19 | 2013-09-10 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, information processing program, and computer-readable medium |
| US7882111B2 (en) * | 2007-06-01 | 2011-02-01 | Yahoo! Inc. | User interactive precision targeting principle |
| US8503797B2 (en) * | 2007-09-05 | 2013-08-06 | The Neat Company, Inc. | Automatic document classification using lexical and physical features |
| US20090164888A1 (en) * | 2007-12-19 | 2009-06-25 | Thomas Phan | Automated Content-Based Adjustment of Formatting and Application Behavior |
| JP2009245418A (ja) * | 2008-03-13 | 2009-10-22 | Ricoh Co Ltd | 画像読取蓄積システム、画像読取蓄積方法、プログラム及び記憶媒体 |
| JP5224868B2 (ja) * | 2008-03-28 | 2013-07-03 | 株式会社東芝 | 情報推薦装置および情報推薦方法 |
| US8577884B2 (en) * | 2008-05-13 | 2013-11-05 | The Boeing Company | Automated analysis and summarization of comments in survey response data |
| US8510249B2 (en) * | 2008-10-10 | 2013-08-13 | Nec Corporation | Determining whether text information corresponds to target information |
| US8438472B2 (en) * | 2009-01-02 | 2013-05-07 | Apple Inc. | Efficient data structures for parsing and analyzing a document |
| US8572084B2 (en) | 2009-07-28 | 2013-10-29 | Fti Consulting, Inc. | System and method for displaying relationships between electronically stored information to provide classification suggestions via nearest neighbor |
| US8612446B2 (en) | 2009-08-24 | 2013-12-17 | Fti Consulting, Inc. | System and method for generating a reference set for use during document review |
| US8458172B2 (en) * | 2009-12-24 | 2013-06-04 | At&T Intellectual Property I, L.P. | Method and apparatus for automated end to end content tracking in peer to peer environments |
| US8515972B1 (en) | 2010-02-10 | 2013-08-20 | Python 4 Fun, Inc. | Finding relevant documents |
| US8543911B2 (en) | 2011-01-18 | 2013-09-24 | Apple Inc. | Ordering document content based on reading flow |
| US8996350B1 (en) | 2011-11-02 | 2015-03-31 | Dub Software Group, Inc. | System and method for automatic document management |
| TWI453609B (zh) * | 2011-11-23 | 2014-09-21 | Esobi Inc | Automatic summary judgment method for file cluster |
| US9292690B2 (en) | 2011-12-12 | 2016-03-22 | International Business Machines Corporation | Anomaly, association and clustering detection |
| US9141623B2 (en) | 2012-08-03 | 2015-09-22 | International Business Machines Corporation | System for on-line archiving of content in an object store |
| US8943110B2 (en) * | 2012-10-25 | 2015-01-27 | Blackberry Limited | Method and system for managing data storage and access on a client device |
| US9165006B2 (en) | 2012-10-25 | 2015-10-20 | Blackberry Limited | Method and system for managing data storage and access on a client device |
| WO2014076731A1 (en) * | 2012-11-13 | 2014-05-22 | Hitachi, Ltd. | Storage system, storage system control method, and storage control device |
| JP5991281B2 (ja) | 2013-03-01 | 2016-09-14 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| CN103309994A (zh) * | 2013-06-20 | 2013-09-18 | 珠海金山办公软件有限公司 | 文档加载方法及系统 |
| US9740771B2 (en) | 2014-09-26 | 2017-08-22 | International Business Machines Corporation | Information handling system and computer program product for deducing entity relationships across corpora using cluster based dictionary vocabulary lexicon |
| JP2016134014A (ja) | 2015-01-20 | 2016-07-25 | 株式会社リコー | 電子情報ボード装置、情報処理方法およびプログラム |
| US9659214B1 (en) * | 2015-11-30 | 2017-05-23 | Yahoo! Inc. | Locally optimized feature space encoding of digital data and retrieval using such encoding |
| US11068546B2 (en) | 2016-06-02 | 2021-07-20 | Nuix North America Inc. | Computer-implemented system and method for analyzing clusters of coded documents |
| JP6784084B2 (ja) * | 2016-07-27 | 2020-11-11 | 富士通株式会社 | 符号化プログラム、符号化装置、符号化方法、及び検索方法 |
| CN108091372B (zh) * | 2016-11-21 | 2021-06-18 | 医渡云(北京)技术有限公司 | 医疗字段映射校验方法及装置 |
| JP6815184B2 (ja) * | 2016-12-13 | 2021-01-20 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
| US10592995B1 (en) | 2017-01-27 | 2020-03-17 | Intuit Inc. | Methods, systems, and computer program product for providing expense information for an electronic tax return preparation and filing software delivery model |
| US11270185B1 (en) | 2017-01-27 | 2022-03-08 | Intuit Inc. | Methods, systems, and computer program product for generating a personalized flow for a software delivery model |
| WO2019026151A1 (ja) * | 2017-07-31 | 2019-02-07 | 楽天株式会社 | 処理システム、処理装置、処理方法、プログラム、ならびに、情報記録媒体 |
| CN110727789A (zh) * | 2018-06-29 | 2020-01-24 | 微软技术许可有限责任公司 | 文档的概要生成 |
| US11443203B1 (en) * | 2019-11-22 | 2022-09-13 | Mastercard International Incorporated | Hybrid clustered prediction computer modeling |
| US11687717B2 (en) * | 2019-12-03 | 2023-06-27 | Morgan State University | System and method for monitoring and routing of computer traffic for cyber threat risk embedded in electronic documents |
| JP2024041521A (ja) * | 2022-09-14 | 2024-03-27 | 株式会社東芝 | 文書分類装置、方法およびプログラム |
| JP2024130917A (ja) | 2023-03-15 | 2024-09-30 | 株式会社リコー | 情報入力装置、情報入力装置の制御方法、およびプログラム |
Family Cites Families (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5072367A (en) * | 1987-10-01 | 1991-12-10 | International Business Machines Corporation | System using two passes searching to locate record having only parameters and corresponding values of an input record |
| JP3303926B2 (ja) * | 1991-09-27 | 2002-07-22 | 富士ゼロックス株式会社 | 構造化文書分類装置及び方法 |
| US5371807A (en) * | 1992-03-20 | 1994-12-06 | Digital Equipment Corporation | Method and apparatus for text classification |
| JPH05324726A (ja) * | 1992-05-25 | 1993-12-07 | Fujitsu Ltd | 文書データ分類装置及び文書分類機能構築装置 |
| JPH06215036A (ja) | 1992-12-10 | 1994-08-05 | Xerox Corp | ドキュメントコレクションの探索方法 |
| US5454104A (en) * | 1993-02-25 | 1995-09-26 | Steidlmayer Software, Inc. | Financial data event flow analysis system with study conductor display |
| US5632009A (en) | 1993-09-17 | 1997-05-20 | Xerox Corporation | Method and system for producing a table image showing indirect data representations |
| US5619709A (en) * | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
| JP2978044B2 (ja) | 1993-10-18 | 1999-11-15 | シャープ株式会社 | 文書分類装置 |
| US5710916A (en) * | 1994-05-24 | 1998-01-20 | Panasonic Technologies, Inc. | Method and apparatus for similarity matching of handwritten data objects |
| JP3669016B2 (ja) * | 1994-09-30 | 2005-07-06 | 株式会社日立製作所 | 文書情報分類装置 |
| JP3647518B2 (ja) * | 1994-10-06 | 2005-05-11 | ゼロックス コーポレイション | コード化したワードトークンを使用して文書画像をハイライトで強調する装置 |
| US5642502A (en) * | 1994-12-06 | 1997-06-24 | University Of Central Florida | Method and system for searching for relevant documents from a text database collection, using statistical ranking, relevancy feedback and small pieces of text |
| GB2301758A (en) * | 1995-06-03 | 1996-12-11 | Ibm | Icon driven data processing system |
| AU6849196A (en) * | 1995-08-16 | 1997-03-19 | Syracuse University | Multilingual document retrieval system and method using semantic vector matching |
| US5717914A (en) * | 1995-09-15 | 1998-02-10 | Infonautics Corporation | Method for categorizing documents into subjects using relevance normalization for documents retrieved from an information retrieval system in response to a query |
| US6009196A (en) * | 1995-11-28 | 1999-12-28 | Xerox Corporation | Method for classifying non-running text in an image |
| US5889886A (en) * | 1995-11-28 | 1999-03-30 | Xerox Corporation | Method and apparatus for detecting running text in an image |
| US5842196A (en) * | 1996-04-03 | 1998-11-24 | Sybase, Inc. | Database system with improved methods for updating records |
| US6581056B1 (en) * | 1996-06-27 | 2003-06-17 | Xerox Corporation | Information retrieval system providing secondary content analysis on collections of information objects |
| US6035268A (en) * | 1996-08-22 | 2000-03-07 | Lernout & Hauspie Speech Products N.V. | Method and apparatus for breaking words in a stream of text |
| JP3598742B2 (ja) * | 1996-11-25 | 2004-12-08 | 富士ゼロックス株式会社 | 文書検索装置及び文書検索方法 |
| GB9625284D0 (en) * | 1996-12-04 | 1997-01-22 | Canon Kk | A data processing method and apparatus for identifying a classification to which data belongs |
| JP2940501B2 (ja) * | 1996-12-25 | 1999-08-25 | 日本電気株式会社 | ドキュメント分類装置及び方法 |
| US6327387B1 (en) * | 1996-12-27 | 2001-12-04 | Fujitsu Limited | Apparatus and method for extracting management information from image |
| JPH10260991A (ja) | 1997-01-14 | 1998-09-29 | Seiko Epson Corp | 情報検索方法および情報検索装置 |
| US6078913A (en) * | 1997-02-12 | 2000-06-20 | Kokusai Denshin Denwa Co., Ltd. | Document retrieval apparatus |
| US5899992A (en) * | 1997-02-14 | 1999-05-04 | International Business Machines Corporation | Scalable set oriented classifier |
| US5819258A (en) * | 1997-03-07 | 1998-10-06 | Digital Equipment Corporation | Method and apparatus for automatically generating hierarchical categories from large document collections |
| JP4075094B2 (ja) | 1997-04-09 | 2008-04-16 | 松下電器産業株式会社 | 情報分類装置 |
| JP4289513B2 (ja) * | 1997-04-09 | 2009-07-01 | 富士通株式会社 | 文書表示装置およびプログラム記憶媒体 |
| KR100247969B1 (ko) * | 1997-07-15 | 2000-03-15 | 윤종용 | 대용량패턴정합장치및방법 |
| JP3478725B2 (ja) * | 1997-07-25 | 2003-12-15 | 株式会社リコー | 文書情報管理システム |
| US6353840B2 (en) * | 1997-08-15 | 2002-03-05 | Ricoh Company, Ltd. | User-defined search template for extracting information from documents |
| US6081774A (en) * | 1997-08-22 | 2000-06-27 | Novell, Inc. | Natural language information retrieval system and method |
| US6167397A (en) * | 1997-09-23 | 2000-12-26 | At&T Corporation | Method of clustering electronic documents in response to a search query |
| WO1999022318A1 (en) * | 1997-10-27 | 1999-05-06 | Massachusetts Institute Of Technology | Image search and retrieval system |
| US6562077B2 (en) * | 1997-11-14 | 2003-05-13 | Xerox Corporation | Sorting image segments into clusters based on a distance measurement |
| JPH11213000A (ja) | 1998-01-29 | 1999-08-06 | Nippon Telegr & Teleph Corp <Ntt> | インタラクティブ情報検索方法及び装置及びインタラクティブ情報検索プログラムを格納した記憶媒体 |
| US6038574A (en) * | 1998-03-18 | 2000-03-14 | Xerox Corporation | Method and apparatus for clustering a collection of linked documents using co-citation analysis |
| US6377704B1 (en) * | 1998-04-30 | 2002-04-23 | Xerox Corporation | Method for inset detection in document layout analysis |
| US6249779B1 (en) * | 1998-05-13 | 2001-06-19 | Ben A. Hitt | Adaptive fuzzy feature mapping |
| JP3622503B2 (ja) * | 1998-05-29 | 2005-02-23 | 株式会社日立製作所 | 特徴文字列抽出方法および装置とこれを用いた類似文書検索方法および装置並びに特徴文字列抽出プログラムを格納した記憶媒体および類似文書検索プログラムを格納した記憶媒体 |
| US6192360B1 (en) * | 1998-06-23 | 2001-02-20 | Microsoft Corporation | Methods and apparatus for classifying text and for building a text classifier |
| US6134543A (en) * | 1998-07-02 | 2000-10-17 | Oracle Corporation | Incremental maintenance of materialized views containing one-to-one lossless joins |
| JP3213585B2 (ja) * | 1998-07-09 | 2001-10-02 | 株式会社インフォメックス | データ検索方法及び装置、データ検索システム、記録媒体 |
| US6212532B1 (en) * | 1998-10-22 | 2001-04-03 | International Business Machines Corporation | Text categorization toolkit |
| US6385602B1 (en) * | 1998-11-03 | 2002-05-07 | E-Centives, Inc. | Presentation of search results using dynamic categorization |
| JP4025443B2 (ja) * | 1998-12-04 | 2007-12-19 | 富士通株式会社 | 文書データ提供装置及び文書データ提供方法 |
| US6542635B1 (en) * | 1999-09-08 | 2003-04-01 | Lucent Technologies Inc. | Method for document comparison and classification using document image layout |
-
1999
- 1999-12-02 JP JP11343890A patent/JP2000285140A/ja active Pending
- 1999-12-27 US US09/472,249 patent/US6826724B1/en not_active Expired - Fee Related
-
2007
- 2007-02-22 US US11/677,976 patent/US20070136288A1/en not_active Abandoned
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099446A (ja) * | 2001-09-21 | 2003-04-04 | Ricoh Co Ltd | 文書分類装置及びその方法とそれを記録した記録媒体 |
| JP2004341948A (ja) * | 2003-05-16 | 2004-12-02 | Ricoh Co Ltd | 概念抽出システム、概念抽出方法、プログラム及び記憶媒体 |
| JP2009211277A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 文書データ分類装置、文書データ分類方法、そのプログラム及び記録媒体 |
| US8909645B2 (en) | 2009-08-14 | 2014-12-09 | Buzzmetrics, Ltd. | Methods and apparatus to classify text communications |
| US8458154B2 (en) | 2009-08-14 | 2013-06-04 | Buzzmetrics, Ltd. | Methods and apparatus to classify text communications |
| JP2011040069A (ja) * | 2009-08-14 | 2011-02-24 | Buzzmetrics Ltd | 通信テキスト分類方法及び装置 |
| US8930368B2 (en) | 2010-12-27 | 2015-01-06 | International Business Machines Corporation | Categorizing data to perform access control |
| JP2013190988A (ja) * | 2012-03-13 | 2013-09-26 | Toshiba Corp | 文書分析装置および文書分析プログラム |
| JP2019215886A (ja) * | 2017-03-28 | 2019-12-19 | 日本電信電話株式会社 | 可視化装置、可視化方法、及びプログラム |
| KR20190011422A (ko) * | 2017-07-25 | 2019-02-07 | 주식회사 한글과컴퓨터 | 셀 자동 분할 장치 |
| KR101999549B1 (ko) | 2017-07-25 | 2019-07-12 | 주식회사 한글과컴퓨터 | 셀 자동 분할 장치 |
| JP2019096019A (ja) * | 2017-11-22 | 2019-06-20 | ダットジャパン株式会社 | 情報解析システム |
| JP2021157805A (ja) * | 2020-08-28 | 2021-10-07 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | テキスト予測方法、装置、機器及び記憶媒体 |
| JP7524128B2 (ja) | 2020-08-28 | 2024-07-29 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | テキスト予測方法、装置、機器及び記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070136288A1 (en) | 2007-06-14 |
| US6826724B1 (en) | 2004-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000285140A (ja) | 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6078924A (en) | Method and apparatus for performing data collection, interpretation and analysis, in an information platform | |
| US7333984B2 (en) | Methods for document indexing and analysis | |
| Inzalkar et al. | A survey on text mining-techniques and application | |
| JP3577819B2 (ja) | 情報探索装置及び情報探索方法 | |
| US20050154690A1 (en) | Document knowledge management apparatus and method | |
| US20080162115A1 (en) | Computer program, apparatus, and method for searching translation memory and displaying search result | |
| JP4630911B2 (ja) | 文書分類装置、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5160312B2 (ja) | 文書分類装置 | |
| JP2020113129A (ja) | 文書評価装置、文書評価方法及びプログラム | |
| KR20200053334A (ko) | 융합 연구 촉진을 위한 연구원 맵 구축 방법 및 시스템 | |
| US20040122660A1 (en) | Creating taxonomies and training data in multiple languages | |
| WO2000026839A1 (en) | Advanced model for automatic extraction of skill and knowledge information from an electronic document | |
| CN120457434A (zh) | 用于分析和生成文档元数据的系统和方法 | |
| EP1351156A1 (en) | System and method for automatically performing functional analyses of technical texts | |
| JP2003196294A (ja) | 知識分析システムおよび知識分析方法 | |
| CN120336527A (zh) | 大语言模型高质量文本数据集构建方法及系统 | |
| CN119807447A (zh) | 一种档案检索方法、系统、产品及可读存储介质 | |
| JP2011070529A (ja) | 文書処理装置 | |
| JP2019160134A (ja) | 文章処理装置および文章処理方法 | |
| JP2001325104A (ja) | 言語事例推論方法、言語事例推論装置及び言語事例推論プログラムが記録された記録媒体 | |
| JP2003167893A (ja) | 特許文献の理解支援システムおよび特許文献の理解支援プログラム | |
| Foong et al. | Document clustering using hybrid lda-kmeans | |
| JP3943005B2 (ja) | 情報検索プログラム | |
| JP4585768B2 (ja) | 文書処理装置、文書処理方法および文書処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |