JPH1153397A - 文書処理装置、文書処理プログラムを記憶した記憶媒体、及び文書処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 取得した対象文書と他の文書との類似性判断
を高い精度で行う。 【解決手段】 表データやグラフのスキーマについて意
味解釈を行うことにより、特に数量表現を中心に正確な
てがかりをもとに、ある注目文書（対象文書）に関連す
る数値データやグラフを取り寄せることができる。具体
的には、個々の表データ・ファイルごとに、所与の、も
しくは同一構造で類似の数値内容をもつ別の表データに
付属していたスキーマ（×100 円、Ｋｇ／ｍ等）情報を
もとに、単位付きの実値を計算する。その結果をクラリ
タイズ（claritize ）し、類似検索の対象とする。その
際、グラフの軸名やその単位表示、グラフのタイトルに
ついても、特にウェイトを高めて類似性判定の対象とす
る。同様に、テキスト中の数量表現の正規化に適用する
ことで、数値データを軸にした類似検索の性能を高める
ことができる。

Description

【発明の詳細な説明】

【０００２】

【発明の属する技術分野】この発明は、文書処理装置、
文書処理プログラムを記憶した記憶媒体、及び文書処理
方法に係り、詳細には、取得した文書の類似性判断の精
度向上に関する。

【０００３】

【従来の技術】従来、書籍、論文、報告書等の各種文書
に対し、ベクトル空間法その他の方法により自動検索処
理や、類似文書の検索処理等や、他文書等との関連づけ
処理等の各種処理をコンピュータを用いて実行すること
が行われている。

【０００４】

【発明が解決しようとする課題】しかし、従来の文書処
理装置により、例えば、対象文書に類似する文書の検索
を行う場合、対象文書やデータベース中の文書の中にテ
キストのデータ以外の、プログラム言語や、ソースプロ
グラム、表データやグラブのスキーマ等の非テキストデ
ータを含んでいる場合は、類似性の判断を行っても、あ
まり高い精度を得ることができなかった。これは、例え
ば、表計算ソフトにより作成されたファイルとの類似性
を判断した場合、そのファイルは数字データが大半を占
め、類似性を判断するためのキーワードや重要語を抽出
しても数字データが大半を占めてしまうためである。

【０００５】本発明は、このような従来の課題を解決す
るために成されたもので、取得した対象文書と他の文書
との類似性判断を高い精度で行うことが可能な文書処理
装置を提供することを第１の目的とする。また本発明
は、取得した対象文書と他の文書との類似性判断を高い
精度で行うことが可能なコンピュータ読取り可能な文書
処理プログラムが記憶された記憶媒体を提供することを
第２の目的とする。また本発明は、取得した対象文書と
他の文書との類似性判断を高い精度で行うことが可能な
文書処理方法を提供することを第３の目的とする。

【０００６】

【課題を解決するための手段】請求項１に記載した発明
では、処理対象となる対象文書を取得する対象文書取得
手段と、前記対象文書取得手段により取得された対象文
書から、テキストのデータ以外の非テキストデータを有
しているか否かを判断する判断手段と、前記判断手段に
より非テキスト文書を有すると判断された場合に、前記
対象文書からテキストのデータと非テキストデータとを
区別する区別手段と、前記区別手段により区別されたテ
キストのデータ及び非テキストデータの少なくとも一方
を使用して、他の文書との類似性を判断する類似性判断
手段と、を文書処理装置に具備させて前記第１の目的を
達成する。請求項２に記載の発明では、請求項１に記載
の文書処理装置において、前記非テキストデータは、表
データ、グラフのスキーマ情報、プログラム言語、ソー
スプログラム等とする。請求項３に記載の発明では、請
求項１に記載の文書処理装置において、前記区別手段に
より区別された非テキストデータがソースプログラムで
ある場合に、当該ソースプログラムを中間言語に変換す
る変換手段を備え、前記類似性判断手段は、前記変換手
段により変換された中間言語のプログラム間の類似性を
判断する。請求項４に記載の発明では、請求項１、請求
項２、又は請求項３に記載の文書処理装置において、前
記類似性判断手段は、ベクトル空間法により類似度を算
出する算出手段を有し、前記算出手段により算出された
類似度から類似性を判断する。請求項５に記載の発明で
は、処理対象となる対象文書を取得する対象文書取得機
能と、前記対象文書取得機能により取得された対象文書
から、テキストのデータ以外の非テキストデータを有し
ているか否かを判断する判断機能と、前記判断機能によ
り非テキスト文書を有すると判断された場合に、前記対
象文書からテキストのデータと非テキストデータを区別
する区別機能と、前記区別機能により区別されたテキス
トのデータ及び非テキストデータの少なくとも一方を使
用して、他の文書との類似性を判断する類似性判断機能
と、をコンピュータに実現させるためのコンピュータ読
取り可能な文書処理プログラムを記憶媒体に記憶させ
て、前記第２の目的を達成する。請求項６に記載した発
明では、請求項５に記載した記憶媒体において、前記非
テキストデータは、表データ、グラフのスキーマ情報、
プログラム言語、ソースプログラム等とする。請求項７
に記載した発明では、請求項５に記載した記憶媒体にお
いて、前記区別機能により区別された非テキストデータ
がソースプログラムである場合に、当該ソースプログラ
ムを中間言語に変換する変換機能を備え、前記類似性判
断機能は、前記変換機能により変換された中間言語のプ
ログラム間の類似性を判断する。請求項８に記載した発
明では、請求項５、請求項６、又は請求項７に記載した
記憶媒体において、前記類似性判断機能は、ベクトル空
間法により類似度を算出する算出機能を有し、前記算出
機能により算出された類似度から類似性を判断する。請
求項９に記載された発明では、処理対象となる対象文書
から、テキストのデータと非テキストデータとを区別
し、前記区別されたテキストのデータ及び非テキストデ
ータの少なくとも一方を使用して、他の文書との類似性
を判断する、ことで前記第３の目的を達成する。

【０００７】

【発明の実施の形態】以下、本発明の文書処理装置およ
び文書処理プログラムを記憶した記憶媒体における好適
な実施の形態について、図１から図９を参照して説明す
る。 （１）実施の形態の概要 本実施形態では、表データやグラフのスキーマについて
意味解釈を行うことにより、特に数量表現を中心に正確
なてがかりをもとに、ある注目文書（対象文書）に関連
する数値データやグラフを取り寄せることができる。具
体的には、個々の表データ・ファイルごとに、所与の、
もしくは同一構造で類似の数値内容をもつ別の表データ
に付属していたスキーマ（×100 円、Ｋｇ／ｍ等）情報
をもとに、単位付きの実値を計算する。その結果をクラ
リタイズ（claritize ）し、類似検索の対象とする。そ
の際、グラフの軸名やその単位表示、グラフのタイトル
についても、特にウェイトを高めて類似性判定の対象と
する。同様に、テキスト中の数量表現の正規化に適用す
ることで、数値データを軸にした類似検索の性能を高め
ることができる。また、プログラム言語のセマンティク
スを与える、予約語変換テーブルや構文解釈ルーチンに
よって局所的なセマンティクス、中間言語に変換した結
果をクラリタイズすることにより、異種のソースプログ
ラムも類似検索の対象となる。ソースプログラムに関し
ても同様な言語変換処理を行い、さらに自然言語による
コメントの記述領域に対しては、本来の英語や日本語向
けのクラリタイズし、同一ファイルに対して２層の転置
ファイルを用意する。これによって、テキスト中心の文
書とも類似性でヒットするし、別のソースプログラムと
も類似性でヒットさせることができる。

【０００８】（２）実施の形態の詳細 図１は、文書処理装置の構成を表すブロック図である。
本実施形態の文書処理装置は、パーソナルコンピュータ
やワードプロセッサ等を含むコンピュータシステムにお
いて構成することができる。図１に示すように文書処理
装置は、装置全体を制御するための制御部１１を備えて
いる。この制御部１１にアドレスバス、データバス等の
バスライン２１を介して、入力装置としてのキーボード
１２やマウス１３と、表示装置１４と、印刷装置１５
と、記憶装置１６と、記憶媒体駆動装置１７と、通信制
御装置１８と、入出力インタフェース（Ｉ／Ｆ）１９
と、文字認識装置２０とが接続されている。

【０００９】制御部１１は、中央処理装置（ＣＰＵ）１
１１と、ＲＯＭ１１２と、ＲＡＭ１１３を備えている。
ＲＯＭ１１２は、ＣＰＵ１１１が制御や演算を行うため
の各種プログラムやデータが予め格納されたリードオン
リメモリである。ＲＡＭ１１３は、ＣＰＵ１１１にワー
キングメモリとして使用されるランダムアクセスメモリ
である。このＲＡＭ１１３には、本実施の形態による処
理を行うための各種エリアが確保されるようになってい
る。

【００１０】キーボード１２は、かな文字、数字、記号
等を入力するためのかなキーやテンキー、各種機能を実
行させるための機能キー、カーソルキー等の各種キーが
配置されている。マウス１３は、ポインティングデバイ
スであり、表示装置１４に表示されたキーやアイコン等
を左クリックすることが対応する機能の指定を行う入力
装置である。表示装置１４は、例えばＣＲＴや液晶ディ
スプレイ等が使用される。この表示装置には、キーボー
ド１２やマウス１３による入力結果が表示されたり、Ｃ
ＰＵ１１１の処理結果が表示されたりするようになって
いる。印刷装置１５は、表示装置１４に表示された文書
や、記憶装置１６の文書データベース１６４に格納され
た文書等や、ＣＰＵ１１１による処理結果等の印刷を行
うためのものである。この印刷装置としては、レーザプ
リンタ、ドットプリンタ、インクジェットプリンタ、ペ
ージプリンタ、感熱式プリンタ、熱転写式プリンタ、等
の各種印刷装置が使用される。

【００１１】記憶装置１６は、読み書き可能な記憶媒体
と、その記憶媒体に対してプログラムやデータ等の各種
情報を読み書きするための駆動装置で構成されている。
この記憶装置１６に使用される記憶媒体としては、主と
してハードディスクが使用されるが、後述の記憶媒体駆
動装置１７で使用されている各種記憶媒体のうちの読み
書き可能な記憶媒体を使用するようにしてもよい。記憶
装置１６は、仮名漢字変換辞書１６１、プログラム格納
部１６２、データ格納部１６３、文書データベース１６
４、文書ベクトルデータベース１６６、図示しないその
他の格納部（例えば、この記憶装置１６内に格納されて
いるプログラムやデータ等をバックアップするための格
納部）等を有している。プログラム格納部１６２には、
本実施の形態における文書ベクトルプログラム、その他
のプログラムが格納されている。データ格納部１６３
は、各種データが格納されている。

【００１２】文書データベース１６４には、典型文書や
通常の文書が格納されている。典型文書としては、例え
ば、対象文書のワークフローを決定する際に、類似文書
を検索してその類似文書のワークフローを参考にすると
いったワークフローの決定支援をする場合に使用され
る、各ワークフローを特徴付ける典型的な内容の文書が
格納されている。また、対象文書を分類する場合、各分
類の特徴を表す典型的な内容の文書が典型文書として格
納されている。文書データベース１６４に格納される各
文書の形式は特に限定されるものではなく、テキスト形
式の文書、ＨＴＭＬ（Hyper Text Markup Language）形
式の文書、ＪＩＳ形式の文書等の各種形式の文書データ
の外、各種のデータ、プログラム、ソースプログラム、
及び、これらが混在している文書やデータ等も格納され
ている。

【００１３】文書ベクトルデータ１６６には、文書デー
タベース１６４に格納されている各文書、データ、プロ
グラムあるいはソースプログラムに対応する文書ベクト
ルが格納されるようになっている。

【００１４】図２は、文書ベクトルデータベース１６６
の内容を概念的に表したものである。この図２に示され
るように、文書、単語やスキーマ情報を含むデータ、あ
るいはプログラム等から自動抽出されたキーワードｘに
対して求められた重要度ｆ（ｘ）が文書ベクトルの要要
素値ｆ（ｘ）が、各文書、各データ、各プログラムある
いはソースプログラム毎の文書ベクトルの要素値として
格納されている。この文書ベクトルは、各文書（Ａａ，
Ｂａ，Ｃａ，…）、各データ（Ａｂ，Ｂｂ，Ｃｂ，
…）、各プログラム（Ａｃ，Ｂｃ，Ｃｃ，…）あるいは
ソースプログラム（Ａｄ，Ｂｄ，Ｃｄ，…）毎に格納さ
れており、文書データベース１６４に格納されている各
文書、各データ、各プログラムあるいはソースプログラ
ムと対応つけられている。各文書ベクトルの次元は採用
するキーワードｘ（重要語句）の数であるが、２文書間
等の類似度を両文書ベクトルから求める場合には、両文
書のキーワードの和集合の数が両文書ベクトルの次元と
なる。この場合、一方の文書ベクトルにのみ含まれるキ
ーワードに対する他方の文書ベクトルの要素値は、”
０”に定義される。

【００１５】例えば図２おいて、文書Ａａのキーワード
は「重要、重要語、重要度、…」、文書Ｃａのキーワー
ドは「重要、…、政治、…」であり、両文書の文書ベク
トルは次の通りである。 文書Ａａの文書ベクトル＝（ １，１８，１９，…） 文書Ｃａの文書ベクトル＝（１８，…，２１，…） これに対して文書Ａａと文書Ｃａとの類似度を算出する
場合には、両文書のキーワードを「重要、重要語、重要
度、…、政治、…」とし、両文書の文書ベクトルはつぎ
の通り定義される。 文書Ａａの文書ベクトル＝（ １，１８，１９，…，
０，…） 文書Ｃａの文書ベクトル＝（１８， ０， ０，…，２
１，…）

【００１６】記憶媒体駆動装置１７（図１）は、ＣＰＵ
１１１が外部の記憶媒体からコンピュータプログラムや
文書を含むデータ等を読み込むための駆動装置である。
記憶媒体に記憶されているコンピュータプログラム等に
は、本実施形態の文書処理装置により実行される各種処
理のためのプログラム、および、そこで使用される辞
書、データ等も含まれる。ここで、記憶媒体とは、コン
ピュータプログラムやデータ等が記憶される記憶媒体を
いい、具体的には、フロッピーディスク、ハードディス
ク、磁気テープ等の磁気記憶媒体、メモリチップやＩＣ
カード等の半導体記憶媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ
（相変化書換型光ディスク）等の光学的に情報が読み取
られる記憶媒体、紙カードや紙テープ等の用紙（およ
び、用紙に相当する機能を持った媒体）を用いた記憶媒
体、その他各種方法でコンピュータプログラム等が記憶
される記憶媒体が含まれる。本実施形態の文書処理装置
において使用される記憶媒体としては、主として、ＣＤ
−ＲＯＭやフロッピーディスク等の記憶媒体が使用され
る。記憶媒体駆動装置１７は、これらの各種記憶媒体か
らコンピュータプログラムを読み込む他に、フロッピー
ディスクのような書き込み可能な記憶媒体に対してＲＡ
Ｍ１１３や記憶装置１６に格納されているデータ等を書
き込むことが可能である。

【００１７】本実施の形態の文書処理装置では、制御部
１１のＣＰＵ１１１が、記憶媒体駆動装置１７にセット
された外部の記憶媒体からコンピュータプログラムを読
み込んで、記憶装置１６の各部に格納（インストール）
する。そして、本実施形態による各種処理を実行する場
合、記憶装置１６から該当のプログラムをＲＡＭ１１３
に読み込み、実行するようになっている。ただし、記憶
装置１６からではなく、記憶媒体駆動装置１７により外
部の記憶媒体から直接ＲＡＭ１１３に読み込んで実行す
ることも可能である。また、文書処理装置によっては、
本実施の形態のプログラム等を予めＲＯＭ１１２に記憶
させておき、これをＣＰＵ１１１が実行するようにして
もよい。さらに、本実施形態の処理プログラム等の各種
プログラムやデータを、通信制御装置１８を介して他の
記憶媒体からダウンロードし、実行するようにしてもよ
い。

【００１８】通信制御装置１８は、他のパーソナルコン
ピュータやワードプロセッサ等との間でテキスト形式や
ＨＴＭＬ形式等の各種形式の文書やビットマップデータ
等の各種データの送受信を行うことができるようになっ
ている。入力Ｉ／Ｆ１９は、音声や音楽等の出力を行う
スピーカ等の各種機器を接続するためのインタフェース
である。文字認識装置２０は、用紙等に記載された文字
をテキスト形式やＨＴＭＬ等の各種形式で認識する装置
であり、イメージスキャナや文字認識プログラム等で構
成されている。

【００１９】以上のように構成された本実施形態の文書
処理装置による、文書等の類似性を判断する類似性判断
動作について図３から図９を用いて説明する。図３は、
文書等が類似するか否かを判断する処理のメイン動作を
表したものであり、図４から図９は類似度を判定する処
理を概念的に表したものである。この図３のフローチャ
ートの右側に記した（Ａ）〜（Ｈ）は、図４から図８の
（Ａ）〜（Ｈ）に対応したものである。

【００２０】ＣＰＵ１１１は、処理対象となる対象文書
Ａ（図４（Ａ））を取得し、ＲＡＭ１１３に格納する
（ステップ１１）。この対象文書等Ａは、ユーザの指示
に従ってＲＡＭ１１３（自装置内で作成された文書であ
る場合）、記憶装置１６の文書データベース１６４、記
憶媒体駆動装置１７（自装置または他装置で作成済の文
書の場合）、通信制御装置１８（パソコン通信、インタ
ーネット等の通信による場合）から取得する。この対象
文書等Ａは、テキスト文書、ＨＴＭＬ文書、ＪＩＳ文
書、他の形式の文書、各種データ、プログラム、ソース
プログラム、及び、これらが混在している文書やデータ
等の場合がある。

【００２１】次に、ＣＰＵ１１１は、図４（Ｂ）に示す
ように、対象文書Ａとの類似性を判断する注目文書等Ｂ
（他の文書）を文書データベース１６４から読み出し
て、ＲＡＭ１１３に格納する（ステップ１２）。この注
目文書等Ｂについては既に文書ベクトルが作成され文書
ベクトルデータベース１６６に格納されている場合に
は、作成済みの文書ベクトルを使用し、作成する必要は
ない。また、この注目文書等Ｂも、テキスト文書、ＨＴ
ＭＬ文書、ＪＩＳ文書、他の形式の文書、各種データ、
プログラム、ソースプログラム、及びこれらが混在して
いる文書やデータ等の場合がある。

【００２２】次に、ＣＰＵ１１１は、ユーザによってキ
ーボード１２等から必要なパラメータ（例えば類似度判
断の閾値等）が入力された場合には当該入力値を取得
し、ユーザによる入力がない場合にはデータ格納部１６
３に格納されたパラメータのデフォルト値を取得しＲＡ
Ｍ１１３に格納する（ステップ１３）。次に、ＣＰＵ１
１１は、対象文書等Ａが、文書か、データか、あるいは
プログラム等かを判断する（ステップ１４）。ここで、
ＣＰＵ１１１により文書であると判断されたときには
（ステップ１４；文書）、ＣＰＵ１１１はＲＡＭ１１３
に格納した対象文書等Ａ（図５（Ｃ）の符号５０参照）
に対する文書ベクトルＶを取得する（ステップ１５、図
５（Ｃ）の符号６０参照）。なお、文書ベクトルＶは、
一般にはキーワードの数の次元（例えばｎ次元）で構成
されるが、図５〜図８では、表示する関係から２次元ベ
クトルで表示する（以下、同じ）。

【００２３】また、ＣＰＵ１１１によりデータであると
判断されたときには（ステップ１４；データ）、ＣＰＵ
１１１は、ＲＡＭ１１３に格納した対象文書等Ａから、
タイトルあるいは注意事項等の語句や、例えば四則演
算、１００円、10kg/m等のスキーマ情報を取り出し（ス
テップ１６、図５（Ｄ）の符号５１参照）、ＣＰＵ１１
１はＲＡＭ１１３に格納した対象文書等Ａに対する文書
ベクトルＶを取得する（ステップ１７、図５（Ｄ）の符
号６１参照）。

【００２４】また、ＣＰＵ１１１によりプログラム等で
あると判断されたときには（ステップ１４；プログラム
等）、さらにプログラムかソースプログラムかを判断す
る（ステップ１８）。ここで、プログラムであるとＣＰ
Ｕ１１１により判断されたときには（ステップ１８；
Ｙ）、ＣＰＵ１１１は、ＲＡＭ１１３に格納した対象文
書等Ａの該当プログラム（図６（Ｅ）の符号５２参照）
から、セマンティクスを与える予約変換テーブルあるい
は構文解釈ルーチン（図６（Ｅ）の符号５２１参照）を
用いてプログラム言語に意味を与えて言語にして（ステ
ップ１９、図６（Ｅ）の符号５２２参照）、ＲＡＭ１１
３の所定のエリアに格納し（ステップ２０）、ＣＰＵ１
１１は所定のエリアに格納された当該変換言語（符号５
２２）に対する文書ベクトルＶを求める（ステップ２
１、図６（Ｅ）の符号６２参照）。

【００２５】他方、ソースプログラムであるとＣＰＵ１
１１により判断されたときには（ステップ１８；Ｎ）、
ＣＰＵ１１１は、ＲＡＭ１１３に格納した対象文書等Ａ
の該当ソースプログラム（図６（Ｆ）の符号５３参照）
について解析し（ステップ２２、図６（Ｆ）の符号５３
０参照）、自然言語かプログラム領域かの判定でプログ
ラム領域と判定されたときには（ステップ２２；Ｎ）、
セマンティクスを与える予約変換テーブルあるいは構文
解釈ルーチン（図６（Ｆ）の符号５３１参照）を用いて
プログラム言語に意味を与えて言語にしてＲＡＭ１１３
の所定のエリアに格納し（ステップ２４、図６（Ｆ）の
符号５３２参照）、ＲＡＭ１１３の所定のエリアに格納
し（ステップ２５）、ＣＰＵ１１１は所定のエリアに格
納された当該変換言語（符号５３２）に対する文書ベク
トルＶを求める（ステップ２５、図６（Ｆ）の符号６３
ａ参照）。また、ＣＰＵ１１１は、ＲＡＭ１１３に格納
した対象文書等Ａの該当ソースプログラム（図６（Ｆ）
の符号５３参照）について解析した結果（ステップ２
２；Ｙ、図６（Ｆ）の符号５３０参照）、自然言語によ
るコメントの記述領域（図６（Ｆ）の符号５３３参照）
に対しては、そのままで文書ベクトルＶを求める（ステ
ップ２７、図６（Ｆ）の符号６３ｂ参照）。

【００２６】次に、全ての文書が終了しているか否かを
判断する（ステップ２８）。この場合、対象文書等Ａも
全部終了していないし、注目文書等Ｂが終了していない
ので（ステップ２８；Ｎ）、再び、ステップ１４の処理
に戻り、対象文書等Ａの残り文書の処理を実行し、ある
いは注目文書等Ｂの文書ベクトルの算出を行う。この動
作は、上述した動作とまったく同じであるので、以後の
説明を省略する。なお、既に説明したが、注目文書等Ｂ
について予め文書ベクトルが算出されている場合には、
この処理をする必要はない。

【００２７】図９は、文書ベクトル作成処理の動作を表
したフローチャートであり、図３のステップ１５、１
７、２１、２５、２７の処理内容の詳細を説明するため
のものである。ＣＰＵ１１１は、形態素解析を行うこと
で検索対象文書等Ａあるいは注目文書等Ｂの自立語を抽
出する（ステップ１５１）。また、ＣＰＵ１１１は、名
詞句、複合名詞句等を含めた候補語（句）を対象文書等
Ａから抽出しＲＡＭ１１３の所定の作業領域に格納する
（ステップ１５２）。そして、抽出した候補語（句）の
対象文書等Ａでの出現頻度、評価関数から、各候補語
（句）重要度ｆ（ｘ）を決定する（ステップ１５３）。
ここで、評価関数としては、例えば、所定の重要語が予
め指定されている場合にはその重要語に対する重み付
け、単語、名詞句、複合名詞句等の候補語（句）の種類
による重み付け等が使用される。

【００２８】さらにＣＰＵ１１１は、決定した重要度ｆ
（ｘ）の値から対象文書等Ａのキーワードａ，ｂ，…を
決定する（ステップ１５４）。各キーワードの重要度ｆ
（ｘ）を要素として、文書ベクトルＶ＝（ｆ（ａ），ｆ
（ｂ），…）をＲＡＭ１１３の文書ベクトル格納エリア
に格納して（ステップ１５５）、図３の処理ルーチンに
リターンする。文書ベクトルＶが求まると、ＣＰＵ１１
１は、対象文書等Ａと注目文書等Ｂとの間の類似度Ｓ
を、文書等Ａの文書ベクトルＡｖ、注目文書等Ｂの文書
ベクトルＢｖの間の角度（ｑ）に依存するコサインによ
り求める（ステップ２９）。すなわち、両文書ベクトル
Ａｖ、Ｂｖとすると、両文書ベクトルの絶対値をそれぞ
れ｜Ａｖ｜、｜Ｂｖ｜とした場合、両者の文書ベクトル
の類似度Ｓは、次の数式１により求まる。

【００２９】

【数１】 類似度Ｓ＝ｃｏｓ（ｑ） ＝（Ａｖ・Ｂｖ）／（｜Ａｖ｜×｜Ｂｖ｜）

【００３０】この類似度Ｓの値は、−１≦Ｓ≦１までの
値をとり、１に近いほど二つの文書ベクトルが互いに平
行に近く、対象文書等Ａと注目文書等Ｂとは似ていると
考えることができる。例えば、通常の文書、データある
いはプログラムの場合には、対象文書等Ａの文書ベクト
ルＡｖ（図７（Ｇ）の符号７０）と、注目文書等Ｂの文
書ベクトルＢｖ（図７（Ｇ）の符号８０）とから、数式
１を用いて類似度Ｓを算出する（図７（Ｇ）の符号９
０）。これは、図７（Ｇ）の符号９００に示すように、
二つの文書ベクトルＡｖ、Ｂｖの角度（ｑ）についてコ
サインをとることにより算出できる。

【００３１】また、ソースプログラムの場合には、対象
文書等Ａの文書ベクトルＡｖ（図８（Ｈ）の符号７１）
と、注目文書等Ｂの文書ベクトルＢｖ（図８（Ｈ）の符
号８１）について、プログラム系と自然言語系とに分類
し、それぞれ二つの文書ベクトルＡva、Ｂva、文書ベク
トルＡvb、Ｂvbの各角度（ｑａ、ｑｂ）について数式１
を用いてコサインをとり、それぞれ類似度Ｓを算出する
（図８（Ｈ）の符号９１）。これは、図８（Ｈ）の符号
９１０ａ、９１０ｂに示すように、プログラム系および
自然言語系の各二つの文書ベクトルＡｖ、Ｂｖの角度
（ｑａ、ｑｂ）についてそれぞれコサインをとることに
より類似度Ｓａ、Ｓｂを算出できる。

【００３２】そして、ＣＰＵ１１１は、類似度Ｓの値が
所定の閾値（例えば、０．８）より大きいと判断したと
きには（ステップ３０；Ｙ）、対象文書等Ａは注目文書
等Ｂと類似していると判定してその結果をＲＡＭ１１３
の所定の格納エリアに格納する（ステップ３１）。ま
た、ＣＰＵ１１１は、類似度Ｓの値が所定の閾値（例え
ば、０．８）より小さいと判断したときには（ステップ
３０；Ｎ）、対象文書等Ａは注目文書等Ｂとは非類似し
ていると判定してその結果をＲＡＭ１１３の所定の格納
エリアに格納する（ステップ３２）。

【００３３】以上の処理が終了すると、ＣＰＵ１１１
は、ユーザの指示によりＲＡＭ１１３の所定の格納エリ
アに格納しておいた各データの保存処理を行う。すなわ
ち、文書ベクトル作成処理（図３のステップ１３、図
７）で求めた文書ベクトルＶをＲＡＭ１１３から読み出
し、文書データベース１６４に格納した対象文書等Ａ、
注目文書等Ｂとの関連性をつけて記憶装置１６の文書ベ
クトルデータベース１６６に格納する。また、判断結果
についても、対象文書等Ａと注目文書等Ｂとに関連付け
て記憶装置１６の文書ベクトルデータベース１６６等に
格納しておく。

【００３４】以上説明したように本実施の形態によれ
ば、表計算ソフトで作成したファイルについても自然言
語処理の検索対象とし、数値データを単位やグラフの軸
名等の情報（スキーマ）込みでインバーテッドファイル
化することにより、数値データの検索精度を高めること
ができる。また、単位などの情報を加味して( 正規化の
一種）インバーテッドファイルに入れることにより、表
計算ソフトのファイルでも類似検索の対象にすることが
できる。また、軸の情報を利用することで、グラフなど
も類似検索の対象することができる。このように、本実
施形態によれば、対象文書とその他の文書との類似性判
断をする場合に無意味な判断をすることなく、有効なデ
ータとの間で判断することができ、類似性判断の精度を
高めることができる。特に数値データに関する検索精度
が高まり、既存の表計算データファイルの再利用性が飛
躍的に高まる。

【００３５】以上、本実施形態の構成およびその動作に
ついて説明したが、本発明では、これらの各形態に限定
されるものとはなく、請求項に記載された発明の範囲内
で種々の変形をすることが可能である。

【発明の効果】本発明によれば、処理対象となる対象文
書から、テキストのデータと非テキストデータとを区別
し、前記区別されたテキストのデータ及び非テキストデ
ータの少なくとも一方を使用して、他の文書との類似性
を判断するようにしたので、取得した対象文書と他の文
書との類似性判断を高い精度で行うことができる。

【図面の簡単な説明】

【図１】本発明の１実施形態における文書処理装置の構
成を表したブロック図である。

【図２】同上、実施形態における文書ベクトルデータベ
ースの内容を概念的に表した説明図である。

【図３】同上、実施形態における検索処理のメイン動作
を表したフローチャートである。

【図４】同上、実施形態における図３に示した検索処理
の各工程に対応する処理を概念的に表した説明図の一部
である。

【図５】同上、実施形態における図３に示した検索処理
の各工程に対応する処理を概念的に表した説明図の一部
である。

【図６】同上、実施形態における図３に示した検索処理
の各工程に対応する処理を概念的に表した説明図の一部
である。

【図７】同上、実施形態における図３に示した検索処理
の各工程に対応する処理を概念的に表した説明図の一部
である。

【図８】同上、実施形態における図３に示した検索処理
の各工程に対応する処理を概念的に表した説明図の一部
である。

【図９】同上、実施形態における文書ベクトル作成処理
の動作を表したフローチャートである。

【符号の説明】

１１ 制御部 １１１ ＣＰＵ １１２ ＲＯＭ １１３ ＲＡＭ １２ キーボード １３ マウス １４ 表示装置 １５ 印刷装置 １６１ 仮名漢字変換辞書 １６２ プログラム格納部 １６３ データ格納部 １６４ 文書データベース １６５ 文書ベクトルデータベース １７ 記憶媒体駆動装置 １８ 通信制御装置 １９ 入出力Ｉ／Ｆ ２０ 文字認識装置

Claims (9)

【特許請求の範囲】
1. 【請求項１】 処理対象となる対象文書を取得する対象
   文書取得手段と、 前記対象文書取得手段により取得された対象文書から、
   テキストのデータ以外の非テキストデータを有している
   か否かを判断する判断手段と、 前記判断手段により非テキスト文書を有すると判断され
   た場合に、前記対象文書からテキストのデータと非テキ
   ストデータとを区別する区別手段と、 前記区別手段により区別されたテキストのデータ及び非
   テキストデータの少なくとも一方を使用して、他の文書
   との類似性を判断する類似性判断手段と、を具備するこ
   とを特徴とする文書処理装置。
2. 【請求項２】 前記非テキストデータは、表データ、グ
   ラフのスキーマ情報、プログラム言語、ソースプログラ
   ム等であることを特徴とする請求項１に記載の文書処理
   装置。
3. 【請求項３】 前記区別手段により区別された非テキス
   トデータがソースプログラムである場合に、当該ソース
   プログラムを中間言語に変換する変換手段を備え、 前記類似性判断手段は、前記変換手段により変換された
   中間言語のプログラム間の類似性を判断することを特徴
   とする１に記載の文書処理装置。
4. 【請求項４】 前記類似性判断手段は、ベクトル空間法
   により類似度を算出する算出手段を有し、前記算出手段
   により算出された類似度から類似性を判断することを特
   徴とする請求項１、請求項２、又は請求項３に記載の文
   書処理装置。
5. 【請求項５】 処理対象となる対象文書を取得する対象
   文書取得機能と、 前記対象文書取得機能により取得された対象文書から、
   テキストのデータ以外の非テキストデータを有している
   か否かを判断する判断機能と、 前記判断機能により非テキスト文書を有すると判断され
   た場合に、前記対象文書からテキストのデータと非テキ
   ストデータを区別する区別機能と、 前記区別機能により区別されたテキストのデータ及び非
   テキストデータの少なくとも一方を使用して、他の文書
   との類似性を判断する類似性判断機能と、をコンピュー
   タに実現させるためのコンピュータ読取り可能な文書処
   理プログラムが記憶された記憶媒体。
6. 【請求項６】 前記非テキストデータは、表データ、グ
   ラフのスキーマ情報、プログラム言語、ソースプログラ
   ム等であることを特徴とする請求項５に記載の文書処理
   プログラムが記憶された記憶媒体。
7. 【請求項７】 前記区別機能により区別された非テキス
   トデータがソースプログラムである場合に、当該ソース
   プログラムを中間言語に変換する変換機能を備え、 前記類似性判断機能は、前記変換機能により変換された
   中間言語のプログラム間の類似性を判断することを特徴
   とする請求項５に記載の文書処理プログラムが記憶され
   た記憶媒体。
8. 【請求項８】 前記類似性判断機能は、ベクトル空間法
   により類似度を算出する算出機能を有し、前記算出機能
   により算出された類似度から類似性を判断することを特
   徴とする請求項５、請求項６、又は請求項７に記載の文
   書処理プログラムが記憶された記憶媒体。
9. 【請求項９】 処理対象となる対象文書から、テキスト
   のデータと非テキストデータとを区別し、 前記区別されたテキストのデータ及び非テキストデータ
   の少なくとも一方を使用して、他の文書との類似性を判
   断することを特徴とする文書処理方法。 【０００１】