JP2012118977A

JP2012118977A - 文書類似性計算の機械学習に基づく最適化およびカスタマイズのための方法およびシステム

Info

Publication number: JP2012118977A
Application number: JP2011250180A
Authority: JP
Inventors: Buldyska Oliva; オリヴァー・ブルディスカ
Original assignee: Palo Alto Research Center Inc
Current assignee: Palo Alto Research Center Inc
Priority date: 2010-11-29
Filing date: 2011-11-15
Publication date: 2012-06-21
Also published as: EP2461273A2; EP2461273A3; US20120136812A1

Abstract

【課題】文書類似性分析に関して、機械学習に基づき文書類似性計算を最適化してカスタマイズする。
【解決手段】動作時に、システムは類似文書の収集をユーザに提示し、文書の類似性に関するフィードバックをユーザから収集し、文書類似性を計算するための一般的規則を生成し、ユーザにより提供されたフィードバックに基づきカスタマイズされた類似性計算を用いて文書をフィルタにかける。ユーザフィードバックは、収集内に間違って含まれている文書の指摘と、収集内に含まれていない追加類似文書の指摘と、のうちの１つ以上を含んでいる。
【選択図】図１

Description

本開示は、一般に、文書類似性分析に関する。より具体的には、本開示は、機械学習に基づき文書類似性計算を最適化してカスタマイズすることに関する。

本発明の一実施形態は、文書類似性計算を最適化してカスタマイズするためのシステムを提供する。動作時に、システムは類似文書の収集をユーザに提示し、文書の類似性に関するフィードバックをユーザから収集し、文書類似性を計算するための一般的規則を生成し、ユーザにより提供されたフィードバックに基づきカスタマイズされた類似性計算を用いて文書をフィルタにかける。

この実施形態に関する変形例では、ユーザフィードバックは、収集内に間違って含まれている文書の指摘と、収集内に含まれていない追加類似文書の指摘と、のうちの１つ以上を含んでいる。

この実施形態に関する変形例では、システムは、文書から多くの意味実体を抽出することと、抽出された意味実体の逆文献頻度（ＩＤＦ）値に基づき文書間の類似性測度を計算することと、により文書類似性を計算する。

この実施形態に関する変形例では、文書類似性を計算するための一般的規則を生成することは、収集されたユーザフィードバックに基づき各文書およびそれの関連文書から特徴を抽出することと、抽出された特徴に基づき規則を生成するために機械学習技術を適用することと、を含んでいる。

さらなる変形例では、各文書およびそれの関連文書の抽出された特徴は、関連文書の類似性ランクと、各文書および関連文書の文書重みと、各文書および関連文書の実体出現の大きさと、各文書および関連文書の実体出現平均と、各文書および関連文書の間の共有された実体の個数と、各文書および関連文書の間の共有された実体の平均実体重みと、各文書および関連文書の間の共有された実体の最大実体重みと、各文書および関連文書の間の共有された実体の最小実体重みと、各文書および関連文書の間の共有された実体のタイプされた数、平均実体重み、最小実体重み、および最大実体重みと、各文書および関連文書内の補足的（非共有）実体の個数と、各文書および関連文書内の補足的実体の平均実体重みと、各文書および関連文書内の補足的実体の最大実体重みと、各文書および関連文書内の補足的実体の最小実体重みと、各文書および関連文書内の補足的実体のタイプされた数、平均実体重み、最小実体重み、および最大実体重みと、のうちの１つ以上を含んでいる。

この実施形態に関する変形例では、システムは管理された機械学習を用いて文書類似性を計算するための決定木を生成する。

この実施形態に関する変形例では、ユーザ用にカスタマイズされた類似性計算を用いて文書をフィルタにかけることは、ユーザにより提供されたフィードバックに基づき各文書およびそれの関連文書から特徴を抽出することと、抽出された特徴に基づきフィルタリング規則を生成するために機械学習技術を適用することと、を含んでいる。

本発明の実施形態の実体抽出システムを説明する図である。本発明の実施形態の、文書類似性計算の最適化およびカスタマイズのプロセスを説明するフローチャートである。本発明の実施形態の、機械学習に基づき文書類似性を計算するプロセスを説明するフローチャートである。本発明の実施形態の、類似文書から抽出された例示的特徴集合を説明する図である。本発明の一実施形態の、文書類似性計算を最適化してカスタマイズするための例示的コンピュータシステムを示す図である。

図面では、同様の参照番号は、同じ図面要素を示す図である。

本発明の実施形態は文書類似性計算を最適化してカスタマイズするための解決法を提供する。本発明の一実施形態では、文書類似性計算システムは、文書の類似性に関するフィードバックを収集するために、類似文書の収集をユーザに提示する。ユーザにより提供されたフィードバックに基づき、システムは将来の類似文書を特定するための一般的規則を生成する。また、システムはユーザからのフィードバックに基づきカスタマイズされた類似性計算を用いて文書をフィルタにかけることができる。

文書の間の従来の類似性計算は、通常、単語の出現を数えて比較することにより関連文書の文字列を照合することを利用する。例えば、地方の天気を話題にする電子メールメッセージはすべて雨、雪、または風のような単語を含んでいる可能性がある。したがって、文字列を比較することにより、２つのメッセージ間の類似性を推定できる。しかしながら、このような方法は非効率的である場合があり、多くの間違った結果を生じる可能性がある。例えば、決まり文句の文章を含む文書では、２つの文書間で決まり文句の共出現が多い可能性があるが、２つの文書間の類似性は実際には低い可能性がある。この問題を克服するために、各単語の出現を数える代わりに、文書間の類似性を導き出すために「実体」として定義される重要な単語の出現を比較することを利用する実体抽出方法を提案する。

このような実体抽出プロセスを図１に示す。実体抽出システム１００は、受け取り機構１０２と、多くの有限状態機械（ＦＳＭ）１０６〜１１０と、任意探索比較機構１１２と、逆文献頻度（ＩＤＦ）計算機１１４と、を含んでいる。動作時に、受け取り機構１０２は実体抽出のための入力文書１０４を受け取る。その後、受け取られた文書の文字列はＦＳＭ１０６〜１１０を含む多くのＦＳＭに送られる。これらのＦＳＭは、事前に定義された異なる群に属する意味実体を認識するように異なって設計されている。意味実体は単語、単語の組み合わせ、または人名、会社名、日時、住所、業界固有の用語、電子メールアドレス、ユニフォーム・リソース・ロケータ（ＵＲＬ）、電話番号のような固有の意味を有する配列である可能性がある。事前に定義された群に属さない追加的意味実体を追加抽出モジュール１１１により抽出できる。

無意味な単語が意味実体としてＦＳＭ１０６〜１１０により誤って認識されることを回避するために、受け取られた文書の文字列から特定された実体のうちの一定の種類は、外部資源を探索して比較するために任意探索比較機構１１２に送られる。その後、実体候補がそれらのＩＤＦ値を計算するＩＤＦ計算機１１４に送られる。実体候補の有意性を測定するためにＩＤＦ値を使用できる。低いＩＤＦ値は、その実体候補が言語資料全体にわたって広く使用されており、したがって、決まり文句、統計的外れ値、または間違った検出である可能性が高いことを示す場合が多い。対照的に、高いＩＤＦ値は、このような実体候補が真に意味のある、または有意な意味実体であり、文書から抽出されるのにふさわしいことを示している。最後に、所定の範囲内のＩＤＦ値を有する実体候補は抽出されるが、この範囲外のＩＤＦ値を有する実体候補は無視される。

次に、有意な実体であると考えられる抽出された意味実体は文書間の類似性計算に使用され得る。２つの文書が多くの重複する有意な実体を有しているとき、システムはこれらの２つの文書が似ている高い可能性を有している、したがって、高い類似性値を有していると判断できる。文書の中の有意な実体の出現を数えることに加えて、また、文書類似性を計算するときには、発生論的実体重みを考慮に入れる。異なる群に属する実体には異なる重みを割り当てる。例えば、人名の群に属する実体には、住所の群に属する実体とは異なる重みを割り当てる。異なる実体群の重要性および言語資料の状況に応じて、重みは適宜に調整できる。例えば、人事労働者にとっては人々の名前は専門用語よりも重みを持つが、技術者にとっては、その反対のことが当てはまる。

文書間の類似性を判断するために多くの異なる測度を計算され得る。例えば、第１の測度は、２つの文書間で重複する実体のＩＤＦ値の加重和と、各文書内の実体のＩＤＦ値の加重和の比率を計算する。第１の測度と同様の他の測度は、各文書内の重み付けされたＩＤＦ値を別々に合計する代わりに、２つの文書の和集合内の実体の重み付けされたＩＤＦ値を使用する。その後、文書は、それらの文書の実体出現に基づく所与の文書に関する類似性に基づいた順序に並べられる。２つの文書は、それらの２つの文書の実体出現に基づく類似性レベルの間の差が所定の閾値よりも小さいとき、同じレベルの類似性を有している。

本発明の実施形態は文書類似性計算の機械学習に基づく最適化およびカスタマイズのためのシステムを提供する。このシステムは、文書内の意味実体を抽出し、複数のユーザを通じた違いに対処するためにそれらの文書の類似性を計算するとき、さまざまなユーザ選択およびユーザ構成を考慮する。

本発明の実施形態では、システムは、元の文書と、候補文書の言語資料との間の類似性を、これらの文書から抽出された意味実体に基づいて計算する。結果としてもたらされた類似文書の収集は、誤検出、すなわち、収集内に間違って含まれている文書、および検出漏れ、すなわち、収集内に含まれていない追加類似文書、を含む可能性があることが分かった。文書類似性の今後の決定を改良し、ユーザを通じて類似性計算をカスタマイズするために提案される方法は、最適化およびカスタマイズの２つの段階で構成されている。

第１段階の最適化の目的は、ユーザフィードバックを組み込むことにより広範囲の類似性計算を促進することである。第１段階では、システムは元の文書に関連する類似文書の収集をシステムユーザに提示し、文書の類似性に関するフィードバックをシステムユーザから収集する。ユーザは収集内に間違って含まれている文書、および収集内に含まれない元の候補からの追加類似文書を指摘してもよい。ユーザのフィードバックは、管理された学習用の訓練データとして機械学習サブシステムに提供される。機械学習サブシステムはユーザから収集されたフィードバックに基づき文書類似性を計算するための一般的規則の集合を生成する。機械学習サブシステムが生成した一般的規則は、既存の類似性計算の枠組みに組み込む前にシステム設計者が見直すことができる。生成された規則は、文書類似性計算に適用したときのそれらの誤検出率および正検出率により評価できる。

第２のカスタマイズ段階は、各ユーザに対する類似文書を見つけるための個々の調整を提供することを目指す。この段階は類似性計算を改良するためにユーザが絶えずフィードバックを与えてもよい反復プロセスである。この段階は個々のユーザのフィードバックを採取することと、管理された機械学習アルゴリズムをユーザフィードバックに適用することと、を含んでいる。機械学習アルゴリズムで生成された分類規則は、各ユーザに対する類似文書をフィルタにかけるのに使用できる。ユーザは誤検出率、正検出率、または誤検出対正検出率に基づき規則を選択してもよい。

図２は、本発明の実施形態の、文書類似性計算の最適化およびカスタマイズのプロセスを説明するフローチャートを示している。動作時に、システムは類似文書の収集をユーザに提示する（動作２０２）。その後、システムは文書の類似性に関するフィードバックをユーザから収集する（動作２０４）。一実施形態では、ユーザフィードバックは収集内に間違って含まれている文書の指摘、および／または収集内に含まれていない追加類似文書の指摘を含んでいる。その後、システムは収集されたユーザフィードバックに基づき類似文書の計算を最適化するために一般的規則を生成する（動作２０６）。各ユーザからのフィードバックは各ユーザに対する類似文書のフィルタリングをカスタマイズするために使用してもよい（動作２０８）。また、システムはユーザに対する状況情報に基づき類似文書を必要に応じて見つけることができる（動作２１０）。

管理された機械学習は管理された訓練データから分類規則を推定するタスクである。管理された学習アルゴリズムはデータの特徴または特性を抽出して分類器を生成するために訓練データを分析する。分類器は入力データの特徴を目標クラスに写像する分類規則の集合または決定木である可能性がある。決定木では、葉は分類を表し、枝はそれらの分類につながるデータ特徴の結合を表す。管理された機械学習および決定木モデルに関するその他の詳細は、ＭＩＴプレスから２０１０年に発行されたＥｔｈｅｍＡｌｐａｙｄｉｎ著の「ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（機械学習概論）」第２版のような公的に利用可能な文献から入手できる資料で得られ、本文献の開示は言及することにより全体として本明細書の一部となっている。

一実施形態では、システムは収集されたユーザフィードバックに基づいて文書類似性の計算を最適化する。ユーザフィードバックは追加類似文書と、間違って類似文書として示された文書と、を含んでいる。管理された学習アルゴリズムはこれらの文書を分析して、類似文書と非類似文書を区別する可能性が最も高い文書属性または特徴のリストを抽出する。管理された学習の結果は、実体に基づく文書類似性計算アルゴリズムに組み込むことができる分類規則の集合または決定木である。ユーザのフィードバックに基づく一般的分類規則はシステム性能を最適化するように配置でき、他方、各ユーザのフィードバックから推定された分類規則はユーザに対してカスタマイズされた類似性計算を促進する。他の実施形態では、機械学習アルゴリズムのための文書特徴のユーザ入力用のユーザインタフェースが提供される。

図３は、本発明の実施形態の、機械学習に基づき文書類似性を計算するプロセスを説明するフローチャートを示している。動作時に、システムは類似文書の収集内に間違って含まれている文書の指摘、および／または収集内に含まれていない追加類似文書の指摘を含むユーザフィードバックを収集する（動作３０２）とともに、元の文書と関連文書とから特徴を抽出する（動作３０４）。一実施形態では、システムは抽出された特徴に機械学習を適用して（動作３０６）、文書類似性を計算するための一般的規則を生成する（動作３０８）。また、各ユーザからのフィードバックは、各ユーザに対する文書類似性を計算するためのカスタマイズされた規則を生成する（動作３１０）ために使用できる。その後、システムは文書を類似性に基づく順序に並べる（動作３１２）。

一実施形態では、システムは文書類似性の計算を最適化するための一般的規則を生成するために管理された機械学習を適用する。管理された学習は、訓練例の集合で構成された管理された訓練データから分類規則を推定するタスクである。類似文書の発見を向上させるために、システムは収集内に間違って含まれている文書、および／または収集内に含まれていない追加類似文書を指摘するユーザフィードバックを収集する。ユーザフィードバックは管理された機械学習のための訓練データを提供して、管理された機械学習アルゴリズムがユーザフィードバックを分析して分類規則の集合を推定してもよい。推定された分類規則は将来の文書の類似性を予測する際に使用できる。

分類規則を推定するには、入力訓練データから特定の属性または特徴が抽出され、その結果、抽出された属性または特徴が分類結果に関連するようになっている必要がある。本発明の実施形態では、元の文書と関連文書とから特徴の４つの群を抽出する。第１の特徴は文書の類似性の広範囲のランクである。類似文書は意味実体出現類似性に基づいて計算され、類似性ランクの順序でユーザに提示される。特徴の第２の群は、２つの文書間の共有された意味実体を含んでいる。

図４に示す実施例では、意味実体抽出を実行した後に、システムは元の文書４０２に対する実体集合４００と、関連文書４１２に対する実体集合４１０と、を決定する。実体集合４００と実体集合４１０の間の交わりが共有された実体集合４２０を形成する。同様に、元の文書４０２と関連文書４１４または４１６との間で、他の共有された実体集合を決定できる。特徴のこの群は、共有された実体集合内の共有された実体の個数および重みに基づく。
・ＳｈａｒｅｄＣｏｕｎｔ：２つの文書間で共有された実体の個数、
・ＳｈａｒｅｄＡｖｅｒａｇｅ：２つの文書間で共有された実体に対する平均実体重み、
・ＳｈａｒｅｄＭａｘ：２つの文書間で共有された実体に対する最大実体重み、
・ＳｈａｒｅｄＭｉｎ：２つの文書間で共有された実体に対する最小実体重み、
・タイプされた共有された実体値：人、会社、および場所のような異なる種類の実体であり、上述の特徴は下記の４個の異なる種類で区別でき、
・ＳｈａｒｅｄＴｙｐｅＸＣｏｕｎｔ
・ＳｈａｒｅｄＴｙｐｅＸＡｖｅｒａｇｅ
・ＳｈａｒｅｄＴｙｐｅＸＭａｘ
・ＳｈａｒｅｄＴｙｐｅＸＭｉｎ
ここで、Ｘは｛人、組織、話題、ＣａｐｉｔａｌｉｚｅｄＳｅｑｕｅｎｃｅ、略語、ＵＲＬ、電子メールアドレス、電話番号、住所、場所、日時、署名、…｝のうちの１つである。

特徴の第３の群は元の文書内にだけ存在する実体に関連する。
・ＳｏｕｒｃｅＣｏｍｐＣｏｕｎｔ：元の文書内の共有されていない実体の個数、
・ＳｏｕｒｃｅＣｏｍｐＡｖｅｒａｇｅ：元の文書内の共有されていない実体の平均重み、
・ＳｏｕｒｃｅＣｏｍｐＭａｘ：元の文書内の共有されていない実体の最大重み、
・ＳｏｕｒｃｅＣｏｍｐＭｉｎ：元の文書内の共有されていない実体の最小重み、
・タイプされた元の補足的実体値：下記の４個の異なる種類で区別される元の補足的実体個数、平均値、最大値、および最小値であり、
・ＳｏｕｒｃｅＴｙｐｅＸＣｏｕｎｔ
・ＳｏｕｒｃｅＴｙｐｅＸＡｖｅｒａｇｅ
・ＳｏｕｒｃｅＴｙｐｅＸＭａｘ
・ＳｏｕｒｃｅＴｙｐｅＸＭｉｎ
ここで、Ｘは｛人、組織、話題、ＣａｐｉｔａｌｉｚｅｄＳｅｑｕｅｎｃｅ、略語、ＵＲＬ、電子メールアドレス、電話番号、住所、場所、日時、署名、…｝のうちの１つであり、
・ＳｏｕｒｃｅＤｏｃｕｍｅｎｔＷｅｉｇｈｔ：文書内の実体の個数および重みにより計算される元の文書の重み、
・ＳｏｕｒｃｅＯｃｃｕｒｅｎｃｅＭａｇｎｉｔｕｄｅ：元の文書内の最大実体重み、
・ＳｏｕｒｃｅＯｃｃｕｒｅｎｃｅＡｖｅｒａｇｅ：元の文書内の平均実体重み。

特徴の第４の群は関連文書内にだけ存在するそれらの実体を含み、
・ＲｅｌａｔｅｄＣｏｍｐＣｏｕｎｔ：潜在的に関連する文書内の共有されていない実体の個数、
・ＲｅｌａｔｅｄＣｏｍｐＡｖｅｒａｇｅ：潜在的に関連する文書内の共有されていない実体の平均重み、
・ＲｅｌａｔｅｄＣｏｍｐＭａｘ：潜在的に関連する文書内の共有されていない実体の最大重み、
・ＲｅｌａｔｅｄＣｏｍｐＭｉｎ：潜在的に関連する文書内の共有されていない実体の最小重み、
・タイプされた関連する補足的実体値：関連文書内の補足的実体のタイプされた数、平均値、最大値、最小値、
・ＲｅｌａｔｅｄＴｙｐｅＸＣｏｕｎｔ
・ＲｅｌａｔｅｄＴｙｐｅＸＡｖｅｒａｇｅ
・ＲｅｌａｔｅｄＴｙｐｅＸＭａｘ
・ＲｅｌａｔｅｄＴｙｐｅＸＭｉｎ
ここで、Ｘは｛人、組織、話題、ＣａｐｉｔａｌｉｚｅｄＳｅｑｕｅｎｃｅ、略語、ＵＲＬ、電子メールアドレス、電話番号、住所、場所、日時、署名、…｝のうちの１つであり、
・ＲｅｌａｔｅｄＤｏｃｕｍｅｎｔＷｅｉｇｈｔ：文書内の実体の個数および重みにより計算される潜在的に関連する文書の重み、
・ＲｅｌａｔｅｄＯｃｃｕｒｅｎｃｅＭａｇｎｉｔｕｄｅ：潜在的に関連する文書内の最大実体重み、
・ＲｅｌａｔｅｄＯｃｃｕｒｅｎｃｅＡｖｅｒａｇｅ：潜在的に関連する文書内の平均実体重み、
を含む。

上述の特徴はユーザのフィードバックに基づいて類似文書の計算を最適化するための一般的規則を生成するために使用できる。各ユーザに対する類似文書の発見のカスタマイズはユーザのフィードバックだけを用いて実現可能である。また、ユーザの場所、電子メールからの社会的状況、時間情報、およびユーザのタスクのようなユーザ状況情報は、計算をさらにカスタマイズするために利用できる。

図５は、本発明の一実施形態の、文書類似性を推定するための例示的コンピュータシステムを示している。一実施形態では、コンピュータ・コミュニケーション・システム５００がプロセッサ５０２、メモリ５０４、および記憶デバイス５０６を含んでいる。記憶デバイス５０６は文書類似性推定アプリケーション５０８、ならびにアプリケーション５１０および５１２などの他のアプリケーションを保存する。動作時に、文書類似性推定アプリケーション５０８は記憶デバイス５０６からメモリ５０４へロードされ、その後、プロセッサ５０２により実行される。プログラムを実行している間、プロセッサ５０２は上述の機能を実行する。コンピュータ・コミュニケーション・システム５００は任意の表示部５１４、キーボード５１６、およびポインティングデバイス５１８と接続される。

Claims

類似文書の収集をユーザにコンピュータにより提示することと、
前記文書の前記類似性に関するフィードバックを前記ユーザから収集することと、
文書類似性を計算するための一般的規則を前記コンピュータにより生成することと、
前記ユーザにより提供された前記フィードバックに基づきカスタマイズされた類似性計算を用いて文書をフィルタにかけることと、を含む、
文書類似性計算を最適化してカスタマイズするためのコンピュータで実現される方法。
前記ユーザフィードバックが、
前記収集内に間違って含まれている文書の指摘と、
前記収集内に含まれていない追加類似文書の指摘と、のうちの１つ以上を含む、
請求項１に記載の方法。
前記文書から多くの意味実体を抽出することと、
前記抽出された意味実体の逆文献頻度（ＩＤＦ）値に基づき前記文書間の類似性測度を計算することと、
により前記文書類似性を計算することをさらに含む、請求項１に記載の方法。
文書類似性を計算するための前記一般的規則を生成することが、
前記収集されたユーザフィードバックに基づき各文書およびそれの関連文書から特徴を抽出することと、
前記抽出された特徴に基づき規則を生成するために機械学習技術を適用することと、を含む、請求項１に記載の方法。
前記各文書およびそれの関連文書の前記抽出された特徴が、
前記関連文書の類似性ランクと、
各文書および関連文書の文書重みと、
各文書および関連文書の実体出現の大きさと、
各文書および関連文書の実体出現平均と、
各文書および関連文書の間の共有された実体の個数と、
各文書および関連文書の間の前記共有された実体の平均実体重みと、
各文書および関連文書の間の前記共有された実体の最大実体重みと、
各文書および関連文書の間の前記共有された実体の最小実体重みと、
各文書および関連文書の間の前記共有された実体のタイプされた数、平均実体重み、最小実体重み、および最大実体重みと、
各文書および関連文書内の補足的（非共有）実体の個数と、
各文書および関連文書内の前記補足的実体の平均実体重みと、
各文書および関連文書内の前記補足的実体の最大実体重みと、
各文書および関連文書内の前記補足的実体の最小実体重みと、
各文書および関連文書内の前記補足的実体のタイプされた数、平均実体重み、最小実体重み、および最大実体重みと、のうちの１つ以上を含む、
請求項４に記載の方法。
管理された機械学習を用いて文書類似性を計算するための決定木を生成することをさらに含む、請求項１に記載の方法。
ユーザ用にカスタマイズされた類似性計算を用いて文書をフィルタにかけることが、
前記ユーザにより提供された前記フィードバックに基づき各文書およびそれの関連文書から特徴を抽出することと、
前記抽出された特徴に基づきフィルタリング規則を生成するために機械学習技術を適用することと、を含む、
請求項１に記載の方法。
類似文書の収集をユーザにコンピュータにより提示することと、
前記文書の前記類似性に関するフィードバックを前記ユーザから収集することと、
文書類似性を計算するための一般的規則を前記コンピュータにより生成することと、
前記ユーザにより提供された前記フィードバックに基づきカスタマイズされた類似性計算を用いて文書をフィルタにかけることと、を含む、
方法を、コンピュータにより実行されるとき、コンピュータに実行させる命令を保存する持続性コンピュータ可読記憶媒体。
前記ユーザフィードバックが、
前記収集内に間違って含まれている文書の指摘と、
前記収集内に含まれていない追加類似文書の指摘と、のうちの１つ以上を含む、
請求項８に記載のコンピュータ可読記憶媒体。
前記方法が、
前記文書から多くの意味実体を抽出することと、
前記抽出された意味実体の逆文献頻度（ＩＤＦ）値に基づき前記文書間の類似性測度を計算することと、により前記文書類似性を計算することをさらに含む、
請求項８に記載のコンピュータ可読記憶媒体。