JPH11110414A - データベースからテキストを検索するための方法および装置 - Google Patents

データベースからテキストを検索するための方法および装置

Info

Publication number
JPH11110414A
JPH11110414A JP10140772A JP14077298A JPH11110414A JP H11110414 A JPH11110414 A JP H11110414A JP 10140772 A JP10140772 A JP 10140772A JP 14077298 A JP14077298 A JP 14077298A JP H11110414 A JPH11110414 A JP H11110414A
Authority
JP
Japan
Prior art keywords
database
marker
clause
document
candidate document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10140772A
Other languages
English (en)
Inventor
A Evans David
エイ．エバンズ デビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KURARITEC CORP
Original Assignee
KURARITEC CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KURARITEC CORP filed Critical KURARITEC CORP
Publication of JPH11110414A publication Critical patent/JPH11110414A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99942—Manipulating data structure, e.g. compression, compaction, compilation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 異なるドキュメント間で類似または同一の原
文の節を検索するための方法および装置を提供するこ
と。 【解決手段】 節に特徴となる「署名」を付与する「マ
ーカ連続体」を用いて公知の節を符号化するために、原
文の内容の特質とともに標準的な論文構造が使われる。
そして符号化された公知の節は、ドキュメントからなる
データベース内に出現する同様に符号化されてなる節に
対して評価される。符号化された公知の節とデータベー
スのドキュメント内の符号化された節との間でそっくり
である可能性のものがあると判断される場合、２つの節
が類似または同一でありそうであるか否かを判断するた
めに、連続的な列検索が行われる。連続的な列検索が、
公知の節とデータベースの節の間にそっくりである可能
性のものがあると示す場合には、そのデータベースの節
はさらなる観察のために表示される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、コンピュータ化さ
れた情報の捜索および検索システムの技術分野に関す
る。特に本発明は、ドキュメントデータベースの中に生
起する類似または同一の節をユーザが効率よくその存在
場所を見つけて検索することができるようにするための
方法および装置に関する。
【０００２】
【従来の技術】ドキュメントは、ますますデジタルビッ
トからなるデータとして表され、電子的なデータベース
に記憶されている。これらのドキュメントは、しばしば
新聞、雑誌、機関誌、百科事典、本およびその他の印刷
物の電子版として現われる。そのような電子的な「テキ
スト」は、文字、単語、文、段落、または不確定すなわ
ち種々の長さの列から構成され得て、しかも英数字、記
号、グラフィックス、または如何なる部類のビット列で
もよいような広範囲のデータ分類を含んでいてもよい。
これらの電子的なテキストから抽出さる節は、コンピュ
ータを用いてアクセスされることができ、そして極めて
容易かつ適切にさらに再発行され得る。
【０００３】著者と発行人は、自分達が作成した原文の
節（例えば、新聞や雑誌の論文）に対してかなりの所有
権的な価値を置く。しかしながら原文の節が電子的な記
憶媒体の中で容易に複写され得るため、そのような節が
オリジナルの著者に対して適切な承諾や報酬がなされる
ことなくコピーされたり、より大きなドキュメントに組
み入れられ得るという問題がある。この複製は、オリジ
ナルの節に対して無修正で、またはわずかな修正のみで
生じ得るため、オリジナルの著述は相応に論争され得な
い。
【０００４】そのような節の無許可の再発行を警戒する
ために、著者および発行人は、無許可の再発行が起こっ
た特定の事実の場所を突き止める目的のために、例え
ば、インターネット、ＬＥＸＩＳ（登録商標）、ＮＥＸ
ＩＳ（登録商標）、ＤＩＡＬＯＧ（登録商標）、および
同様のもののようなドキュメントデータベースにおける
自分達のオリジナルの作品を探すことができることを要
求する。同様に、発行人には、出版のために提示された
全ての原稿がそっくりそのまま著者のオリジナルの作品
であることを有無を言わさずに保証する必要がある。大
学もまた、著作物に対して履修単位を与える前に、学生
論文に盗作の事実が含まれていないことを確認するため
に学生論文と学位論文とを検証することを望んでもよ
い。
【０００５】また、著者および研究者は、しばしば所定
の節の出所を突き止める必要があっても、しばしばタイ
トル、著者、出版日、またはオリジナルの作品を特定す
る他の特徴を知らない。ユーザが正確な引用を有してい
ない場合、オリジナルの著者に適切な認識を与えるため
にその節の出所を見つけ出すことは極めて困難になり得
る。著者または研究者が、所定のテキストの節を別の所
で出版されたドキュメントと効率よく比較することがで
きるようにすることによって、オリジナルの作品を見い
出すプロセスは著しく促進される。
【０００６】これらの例は、電子的な記憶媒体に格納さ
れた別のテキスト内に生起する類似または同一の節の格
納場所を効率よく定めて検索する能力の必要性を強調す
る。従来のドキュメント検索技術の下でこれらの節の存
在場所を定めて検索するために、ユーザは「キーワー
ド」または検索照会語による検索を行うことを試みても
よい。この方法の下で、そのデータベースに存在する、
ユーザによって選択されたキーワードまたは検索照会語
を含む全てのドキュメントが検索され得る。
【０００７】類似または同一の節の存在場所を定めて検
索するための別の方法は、ブール検索を用いることであ
る。ブール検索は１つ以上のキーワードを含むドキュメ
ントを捜すことを含む。これは一般に「アンド」および
「オア」の一方または両方のような接続詞でキーワード
を結合することによって達成される。２つまたは３つ以
上のキーワードがアンドによって結合される場合、それ
ら全てのキーワードを含むようなテキストのみが特定さ
れる。２つまたは３つ以上のキーワードがオアによって
結合される場合、それら結合されたキーワードの内の少
なくとも１つを含む全てのテキストが特定される。
【０００８】ベクトル空間手法のようなより最近のテキ
スト検索方法は、検索照会語の頻度および類似の統計上
の分析のような進歩した検索技術の遂行を通してユーザ
により多くの自由を与える。
【０００９】２または３以上のドキュメントの間での連
続的な情報を比較するために利用されるかもしれない技
術の一つは、検索されているデータベース内に現われる
ドキュメントの全てに対して連続した列の検索を行うこ
とである。連続的な列検索は、検索照会における単語の
列に一致する単語の列が存在するか否かを決定するため
に各ドキュメントを一語一語調べる。
【００１０】
【発明が解決しようとする課題】しかしながら、上述し
た「キーワード」または検索照会語による検索は、節を
比較するためには極めて非効果的な検索技術である。そ
の理由は、ユーザが、検索されたドキュメントの大部分
がユーザの特定の調査に関係がないにもかかわらず、検
索されたドキュメントの膨大な数に容易に困惑し得るか
らである。
【００１１】また、上述したキーワードおよびブールの
検索技術には多くの欠点がある。これらの方法に関連す
る欠点の１つは、特定のキーワードが関連のあるテキス
トを特定し識別することをユーザが期待しなければなら
ないといううことである。ユーザが適切なキーワードを
選び損ねるか、または限定し過ぎたブール検索を行う
と、極めて関係の深いテキストが識別されない可能性も
あり、従って見落とされてしまう。ユーザは高い偽陰性
率の結果を認知しないかもしれず、また、ユーザは最も
良いドキュメントを逃しそうであるにもかかわらず、そ
の検索が成功していたと誤って確信してしまう。
【００１２】キーワードおよびブール検索の同様の欠点
は、検索照会がうまく設定されていないとユーザの検索
基準を満たすドキュメントが多過ぎ、潜在的にそれを確
認しなければならない事態を引き起こすということであ
る。これは、選択されたキーワードがあまりにも普通で
あるか、ユーザがブール検索において多数のキーワード
を結合するために不用意に接続詞オアを使用すると起こ
り得る。
【００１３】もしあまりに多くのドキュメントが検索さ
れるなら、ユーザは各ドキュメントを長々と再検討し、
可能性があると判断されたドキュメントの巨大な集まり
から本当に関連のあるドキュメントを抜き出すのに多く
の時間と労力を費やさなければならない。従ってユーザ
は、検索の要求を広げたり狭めたりするために高価で時
間のかかるプロセスを繰り返し行う際に異なるキーワー
ド（およびその組合わせ）をしばしば選択しなければな
らない。
【００１４】より重要なことには、これらの技術は、所
定のテキスト内に特定の語があるかないかをユーザに知
らせるかもしれないが、これらの技術は、それらの語が
そのテキスト内に現われる際の実際の連続した語（the
actual sequence ）に関して見抜く力を何ら与えるもの
ではない。そのようなものであるからこれらの捜索およ
び検索技術は、所定のドキュメントの組において厳密な
情報の連続したものを見いだすためには効果的ではな
い。一ユーザが許可のない再発行または盗作のような問
題を考える場合、そのデータベースから抜粋されるため
に捜された情報は、単なる語の共存または同じ順序で現
れる少数の語（例えば、名詞句）の範囲を越えている。
【００１５】また、上述したベクトル空間手法は、その
ような技術の最も重要な焦点がユーザの検索照会と関連
のある主要な概念を最も要約したと思われるドキュメン
トを検索することであるが、キーワードおよびブールの
検索におけるように、実際に特定の原文の節で具体化さ
れた連続的な情報を比較するために努力は殆どなされな
いか全くなされない。そのようなものであるからベクト
ル空間検索技術はそれ自体、ドキュメントからなるデー
タベースの中で生起する類似または同一の節の存在場所
を定めて検索するためには比較的効率的でない方法であ
る。
【００１６】また、上述した連続的な列検索法では、通
常ユーザは、検索されているドキュメント内のどこに一
致する列の始まりと終わりの点が生じるかを知らない。
従ってユーザは、一致している列が存在するか否かを決
定するためにデータベース全体の中の全てのドキュメン
トの全ての単語を綿密に調べることを余儀なくされる。
これは、特に検索されているデータベースが大きい場
合、また、データベースに対して一致されている公知の
節がほんの数単語長に過ぎない場合、極めて遅く、そし
て非能率的な操作となり得る。
【００１７】本発明の目的は、テキストの存在場所を定
めて検索するシステムを提供することにある。
【００１８】本発明の他の目的は、類似または同一の節
の存在場所を定める目的のために、異なるドキュメント
のテキストが比較され得るようなテキストの存在場所を
定めて検索するシステムを提供することである。
【００１９】また、本発明の他の目的は、異なるドキュ
メントのテキストを最短時間で比較するようなテキスト
の存在場所を定めて検索するシステムを提供することで
ある。
【００２０】さらに本発明の他の目的は、公知のドキュ
メント（またはその一部分）が既にどこか別の所で再発
行されたか否かをユーザが判断することができるような
テキストの存在場所を定めて検索するシステムを提供す
ることである。
【００２１】
【課題を解決するための手段】本発明は、異なるドキュ
メントの中で類似または同一の節の場所を定めてその節
を検索するための方法および装置を提供するものであ
る。これ以降の説明においては、本発明は公知の原文の
節に特徴づけをする「署名」を共同に与える符号化され
た「マーカの連続体」を構成するために内容の特質（co
ntent attributes）とともに論文構造を用いる。これら
のマーカの連続体は、節の中の全情報量を実質的に低減
し、その一方でさらに符号化することは、類似または同
一の節を含む候補ドキュメントを特定するために同様に
符号化された（またそれ故に同様に低減された）ドキュ
メントからなるデータベースに対して評価されるのを可
能にしている。
【００２２】このコンピュータによって実施される、デ
ータベースのドキュメントから類似または同一の節を検
索するための方法および装置は、処理装置内に公知の節
を入力する工程と、公知の節を複数の第１マーカ連続符
号に変換する工程と、データベースのドキュメントを複
数の第２マーカ連続符号に変換する工程と、候補ドキュ
メントを特定するために第１マーカ連続符号を第２マー
カ連続符号に対して評価する工程とを結合したものであ
る。さらに公知の節は、（１）第２マーカ連続符号に対
して第１マーカ連続符号、または（２）候補ドキュメン
ト内の各単語に対して公知の節内の各単語、のいずれか
の連続した列検索を用いて候補ドキュメントと比較され
得る。
【００２３】本発明のこれらおよびその他の特徴並びに
利点は以下の説明、図画および特許請求の範囲への言及
によってより理解されるであろう。
【００２４】
【発明の実施の形態】以下に、添付図面を参照しながら
本発明に係るデータベースからテキストを検索するため
の方法および装置を詳細に説明する。なお図面において
は、同様の構成要素に対しては同一の符号を付してい
る。
【００２５】図１は本発明による一実施の形態のブロッ
ク図であり、この実施の形態は、公知の節と、ドキュメ
ントからなるデータベース内に存在するドキュメントの
１または２以上の節との署名の類似性および同一性の一
方または両方に基づいて、関連のあるドキュメントを検
索するための装置１０からなる。その装置１０は、例え
ば、イメージスキャナー（光学式または電子式）、キー
ボード、触感スクリーン、マウスなどを含んでいてもよ
いユーザ入力装置１２を備えている。メージスキャナー
は、独立した装置、またはファクシミリ機もしくはドキ
ュメント複製機（例えば、複写機）の一部であり得る。
【００２６】プロセッサ１４は、公知の節およびデータ
ベースのドキュメントの１または２以上の節の署名を生
成して、それらを比較する目的のためにユーザ入力装置
１２に連結されている。プロセッサ１４は、読出し専用
メモリ（ＲＯＭ）１６またはディスク記憶装置２０から
受け取った情報および命令に従い、かつランダムアクセ
スメモリ（ＲＡＭ）１８を利用することによって、これ
らの機能を実行するために処理を行う。処理結果および
ユーザの入力情報は、例えば、ＣＲＴ表示装置２２上で
モニターされ得る。プロセッサ１４がドキュメントを処
理するタスクを完了した後、その結果は出力装置２４に
出力され得る。出力装置２４には、例えば、記憶媒体
（ハードディスクまたはフロッピーディスク）、プリン
ター、ドキュメント複製機（例えば、複写機）、ファク
シミリ機またはＣＲＴ表示装置２２が含まれる。
【００２７】図２は、公知の節およびデータベースのド
キュメントの両方を符号化するための一連の工程を示し
ている。一般的な概観として、節の中に出現する「マー
カ」が「マーカの連続体」を生成するために識別され、
用いられる。これらのマーカの連続体は、節全体に対す
る「署名」を生成するために結合される。
【００２８】ステップ２８およびステップ３２において
反映されているように、ユーザは、標準的な論文の特徴
２８（例えば、句読点）を原文内容の特徴３２（例え
ば、英数字の文字）とともに選択し、そしてこれらの特
徴（以下、一まとめにして「マーカパラメータ」とす
る）をユーザ入力装置１２を利用するか、またはプロセ
ッサ１４に何か他の資料からマーカパラメータを受け取
るよう命令するかのいずれかによって、入力する（ステ
ップ３０およびステップ３４）。もちろんユーザはデフ
ォルトを設定してもよく、そうすればこれらのマーカパ
ラメータを選択するタスクは、全くユーザが直接関わら
なくても自動的に行われる。何れの方法が選択されると
しても、しかる後プロセッサ１４は、ステップ３６に反
映されているようにこれらのマーカパラメータを受け取
る。
【００２９】マーカパラメータの同等クラスは独断的に
設定され得る。例えば、ユーザは、ＡＳＣＩＩ（米国情
報交換標準コード）コード範囲内の、「アポストロフィ
ー」、「ピリオド」、「セミコロン」、「クエスチョン
マーク」を含む全ての文字からなる標準的な論文特徴２
８を定義することができる。原文の内容の特徴３２に関
しては、人は全ての英数字の文字に焦点を合わせること
を選ぶかもしれないが、しかし本質的にはどのような連
続して書かれたもの（n-gram sequence ）（例えば、文
字群）でも使用され得る。同様に２または３以上の連続
する句読点要素を処理する目的のために、例えば、多分
欠けている英数字の代わりとして特別な内容の記号を使
たり、記号「〜」が使われたりすることによって特別な
場合を定義することができた。
【００３０】ステップ２６に反映されているように、公
知の節もまたユーザ入力装置１２を用いてプロセッサ１
４に入力される。プロセッサ１４に公知の節を入力する
多くの方法がある。一つの方法は、キーボードを用いて
単純に節をタイプすることである。別の方法は、公知の
節を含むデータファイルをプロセッサ１４にロード（例
えば、フロッピーディスクを処理装置に挿入し、フロッ
ピーディスクに格納されているドキュメントを検索）
し、プロセッサ１４にて公知の節を処理することであ
る。公知の節を入力するさらに別の方法は、（１）ＣＲ
Ｔ表示装置２２上に公知の節を表示し、（２）マウスを
ドラッグすることによって関連のあるテキストを強調
し、（３）プロセッサ１４に、公知の節のその強調され
た部分を入力するように命令するために、キーボード上
でファンクションキーを打つか、またはマウスボタンの
１つをクリックすることである。
【００３１】ステップ２６で公知の節が入力され、ステ
ップ３６でマーカパラメータが受け取られた後、予め選
択されたマーカパラメータに従ってステップ３８で「マ
ーカ」が生成される。一実施の形態では、ステップ３８
でマーカは、句読点要素と、各句読点要素の直前に置か
れる英数字の文字との組合わせを選択することによって
定義される。この状態で与えられた節の中で句読点要素
が英数字の文字に隣接して出現する各事例が、ステップ
３８でプロセッサ１４によってマーカとして取り扱われ
る。
【００３２】例えば、つぎの文が与えられたテキストに
現われると仮定する。 The meal is delicious, isn't it? 上記文には、３つの句読点の例があり、すなわち「, 」
と「' 」と「? 」である。ユーザがマーカパラメータ
を、その節の中の全ての句読点要素とそれら句読点要素
の直前に置かれる英数字の文字からなるように選択する
場合、上記例においてステップ３８で生成される３つの
マーカは、「s,」と「n 」「t?」である。それからこれ
らのマーカは後述するように、マーカの連続体を生成す
るために利用され得る。
【００３３】さらに別の実施の形態では句読点要素と結
び付けられた単語全体が使用されてもよいため、上記例
文においてステップ３８で生成されるマーカは「delici
ous,」と「isn't 」と「it? 」となる。さらに別の実施
の形態では句読点要素の直後に続く全ての英数字文字が
使用されてもよいため、上記例文においてステップ３８
で生成されるマーカは「,i」と「't」と「? 〜」とな
る。さらに別の実施の形態は、ステップ３８で各文が始
まる最初の単語または文字を選択することによってマー
カを生成してもよい。
【００３４】さらに別の実施の形態は、その節の中の各
単語の最初の文字を選択するようになっていてもよい。
ステップ３８でマーカを定義するためのさらに別の方法
は、各停止文字（例えば、それぞれの「スペース」また
は「ダッシュ」）の後に出現する最初の文字または「a
」、「an」、「of」および「the 」などのような単語
の後に出現する最初の文字を選択するようになっていて
もよい。理解できるように、ステップ３８において節の
中でマーカを定義する可能性は多数である。
【００３５】ステップ３８でマーカが選択されると、つ
ぎのステップは、ステップ４０に反映されているように
「マーカの連続体」を生成することである。ステップ３
８でマーカを定義する場合におけるように、ステップ４
０でマーカの連続体は、種々の方法を用いて生成され得
る。マーカの連続体を生成するための一方法は、ステッ
プ３８で生成された各マーカの前で、かつそのドキュメ
ントの初まりまたは連続して出現する最後のマーカの後
のいずれかで生じた全ての非停止文字（例えば、「スペ
ース」または「ダッシュ」以外の文字）の数に基づいて
マーカの間の距離を数えることである。ステップ３８で
生成された各マーカの直前に置かれる非停止文字の数を
数えることによって、そのユーザは後の検索アプリケー
ションのためにステップ４０でマーカの連続体を得るこ
とができる。
【００３６】上記例の「The meal is delicious, isn't
it?」は、ステップ４０で模範的なマーカの連続体が生
成される方法を示すために用いられる。マーカ「s,」の
前に１７個の非停止文字が出現するので、ステップ４０
で生成される第１マーカ連続体は<<s,>,17>>のように表
され得る。同様にマーカ「n'」とその前のマーカ「s,」
との間に非停止文字が２つのみ生じているので、ステッ
プ４０で生成される第２マーカ連続体は<<n'>,2>> とし
て表され得る。
【００３７】同じ理由で、ステップ４０で生成される第
３マーカの連続体は<<t?>,2>> のように表され得る。ス
テップ４０で生成されるこれらの３つのマーカ連続体
は、ステップ４４で上記節に対する合成の「署名」を生
成するためにつぎのように結合され得る。 <<s,>,17>>,<<n'>,2>>,<<t?>,2>> 説明されるように、公知の節に対してステップ４０で生
成されたマーカ連続体のこの列は、ステップ４４で生成
される類似または同一の署名を有するデータベースの節
を特定するために、ドキュメントからなるデータベース
の中に存在する同様に符号化されてなる節に対して評価
され得る。
【００３８】本発明の別の実施の形態では、ステップ４
０で特定のマーカ連続体を生成するために用いられる技
術は、ステップ３８で生成されたマーカの前で、かつそ
のドキュメントの初まりまたは連続して出現する最後の
マーカの後のいずれかで生じた全ての停止文字（例え
ば、全ての「スペース」および「ダッシュ」）に基づい
てマーカの間の距離を数えることであってもよい。
【００３９】先の例を用いて、再びつぎの文が与えられ
た節の中に出現すると想定する。 The meal is delicious, isn't it? この例では、ステップ３８で生成された、上記文の中の
３つのマーカは「s,」と「n'」と「t?」として残り得
る。しかしながら、実質的にその文の中で生じた停止記
号が殆どないので、ステップ４０で生成されるマーカ連
続体は異なる符号を受け取る。マーカ「s,」に関して
は、ステップ４０で生成される第１マーカ連続体は、<<
s,>,3>> （この例では、マーカ「s,」の前に「スペー
ス」が３つだけある）の符号を受け取る。
【００４０】同様に、ステップ４０で生成される、マー
カ「n'」および「t?」に関するマーカ連続体は、それぞ
れ<<n'>,1>> および<<t?>,1>> の符号を受け取る（これ
ら各マーカとそれぞれそれよりも前のマーカとの間に
「スペース」が１つだけある）。これらの３つのステッ
プ４０で生成されるマーカ連続体に基づいて、その節は
ステップ４４でつぎの合成「署名」を割り当てられ得
る。 <<s,>,3>>,<<n'>,1>>,<<t?>,1>>
【００４１】ステップ４０でマーカ連続体を生成するこ
とに対する本発明のさらに別の実施の形態は、ステップ
４０でマーカ連続体を得るために、ステップ３８で生成
されたマーカの間の距離を間にある単語、母音字、頭文
字などの数に基づいて数えることであってもよい。さら
に別の実施の形態は、ステップ３８で生成されたマーカ
が現われるたびにそのマーカに対して、そのドキュメン
ト、ページ、段落、文、または単語などの最初から全て
の距離が数えられるべきであることを明示していてもよ
い。
【００４２】別の実施の形態では、与えられた節におけ
る間隔情報は概して除かれ得るため、ステップ４０で生
成されるマーカ連続体は、本質的にステップ３８で生成
されるマーカと同じように表される。上記例を用いると
「The meal is delicious, isn't it?」という節は、つ
ぎの署名：<<s,>>,<<n'>>,<<t?>>を割り当てられ得る。
【００４３】さらに別の実施の形態では、文字間隔情報
は絶対的な数を割り当てられ得る。例えば、ユーザは、
前の非停止文字の数が０−４個であることを表すために
数字「１」を、前の非停止文字の数が５−９個であるこ
とを表すために数字「２」を、前の非停止文字の数が１
０−１４個であることを表すために数字「３」を、前の
非停止文字の数が１５−１９個であることを表すために
数字「４」を、というように勝手に割り当ててもよい。
この実施の形態では、「The meal is delicious, isn't
it?」という節は、つぎの署名：<<s,>,4>>,<<n'>,1>>,
<<t?>,1>> を割り当てられ得る（マーカ「s,」の前に１
７個の非停止文字があり、かつマーカ「n'」および「t
?」の前には非停止文字が２個あるだけである）。
【００４４】公知の節が、ステップ４０で生成された複
数のマーカ連続体で符号化されると、データベースの中
の各ドキュメントは、公知の節に対してステップ４４で
署名を生成するために用いられたのと同じ技術（ユーザ
がプロセッサ１４にデータベースの節を物理的に入力し
ないということを除く）を用いて符号化される。すなわ
ちステップ３６に反映されているように、公知の節を符
号化するために用いられたのと同じマーカパラメータが
入力されて、プロセッサ１４によって受け取られる。
【００４５】ステップ２６に反映されているように、デ
ータベースのドキュメントはプロセッサ１４に入力さ
れ、そのプロセッサ１４は、公知の節に対して用いられ
た技術に従ってデーターベースのドキュメントに対して
ステップ３８と同様にマーカを生成する。しかる後、こ
れらのマーカはさらにデーターベースのドキュメントに
対してステップ４０と同様にマーカ連続体を生成するた
めに使用され、それによってステップ４０で生成された
公知の節のマーカ連続体とデーターベースのドキュメン
トのマーカ連続体とが比較される。データベースのドキ
ュメントの符号化は偶然に行われ得るか、またはデータ
ベースのドキュメントは予め処理され、そしてプロセッ
サ１４に受け取られる時に即座にインデックスを付けら
れ得る。
【００４６】本発明の独特な特徴は、ステップ３８で生
成されたマーカの中の２つの見掛け上ランダムな情報の
断片（それぞれがテキストの内容に関して見通しを与え
るものであり、その論文構造とその内容である）が、任
意に続くテキストに対する「署名」の特定を確立するマ
ーカ連続体の符号を使用することによって利用され得る
ということである。
【００４７】これらのマーカの連続体の符号化は、与え
られたテキストの中の全情報量を実質的に低減するのに
役立ち、その一方でさらにユーザが他の同様に符号化さ
れた（またそれ故に同様に低減された）節を検索して類
似または同一の連続的な情報を所有するか否かを判断す
るのを可能にしている。加えてステップ４０で生成され
たマーカ連続体は、たとえ実際のテキストが直接表され
ないにしても、マーカ連続体が表すテキストについて重
要な連続的な情報と他の特徴を備えている。
【００４８】図３は、先に符号化された公知でデータベ
ースのドキュメントを比較し、そして実在するそっくり
なものを検索するための一連の工程を示している。一連
の工程の終わりに向かって、符号化された公知の節はス
テップ４６で受け取られ、そしてステップ４０で生成さ
れたマーカ連続体はステップ４８でプロセッサ１４に記
憶される。しかる後、データベースのドキュメントから
符号化された１または２以上の節はステップ５０で受け
取られ、そしてまた、ステップ５２でプロセッサ１４に
記憶される。その後ステップ５４で反映されているよう
に、データベースのドキュメントの節に対して調べるた
めの検索照会として、ステップ４０で生成された公知の
節のマーカ連続体を用いて、検索が行われる。
【００４９】この検索はいろいろな方法で行われ得る。
一実施の形態では、公知の節の最初の符号化の間に生成
されたのと同じマーカ連続体を含むデータベースのドキ
ュメントを特定するために、キーワードまたはブールの
検索が行われる。しかしながらより好ましくは、より一
層進歩した重要語ベクトル空間タイプの検索技術を利用
した進歩した捜索および検索方法が利用される。
【００５０】ベクトル空間タイプの検索では、公知の節
におけるマーカ連続体に関する採点は、検索されたデー
タベースに含まれる各ドキュメントに対して計算され
る。一般に公知の節「Ｑ」とあるデータベースのドキュ
メント「Ｄ」との間で類似性の採点は、公知の節の分割
されてなる共通要素を持たない特徴とデータベースのド
キュメントとを、検索されているデータベースから生じ
るＴ個の語からなる直交空間上で評価することによって
比較され得る。例えば、その類似性の採点はつぎの式を
用いて計算され得る。
【００５１】
【数１】
【００５２】この採点技術は、マーカ連続体と与えられ
たデータベース内のドキュメントからなるつぎのサンプ
ルセット（表１）で示され得る。
【００５３】
【表１】
【００５４】この表において、マーカ連続体の欄は、２
つのドキュメントＤ1 およびＤ2 に含まれる全ての符号
を一緒にして一覧にしたものである。Ｄ1 およびＤ2 の
得点は、それらの符号が、同様に符号化されたデータベ
ースのドキュメント内に出現する際のその頻度（実際の
検索ではこれよりも著しく大きい）に関係する。Ｑ1お
よびＱ2 の得点は、マーカ連続体が公知の節（同じく実
際の検索ではこれよりも著しく大きい）内に出現する際
のその頻度に関係する。データベースのドキュメントＤ
1 に対するマーカ連続体Ｑ1 の類似性の得点はつぎのよ
うに計算される。
【００５５】
【数２】
【００５６】データベースのドキュメントＤ2 に対する
マーカ連続体Ｑ1 の類似性はＳ( Ｑ 1 ，Ｄ2 ) ＝０．１
２のように計算されるが、上記例から分かるように、デ
ータベースのドキュメントＤ1 に対するマーカの連続体
Ｑ1 の類似性の得点は、データベースのドキュメントＤ
2 に対するマーカの連続体Ｑ1 の類似性の得点よりも高
い。結果として、類似性の得点は、公知の節のマーカ連
続体に対するデータベースのドキュメントの相対的な尺
度をもたらす。これらの相対的な得点は、検索されてい
るデータベース内の全てのドキュメントに対して決定さ
れ得るので、ユーザは、得点が有意義である場合に、経
験的に決心し、そして結果としてそれらの得点によって
分類されたドキュメントから重要な情報を得ることがで
きる。好ましくは検索されるドキュメントは分類の順序
で並べられ、そのため最も高得点のものが１番目に並べ
られる。
【００５７】好ましい実施の形態では、より大きな間隔
情報を含むマーカ連続体はより大きい重要性を与えられ
る。その理由は、そのようなマーカ連続体は類似または
同一の節をよりよく識別するであろうと思われるからで
ある。例えば、マーカ連続体<<r,>,6>> は、文の始めで
文字列「However,」を表し得るから、非常に頻繁に出現
するかもしれない。より低い重要性がそのような符号化
された語に与えられることを確実にするために、逆のド
キュメント頻度計算を行うことによって各マーカ連続体
に割り当てられる値を計算してもよい（すなわち特定の
マーカ連続体が現われるドキュメントの数で分配カウン
トを得る）。あるいはより好ましくは、どれぐらいの頻
度でマーカ連続体が特定のドキュメント内に現われるか
（特定のマーカ連続体がそのドキュメントに現われるほ
ど、その重要性はより低くなる）を決定するために頻度
分析を行ってもよい。統計上の分析の組合わせも用いら
れ得る。
【００５８】ステップ５４で検索が行われた後、ステッ
プ５６におけるように先の検索に対応する回答に基づい
てさらに調べるために、候補ドキュメントがドキュメン
トからなるデータベースから選択される。しかる後、ス
テップ５８で連続的な列検索が、ステップ４０で生成さ
れた公知の節のマーカ連続体をデータベースのドキュメ
ントのマーカ連続体と連続的且つ反復的に比較すること
によって、符号化された候補ドキュメント上で行われる
（この連続的な列検索は、公知の節の出発点がデータベ
ースのドキュメント内で捜し出されるまで繰り返されな
ければならないかもしれない）。あるいはユーザが単語
レベルで、符号化された公知の節の実際の単語を検索さ
れた候補ドキュメントの単語と比較することによって、
連続的な列検索を行ってもよい（再び、この逐語的な連
続的な列検索は、公知の節の出発点が候補ドキュメント
内で捜し出されるまで繰り返されなければならないかも
しれない）。
【００５９】好ましい実施の形態では、各検索された候
補ドキュメントに対してステップ４０で生成されたマー
カ連続体は、最初にそれらマーカ連続体の構成要素、す
なわちステップ３８で生成されたマーカの部分（例え
ば、「s,」）と間隔情報部分（すなわち、例えば、その
マーカの前にある非停止文字の数を特定するマーカ連続
体の部分）とに分離され得る。しかる後、検索された候
補ドキュメントは、類似または同一の節をより多く含ん
でいそうなドキュメントを特定する目的のために、ステ
ップ３８で生成されたマーカに従ってインデックスを付
けられ得る。一旦これらの有望なドキュメントが特定さ
れると、公知の節から得られるマーカ連続体の全体が、
それらドキュメントに対して評価され得る。その後、ユ
ーザはステップ６０で別のデータベースでもう１度検索
を行うか否かの選択を行う。ユーザが検索をもう１度実
行しない場合には、ステップ６２で結果が出力される。
この手順の具体例については後述する。
【００６０】ユーザが、ステップ２８で標準的な論文特
徴が句読点記号、例えば、「コンマ」、「ピリオド」お
よび「アポストロフィー」などであると決定すると仮定
する。さらにステップ３２で原文の内容特徴が全ての英
数字文字（組合せ文字であると思われる）を含み、ま
た、ステップ３８で生成されたマーカ間の距離を、文の
初めまたは連続して出現する前のマーカのいずれかの後
の全ての非停止文字の出現に基づいて数えることによっ
て、マーカ連続体の文字間隔情報が得られると仮定す
る。最後に記号「〜」は、句読点記号の間に英数字が全
く入らない場合を表すよう選択されると仮定する。
【００６１】ユーザに知られている節はつぎの通りであ
る。 節１： Manufacturing of all kinds represents betwe
en one-quarter and one-third, or the largest singl
e segment, of the United States gross national pro
duct. As the principal source of funding and the l
argest buyer of goods and services in the country,
the U.S.Government, largely throughits defense, s
pace, and atomic energy programs, has come to exer
cise preponderant influence on the Nation's indust
rial, i.e., heavy and light manufacturing, sector
decisions. Which projects and technologies agencie
sof government choose to emphasize from time to ti
me makes a major impact on a very large segment of
the total U.S.economy.
【００６２】本発明によれば、上記節はつぎのマーカ連
続体のセット（すなわち節の署名）で符号化される。 <<d,>,60>>,<<t,>,24>>,<<t.>,36>>,<<y,>,76>>,<<U.>,
3>>,<<S.>,0>>,<<t,>,9>>,<<e,>,23>>,<<e,>,4>>,<<s,
>,22>>,<<n'>,48>>,<<l,>,10>>,<<i.>,0>>,<<e.>,0>>,<
<〜,>,0>>,<<g,>,25>>,<<s.>,14>>,<<U.>,125>>,<<S.>,
0>>,<<y.>,6>>
【００６３】それから上記署名に出現する各マーカの連
続体は、ドキュメントからなるデータベースに対して評
価される（ブールまたはベクトル空間タイプの検索方法
のいずれかを用いる）。この検索は、つぎの検索照会を
含む伴うであろう： <<d,>,60>> <<S.>,0>> <<n'>,48>> <<g,>,25>> <<t,>,24>> <<t,>,9>> <<1,>,10>> <<s.>,14>> <<t.>,36>> <<e,>,23>> <<i.>,0>> <<U.>,125>> <<y,>,76>> <<e,>,4>> <<e.>,0>> <<S.>,0>> <<U.>,3>> <<s,>,22>> << 〜,>,0>> <<y.>,6>>
【００６４】ドキュメントのデータベースが検索されて
いる中で、つぎの節が出現するかもしれない（実際には
そのテキストはこれよりも極めて大きい）。 節２： Manufacturing represents between one-quarte
r and one-third, orthe largest single segment, of
the United States gross national product.As the pr
incipal source of funding and the largest buyer of
goods and services in the country, the federal go
vernment, largely through its defense, space, and
atomic energy programs, has come to exercise prepo
nderant influence on the Nation's industrial, i.
e., heavy and light manufacturing, sector decision
s. Decisions as to which projects and technologies
will be emphasized by federal agencies from time
to time have a major impact on a very large segmen
t of the total U.S.economy.
【００６５】これもつぎの節の「署名」を生成するため
に同じマーカ連続体の技術を用いて符号化される。 <<d,>,50>>,<<t,>,24>>,<<t.>,36>>,<<y,>,76>>,<<t,>,
19>>,<<e,>,23>>,<<e,>,4>>,<<s,>,22>>,<<n'>,48>>,<<
1,>,10>>,<<i.>,0>>,<<e.>,0>>,<<〜,>,0>>,<<g,>,25>
>,<<s.>,14>>,<<U.>,133>>,<<S.>,0>>,<<y.>,6>>
【００６６】節１のステップ４０で生成されたマーカ連
続体の検索から得られた結果に基づいて、節２は、つぎ
の共有されたマーカ連続体に基づいて候補として選択さ
れる。 <<t,>,24>>,<<t.>,36>>,<<y,>,76>>,<<e,>,23>>,<<e,>,
4>>,<<s,>,22>>,<<n'>,48>>,<<1,>,10>>,<<i.>,0>>,<<
e.>,0>>,<<〜,>,0>>,<<g,>,25>>,<<s.>,14>>,<<S.>,0>
>,<<y.>,6>>
【００６７】それから節１および節２は、連続的な列検
索を行うことによってより綿密に調べられ、そしてつぎ
の共有された連続的な符号が明らかにされる。 １．<<t,>,24>>,<<t.>,36>>,<<y,>,76>> ２．<<e,>,23>>,<<e,>,4>>,<<s,>,22>>,<<n'>,48>>,<<
1,>,10>>,<<i.>,0>>,<<e.>,0>>,<<〜,>,0>>,<<g,>,25>
>,<<s.>,14>> ３．<<S.>,0>>,<<y.>,6>>
【００６８】これらの共有されたマーカ連続体が上記順
序で存在することは、類似（多分同一）の内容があると
いう良い証拠である。それから節２が検索され、例え
ば、節２が本当に節１と類似または同一であるか否かを
確認する目的のために節２がＣＲＴ表示装置２２上に表
示され得る。以上より明らかなように、与えられた節の
原文の構成要素を壊すことによって、種々の長さでかつ
多種多様なタイプのテキストが比較されることが可能と
なる。
【００６９】以上、ある好ましい具体例を説明しながら
本発明を極めて詳細に説明するとともに図示したが、他
の変形例でもよい。上述した説明または図においては、
本発明の趣旨または範囲から逸脱することなく形態また
は記述について変更がなされてもよいことは、当該技術
分野の当業者にとって明白であろう。
【００７０】
【発明の効果】以上、説明したとおり、本発明に係るデ
ータベースからテキストを検索するための方法および装
置は、テキストの存在場所を定めて検索するシステムを
提供することができる。また、類似または同一の節の存
在場所を定める目的のために、異なるドキュメントのテ
キストが比較され得るようなテキストの存在場所を定め
て検索するシステムを提供することができる。また、異
なるドキュメントのテキストを最短時間で比較するよう
なテキストの存在場所を定めて検索するシステムを提供
することができ、さらに、公知のドキュメント（または
その一部分）が既にどこか別の所で再発行されたか否か
をユーザが判断することができるようなテキストの存在
場所を定めて検索するシステムを提供することができ
る。
【図面の簡単な説明】
【図１】本発明に係る情報検索システムの一実施の形態
を示すブロック図である。
【図２】公知およびデータベースの両方のドキュメント
を符号化するための一連の工程を示すフローチャートで
ある。
【図３】先に符号化された公知およびデータベースのド
キュメントの場所を突き止めて比較し、そして実在する
そっくりなものを検索するための一連の工程を示すフロ
ーチャートである。
【符号の説明】
１０ ドキュメント検索装置 １２ ユーザ入力装置 １４ プロセッサ １６ ＲＯＭ １８ ＲＡＭ ２０ ディスク記憶装置 ２４ 出力装置

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 処理装置に公知の節を入力する工程と、 前記公知の節を複数の第１マーカ連続符号に変換する工
    程と、 データベースのドキュメントを複数の第２マーカ連続符
    号に変換する工程と、 候補ドキュメントを特定するために前記第１マーカ連続
    符号を前記第２マーカ連続符号に対して評価する工程
    と、 を含むことを特徴とするデータベースからテキストを検
    索する方法
  2. 【請求項２】 前記候補ドキュメントは、前記公知の節
    と同一である節を含んでいることを特徴とする請求項１
    に記載のデータベースからテキストを検索する方法。
  3. 【請求項３】 前記候補ドキュメントは、前記公知の節
    と類似する節を含んでいることを特徴とする請求項１に
    記載のデータベースからテキストを検索する方法。
  4. 【請求項４】 前記公知の節は、前記第２マーカ連続符
    号に対する前記第１マーカ連続符号の連続的な列検索を
    用いて、前記候補ドキュメントと比較されることを特徴
    とする請求項２に記載のデータベースからテキストを検
    索する方法。
  5. 【請求項５】 前記公知の節は、前記候補ドキュメント
    に含まれる各単語に対する前記公知の節に含まれる各単
    語の連続的な列検索を用いて、前記候補ドキュメントと
    比較されることを特徴とする請求項２に記載のデータベ
    ースからテキストを検索する方法。
  6. 【請求項６】 前記公知の節は、前記第２マーカ連続符
    号に対する前記第１マーカ連続符号の連続的な列検索を
    用いて、前記候補ドキュメントと比較されることを特徴
    とする請求項３に記載のデータベースからテキストを検
    索する方法。
  7. 【請求項７】 前記公知の節は、前記候補ドキュメント
    に含まれる各単語に対する前記公知の節に含まれる各単
    語の連続的な列検索を用いて、前記候補ドキュメントと
    比較されることを特徴とする請求項３に記載のデータベ
    ースからテキストを検索する方法。
  8. 【請求項８】 公知の節を選択するための入力装置およ
    びデータベースのドキュメントを記憶するディスク記憶
    装置に連結されたプロセッサを具備し、該プロセッサ
    は、 前記公知の節を複数の第１マーカ連続符号に変換し、 前記データベースのドキュメントを複数の第２マーカ連
    続符号に変換し、 候補ドキュメントを特定するために前記第１マーカ連続
    符号を前記第２マーカ連続符号に対して評価することを
    特徴とするデータベースからテキストを検索するための
    装置。
  9. 【請求項９】 前記候補ドキュメントは、前記公知の節
    と同一である節を含んでいることを特徴とする請求項８
    に記載のデータベースからテキストを検索するための装
    置。
  10. 【請求項１０】 前記候補ドキュメントは、前記公知の
    節と類似する節を含んでいることを特徴とする請求項８
    に記載のデータベースからテキストを検索するための装
    置。
  11. 【請求項１１】 前記公知の節は、前記第２マーカ連続
    符号に対する前記第１マーカ連続符号の連続的な列検索
    を用いて、前記候補ドキュメントと比較されることを特
    徴とする請求項９に記載のデータベースからテキストを
    検索するための装置。
  12. 【請求項１２】 前記公知の節は、前記候補ドキュメン
    トに含まれる各単語に対する前記公知の節に含まれる各
    単語の連続的な列検索を用いて、前記候補ドキュメント
    と比較されることを特徴とする請求項９に記載のデータ
    ベースからテキストを検索するための装置。
  13. 【請求項１３】 前記公知の節は、前記第２マーカ連続
    符号に対する前記第１マーカ連続符号の連続的な列検索
    を用いて、前記候補ドキュメントと比較されることを特
    徴とする請求項１０に記載のデータベースからテキスト
    を検索するための装置。
  14. 【請求項１４】 前記公知の節は、前記候補ドキュメン
    トに含まれる各単語に対する前記公知の節に含まれる各
    単語の連続的な列検索を用いて、前記候補ドキュメント
    と比較されることを特徴とする請求項１０に記載のデー
    タベースからテキストを検索するための装置。
JP10140772A 1997-07-25 1998-05-22 データベースからテキストを検索するための方法および装置 Pending JPH11110414A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/900784 1997-07-25
US08/900,784 US6029167A (en) 1997-07-25 1997-07-25 Method and apparatus for retrieving text using document signatures

Publications (1)

Publication Number Publication Date
JPH11110414A true JPH11110414A (ja) 1999-04-23

Family

ID=25413072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10140772A Pending JPH11110414A (ja) 1997-07-25 1998-05-22 データベースからテキストを検索するための方法および装置

Country Status (2)

Country Link
US (2) US6029167A (ja)
JP (1) JPH11110414A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524131A (ja) * 2006-01-13 2009-06-25 エセックス パ エルエルシー テキストの識別
CN115879441A (zh) * 2022-11-10 2023-03-31 中国科学技术信息研究所 文本新颖性检测方法、装置、电子设备及可读存储介质

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289341B1 (en) * 1998-06-26 2001-09-11 Lucent Technologies, Inc. Intelligent agent for identifying intellectual property infringement issues in computer network sites and method of operation thereof
US6178417B1 (en) * 1998-06-29 2001-01-23 Xerox Corporation Method and means of matching documents based on text genre
JP3412618B2 (ja) * 1998-10-30 2003-06-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 配列相同性検出を形成するための方法および装置
WO2000034897A1 (en) * 1998-12-07 2000-06-15 Bloodhound Software, Inc. System and method for finding near matches among records in databases
US6341282B1 (en) * 1999-04-19 2002-01-22 Electronic Data Systems Corporation Information retrieval system and method
US7000186B1 (en) * 1999-05-03 2006-02-14 Amicas, Inc. Method and structure for electronically transmitting a text document and linked information
JP3918374B2 (ja) * 1999-09-10 2007-05-23 富士ゼロックス株式会社 文書検索装置および方法
US6569206B1 (en) * 1999-10-29 2003-05-27 Verizon Laboratories Inc. Facilitation of hypervideo by automatic IR techniques in response to user requests
US6996775B1 (en) 1999-10-29 2006-02-07 Verizon Laboratories Inc. Hypervideo: information retrieval using time-related multimedia:
US6490580B1 (en) 1999-10-29 2002-12-03 Verizon Laboratories Inc. Hypervideo information retrieval usingmultimedia
US6493707B1 (en) 1999-10-29 2002-12-10 Verizon Laboratories Inc. Hypervideo: information retrieval using realtime buffers
US6757866B1 (en) 1999-10-29 2004-06-29 Verizon Laboratories Inc. Hyper video: information retrieval using text from multimedia
US6785669B1 (en) * 2000-03-08 2004-08-31 International Business Machines Corporation Methods and apparatus for flexible indexing of text for use in similarity searches
US20010053252A1 (en) * 2000-06-13 2001-12-20 Stuart Creque Method of knowledge management and information retrieval utilizing natural characteristics of published documents as an index method to a digital content store
KR100406671B1 (ko) * 2000-07-24 2003-11-21 주식회사 유니마이다스 문장 표절 및 도용 검색 방법
US6625600B2 (en) * 2001-04-12 2003-09-23 Telelogue, Inc. Method and apparatus for automatically processing a user's communication
JP3871301B2 (ja) * 2001-05-15 2007-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース検索装置、及びプログラム
WO2003005260A1 (en) * 2001-07-04 2003-01-16 Bi-Net Co., Ltd. Project information processing system
WO2003046689A2 (en) * 2001-11-21 2003-06-05 Amicas, Inc. System and methods for real-time worklist service
US7356461B1 (en) * 2002-01-14 2008-04-08 Nstein Technologies Inc. Text categorization method and apparatus
US7219301B2 (en) * 2002-03-01 2007-05-15 Iparadigms, Llc Systems and methods for conducting a peer review process and evaluating the originality of documents
US7703000B2 (en) * 2003-02-13 2010-04-20 Iparadigms Llc Systems and methods for contextual mark-up of formatted documents
US7447987B2 (en) * 2004-05-21 2008-11-04 Sap Ag Method for automatically positioning a data string in a column on an electronic display
US20060235843A1 (en) * 2005-01-31 2006-10-19 Textdigger, Inc. Method and system for semantic search and retrieval of electronic documents
US7386545B2 (en) 2005-03-31 2008-06-10 International Business Machines Corporation System and method for disambiguating entities in a web page search
WO2006110684A2 (en) 2005-04-11 2006-10-19 Textdigger, Inc. System and method for searching for a query
US20060282430A1 (en) * 2005-06-10 2006-12-14 Diamond David L Fuzzy matching of text at an expected location
US7818810B2 (en) * 2005-10-07 2010-10-19 International Business Machines Corporation Control of document content having extraction permissives
US20070271250A1 (en) * 2005-10-19 2007-11-22 Monro Donald M Basis selection for coding and decoding of data
US8694530B2 (en) 2006-01-03 2014-04-08 Textdigger, Inc. Search system with query refinement and search method
WO2007114932A2 (en) 2006-04-04 2007-10-11 Textdigger, Inc. Search system and method with text function tagging
US7783079B2 (en) * 2006-04-07 2010-08-24 Monro Donald M Motion assisted data enhancement
US7586424B2 (en) * 2006-06-05 2009-09-08 Donald Martin Monro Data coding using an exponent and a residual
US7845571B2 (en) * 2006-06-19 2010-12-07 Monro Donald M Data compression
US20070290899A1 (en) * 2006-06-19 2007-12-20 Donald Martin Monro Data coding
US7770091B2 (en) * 2006-06-19 2010-08-03 Monro Donald M Data compression for use in communication systems
US7689049B2 (en) * 2006-08-31 2010-03-30 Donald Martin Monro Matching pursuits coding of data
US7508325B2 (en) * 2006-09-06 2009-03-24 Intellectual Ventures Holding 35 Llc Matching pursuits subband coding of data
US20080084924A1 (en) * 2006-10-05 2008-04-10 Donald Martin Monro Matching pursuits basis selection design
US7974488B2 (en) 2006-10-05 2011-07-05 Intellectual Ventures Holding 35 Llc Matching pursuits basis selection
US7707213B2 (en) * 2007-02-21 2010-04-27 Donald Martin Monro Hierarchical update scheme for extremum location
US7707214B2 (en) * 2007-02-21 2010-04-27 Donald Martin Monro Hierarchical update scheme for extremum location with indirect addressing
US20080205505A1 (en) * 2007-02-22 2008-08-28 Donald Martin Monro Video coding with motion vectors determined by decoder
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
US8180713B1 (en) 2007-04-13 2012-05-15 Standard & Poor's Financial Services Llc System and method for searching and identifying potential financial risks disclosed within a document
US9374242B2 (en) 2007-11-08 2016-06-21 Invention Science Fund I, Llc Using evaluations of tentative message content
US8682982B2 (en) 2007-06-19 2014-03-25 The Invention Science Fund I, Llc Preliminary destination-dependent evaluation of message content
US8984133B2 (en) 2007-06-19 2015-03-17 The Invention Science Fund I, Llc Providing treatment-indicative feedback dependent on putative content treatment
US8082225B2 (en) 2007-08-31 2011-12-20 The Invention Science Fund I, Llc Using destination-dependent criteria to guide data transmission decisions
US8065404B2 (en) 2007-08-31 2011-11-22 The Invention Science Fund I, Llc Layering destination-dependent content handling guidance
US7930389B2 (en) 2007-11-20 2011-04-19 The Invention Science Fund I, Llc Adaptive filtering of annotated messages or the like
US8037069B2 (en) * 2008-06-03 2011-10-11 Microsoft Corporation Membership checking of digital text
JP5320895B2 (ja) * 2008-08-07 2013-10-23 富士通株式会社 情報検索方法及び情報検索装置
JP5247311B2 (ja) * 2008-08-29 2013-07-24 キヤノン株式会社 電子文書処理装置および電子文書処理方法
US7864086B2 (en) * 2008-10-06 2011-01-04 Donald Martin Monro Mode switched adaptive combinatorial coding/decoding for electrical computers and digital data processing systems
US7791513B2 (en) * 2008-10-06 2010-09-07 Donald Martin Monro Adaptive combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
US7786903B2 (en) * 2008-10-06 2010-08-31 Donald Martin Monro Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
US7786907B2 (en) * 2008-10-06 2010-08-31 Donald Martin Monro Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
KR101452664B1 (ko) 2010-09-03 2014-10-22 아이패러다임스, 엘엘씨 문서 분석 시스템 및 방법
RU2571539C2 (ru) * 2014-02-03 2015-12-20 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ поиска похожих электронных документов, размещенных на устройствах хранения данных
US20170060826A1 (en) * 2015-08-26 2017-03-02 Subrata Das Automatic Sentence And Clause Level Topic Extraction And Text Summarization
US11106867B2 (en) 2017-08-15 2021-08-31 Oracle International Corporation Techniques for document marker tracking
US11475209B2 (en) 2017-10-17 2022-10-18 Handycontract Llc Device, system, and method for extracting named entities from sectioned documents
WO2019077405A1 (en) * 2017-10-17 2019-04-25 Handycontract, LLC METHOD, DEVICE AND SYSTEM FOR IDENTIFYING DATA ELEMENTS IN DATA STRUCTURES

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US5590317A (en) * 1992-05-27 1996-12-31 Hitachi, Ltd. Document information compression and retrieval system and document information registration and retrieval method
GB9220404D0 (en) * 1992-08-20 1992-11-11 Nat Security Agency Method of identifying,retrieving and sorting documents
US5649183A (en) * 1992-12-08 1997-07-15 Microsoft Corporation Method for compressing full text indexes with document identifiers and location offsets
US5752051A (en) * 1994-07-19 1998-05-12 The United States Of America As Represented By The Secretary Of Nsa Language-independent method of generating index terms
JP2929963B2 (ja) * 1995-03-15 1999-08-03 松下電器産業株式会社 文書検索装置および単語索引作成方法および文書検索方法
US5960447A (en) * 1995-11-13 1999-09-28 Holt; Douglas Word tagging and editing system for speech recognition
US5963893A (en) * 1996-06-28 1999-10-05 Microsoft Corporation Identification of words in Japanese text by a computer system
US6035268A (en) * 1996-08-22 2000-03-07 Lernout & Hauspie Speech Products N.V. Method and apparatus for breaking words in a stream of text
US6760756B1 (en) * 1999-06-23 2004-07-06 Mangosoft Corporation Distributed virtual web cache implemented entirely in software
JP3915331B2 (ja) * 1999-08-10 2007-05-16 富士ゼロックス株式会社 共有ドキュメントの編集装置及び編集方法
US6757739B1 (en) * 2000-06-05 2004-06-29 Contivo, Inc. Method and apparatus for automatically converting the format of an electronic message

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524131A (ja) * 2006-01-13 2009-06-25 エセックス パ エルエルシー テキストの識別
US8674855B2 (en) 2006-01-13 2014-03-18 Essex Pa, L.L.C. Identification of text
CN115879441A (zh) * 2022-11-10 2023-03-31 中国科学技术信息研究所 文本新颖性检测方法、装置、电子设备及可读存储介质
CN115879441B (zh) * 2022-11-10 2024-04-12 中国科学技术信息研究所 文本新颖性检测方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US6029167A (en) 2000-02-22
US6820079B1 (en) 2004-11-16

Similar Documents

Publication Publication Date Title
US6820079B1 (en) Method and apparatus for retrieving text using document signatures
US5802515A (en) Randomized query generation and document relevance ranking for robust information retrieval from a database
JP3497172B2 (ja) 自動文書分類システム
US6523030B1 (en) Sort system for merging database entries
US7236923B1 (en) Acronym extraction system and method of identifying acronyms and extracting corresponding expansions from text
JP2726568B2 (ja) 文字認識方法及び装置
Liu et al. Key phrase aware transformer for abstractive summarization
US7778954B2 (en) Systems, methods, and software for presenting legal case histories
Doermann et al. The detection of duplicates in document image databases
KR100451978B1 (ko) 정보 검색 방법과 정보 검색 장치
US8606779B2 (en) Search method, similarity calculation method, similarity calculation, same document matching system, and program thereof
JPH0424869A (ja) 文書処理システム
JP5510563B2 (ja) 検索プログラム、検索装置、および検索方法
Skylaki et al. Legal entity extraction using a pointer generator network
Nanba et al. Bilingual PRESRI-Integration of Multiple Research Paper Databases.
JPH0782504B2 (ja) 情報検索処理方式および検索ファイル作成装置
CN112949287A (zh) 热词挖掘方法、系统、计算机设备和存储介质
Knight et al. An automated system for plagiarism detection using the internet
JP2000207404A (ja) 文書検索方法及び装置並びに記録媒体
Lu et al. Retrieving imaged documents in digital libraries based on word image coding
Bakr et al. Specialized Syntactic Quran Search Engines: Evaluation and Limitations
CN119647406B (zh) 文本生成方法、装置、电子设备及计算机可读存储介质
JP2001092831A (ja) 文書検索装置及び文書検索方法
JP2000339342A (ja) 文書検索方法および文書検索装置
JP3438947B2 (ja) 情報検索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021