JPH05101106A - 質問回答システム - Google Patents

質問回答システム

Info

Publication number
JPH05101106A
JPH05101106A JP4087329A JP8732992A JPH05101106A JP H05101106 A JPH05101106 A JP H05101106A JP 4087329 A JP4087329 A JP 4087329A JP 8732992 A JP8732992 A JP 8732992A JP H05101106 A JPH05101106 A JP H05101106A
Authority
JP
Japan
Prior art keywords
database
words
word
fuzzy
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4087329A
Other languages
English (en)
Other versions
JP2804403B2 (ja
Inventor
Stamatis Vassiliadis
スタマテイス・ヴアシリアデイス
Walid Kobrosly
ウオリツド・コブロスリ
George Triantafyllos
ジヨージ・トライアントフイロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH05101106A publication Critical patent/JPH05101106A/ja
Application granted granted Critical
Publication of JP2804403B2 publication Critical patent/JP2804403B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468—Fuzzy queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00—Data processing: artificial intelligence
    • Y10S706/90—Fuzzy logic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00—Data processing: artificial intelligence
    • Y10S706/902—Application using ai with detail of the ai system
    • Y10S706/934—Information retrieval or Information management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 【目的】 本発明は、ファジイ論理に基づく質問回答シ
ステムを提供する。 【構成】 本システムは、関係ある項目との関係を示す
ファジイ・メンバーシップ値によるファジイ・エバリュ
エータを通して、データベースの各注釈を評価すること
により関心ある項目に直接関係のある情報をデータベー
スが含むかどうかを査定する能力を備える。査定が、関
係ある項目への適合性に関して、全体としてデータベー
スに与えられ、及びその関係ある項目に無関係とみなさ
れる注釈は破棄される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータ・システ
ムに関し、特に、質問回答システムに関する。本発明の
質問回答システムの特徴は、ファジイ論理の使用であ
る。
【0002】
【従来の技術及び発明が解決しようとする課題】質問回
答システムは、自然言語のステートメント及び/又は質
問を扱うシステムである。本発明の質問回答システム
は、ファジイ論理概念を用いる。ファジイ論理に関して
は、例えば、1987年に出版された著者 Michael Smi
thson等らの"行動及び社会科学におけるファジイ集合分
析"(Fuzzy Set Analysisfor Behavioral and Social S
ciences、published by Springer-Verlag、NewYork in
c.)で述べられている。
【0003】提案システムは、コンピュータ・システム
の設計の際に生ずる、特にデータベースの質問回答の問
題に関連し、以下によって詳細に述べられている。コン
ピュータ・システムの開発における様々な設計、試験及
びリリース・フェーズにおいて、ライブラリ形式の多数
のデータベースが開発され、エラー追跡及びブックキー
ピングを始めとする様々な目的のために保持される。開
発プロセスを理解、及び改善するために、以前に開発さ
れたデータベースを、後でプロセスの全体又は一部を表
す形で使用することができる。将来の使用のためにアル
ゴリズム及びツールを開発する目的で、これらのデータ
ベースを分析した。データベースが、ある特定の目的で
開発されたならば、データベースの対象は指定されたア
プリオリ(演繹的)であるので、将来の研究のためにそ
のまま使用することができる。例えば、ライブラリが、
システムのハードウェアの設計中に発見された機能的エ
ラーを表すために開発されたならば、このようなライブ
ラリは、ハードウェアの設計の機能的エラーに関する研
究のためにその開発終了段階でそのまま使用することが
できる。
【0004】しかしながら、開発されたデータベース
が、初期目的とは異なる用途に使用させられるケースは
多い。このような必要性は、予期できない研究を含む様
々な理由から生じる。例えば、ブックキーピングの目的
のための開発サイクルの初期段階で作成されたライブラ
リは、論理設計の経歴に関する情報を含み、及び機能テ
スト研究の関連情報を含む可能性がある。仮定として、
データベースがルーチン・ブックキーピング機能によっ
てアクセスされて、機能的エラーが発見された場合に
は、そのエラーを訂正できることが望ましい。さらに、
その適用可能性が与えられると仮定して、このようなデ
ータベースは、エラー追跡ライブラリがシステム開発の
統合段階で開発された場合には、エラー追跡ライブラリ
よりも機能的エラーへの対応を表すと思われる。
【0005】データベースがプロセスに直接関係のある
情報を有する可能性がある場合、データベース全体が目
的とするアプリケーションに直接関係があると仮定する
ことが可能である。この例が、題名"マイクロコードに
対するサイクロマティック複合メトリックスの応用"(A
n Applicationof Cyclomatic Complexity Metrics to M
icrocode)で著者Timothy McNamara(TR01.A517、IBM C
orporation、Systems Product Division、Endicott、Ne
w York.) によって述べられている。しかしながら、こ
の仮定は、多くの環境において賢明な選択ではない。な
ぜならこのようなデータベースは、重要なアプリケーシ
ョンに適応させるために開発されたものではないし、そ
の上、開発プロセスに関して誤った結論になるかもしれ
ない。実際には、目的とするアプリケーションへのデー
タベースの適合性に対する可能性を調査することが賢明
である。データベースが関係する項目に直接関係のある
情報を含むかどうかを査定するため、及び、ライブラリ
が関係する項目に直接関係があると判明した場合、無関
係なライブラリ・エントリを除外するために、その判断
の妥当性を査定する能力を備えるツールの存在が望まし
い。現在、適切な機能を提供する本発明が開発したツー
ルにまさるツールはない。
【0006】コンピュータ・システムの開発途中で発生
するデータベースは、一般に"注釈"を含んでおり、この
ようなシステムに対しての従来のデータベースの問題
は、このような注釈を調べることによって突き止めるこ
とができる。
【0007】妥当性検査方法論は、確率理論を用いて開
発することができる。しかし、このアプローチは、必ず
しも適切であるとは限らない。なぜなら、データベース
の妥当性は、共通の理由による、ある書式を使用するこ
とによって自然言語で書かれているデータベースの注釈
で実行されなければならないからである。前述のよう
に、確率アプローチは、このタイプのアプリケーション
用としては必ずしも適切でない。これに関してはG. Kli
r の著書"理論家が主張する確率論よりもさらに不確実
性が存在するのか?"(Is There More to Uncertainty
than someprobability Theorists might have us Belie
ve?、published in theInternational Journal of Gene
ral Systems、Vol.15、No.4、April 1989)で次のよう
に指摘している。
【0008】・自然言語記述特有の非特定性又はあいま
い性を減らす試みは保証されないだろう。 ・"確率論が、自然言語に存在する様々な記述又は規則
に対してどのように効果的に説明及び処理できるかは明
確ではない。"
【0009】注釈付きデータベースの妥当性に対する別
のアプローチは、自然言語の質問回答システムを開発す
ることにあるかもしれない。不明瞭な関係を利用するこ
とでこのようなシステムを開発するのは可能であるが、
このような解決方法は、以下を含む多くの理由で必ずし
も有益であるとは限らない。
【0010】・コンピュータ・システムは、複数の国で
開発されるので、データベースの注釈は複数の自然言語
で書込まれることになる。このことは複数のシステムを
開発する必要性を意味する。この例が、アメリカ合衆国
及びドイツ国を含む、異なる自然言語を有する多数の国
で開発されたIBM9370型コンピュータ・システム
である。 ・データベースの妥当性を検証するのが、この研究の最
終目的ではない。自然言語の質問回答システムの開発
は、相当な努力が必要であり、及びデータベースが、そ
のアプリケーションに適切でないならば、破棄しなけれ
ばならない。ここでの問題は、可能な解決策ではなく、
むしろ、その実現及び開発努力であって、特に、データ
ベースがアプリケーションの目的に適合しない場合の、
プロジェクトの後の局面で決められる問題である。 ・自然言語の質問回答システムは、異なるデータベース
及び/又はそのままの形での異なるタイプの調査には適
用できない。従って、少くとも質問回答システムの一部
分は、所望するアプリケーションを反映させるために、
修正及び/又は拡張が必要である。
【0011】ある概念に基づく可能性に対する調査の結
果、最少の労力で注釈付きデータベースの評価を促進及
び簡略化する新しいツールの必要性は、明らかに満たさ
れていない。このようなツールは、その使用において最
小限の開発努力をするだけで、様々な状況において適用
できるようにしなければならない。このようなツール
は、その適用可能性の査定よりもむしろデータベースの
分析に時間が費やされるべきである。しかしながら、シ
ステムが注釈の合理的な除外を保証するのに十分に正確
でないと査定されるならば、システムは、事前指定のア
プリケーションに対するデータベース追従のインジケー
タとして使用でき、そしてその能力は、そのデータベー
スの適合性をさらに調査するための自然言語の質問回答
システムの利用で増大することになる。
【0012】このようなツール、すなわち本発明のツー
ルと同等の能力を有するツールが存在するならば、自然
言語の質問回答システムは、一層、正確な分析が求めら
れる場合のみに実行されなければならない。従って、そ
のような自然言語の質問回答システムの開発は、本発明
のツールなしで、アプリオリではなく、開発が必要とさ
れるときだけ行われている。
【0013】
【課題を解決するための手段】ここに提供される解決策
は、ファジイ論理に基づく質問回答システムである。本
発明のツールは、指定課題範囲に対するデータベースの
適用可能性を素早く査定し、及びデータベースの無関係
な注釈の除外を提供する。本発明の新ツールを活用可能
にするために、その説明をこの出願の冒頭及び以下で述
べることを含む、下記の数冊の刊行物によって詳細に述
べる。
【0014】1.著者A.Kandelの題名"パターン認識の
ファジイ技術"("FuzzyTechniques in Pattern Recogni
tion、" published by John Wiley and Sons、in New
York、1982) 2.著者Michael Smithsonの題名"行動及び社会科学に
おけるファジイ集合分析"("Fuzzy Set Analysis for B
ehavioral and Social Sciences"published by Springe
r-Verlag inc. inNew York、1986) 3.著者M.Kochen and A.Badreの題名"ファジイ集合を
表す従属的精度"(On the Precision of Adjectives wh
ich Denote Fuzzy Sets" published in theJournal of
Cybernetics、Vol.4、No.1、January 1974) 4.著者P.Zysnoの題名"メンバーシップ関数のモデル
化"("ModellingMembership Functions" published in
Empirical Semantics、Vol.1、inJanuary 1981)
【0015】以下で、ファジイ質問回答システムの開発
のための簡単な説明及び直観的正当性及び論拠を述べ
る。データベース内のワード及び注釈に関連する信頼度
の概念は、形式に定義され公式化される。ファジイ評価
アルゴリズム、及びその能力に関しては後述する。
【0016】本発明は、口語体で書込まれたデータベー
スを処理する質問に回答する新ツールを提供する。この
ツールをファジイ論理に基づいたファジイ推論データベ
ース質問回答システムと呼ぶ。この新しいツールは、あ
る関係する項目に関するデータベースの適合性の評価の
ために、自然言語の質問回答システムの代替として使用
できる。提案システムは、特定の項目に関連することを
示すファジイ・メンバーシップ値に起因するファジイ・
エバリュエータを通して、データベースの各注釈を評価
することによって関係する項目に直接関係のある情報を
データベースが含むかどうかを査定する能力を提供す
る。関係する項目に対するデータベースの適合性におけ
る全体的な関連性は、データベースに対して査定が与え
られ、その結果、その項目とは無関係と見なされる注釈
は破棄される。
【0017】簡単にいえば、ツールは、3段階のプロセ
スとして述べられている。第1段階でのデータベースの
プリプロセスにおいて、データベースの注釈フィールド
が、一般に肯定又は否定の何れかの特定の項目を記述す
るために使用される可能性のあるワードを見つけるため
に調べられる。これらのワードは、第2段階においてデ
ータベースの作成に係わる個人、又は関係する項目に精
通する人によって、データベーで最も良く使用されてい
るかを反映する信頼値を割り当てられる。第3段階で
は、データベースの各注釈は、第1段階のワード及び第
2段階の対応する信頼値を用いて評価される。このプロ
セスの結果、関係する項目を表す特定の集合に対するレ
コードのメンバーシップ等級を示す各レコードに1つの
数のベクトルを作る。この信頼ベクトルに基づいて、関
係する項目に対するデータベースの適合性が判断され
る。信頼ベクトルが、関係する項目と強く関連するレコ
ードを高確率で指摘すると、次にツールは、これらのレ
コードを特定項目の将来の研究のために抽出する。
【0018】
【実施例】提案システムの総体的設計が、図1によって
例示されたファジイ推論データベース質問回答システム
の好ましい実施例で示されている。システム構成は次の
通りである。
【0019】・単一ワード・ジェネレータ11(図2で
さらに詳細を例示する) ・関連ワード・テーブル・ジェネレータ106 ・インタビュー101 ・FEVプロセッサ102 ・ファジイ・エバリュエータ104(図5で詳細に例示
されている) ・結果アナライザ105
【0020】単一ワード・ジェネレータ11 好ましい実施例の詳細を次に述べる。単一ワード・ジェ
ネレータ11は、図2のブロック20〜28でいっそう
詳細に述べられており、データベースの注釈を分析し、
データベースの注釈に含まれるすべての単一ワード・リ
スト12を、アルファベット順にソートして生成する。
データベースの注釈は、ASCIIファイル形式で単一
ワード・ジェネレータ(行に1つの注釈)に提示され
る。図2のブロック20は、ファイルから行を読出し、
その行をブロック21に送りワードに分割し、後で使用
するために注釈中で見つけたワードの数をセーブする。
これらのワードは、コンピュータのメイン・メモリの一
時リストに格納される。図2のブロック22は、一時リ
ストからワードを読出し、そのワードが、単一ワード・
ジェネレータによって維持されたワードのリストにある
かどうかチェックする。"キープ・リスト"と呼ばれるこ
のリストは、ASCIIファイルに格納される(行に1
つのワード)。調査対象のワードがすでにその"キープ
・リスト"(判断ブロック23)にある場合、カウンタ
は、ブロック24によってそのワードのために増分させ
られている。このカウンタは、データベースにおけるワ
ードの使用頻度の情報を提供する。ワードがリストに存
在しない場合、判断ブロック23はその制御をブロック
25に渡し、ブロック25はそのワードをアルファベッ
ト順で"キープ・リスト"に加える。図2のブロック26
は、現注釈のより多くのワードについて調べ、処理すべ
きワードがあるならばブロック22に制御を渡す。しか
し、処理すべきワードがない場合は、ブロック27に制
御を渡し、入力ファイルから読出されるさらに多くの注
釈について調べる。データベースの全注釈が処理される
と、判断ブロック27は、ブロック28に制御を渡す。
ブロック28は、各ワードの頻度を"キープ・リスト"の
各ワードの次に書込みする。ブロック28は、ブロック
21の各注釈で見つけたワード数を、以下のように統計
する。
【0021】1.データベースの全ワード数 2.単一ワード数 3.数字を有するレコード数
【0022】上述の統計は、後で使用するためにASC
IIファイルに格納される。正当なワードに加えて、単
一ワード・リストには、誤字、省略形、頭字語等のワー
ドが含まれる。このプロセスによって計算された各ワー
ドの使用頻度は、データベースで最も使用されたワード
として識別するために、以降のプロセスで使用される。
単一ワード・リストに加えて、このプロセスは、また、
数字を有するレコードの比率を計算する。
【0023】図1の単一ワード・リスト12は、次のス
テップへの入力(関連ワード・テーブル・ジェネレータ
106への)として生成される。データベースのサイズ
次第で、リストの大きさは数百、数千のワードを有する
ことになる。
【0024】関連ワード・テーブル・ジェネレータ、1
06/ワード・プロセッサ15関連ワード・テーブル・
ジェネレータ106/ワード・プロセッサ15について
説明する。そのオペレーションが図3及び図4で説明さ
れる関連ワード・テーブル・ジェネレータ106は、置
換テーブル・ジェネレータ13のワードのマニュアル処
理及びワード・プロセッサ15によるデータベースの自
動調査が必要である。図3のブロック30〜33で示さ
れる置換テーブル・ジェネレータ13のマニュアル・プ
ロセスのオペレーション中に、単一ワード・ジェネレー
タ11によって生成された単一ワード・リスト12は、
潜在的"関連"ワードを引き抜き、置換テーブル14と呼
ばれるテーブルに置くために分析させられている。
【0025】このプロセス中に、ツールのユーザは、単
一リスト30のワードを読取り、そのワードが、関係す
る項目を説明するのに使用できるかどうか決定する。そ
のワードを維持する判断がなされた場合(判断ブロック
31)、次に、ユーザは、ブロック32で示すように"
関連ワード・リスト"と呼ばれるファイルにこのワード
をセーブする。そうでない場合はこのワードを破棄す
る。
【0026】置換テーブル14は2つのカラムを有し、
第1カラムはデータベースに現れるワードに付随し、第
2カラムは第1カラムのワードに対応する同義語に付随
する。これは、正しくないワード、例えば、誤字、頭字
語等のワードをデータベースで正しく置き換えるためで
ある。例えば、ERROR及びFIXが関連ワードとみ
なされた場合、ERORは、ERRORよって、及びF
IXEDはFIXによって代替させられる。図4で示す
自動処理中に、オリジナル・データベースの注釈が、ワ
ード・プロセッサ15(図4のブロック40)によって
読出される。各注釈は、ブロック41によってワードに
分解され、次に、ワード・テーブルがブロック42によ
って読出される。ブロック43は、ブロック41で生成
されたリストからワードを読出し、そのワードを見つけ
るためにワード・テーブルを探索する。ワードが置換テ
ーブルの第1カラムで見つけられた場合、判断ブロック
44は、ブロック46に制御を渡す。ブロック46は、
置換テーブルの第2カラムからそのワードを読出し、そ
の時点で生成された新しい注釈にそのワードを加える。
現在調べているワードが置換テーブルの第1カラムで見
つけられない場合、次に、ブロック44は、ブロック4
9にその制御を渡す。ブロック49は、削除テーブル1
7と呼ばれるテーブルにそのワードをセーブする。判断
ブロック45は、現在の注釈に対してさらに多くのワー
ドについて調べ、ワードを見つけた場合、ブロック43
に制御を渡す。しかし、そうでない場合は、ブロック4
7にその制御を渡す。ブロック47は、ブロック46で
生成された注釈をファイルにセーブする。判断ブロック
48は、オリジナル・データベースについてさらに多く
の注釈を調べる。
【0027】ツールのユーザが置換テーブルに対してさ
らに多くの情報が必要と判断した場合、ユーザは、図3
で示されたプロセスを繰返し、置換テーブルの情報を増
やすことができる。上述の分析の結果、新しい"注釈レ
コード"が生成され、2番目のデータベースが得られ
る。修正データベース16と呼ばれるこのデータベース
は、置換テーブル14だけに存在するワードを有する。
単一ワード・ジェネレータ18を使用し、修正データベ
ース16でオペレーティングさせることにより、修正デ
ータベースの全ての単一ワードのリストが生成される。
これを関連ワード・テーブル19と呼ぶ。
【0028】前述のステップで生成された各単一ワード
の頻度は、データベース全体にわたって一般に最も使用
されるワードを識別するのに用いられている。これは、
関係する項目に関連すると思われるワードを取り込むた
めの判断因子である。修正データベースを生成するプロ
セスは、幾らかのデータを失わせることになる。関連ワ
ードを持たない多数のレコードが、終了することにな
る。この場合、単一ワード・ジェネレータ(図2のブロ
ック28)によって生成された統計値及び各ワードの使
用頻度は、データを損失させることが妥当か、又は関連
ワード・テーブルにさらにワードを加えるかを決めるの
に用いられている。
【0029】ブックキーピング・ライブラリの分析中に
おいて、損失されるべきデータである低使用頻度のワー
ドを多く取り込んでもデータベースの比率を根本的に高
めないことが理解できた。
【0030】専門家へのインタビューによる評価プロセ
スのステップについて説明する。インタビュー101に
よる対話ステップは、ここで述べる半自動システムの一
部である。関連ワード・テーブルは、単一ワード・ジェ
ネレータ18によって生成された後、調査中の項目に対
して"専門家"と考えられる個人、及び関連ワード・テー
ブルの各ワードのメンバーシップ等級を構築するために
データベースを作成したグループ員に対して配布され
る。調査参加者は、関係する項目に関するワードの使用
の理解力を反映する全ワードに対して信頼値に基づくこ
とを問われる。換言すると、信頼値は、その人が、特定
のワードがデータベースの注釈フィールドで最も好まれ
て使用されているかを、どれだけ理解しているかを示
す。
【0031】調査に対する回答は、最大値を1として縮
尺され、関連ワード・テーブルのワードのメンバーシッ
プ等級を構築するのに用いられている。このプロセス
が、図1のブロック101である。
【0032】FEVプロセッサ102を説明する。対話
後、調査の縮尺された回答は評価され、メンバーシップ
等級が関連ワード・テーブルの各ワードに割り当てられ
る。このようなタスクは、各ワードのファジイ期待値を
得ることによって成される。ファジイ期待値(FEV: Fuz
zy Expected Value) プロセッサは、インタビューの縮
尺応答を読出し、関連ワード・テーブルの各ワードにメ
ンバーシップ等級を割り当てる。メンバーシップ等級
は、対話中に生成される全応答を平均化することによっ
て得られる。各ワードのメンバーシップ等級は、そのワ
ードの次の関連ワード・テーブルに格納される。これが
図1のブロック103である。
【0033】ファジイ・エバリュエータ104及び結果
アナライザ105について説明する。図5及び図6は、
以下に述べるファジイ・エバリュエータとして示された
装置のブロック図を示す。図5のブロック50は、図4
の装置によって生成された修正データベースから注釈を
読出し、それを、ブロック51に渡す。ブロック51
は、与えられた注釈のワード数をカウントする。その注
釈は、前述したようにワードを含まないか、又はより多
くのワードを含むかどちらかである。与えられたレコー
ドがワードを含まない場合、次に、判断ブロック52
は、ブロック53にその制御を渡す。ブロック53は、
一時変数に値ゼロを割り当てる。判断ブロック52がそ
のレコードにワードを見つけた場合、判断ブロック54
にその制御を渡す。与えられた注釈にただ1つだけのワ
ードがある場合は、判断ブロック54はブロック55に
その制御を渡す。ブロック55は、ASCIIファイル
から関連ワード・テーブルを読出してブロック56にそ
の制御を渡す。ブロック56は、関連ワード・テーブル
のワードの位置を突き止め、そのテーブルから対応する
信頼値を読出し、それをブロック57に渡す。次に、ブ
ロック57は、信頼値を一時変数に割り当てる。判断ブ
ロック54がその注釈中に複数のワードを見つけた場
合、ブロック58にその制御を渡す。注釈に2つのワー
ドがあるならば、次に、ブロック58は、ブロック59
にその制御を渡す。ブロック59は、ASCIIファイ
ル(図1のブロック103)から関連ワード・テーブル
を読出し、ブロック501にその制御を引き渡す。ブロ
ック501は、関連ワード・テーブル(103)の注釈
の2つのワードの位置を突き止め、そのテーブルから対
応する信頼値を読出す。ブロック501は、次に、2つ
の値をブロック502に引き渡す。ブロック502は、
後で説明する本発明の関数(数式1)を用いて、注釈の
結合信頼値を計算し、一時変数に格納する。読出された
注釈が、3以上のワード数を有するならば、判断ブロッ
ク58は、ブロック504に分岐し、ASCIIファイ
ルから関連ワード・テーブルを読出し、その制御をブロ
ック505に引き渡す。ブロック505は、その関連ワ
ード・テーブルの注釈の全ワードの位置を突き止め、そ
して対応する信頼値を読出す。ブロック505は、次
に、これらの値をブロック506に引き渡す。ブロック
506は、3以上のワードの場合に、信頼値を計算す
る。ブロック506のオペレーションに関しては、図6
で示され、後で詳細に説明される。ブロック506は、
その計算結果をブロック507に引き渡す。ブロック5
07は、計算結果をメモリに格納し、制御をブロック5
09に渡す。ブロック509は、注釈評価の結果をテキ
スト・ファイルに格納する(1行に1つの値)。ブロッ
ク509は、その制御を判断ブロック508に渡す。判
断ブロック508は、入力データベースのさらに多くの
注釈を調べる。さらに注釈がある場合は、その制御をブ
ロック50に渡す。しかし、そうでなければ終了する。
【0034】ブロック506(図6)の詳細な説明は、
後ほど行う。
【0035】図5のファジイ・エバリュエータの説明で
は、システム設計は関係する特定の項目を対象にするこ
とになっているが、その実現には基本的仮定が仮想され
ており、様々なアプリケーションの範囲内で僅かな修正
を加えることができる。システムのセクションは、特定
のアプリケーション(図1でブロック13として示され
ている)及びメンバーシップ等級値を関連ワード(図1
でブロック101として示されている)に期するための
専門家との対話に直接関係のあるワードの選択に関して
修正が必要である。
【0036】本発明における最初の観測は、システムは
構文及び意味的規則を展開しないで、オリジナルの注釈
の部分的な記述を含む修正された注釈で動作するという
ことである。本発明のツールの開発及びその妥当性の検
証を行う前に生じた重要な疑問は、注釈(構造の損失、
ワードの連結及び意味等を含む)の部分的な記述でオペ
レーティングするシステムが将来に有望であるかという
ことである。このアプローチの可能な"長所"に対する直
観的正当性は、以下の通りである。
【0037】・注釈はランダムで書かれておらず、注釈
者の意図を反映する。 ・注釈が短い。従って、注釈は何が生じたかを最も好ま
しく反映し、少ないキーワードで得ることができる。 ・ほとんどの注釈が、何が発生せず、得られなかったか
ではなく、何が発生し、得られたかを反映する。すなわ
ち、多くの場合に否定的なステートメントはない。 ・注釈は、データベースのアクセスにおいて最も好まし
く単一又は複数の関係及び無関係なアクションを反映
し、複数の無関係なアクションを関係あるアクションと
混合しない。
【0038】(単一又は複数の関係及び無関係なアクシ
ョンの原理は、後述説明では"単一アクション原理"と称
することに注意されたい)。
【0039】前述の正当化ステートメントが意味すると
ころは、注釈の意図は、ほんの僅かなワードで得ること
ができ、データベースのアクセスに関連するアクション
は、注釈の正確な内容を把握しなくても推論できること
である。明らかに、正確なアクションを注釈に結び付け
ることは不可能である(そのような断定は、ワードが他
のワード間に現れる文脈を必要とする)。しかし、これ
は、調査の目的が特定の理由の断定ではなく、むしろ、
関係する項目と注釈の関係であって、必要条件ではな
い。例えば、機能テストにその適合性を求めるためにブ
ックキーピング・ライブラリを調べ、この項目に関する
注釈を推論する場合に、このライブラリの注釈が、特定
の論理又はマイクロコードの一部に生ずる可能性のある
厳密な性格ではなく、一般的な機能変化に関するかどう
かであることが求められねばならない。これまでの説明
では、変化の正確な原因を見つける説明がなされていな
い。システム試験に関するアルゴリズムの開発において
は、マシンの一部に変化が発生した時に、エラー数を確
認することが重要である場合には、変化の正確な原因は
直接には関係なく、信号の誤った極性又はマイクロ命令
の誤った実行等による変化かどうかの発生原因の突き止
めは別問題となる。従って、提案システムの欠点は、総
体的な結果において重要ではない。
【0040】しかしながら、あるアプリケーションはア
クションの正確な理由を求めないが、一方、そのような
能力が非常に望まれる他の環境がある場合がある。この
ような環境においては、提案システムは、データベース
が関係する項目に関連するかどうか、及びどのエントリ
ーを破棄するかを決めるインジケータとしてだけ使用さ
れる。従って、これらの環境において、本発明は、なお
一層の調査のために使用できるツール、例えば、自然言
語の質問回答システムを提供する。
【0041】注釈レコードに2つのワードがある場合、
この2つのワードの信頼値は以下の方法により、図5の
ブロック502で示すように、一緒にまとめることがで
きる。説明の簡略化のために、結果が同じようなものは
関連するケースから推論することにする。データベース
が機能テストに直接関係ある情報を含む可能性があると
仮定する。本質において、データベースの注釈が論理的
変化等を表す可能性があると仮定する。さらに、関連ワ
ード・テーブル19のワードを下記のように仮定する。
【0042】ERROR /0.8 BUG /0.9 FIX /0.8 UPDATE /0.5 COMMENT /0.1 SYNTAX /0.1
【0043】(ここにおいてx/yは、そのペアを示す
重要なワードxと信頼値yである)。さらに、修正デー
タベースには唯一2つのワードが表されており、以下の
5つの注釈があると仮定する。
【0044】1.<SYNTAX、ERROR> 2.<COMMENT、SYNTAX> 3.<UPDATE、COMMENT> 4.<FIX、UPDATE> 5.<FIX、BUG>
【0045】注釈に起因する信頼度は、2つの単一ワー
ドの信頼度間においてAND演算子の使用を必要とする
ように解釈される。一般に3種類のAND演算子があ
る。すなわち、最小演算子、積演算子及び有界和演算子
である。これらは著者M.Smithsonの題名"行動及び社会
科学におけるファジイ集合分析"で述べられている。図
7は、3つの演算子を用いた全レコードの信頼値を表
す。
【0046】最小演算子の定義には、ペアのワードが調
べられる場合、そのペアと関連する信頼値が、2つのワ
ードの最小の信頼値である必要性を含んでいる。最小演
算子によって第1注釈に与えられた信頼値0.1は、大
体合っているか、又はわずかに悲観的であると言える。
なぜなら、レコードが実質的な変化を表さないことを示
す。すなわち、問題の"構文エラー"が"ささいなフィッ
クス"であると仮定される場合である。さらに、このよ
うな仮定条件下では、0.5(0.5は、無関係の状態
のポイントである)を越えない信頼値を作り出す何れの
案は、ほぼ合っていると言える。換言すると、第1注釈
に対して認められる信頼値は、最小値であるか又は0.
5のポイントを越えない最小値の増加値である。最小演
算子によって第2注釈に与えられた信頼値0.1は、両
方のワードが僅かなフィックスであると指摘するので、
非常に楽天的であると考慮できる。そうでなければ、ワ
ードであるBUG、FIX又はERRORは、同様に存
在することになり、その結果、ペアである<COMME
NT、SYNTAX>による信頼値は、減少しなければ
ならない。第1及び第2注釈には、実質的変化が見られ
ないが、第1注釈はワードのERRORの存在のため
に、第2注釈よりも大きい信頼値でなければならないこ
とに注意されたい。第3注釈による信頼値は、同一理由
で正しいか、又は少し過度的に悲観的であると考えられ
る。第4注釈による信頼値は、非常に悲観的であるとみ
なされる。これは第4注釈が無関係な最新の情報である
よりも問題による最新の情報であるからである。従っ
て、信頼値が、0.5よりも0.8に一層近づくことに
なる。最後に、ペアの<FIX、BUG>による信頼値
0.8は、注釈を表すとは考慮されない。なぜなら、こ
の場合の変化の信頼度は低い値と結合するよりもむしろ
強化されるからである。換言すると、ワード"FIX"及
び"BUG"の存在は、2つのワードの単独の何れの信頼
よりも、変化が表れており、一層の信頼を与える。この
ような場合、信頼値は少くとも0.8より大きくなけれ
ばならず、及び0.9よりも大きくなる場合がある。
【0047】積演算子は、2つの信頼値の乗算でペアの
信頼値を作る。最小演算子への説明は、積演算子にも付
加の観測で応用され、積演算子は、2つの注釈に対して
は最小演算子よりもよく影響するが、他の注釈に対して
はそれ程でもない。
【0048】最後に、有界和演算子は、ワードiによる
信頼値を表すμiで、max[0、(μx+μy−1)]
によって信頼値を作る。このような演算子は、全ての注
釈に対して非常に悲観的であると考えられる。
【0049】3つのAND演算子は、任意の複数の環境
における信頼値を求めるには適切でない。これは、以下
の観測理由からである。
【0050】1.2つのワードが、関係する項目と好ま
しく結び付き、同じ文に現れると、この2つのワードは
関係する項目を表す文の信頼値を増強する。従ってその
結果の信頼値は、最大値に"近づく"ことになり、ワード
又は両方のワードの信頼値が、ある"連結"値に"近づく"
場合、最大値を越える可能性がある。 2.2つのワードが両方共、関係する項目と逆に結び付
く場合、これらの2つのワードが現れる注釈は関係する
項目を述べていない。従って、2つのワードの信頼値
は、最小値に"近づく"ことになり、2つの信頼値が、あ
る"分離"値に"近づく"場合、最小値を下回る可能性があ
る。 3.2つのワードがカットオフ値の場合である。すなわ
ち、両方のワードが関係する項目と関連しないか、又は
分離しない場合、結合された信頼値がカットオフ値であ
る。 4.後で説明される連結及び分離が確かな場合を除い
て、もし1つのワードが好ましくなく他のワードが好ま
しい場合で、仮定の例における注釈1として、1つのワ
ードが非常に好ましくない場合、その注釈の信頼値は、
最小値に"近づく"ことになる。一方、そうでない場合
は、最大値に"近づく"ことになる。前述のステートメン
トは、極端な場合であるが、しかしながら、直観的正当
性はある。関係する項目と関連(非常に強く関連する)
するワードと、ペアである関係する項目から強く分離す
るワードが、連結させられるよりも、さらに分離を"増
強"する、及びその反対もあることは理解できる。例え
ば、ワードのSYNTAX及びCOMMENTが、ワー
ドのERROR、BUGとペアにされる場合、多分、実
質的なフィックスではなく、取るに足らないフィックス
であることを示すであろう。
【0051】上述の説明は、メンバーシップ関数が上述
の4つの観測を密接に反映できることが必要であること
を示す。本発明ではこのようなメンバーシップ関数を調
べるうちに、そのような関数は2つのワードによる信頼
値の平均値と幾らか関係があることが理解できた。
【0052】しかしながら、図7で分かるように、平均
値は注釈に係わる信頼値を表すが、ただ第1近似値とし
て使用されるだけなので、一層、正確な信頼値を作り出
すために調整を必要とする。以下は、前述の観測に一
層、近似する調節された平均値を作り出すメンバーシッ
プ関数の説明である。
【0053】μA(Wi、Wj) を注釈の関係する項目A
に関する信頼度によるメンバーシップ関数であるとす
る。ここでWi及びWjは、同一注釈に現れる2つの個々
のワードiとjに係わる信頼値とすると、μA(Wi、W
j) は数式(1)によって計算できる。
【0054】
【数1】
【0055】ここでkは、0より大きい定数、c=(1
−m)/m、m=(wi + wj)/2、すなわち、2つ
ワードi及びjの平均信頼値である。Iは、0<I<1
であって、次の通りである。信頼値Wr>Iを有するワ
ードrは、関係する項目を好ましく表すとし、一方、W
r<Iであるワードは関係する項目とは逆を表すとし、
Wr=Iは"中性"であるとする。
【0056】図8で説明される数式(1)、及びI=
0.5、k=4.5の図7の仮定例のデータベースの注
釈の値は、ロジスティック成長差式の解に基づく。同様
の関数、数式(2)、数式(3)は、他の案で使用され
ていることに注意されたい。これに関しては、例えば、
M.Kochen and A.Badreによる"ファジイ集合を表す間接
精度"、及びP.Zysnoによる"メンバーシップ関数のモデ
ル化"などがある。
【0057】
【数2】
【0058】
【数3】
【0059】しかしながら、簡単に証明されるように、
数式(2)及び数式(3)の両関数は、数式(1)とは
異なる。
【0060】メンバーシップ関数の幾つかの特性は、以
下の通りである:表記法の簡略化のために、Wiはxに
等しく、Wjはyに等しく、及びμA (Wi、Wj)=
μ(x、y)と仮定すると、メンバーシップ関数は数式
(4)で示されている:
【0061】
【数4】
【0062】・特性1: x=y=0ならばμ(x、
y)=0
【0063】
【数5】
【0064】・特性2: x>I及び y>Iならば、μ
(x、y)>(x+y)/2
【0065】
【数6】
【0066】・特性3: x<I及び y<Iならば、μ
(x、y)<(x+y)/2
【0067】
【数7】
【0068】・特性4: x=y=Iならば、μ(x、
y)=I
【0069】
【数8】
【0070】・特性5: x<I又は y<I、且つxy
>I 2ならば、 μ(x、y)>(x+y)/2 証明: 特性2に相似である。
【0071】・特性6: x<I又は y<I、且つxy
<I 2ならば、 μ(x、y)<(x+y)/2 証明: 特性3に相似である。
【0072】・特性7: x=y=1ならば、μ(x、
y)=1 証明: トリビアルな(m=0及びμ(x、y)=1)
【0073】特性2及び特性3は、観測1及び2を反映
する。これは、これらの信頼値がそれぞれのペアのワー
ドの信頼値の最大値及び最小値によるからである。特性
4は、観測3を密接に反映する。特性5及び6は、図9
が示すように観測4を反映する。図9において、信頼値
x及びyは、値0〜1の範囲で0.1で増分すると仮定
される。ペアのワードの信頼値が関係する項目(xの値
は0.1及び0.2)から強く分離されたことを示す場
合、ペアによる信頼値は、yの値ではなくxの値に常に
近づく。ペアによる信頼値が分離されたが"強く"ない場
合、yの強く結び付けられた値が、例えば、x= 0.3
のときに0.9の場合、ペアの信頼値は分離よりもむし
ろ結び付きにより近くなる。
【0074】特性1及び特性7は、境界条件が考慮され
ることを示す。しかしながら、数式(1)によって説明
されたメンバーシップ関数が、すべての可能な境界条件
に対して"正しい"値を保証するためには十分ではないこ
とは明らかである。本質において、信頼値の両方ではな
くどちらか1つが、1又は0とは異なる場合、数式
(1)のメンバーシップ関数は、"1から0の間"の値を
与えるが、このような値は正しい値としては考慮されな
い。関係する項目との結び付き及び分離の確実性が、そ
れぞれ値1及び0によって表され、及びこの値と結び付
く一方のワードが存在すると仮定される場合において、
独立している他方のワードの信頼値が優勢の場合、数式
(1)は、ペアのワードの正しい値を計算せず、そのよ
うな優勢を表すために調整される必要がある。
【0075】前述の説明では、一方が1及び他方が0の
値を有するワードの問題を解決していないことに注意さ
れたい。注釈が"矛盾"していないと仮定される場合、各
ワードは、2つの異なるシナリオを表さなければならな
い。1つは適合性、他は不適合性を示し、このような場
合は、結果として生ずる信頼値が1と等しくなければな
らないことを意味する、
【0076】実際上、仮定例のデータベースにおいて、
一方のワードの注釈が明確な変化を、及び他方のワード
の注釈が明確な無変化を示す場合、その注釈には2つの
異なるアクションがあると仮定され、そして明確に変化
が示される。前述の説明では、次の2つの補足的ステー
トメントが取り込まれる。Wi又はWjの一方が1なら
ば、μA(Wi、Wj)=1である。Wi又はWjの一
方が0で、且つ他方が1でない場合、μA (Wi、W
j)=0である。
【0077】図10及び図11は、k=1、I=0.
5、及びk=4.5、I=0.5をそれぞれ用いたペア
のメンバーシップ値の2つの例を示し、補足的ステート
メントを取り込んでいる。
【0078】修正データベースの注釈が2以上のワード
数を含むならば、注釈に結び付く信頼値は、図5のブロ
ック506で示されるアルゴリズムによって計算でき
る。この詳細な流れ図が、図6のブロック60〜67で
示されている。
【0079】注釈がn数の関連ワードを含むならば、そ
の信頼値は、注釈に存在するワードの信頼値で当てはま
ることによって得ることができる。
【0080】
【数9】 任意のiにおける演算子Φは、正しいと判断された場
合、可能な包含で数式(1)を前述の2つの補足的ステ
ートメントに当てはめる。数式(1)への代入は、ワー
ドi及びi+1による信頼値であり、全てのiの1〜
(n−1) 間のΦの最終出力値は、信頼値の集合であ
る。従って、信頼値は、以下のアルゴリズムを適用した
注釈に起因する。
【0081】・ステップ1: しきい値ρ0(図6の判断
ブロック62)を越えるΦによって作り出された集合に
少なくとも1つの要素が存在する場合、注釈の信頼値
は、その集合(図5のブロック65)に存在する最大信
頼値と仮定される。 ・ステップ2: ステップ1が当てはまらず、しきい値
ρ1(図5の判断ブロック64)より小さいΦによって
作り出された集合に少くとも1つの要素が存在するなら
ば、注釈の信頼値は、その集合(図5のブロック66)
に存在する最小信頼値と仮定される。 ・ステップ3: ステップ1及びステップ2 の両方が当
てはまらない場合は、注釈の信頼値は両方の信頼値の平
均値(図5のブロック67)に等しいと仮定される。
【0082】前述したアルゴリズムの詳細な説明に入る
前に、2つの新しい変数、ρ0 及びρ1 は、質問回答シ
ステムにおいて重要な役割を果たすので、ここで詳細な
説明を行う。
【0083】データベースの関係する項目に対してその
適合性を査定するために、及びさらに重要なことに、ど
のレコードがアルゴリズムの展開及び一層の調査のため
に最後まで維持されるか識別するために、本発明の好ま
しい実施例においてしきい値を設けた。前述(システム
の説明において)のように、ファジイ・エバリュエータ
の出力は、信頼アナライザの入力の信頼ベクトルであ
る。信頼アナライザが容認できないレコードを除外でき
るように及び質問に対して回答できるように、信頼ベク
トルが0と1の間にある値を有すると仮定すれば、レコ
ードを明確な集合に集めるカット・ポイントが必要であ
る。例えば、調査のために領域、すなわち、明確な適合
性の提示、関係する項目への明確な不適合性の提示及び
判断しかねる提示の3つの領域を必要とする場合、2つ
の値が必要である。第1の値は ρ0によって示され、適
合性の受容程度を決め、包含の下限として使用する。第
2の値はρ1によって示され、不適合性の包含の上限と
して使用する。例えば、ρ0=0.66及びρ1 =0.
33と仮定するならば、0.33未満の値の信頼ベクト
ルを有するレコードは、意図するアプリケーションに不
適合と考えられる。両限界の間の値、すなわち、0.3
3と0.66の間にある値を有するレコードは、適合性
なのか、不適合性なのか不明である。0.66より大き
い信頼値のレコードは、アプリケーションに対して適合
性と見なされる。これは、1つの可能性のあるシナリオ
であって、決して唯一のものではない。ρ0=ρ1の場合
に、結び付きと分離を識別するただ1つの値が得られる
ことは可能である。
【0084】前述したように、2以上のワード数を含む
注釈による信頼値のアルゴリズムは、以下の観測に基づ
く。
【0085】1.ρ0 より大きい信頼値を有する少なく
とも1つのペアのワードの存在は、このペアのワード
が"関連する"場合、他のアクションにも関わらず関係す
る項目に対して適合アクションが生じることを示す。 2.ρ0を越えるペアのワードが存在せず、ρ1より小さ
い信頼値を有する少なくとも1つのペアのワードが存在
する場合、このようなペアは、そのペアを構成するワー
ドが注釈に結び付く場合、他のアクションにも関わらず
関係する項目に対して不適合アクションが生じることを
示す。 3.最後に、上述のシナリオが当てはまらない場合は、
全てのペアは判断できないことを示し、その平均値はそ
の注釈の最も代表する信頼値として見なされる。
【0086】前述のアルゴリズムは、ワードの結び付き
の可能性を考慮に入れるよりも、両極端の信頼値を作り
出す傾向があり、"楽天的"な傾向であることがわかる。
ワードの結び付きは推論できないので、2以上の関連ワ
ード数に対してのアルゴリズムの成功は予想できない。
このような論証はある程度、妥当であると思える。
【0087】さらに、提案システムが必ずしも自然言語
質問回答システムに取って代わるというわけではない
し、又、そのような意図もない。その上、アルゴリズム
が、かなり"楽天的"である傾向であっても及び全注釈に
対して非常に成功的でないと仮定しても、2以上の関連
ワード数を含む注釈の頻度が低レベルであっても、ツー
ルの全体的なパフォーマンスに大きな影響を与えること
にはならない。この件に関する詳細な説明は、後述に説
明する。
【0088】前述のレコードの選択に加え、及び考慮中
のデータベースに関する、ある問題に答えるためのレコ
ードの使用において、結果アナライザは他の有益な仕事
を行うことができる。例えば、どれくらいの注釈が事前
指定の信頼値を越えるか、及び数式(10)によって計
算される全体のデータベースの信頼値(すなわち信頼値
の平均)を求めることができる。
【0089】
【数10】 (ここでXはデータベース全体を表し、nはそのデータ
ベースのレコード数を表す。)
【0090】実験的評価結果及び提案する使用方法に関
して説明する。前述において、ファジイ論理に基づく質
問回答システムを説明した。ツールは、データベースが
関係する項目に直接関係のある情報を含むかどうかの査
定能力、及びデータベースの無関係な部分を除外する能
力を備えている。データベースの各注釈は、関係する項
目との関係を示すファジイ・メンバーシップ値に起因す
るファジイ・エバリュエータを通して評価される。査定
は、全体としてデータベースのために与えられる。すな
わち、判断は、データベースが関係する項目に直接関係
があるかどうか、及び関係する項目に無関係と考えられ
る注釈を、破棄できるかどうかである。システムは、I
BM4381コンピュータ・システムの通常の開発プロ
セス中にブックキーピングの目的のために作成されたデ
ータベースを調べることによって評価された。IBM4
381コンピュータ・システムは、その開発サイクル中
に生じた機能的変化に対応する比較的及び実験的なIB
M自身の適合性を査定するシステムである。IBMの評
価は、マイクロコード及びハードウェア・ライブラリ・
サブシステムに由来する4つの実験的データベースで実
行され、その評価は以下の通りである。
【0091】・非常に数の少ない注釈が実験中にツール
によって評価されたが、この評価が商用の目的に使用す
るマニュアルの評価とかなり相違する結果となった。こ
のことは、そのツールがルーチン・アクセスに対応する
注釈の理解力及び機能的エラーに密接であることを示
す。 ・ツールは、機能的変化及びルーチン・アクセスに対応
するデータベースの比率に関するマニュアル評価に非常
に近似した。従って、ツールは、事前指定の関係する項
目へのデータベースの適合性を評価するために使用する
ことができる。 ・機能テストに直接関係のない注釈の除外、及び機能テ
ストに直接関係のある注釈の取り込みにおけるツールの
精度は極めて高い。このことはツールが、事前指定の関
係する項目に直接関係のないデータベースのエントリの
除外手段として使用できることを示す。
【0092】このツールの精度は、悪いケースのシナリ
オ構成を考慮する注意が必要である。なぜなら、ある注
釈は信頼値が0又は1のために常にその通りに解釈され
るために正確な評価とならないからである。
【0093】提案システムの限界を求める実験におい
て、次のようなシステムの多数の使用例を得た。
【0094】・2以上の関連ワード数の頻度が特に高レ
ベルである場合に、提案システムは、初期の評価システ
ムとして特に有用で、システムは、下記の場合において
初期の評価を求めるのに利用できる。 ・エラーの正確な原因を得る場合に、また、ツールは初
期の評価システムとして利用されるべきで、自然言語質
問回答システムの代替とはしない。 ・提案システムが、自然言語質問回答システムの代替と
して使用できない場合、このような環境においては、ツ
ールは、さらに複雑なシステムの開発費用の根拠を説明
するために使用できる。
【0095】さらに、注釈付きデータベースの実験にお
いて、提案システムが自然言語質問回答システムの代替
として使用できることが示された。この理由として、一
般の目的にかなう注釈及び2以上の関連ワード数の注釈
に関する開発の基本的仮定は、システムの性能を危険に
さらすほど十分に頻繁ではないからである。
【0096】最後に、実験において、修正なしの関係す
る項目が、システムに以前に使用されたデータベースと
同じ特性を有するデータベースに与えることができると
仮定して、本システムの適用可能性を得ることができ、
及びメンバーシップ関数の開発に対しての基本的仮定
が、新しいアプリケーションで考慮に入れられ、システ
ムが最小限の追加の開発努力で様々な環境に対応できる
ことを確認した。
【0097】
【発明の効果】データベースの各注釈を評価することに
よって関係する項目に直接関係のある情報を有するかど
うか査定することができ、及び無関係とみなされる注釈
を破棄することができる。
【図面の簡単な説明】
【図1】本発明の好ましい実施例によるファジイ推論デ
ータベース質問回答システムを示す図である。
【図2】本発明で使用した単一ワード・ジェネレータを
示す図である。
【図3】本発明で使用した置換テーブル・ジェネレータ
を示す図である。
【図4】修正データベースの生成を示す図である。
【図5】本発明で使用したファジイ・エバリュエータを
示す図である。
【図6】3ワード以上のレコードの信頼値を示す図であ
る。
【図7】AND演算子、平均値及びファジイ・エバリュ
エータのペアの信頼値を示す図である。
【図8】ペアのワードのメンバーシップ関数を示す図で
ある。
【図9】特性5及び特性6のペアの信頼値を示す図であ
る。
【図10】k=1及びI=0.5のメンバーシップ等級
値を示す図である。
【図11】k=4.5及びI=0.5のメンバーシップ
等級値を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウオリツド・コブロスリ アメリカ合衆国ニユーヨーク州、ベスタ ル、マリエツタ・ドライブ 4132番地 (72)発明者 ジヨージ・トライアントフイロス アメリカ合衆国ニユーヨーク州、ベスタ ル、トランス・アベニユー 417番地

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】テキスト・レコード・エントリを有するデ
    ータベースを評価するための質問回答システムであっ
    て、 質問回答のためのファジイ論理手段を有し、 上記ファジイ論理手段は、上記データベースの上記テキ
    スト・レコード・エントリに係わるテキストのファジイ
    評価を用いた、データベースの事前指定の関係する項目
    にその適合性を査定する査定手段を有することを特徴と
    する質問回答システム。
  2. 【請求項2】テキストが口語体で書かれた注釈であるこ
    とを特徴とする請求項1記載の質問回答システム。
  3. 【請求項3】データベースで使用されるすべての単一ワ
    ード・リストを生成する単一ワード・ジェネレータをさ
    らに有することを特徴とする請求項1記載の質問回答シ
    ステム。
  4. 【請求項4】関係する項目を説明するのに最も好まれて
    使用されたワードのリストを生成する関連ワード・テー
    ブル・ジェネレータをさらに有することを特徴とする請
    求項1記載の質問回答システム。
  5. 【請求項5】インタビューの結果を要約し、関連ワード
    ・テーブルの全ワードにファジイ期待値を割り当てる手
    段を有するファジイ期待値(FEV)プロセッサをさら
    に有することを特徴とする請求項1記載の質問回答シス
    テム。
  6. 【請求項6】注釈が関係する項目に直接関係ある情報を
    含むかどうかを示す、データベースの各注釈に信頼値を
    割り当てるファジイ・エバリュエータをさらに有するこ
    とを特徴とする請求項1記載の質問回答システム。
  7. 【請求項7】システムのユーザによって設定された値よ
    りも大きい信頼値を有する上記データベースの注釈を探
    し出す、結果アナライザをさらに有することを特徴とす
    る請求項1記載の質問回答システム。
  8. 【請求項8】問題に対してコンピュータ分析によってデ
    ータベースの内容を評価し、 上記データベースが関係ある項目に直接関係のある情報
    を含むかどうかを査定する、ファジイ論理を有するファ
    ジイ推論データベース質問回答手段と、 関係する項目への関係を示すファジイ・メンバーシップ
    値に起因するファジイ・エバリュエータを通して、デー
    タベースの各注釈を評価する手段を有するコンピュータ
    実行の質問回答システム。
  9. 【請求項9】関係ある項目への適合性に関して全体とし
    てデータベースに対して査定が行われ、関係ある項目に
    無関係とみなされる注釈が破棄されることを特徴とする
    請求項8記載のシステム。
JP4087329A 1991-05-16 1992-04-08 質問回答システム Expired - Fee Related JP2804403B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70155891A 1991-05-16 1991-05-16
US701558 1991-05-16

Publications (2)

Publication Number Publication Date
JPH05101106A true JPH05101106A (ja) 1993-04-23
JP2804403B2 JP2804403B2 (ja) 1998-09-24

Family

ID=24817841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4087329A Expired - Fee Related JP2804403B2 (ja) 1991-05-16 1992-04-08 質問回答システム

Country Status (4)

Country Link
US (2) US5414797A (ja)
EP (1) EP0513638A3 (ja)
JP (1) JP2804403B2 (ja)
CA (1) CA2066555A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017276A (zh) * 2022-03-28 2022-09-06 连芷萱 结合模糊逻辑与r-gcn的政务咨询多轮对话方法及系统
WO2025018000A1 (ja) * 2023-07-14 2025-01-23 Gva Tech株式会社 法務相談支援システム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0606476B1 (en) * 1991-10-04 1998-01-07 Omron Corporation Fuzzy retrieval unit and method therefor
US5706497A (en) * 1994-08-15 1998-01-06 Nec Research Institute, Inc. Document retrieval using fuzzy-logic inference
KR19980701598A (ko) * 1995-01-23 1998-05-15 에버세드 마이클 정보 액세스 방법 및 시스템(methods and/or systems for acessing informatiom)
US6070160A (en) * 1995-05-19 2000-05-30 Artnet Worldwide Corporation Non-linear database set searching apparatus and method
US5787422A (en) * 1996-01-11 1998-07-28 Xerox Corporation Method and apparatus for information accesss employing overlapping clusters
CA2195927C (en) * 1996-01-25 2005-04-26 Ioan Trif Adaptive problem solving method and system
US5778355A (en) * 1996-06-11 1998-07-07 International Business Machines Corp. Database method and apparatus for interactively retrieving data members and related members from a collection of data
US5822744A (en) * 1996-07-15 1998-10-13 Kesel; Brad Consumer comment reporting apparatus and method
US6026387A (en) * 1996-07-15 2000-02-15 Kesel; Brad Consumer comment reporting apparatus and method
US5862223A (en) * 1996-07-24 1999-01-19 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically-assisted commercial network system designed to facilitate and support expert-based commerce
DE19639349A1 (de) * 1996-09-25 1998-03-26 Alsthom Cge Alcatel Datenbank, Verfahren zum Ableiten einer Datenbank und Verfahren zur Abfrage einer Datenbank
US6498921B1 (en) 1999-09-01 2002-12-24 Chi Fai Ho Method and system to answer a natural-language question
US5836771A (en) * 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US5870755A (en) * 1997-02-26 1999-02-09 Carnegie Mellon University Method and apparatus for capturing and presenting digital data in a synthetic interview
US6157923A (en) * 1998-05-26 2000-12-05 Ensera, Inc. Query processing based on associated industry codes
US6678681B1 (en) * 1999-03-10 2004-01-13 Google Inc. Information extraction from a database
US6584464B1 (en) 1999-03-19 2003-06-24 Ask Jeeves, Inc. Grammar template query system
US6665666B1 (en) * 1999-10-26 2003-12-16 International Business Machines Corporation System, method and program product for answering questions using a search engine
US6546387B1 (en) * 1999-11-15 2003-04-08 Transcom Software Inc. Computer network information management system and method using intelligent software agents
JP3994368B2 (ja) * 2000-01-25 2007-10-17 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US6571240B1 (en) 2000-02-02 2003-05-27 Chi Fai Ho Information processing for searching categorizing information in a document based on a categorization hierarchy and extracted phrases
EP1195675A1 (en) * 2000-07-14 2002-04-10 Sun Microsystems, Inc. Comment driven processing
US6785651B1 (en) 2000-09-14 2004-08-31 Microsoft Corporation Method and apparatus for performing plan-based dialog
US7155668B2 (en) * 2001-04-19 2006-12-26 International Business Machines Corporation Method and system for identifying relationships between text documents and structured variables pertaining to the text documents
DE10159028A1 (de) * 2001-11-26 2003-06-12 Kenan Tur Verfahren und Anordnung zur Informationsverarbeitung in Monitoringsystemen für das Ethik-, Risiko- und/oder Wertemanagement sowie ein entsprechendes Computerprogrammprodukt und ein entsprechendes Speichermedium
US20030214523A1 (en) * 2002-05-16 2003-11-20 Kuansan Wang Method and apparatus for decoding ambiguous input using anti-entities
US7502730B2 (en) * 2002-06-14 2009-03-10 Microsoft Corporation Method and apparatus for federated understanding
US8473215B2 (en) 2003-04-25 2013-06-25 Leland Stanford Junior University Method for clustering data items through distance-merging and density-merging techniques
US8666983B2 (en) * 2003-06-13 2014-03-04 Microsoft Corporation Architecture for generating responses to search engine queries
US7051014B2 (en) * 2003-06-18 2006-05-23 Microsoft Corporation Utilizing information redundancy to improve text searches
JP3882048B2 (ja) * 2003-10-17 2007-02-14 独立行政法人情報通信研究機構 質問応答システムおよび質問応答処理方法
US7542854B2 (en) * 2004-07-22 2009-06-02 International Business Machines Corporation Method for discovering gene regulatory models and genetic networks using relational fuzzy models
US20130051759A1 (en) * 2007-04-27 2013-02-28 Evan Scheessele Time-shifted Telepresence System And Method
US8352511B2 (en) * 2007-08-29 2013-01-08 Partnet, Inc. Systems and methods for providing a confidence-based ranking algorithm
US8321406B2 (en) * 2008-03-31 2012-11-27 Google Inc. Media object query submission and response
US8332394B2 (en) 2008-05-23 2012-12-11 International Business Machines Corporation System and method for providing question and answers with deferred type evaluation
US8275803B2 (en) 2008-05-14 2012-09-25 International Business Machines Corporation System and method for providing answers to questions
WO2009153379A1 (es) * 2008-06-18 2009-12-23 Universidad De Granada Procedimiento para la generación de un paciente simulado virtual
WO2010105216A2 (en) * 2009-03-13 2010-09-16 Invention Machine Corporation System and method for automatic semantic labeling of natural language texts
US20110125734A1 (en) * 2009-11-23 2011-05-26 International Business Machines Corporation Questions and answers generation
US20120078062A1 (en) 2010-09-24 2012-03-29 International Business Machines Corporation Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
EP2616974A4 (en) 2010-09-24 2016-03-02 Ibm ESTIMATION AND CONFIDENCE APPLICATION OF LEXICAL TYPE OF RESPONSE
US8892550B2 (en) 2010-09-24 2014-11-18 International Business Machines Corporation Source expansion for information retrieval and information extraction
US8943051B2 (en) 2010-09-24 2015-01-27 International Business Machines Corporation Lexical answer type confidence estimation and application
US9569724B2 (en) 2010-09-24 2017-02-14 International Business Machines Corporation Using ontological information in open domain type coercion
WO2012040356A1 (en) 2010-09-24 2012-03-29 International Business Machines Corporation Providing question and answers with deferred type evaluation using text with limited structure
US9317586B2 (en) 2010-09-28 2016-04-19 International Business Machines Corporation Providing answers to questions using hypothesis pruning
US8898159B2 (en) 2010-09-28 2014-11-25 International Business Machines Corporation Providing answers to questions using logical synthesis of candidate answers
US8738617B2 (en) 2010-09-28 2014-05-27 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US8903823B1 (en) * 2011-05-25 2014-12-02 Cadence Design Systems, Inc. Coverage-based bug clustering
US10621880B2 (en) 2012-09-11 2020-04-14 International Business Machines Corporation Generating secondary questions in an introspective question answering system
US9547640B2 (en) * 2013-10-16 2017-01-17 International Business Machines Corporation Ontology-driven annotation confidence levels for natural language processing
US10621507B2 (en) * 2016-03-12 2020-04-14 Wipro Limited System and method for generating an optimized result set using vector based relative importance measure
CN111190576B (zh) * 2019-12-17 2022-09-23 深圳平安医疗健康科技服务有限公司 基于文字识别的组件集展示方法、装置和计算机设备
US20230281310A1 (en) * 2022-03-01 2023-09-07 Meta Plataforms, Inc. Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection
US12585464B2 (en) * 2023-04-17 2026-03-24 Accenture Global Solutions Limited Application maturity data processing for software development

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61253536A (ja) * 1985-05-07 1986-11-11 Nec Corp 記号列識別装置とその制御方法
JPS61267827A (ja) * 1985-05-23 1986-11-27 Matsushita Electric Ind Co Ltd 情報登録検索装置
JPS6325726A (ja) * 1986-07-18 1988-02-03 Hitachi Ltd 知識ベースを用いた推論方法
JPS6326726A (ja) * 1986-07-21 1988-02-04 Toshiba Corp 情報処理装置
JPS6349928A (ja) * 1986-08-20 1988-03-02 Matsushita Electric Ind Co Ltd キ−ワ−ド抽出装置
JPS63136224A (ja) * 1986-11-28 1988-06-08 Nippon Telegr & Teleph Corp <Ntt> キ−ワ−ド自動抽出装置
JPS63228221A (ja) * 1987-03-17 1988-09-22 Mitsubishi Electric Corp 情報検索方式
JPS6478327A (en) * 1987-01-22 1989-03-23 Ricoh Kk Inference system
JPH01288919A (ja) * 1988-05-16 1989-11-21 Seiko Epson Corp 英単語検索装置
JPH021057A (ja) * 1988-01-20 1990-01-05 Ricoh Co Ltd 文書検索装置
JPH0241564A (ja) * 1988-08-01 1990-02-09 Ricoh Co Ltd 文書検索装置
JPH02125363A (ja) * 1988-07-29 1990-05-14 Ricoh Co Ltd 文書検索装置
JPH02136970A (ja) * 1988-11-17 1990-05-25 Seiko Epson Corp 英単語検索装置
JPH033037A (ja) * 1989-05-31 1991-01-09 Nec Corp マイクロプログラム制御方式

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672571A (en) * 1984-10-24 1987-06-09 International Business Machines Corporation Compound word suitability for spelling verification
DE68928230T2 (de) * 1988-09-15 1998-02-05 Oce Tech Bv System zur grammatikalischen Verarbeitung eines aus natürlicher Sprache zusammengesetzten Satzes
US5020019A (en) * 1989-05-29 1991-05-28 Ricoh Company, Ltd. Document retrieval system
JPH0314075A (ja) * 1989-06-13 1991-01-22 Ricoh Co Ltd 文書検索装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61253536A (ja) * 1985-05-07 1986-11-11 Nec Corp 記号列識別装置とその制御方法
JPS61267827A (ja) * 1985-05-23 1986-11-27 Matsushita Electric Ind Co Ltd 情報登録検索装置
JPS6325726A (ja) * 1986-07-18 1988-02-03 Hitachi Ltd 知識ベースを用いた推論方法
JPS6326726A (ja) * 1986-07-21 1988-02-04 Toshiba Corp 情報処理装置
JPS6349928A (ja) * 1986-08-20 1988-03-02 Matsushita Electric Ind Co Ltd キ−ワ−ド抽出装置
JPS63136224A (ja) * 1986-11-28 1988-06-08 Nippon Telegr & Teleph Corp <Ntt> キ−ワ−ド自動抽出装置
JPS6478327A (en) * 1987-01-22 1989-03-23 Ricoh Kk Inference system
JPS63228221A (ja) * 1987-03-17 1988-09-22 Mitsubishi Electric Corp 情報検索方式
JPH021057A (ja) * 1988-01-20 1990-01-05 Ricoh Co Ltd 文書検索装置
JPH01288919A (ja) * 1988-05-16 1989-11-21 Seiko Epson Corp 英単語検索装置
JPH02125363A (ja) * 1988-07-29 1990-05-14 Ricoh Co Ltd 文書検索装置
JPH0241564A (ja) * 1988-08-01 1990-02-09 Ricoh Co Ltd 文書検索装置
JPH02136970A (ja) * 1988-11-17 1990-05-25 Seiko Epson Corp 英単語検索装置
JPH033037A (ja) * 1989-05-31 1991-01-09 Nec Corp マイクロプログラム制御方式

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017276A (zh) * 2022-03-28 2022-09-06 连芷萱 结合模糊逻辑与r-gcn的政务咨询多轮对话方法及系统
CN115017276B (zh) * 2022-03-28 2022-11-29 连芷萱 政务咨询多轮对话方法、系统、政务机器人和存储介质
WO2025018000A1 (ja) * 2023-07-14 2025-01-23 Gva Tech株式会社 法務相談支援システム

Also Published As

Publication number Publication date
JP2804403B2 (ja) 1998-09-24
EP0513638A3 (en) 1993-10-13
CA2066555A1 (en) 1993-10-22
EP0513638A2 (en) 1992-11-19
US5414797A (en) 1995-05-09
US5384894A (en) 1995-01-24

Similar Documents

Publication Publication Date Title
JP2804403B2 (ja) 質問回答システム
Marques-Silva Logic-based explainability in machine learning
Hayes et al. Improving requirements tracing via information retrieval
Chandy et al. An example of stepwise refinement of distributed programs: Quiescence detection
US7562074B2 (en) Search engine determining results based on probabilistic scoring of relevance
US5402524A (en) Case-based knowledge source for artificial intelligence software shell
Darwiche et al. On quantifying literals in Boolean logic and its applications to explainable AI
Motro Seave: A mechanism for verifying user presuppositions in query systems
Chen et al. Auto-formula: Recommend formulas in spreadsheets using contrastive learning for table representations
Dunn et al. Automating the detection of reusable parts in existing software
PERKINS et al. Knowledge base verification
CN120508621A (zh) 基于知识图谱的法律咨询交互方法、电子设备及介质
Sakakibara On learning from queries and counterexamples in the presence of noise
Ali et al. Requirements traceability for object oriented systems by partitioning source code
Wilbik et al. Linguistic Summarization of Processes–a research agenda
Bull et al. Semantic grep: Regular expressions+ relational abstraction
JP2651452B2 (ja) 質問回答方法および装置
Cimini Towards the complexity analysis of programming language proof methods
Xu et al. Detecting Multi-Parameter Constraint Inconsistencies in Python Data Science Libraries
Haarslev et al. Visual spatial query languages: A semantics using description logic
Wong Validation of HOL proofs by proof checking
de Oliveira et al. Retrieval-Augmented Generation and Knowledge Graphs in Portuguese-Language Legal Documents
Luciv et al. Interactive near duplicate search in software documentation
Hauser et al. An improved assessing requirements quality with ML methods
RU2860167C1 (ru) Способ интеллектуального информационного поиска и предоставления контекстуальной информации в распределенных хранилищах данных

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees