JPH0756933A - 文書検索方法 - Google Patents
文書検索方法Info
- Publication number
- JPH0756933A JPH0756933A JP6107563A JP10756394A JPH0756933A JP H0756933 A JPH0756933 A JP H0756933A JP 6107563 A JP6107563 A JP 6107563A JP 10756394 A JP10756394 A JP 10756394A JP H0756933 A JPH0756933 A JP H0756933A
- Authority
- JP
- Japan
- Prior art keywords
- query
- phrase
- subsystem
- queries
- noun
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3341—Query execution using boolean model
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99934—Query formulation, input preparation, or translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 自然言語の質問に解答するのに必要な照会を
含む一連の照会を自動的に行う。 【構成】 (1)入力(ステップ200);(2)質問
処理(ステップ220);(3)自動照会構築及び再定
形化(ステップ240);(4)結果ランク付け(ステ
ップ260);及び(5)結果出力(ステップ280)
である。
含む一連の照会を自動的に行う。 【構成】 (1)入力(ステップ200);(2)質問
処理(ステップ220);(3)自動照会構築及び再定
形化(ステップ240);(4)結果ランク付け(ステ
ップ260);及び(5)結果出力(ステップ280)
である。
Description
【0001】
【産業上の利用分野】本発明は、コンピューター化情報
検索(IR)システムとその方法に関し、特に、テキス
トデータベースと共に使用されるコンピューター化情報
検索(IR)システムとその方法に関する。
検索(IR)システムとその方法に関し、特に、テキス
トデータベースと共に使用されるコンピューター化情報
検索(IR)システムとその方法に関する。
【0002】
【従来技術】従来のIRシステムとその方法においては
利用者(ユーザ)は、初期照会から始め、その照会の結
果(その照会に応答して検索された文書)を検証し、も
しその結果が満足のいくものではなかったら修正し、こ
の手順を満足のいく結果が得られるまで繰り返すという
ように、通常特別の照会言語を用いて反復して進めなけ
ればならなかった。利用者は、照会の修正や詳細化の責
任を負わされており、とりわけ照会の構築や詳細化にお
いてシステムからほとんど又は全く支援を享受できなか
った。
利用者(ユーザ)は、初期照会から始め、その照会の結
果(その照会に応答して検索された文書)を検証し、も
しその結果が満足のいくものではなかったら修正し、こ
の手順を満足のいく結果が得られるまで繰り返すという
ように、通常特別の照会言語を用いて反復して進めなけ
ればならなかった。利用者は、照会の修正や詳細化の責
任を負わされており、とりわけ照会の構築や詳細化にお
いてシステムからほとんど又は全く支援を享受できなか
った。
【0003】従来のシステムは、入力照会に含まれてい
ない句は文書中で特定(検出)又は顕在(ハイライト)
化させることができなかった。例えば、フロリダの小島
のギャングとハンフリーボガートが戦う映画はどんな映
画であったかという利用者の照会に対する応答におい
て、従来のIRシステムは「映画」,「ボガート」,
「ギャング」及び「フロリダの小島」のような語句が含
まれた照会を利用者から受け、1つの文書中におけるこ
れらの語句の共通の存在を検索する。一方、利用者は正
しい解答を決定するために、このように検索された多種
の文書を接ぎ合わる必要があった。
ない句は文書中で特定(検出)又は顕在(ハイライト)
化させることができなかった。例えば、フロリダの小島
のギャングとハンフリーボガートが戦う映画はどんな映
画であったかという利用者の照会に対する応答におい
て、従来のIRシステムは「映画」,「ボガート」,
「ギャング」及び「フロリダの小島」のような語句が含
まれた照会を利用者から受け、1つの文書中におけるこ
れらの語句の共通の存在を検索する。一方、利用者は正
しい解答を決定するために、このように検索された多種
の文書を接ぎ合わる必要があった。
【0004】従来技術において、利用者が照会を自然言
語で定形化できるようにするという試みがさなれた。1
つのそのような試みは、質問応答システムと呼ばれるシ
ステムに見られる。質問応答システムは、一定の自然言
語照会に応答することができる。しかしながら、それは
そのデータベース内のデータが、そのような照会に適応
できるよう予め過重に処理されているからにすぎなかっ
た。例えば、月の岩石についての利用者の照会に応答で
きるように設計させている質問応答システムは二次元配
列として構成されたデータベースを用いており、そのデ
ータベースは1つの次元に関して配列された月の岩石の
標本番号と他の軸に関して配列された例えば鉱石含有量
のような実際のカテゴリーを有している。そのシステム
は、単に配列の適当なセルにアクセスすることにより利
用者の照会に対して応答するものである。
語で定形化できるようにするという試みがさなれた。1
つのそのような試みは、質問応答システムと呼ばれるシ
ステムに見られる。質問応答システムは、一定の自然言
語照会に応答することができる。しかしながら、それは
そのデータベース内のデータが、そのような照会に適応
できるよう予め過重に処理されているからにすぎなかっ
た。例えば、月の岩石についての利用者の照会に応答で
きるように設計させている質問応答システムは二次元配
列として構成されたデータベースを用いており、そのデ
ータベースは1つの次元に関して配列された月の岩石の
標本番号と他の軸に関して配列された例えば鉱石含有量
のような実際のカテゴリーを有している。そのシステム
は、単に配列の適当なセルにアクセスすることにより利
用者の照会に対して応答するものである。
【0005】
【発明が解決しようとする課題】従来技術におけるIR
システム及びその方法は、利用者の自然言語による質問
に解答するのに必要な最適照会(単数又は複数)を含む
ように企図された一連の照会を自動的に行うものではな
い。更に、従来技術のIRシステム及びその方法は、利
用者の質問に対する解答を推測するものではなく、また
そのような推測に基づき照会を操作又は処理することを
企図するものではなかった。
システム及びその方法は、利用者の自然言語による質問
に解答するのに必要な最適照会(単数又は複数)を含む
ように企図された一連の照会を自動的に行うものではな
い。更に、従来技術のIRシステム及びその方法は、利
用者の質問に対する解答を推測するものではなく、また
そのような推測に基づき照会を操作又は処理することを
企図するものではなかった。
【0006】
【課題を解決するための手段】本発明は、利用者により
提供される、例えば質問等の、自然言語入力列に応答し
て行うテキスト総体からのコンピューター化情報検索の
方法を提供するものである。1つの列(ストリング)は
入力として受け入れられ、名詞句及び他の文法的構造を
検出するために解析される。解析された入力列は、この
ように検出された句に基づいて一連のブール照会に変換
される。検出された句に基づく一連の照会は、最適な照
会を生成するように設計された連続的な広範化及び狭小
化演算の手順(シーケンス)を通じて自動的に構築され
る。その一連の照会を実行し文書が検索される。その検
索された文書は次いで、例えばその質問に対する確から
しい関連の順に、ランク付けされる。ランク付けされた
文書は、次いで、例えば利用者に提供されたり、格納
(記憶)装置に格納されたり、又は後の処理に利用でき
るようにされる。
提供される、例えば質問等の、自然言語入力列に応答し
て行うテキスト総体からのコンピューター化情報検索の
方法を提供するものである。1つの列(ストリング)は
入力として受け入れられ、名詞句及び他の文法的構造を
検出するために解析される。解析された入力列は、この
ように検出された句に基づいて一連のブール照会に変換
される。検出された句に基づく一連の照会は、最適な照
会を生成するように設計された連続的な広範化及び狭小
化演算の手順(シーケンス)を通じて自動的に構築され
る。その一連の照会を実行し文書が検索される。その検
索された文書は次いで、例えばその質問に対する確から
しい関連の順に、ランク付けされる。ランク付けされた
文書は、次いで、例えば利用者に提供されたり、格納
(記憶)装置に格納されたり、又は後の処理に利用でき
るようにされる。
【0007】他の側面においては、本発明は、質問とし
て利用者により提供された自然言語入力列に応答して情
報検索を行うことについてのより大きな2段階の方法の
中において使用される。第1段階は本発明の方法を含
み、その方法はテキスト総体から関連がありそうな文書
群を検索するために使用される。第2段階は解答抽出を
含み、その処理においては、第1段階で検索された文書
を解析し、質問に対する解答である可能性が高い解答仮
説を生成し、更に利用者の質問に対する解答を含んでい
る可能性の最も高い文書(単数又は複数)が選択され利
用者に示される。本発明の一態様は、処理装置と、該処
理装置に結合されるメモリーと、ユーザーインターフェ
ースと、一次照会構築サブシステムと、テキスト総体に
結合されたコンピューター化された情報検索(IR)サ
ブシステムと、該一次照会構築サブシステムと該情報検
索サブシステムを連結するチャンネルとを含むシステム
において、語より構成される利用者により与えられる自
然言語入力列に応答して該テキスト総体から文書を検索
する方法であって、該方法は該ユーザーインターフェー
スを用いて該入力列を該一次照会構築サブシステムの中
に取込み、該一次照会構築サブシステムを用いて該入力
列を解析しその中の句を検出し、該一次照会構築サブシ
ステムを用いてその検索された句に基づき、連続的な広
範化及び狭小化の操作からなる動作シーケンスを介し
て、該一次照会構築サブシステムにより自動的に構築さ
れる一連の照会を構築し、該一次照会構築サブシステム
と、該情報検索サブシステムと、該テキスト総体と、該
チャンネルとを用いて、一連の照会を実行し、該一次照
会構築サブシステムを用いて、このように実行された1
またはそれ以上の照会に応答してテキスト総体から検索
された文書をランク付けする、ことを特徴とする文書検
索方法である。
て利用者により提供された自然言語入力列に応答して情
報検索を行うことについてのより大きな2段階の方法の
中において使用される。第1段階は本発明の方法を含
み、その方法はテキスト総体から関連がありそうな文書
群を検索するために使用される。第2段階は解答抽出を
含み、その処理においては、第1段階で検索された文書
を解析し、質問に対する解答である可能性が高い解答仮
説を生成し、更に利用者の質問に対する解答を含んでい
る可能性の最も高い文書(単数又は複数)が選択され利
用者に示される。本発明の一態様は、処理装置と、該処
理装置に結合されるメモリーと、ユーザーインターフェ
ースと、一次照会構築サブシステムと、テキスト総体に
結合されたコンピューター化された情報検索(IR)サ
ブシステムと、該一次照会構築サブシステムと該情報検
索サブシステムを連結するチャンネルとを含むシステム
において、語より構成される利用者により与えられる自
然言語入力列に応答して該テキスト総体から文書を検索
する方法であって、該方法は該ユーザーインターフェー
スを用いて該入力列を該一次照会構築サブシステムの中
に取込み、該一次照会構築サブシステムを用いて該入力
列を解析しその中の句を検出し、該一次照会構築サブシ
ステムを用いてその検索された句に基づき、連続的な広
範化及び狭小化の操作からなる動作シーケンスを介し
て、該一次照会構築サブシステムにより自動的に構築さ
れる一連の照会を構築し、該一次照会構築サブシステム
と、該情報検索サブシステムと、該テキスト総体と、該
チャンネルとを用いて、一連の照会を実行し、該一次照
会構築サブシステムを用いて、このように実行された1
またはそれ以上の照会に応答してテキスト総体から検索
された文書をランク付けする、ことを特徴とする文書検
索方法である。
【0008】この明細書の残りの部分及び図面を参照す
ることにより本発明の本質及び利点を更に理解し得るで
あろう。
ることにより本発明の本質及び利点を更に理解し得るで
あろう。
【0009】
【実施例】特許文書を含む全ての書類及び参考文献から
なる本出願における開示は組み込まれている。以下の説
明は4つの部分からなっている。1章は、この発明の大
要と用語解説を含む導入部である。2章は、本発明の方
法の一実施例を記述する。3章は、MURAXについて
記述する。MURAXはより大きな2段階の方法の中で
本発明の方法を具現化するよう設計されたシステムであ
り、ここでこの発明の方法はその2段階の方法のうちの
第1段階を実現するために使用されている。4章は、こ
の説明の結論である。
なる本出願における開示は組み込まれている。以下の説
明は4つの部分からなっている。1章は、この発明の大
要と用語解説を含む導入部である。2章は、本発明の方
法の一実施例を記述する。3章は、MURAXについて
記述する。MURAXはより大きな2段階の方法の中で
本発明の方法を具現化するよう設計されたシステムであ
り、ここでこの発明の方法はその2段階の方法のうちの
第1段階を実現するために使用されている。4章は、こ
の説明の結論である。
【0010】1章 導入部 1.発明の大要 本発明は、一次照会の構築の方法を提供する。この発明
に基づくシステム動作は、利用者により提供された質問
などの自然言語入力列を受入れ、関連がありそうな文
書、即ち、質問の回答を含むであろう文書群を生成す
る。本方法は、入力列内の語句の検出を行うためのその
入力列の解析と、文書を検索すべく一連のIR照会を実
行する自動照会構築及びその再定形化とを含む。検索さ
れる文書は、妥当性の高さの順でランク付けされ得る。
本方法は強力(頑強)な性能及び計算上の効率を提供す
るよう設計されている。
に基づくシステム動作は、利用者により提供された質問
などの自然言語入力列を受入れ、関連がありそうな文
書、即ち、質問の回答を含むであろう文書群を生成す
る。本方法は、入力列内の語句の検出を行うためのその
入力列の解析と、文書を検索すべく一連のIR照会を実
行する自動照会構築及びその再定形化とを含む。検索さ
れる文書は、妥当性の高さの順でランク付けされ得る。
本方法は強力(頑強)な性能及び計算上の効率を提供す
るよう設計されている。
【0011】本発明の方法はそれ自体でも、また更に広
範な状況でも利用され得る。特に、それは利用者の質問
を自然言語形式で受入れ、関連文書を生成するのみなら
ず解答仮説を生成し、かつそれらの文書内でこれらの仮
説を見い出すことによって返答するという2段階の方法
において使用され得る。そのような2段階の方法は、本
発明の方法に基づく一次照会の構築を行う第1段階と第
1段階中で検索された文書に対してなされる解答の抽出
を行う第2段階からなる。好適な実施例において、第2
段階は、「言語解析及び仮説生成を利用してテキスト総
体から自然言語で表現された質問に対する解答を抽出す
る方法(米国特許出願番号第08/082,930
号)」と題する出願中の出願における方法に基づいてな
される。尚、上記出願発明は本出願と同一の発明者によ
るものであり、この出願と同時に出願されており、また
ここでは全文提示された参考文献として包括される。
範な状況でも利用され得る。特に、それは利用者の質問
を自然言語形式で受入れ、関連文書を生成するのみなら
ず解答仮説を生成し、かつそれらの文書内でこれらの仮
説を見い出すことによって返答するという2段階の方法
において使用され得る。そのような2段階の方法は、本
発明の方法に基づく一次照会の構築を行う第1段階と第
1段階中で検索された文書に対してなされる解答の抽出
を行う第2段階からなる。好適な実施例において、第2
段階は、「言語解析及び仮説生成を利用してテキスト総
体から自然言語で表現された質問に対する解答を抽出す
る方法(米国特許出願番号第08/082,930
号)」と題する出願中の出願における方法に基づいてな
される。尚、上記出願発明は本出願と同一の発明者によ
るものであり、この出願と同時に出願されており、また
ここでは全文提示された参考文献として包括される。
【0012】2.用語解説 以下の用語は以下の概略的意味を有するものとする。 解答: 与えられた質問に対す
る実際の正しい解答 解答仮説: 本発明により生成される、質問
に対する正しい解答の推測 同格: 2つの(通常近接し
た)名詞句(フレーズ)が同一事物を言及するという文
法的な構成 共通発生照会: 利用者の質問から得られる、形
態句以外の句を含む二次照会 総体: この発明で利用され
る、検索される自然言語テキストの全体 不一致の度合: 2つの句の間の近似性に関する
計測量 文書整合: 文書が照会を満足した状況 領域: 例えば、一般知識,医
学等の情報検索作業(タスク)を特徴づける広い範囲 有限状態認識装置: 入力として記号列を受け取り、
有限数のステップの計算を行い、その入力が許容され又
は拒絶されたことを示すある段階において停止する装置 首位名詞: 名詞句においてその句の他の語
に変更し得る主となる名詞。英語では、首位名詞は通常
名詞句の最右の語である。 インデックス付け: 1つの語に関して、総体内にお
いてその語が存在する様々な他のすべての場所との関係
付け 情報検索(IR): 典型的にはコンピューターデー
タベースからの格納された情報に対するアクセス及び検
索 IS−A: 特定の辞書式構文パターン及び
言語的関係の名称。IS−A関係は、ある目的物の本質
又は特徴を表すため又は断定するために動詞「to be 」
の形式を使用する。IS−A関係の例は、「Brooklyn i
s a borough ofNew York City. 」という文において見
られる。 言語モデリング: 自然言語の計算モデリング 辞書式構文: 語、構文パターン又はその双方
と関係を有すること。 本発明においては辞書式構文により、言語的関係を検証
する。 リスト内包: 関係する名詞のリスト内に名詞
が含まれているという特定の辞書式構文パターンの名
称。リストの各々の要素は、そのリスト外の(主要な)
名詞に対して、そのリスト内の他の要素と同じ関係を有
している。とりわけそのリストの名詞は同じタイプの事
物を示しており、リスト内でコンマ又はセミコロンで区
切られている。 整合文(センテンス): 照会に対する応
答として検索されるべき文書を導く又は導く手助けをす
る1つの文書内の文。整合文は、照会において明示され
る検索用語及び拘束条件と一致するいくつかの句を含ん
でいる。 名詞句: 名詞,その修飾語句(例えば、
形容詞及び他の名詞)及び時に冠詞からなる句 名詞句内包: 特定の辞書式構文パターンの名
称 演算子: クリーネ加算,順序配列(シー
ケンス),任意選択性,論理和(ユニオン):有限状態
認識装置において使用される有限状態分法における機
能。ここで任意選択性は0又はそれ以上の事例を意味す
る。 句の整合(照合): 辞書式構文パターン又は他の言
語的パターンを満足する句を見い出すこと。 術語/引数整合: 引数構造を表現する特定の辞書
式構文パターンの整合。このパターンは、1つの動詞及
び1つ又はそれ以上の関連する名詞の関係を示してい
る。 一次文書: 一次照会に応答して検索される
テキスト総体からの文書 一次照会: 利用者の質問に含まれる句のみ
に基づく照会 照会: 総体を検索し表現の一
致するテキストを返すべく情報検索システムにより使用
されている語,ブール演算子及び近接拘束条件を含む表
現 質問: 利用者の情報要求のこ
とであり、本発明においては自然言語質問として提供さ
れるもの 正規表現: 有限状態分法における機能の内
容 関係;句関係: 語もしくは句間の又は語もしく
は句とある特性(例えば、人名であるという特性)間の
言語的関係。換言すれば、関係とは、複数の語が1つの
句において意味を形成する、又は複数の句が1つの文に
おいて意味を形成する際のその形成のしかたをいう。関
係は、構文的、意味的、文脈的及び他の諸様相を有して
いる。例えば、「ジョージ ワシントンは初代大統領だ
った。」という文において、句「初代大統領」と句「ジ
ョージワシントン」との間には1つの関係が存在する。
本発明の実施例においては、1つの関係の構文的側面が
その関係を近似すべく使用されている。 採点(スコアリング): 解答
仮説に対する値の割当であり、正しい解答である確から
しさを反映したもの 二次文書: テキスト総体から二次照会に応
答して検索された文書 二次照会: 仮説に基づいており、かつ更に
他の句に基づき得る照会 浅い構文解析: 広く文法的構造を表すものであ
るが、必ずしも句における言語関係の詳細をすべて表す
ものではない句の構文解析 単純名詞句: 前置詞付きの句及び接続詞のい
ずれも含まない名詞句 タグ付け: 語に対する品詞の割当て タイトル句: タイトルを表す句(例えば、書
籍、映画等の)であり、名詞句であることもまたそうで
ないこともあり、更に特に(例えば、引用符,大文字,
イタリック体等を含むことにより)印字的に特に識別さ
れるもの 形態句: 例えば、「何という
川・・・」のように質問中の解答の性質を示す句。形態
句は、解答仮説を発展させるのに効果的に利用し得る。
形態句は解答がどのようなものであるかを表現するから
である。例えば、「合衆国の初代大統領はだれであった
か?」という質問において、句「合衆国の初代大統領」
が形態句である。他の例では、「フーバーダムは何とい
う川を塞き止めるか?」という質問において、形態は
「川」である。 検証: ある関係が存在するか否かを決定
する過程。句整合が検証された場合、これが関係が成立
している証拠である。つまり、テキスト総体にその関係
の存在を裏付けるテキストが発見されたということであ
る。
る実際の正しい解答 解答仮説: 本発明により生成される、質問
に対する正しい解答の推測 同格: 2つの(通常近接し
た)名詞句(フレーズ)が同一事物を言及するという文
法的な構成 共通発生照会: 利用者の質問から得られる、形
態句以外の句を含む二次照会 総体: この発明で利用され
る、検索される自然言語テキストの全体 不一致の度合: 2つの句の間の近似性に関する
計測量 文書整合: 文書が照会を満足した状況 領域: 例えば、一般知識,医
学等の情報検索作業(タスク)を特徴づける広い範囲 有限状態認識装置: 入力として記号列を受け取り、
有限数のステップの計算を行い、その入力が許容され又
は拒絶されたことを示すある段階において停止する装置 首位名詞: 名詞句においてその句の他の語
に変更し得る主となる名詞。英語では、首位名詞は通常
名詞句の最右の語である。 インデックス付け: 1つの語に関して、総体内にお
いてその語が存在する様々な他のすべての場所との関係
付け 情報検索(IR): 典型的にはコンピューターデー
タベースからの格納された情報に対するアクセス及び検
索 IS−A: 特定の辞書式構文パターン及び
言語的関係の名称。IS−A関係は、ある目的物の本質
又は特徴を表すため又は断定するために動詞「to be 」
の形式を使用する。IS−A関係の例は、「Brooklyn i
s a borough ofNew York City. 」という文において見
られる。 言語モデリング: 自然言語の計算モデリング 辞書式構文: 語、構文パターン又はその双方
と関係を有すること。 本発明においては辞書式構文により、言語的関係を検証
する。 リスト内包: 関係する名詞のリスト内に名詞
が含まれているという特定の辞書式構文パターンの名
称。リストの各々の要素は、そのリスト外の(主要な)
名詞に対して、そのリスト内の他の要素と同じ関係を有
している。とりわけそのリストの名詞は同じタイプの事
物を示しており、リスト内でコンマ又はセミコロンで区
切られている。 整合文(センテンス): 照会に対する応
答として検索されるべき文書を導く又は導く手助けをす
る1つの文書内の文。整合文は、照会において明示され
る検索用語及び拘束条件と一致するいくつかの句を含ん
でいる。 名詞句: 名詞,その修飾語句(例えば、
形容詞及び他の名詞)及び時に冠詞からなる句 名詞句内包: 特定の辞書式構文パターンの名
称 演算子: クリーネ加算,順序配列(シー
ケンス),任意選択性,論理和(ユニオン):有限状態
認識装置において使用される有限状態分法における機
能。ここで任意選択性は0又はそれ以上の事例を意味す
る。 句の整合(照合): 辞書式構文パターン又は他の言
語的パターンを満足する句を見い出すこと。 術語/引数整合: 引数構造を表現する特定の辞書
式構文パターンの整合。このパターンは、1つの動詞及
び1つ又はそれ以上の関連する名詞の関係を示してい
る。 一次文書: 一次照会に応答して検索される
テキスト総体からの文書 一次照会: 利用者の質問に含まれる句のみ
に基づく照会 照会: 総体を検索し表現の一
致するテキストを返すべく情報検索システムにより使用
されている語,ブール演算子及び近接拘束条件を含む表
現 質問: 利用者の情報要求のこ
とであり、本発明においては自然言語質問として提供さ
れるもの 正規表現: 有限状態分法における機能の内
容 関係;句関係: 語もしくは句間の又は語もしく
は句とある特性(例えば、人名であるという特性)間の
言語的関係。換言すれば、関係とは、複数の語が1つの
句において意味を形成する、又は複数の句が1つの文に
おいて意味を形成する際のその形成のしかたをいう。関
係は、構文的、意味的、文脈的及び他の諸様相を有して
いる。例えば、「ジョージ ワシントンは初代大統領だ
った。」という文において、句「初代大統領」と句「ジ
ョージワシントン」との間には1つの関係が存在する。
本発明の実施例においては、1つの関係の構文的側面が
その関係を近似すべく使用されている。 採点(スコアリング): 解答
仮説に対する値の割当であり、正しい解答である確から
しさを反映したもの 二次文書: テキスト総体から二次照会に応
答して検索された文書 二次照会: 仮説に基づいており、かつ更に
他の句に基づき得る照会 浅い構文解析: 広く文法的構造を表すものであ
るが、必ずしも句における言語関係の詳細をすべて表す
ものではない句の構文解析 単純名詞句: 前置詞付きの句及び接続詞のい
ずれも含まない名詞句 タグ付け: 語に対する品詞の割当て タイトル句: タイトルを表す句(例えば、書
籍、映画等の)であり、名詞句であることもまたそうで
ないこともあり、更に特に(例えば、引用符,大文字,
イタリック体等を含むことにより)印字的に特に識別さ
れるもの 形態句: 例えば、「何という
川・・・」のように質問中の解答の性質を示す句。形態
句は、解答仮説を発展させるのに効果的に利用し得る。
形態句は解答がどのようなものであるかを表現するから
である。例えば、「合衆国の初代大統領はだれであった
か?」という質問において、句「合衆国の初代大統領」
が形態句である。他の例では、「フーバーダムは何とい
う川を塞き止めるか?」という質問において、形態は
「川」である。 検証: ある関係が存在するか否かを決定
する過程。句整合が検証された場合、これが関係が成立
している証拠である。つまり、テキスト総体にその関係
の存在を裏付けるテキストが発見されたということであ
る。
【0013】2章 本方法の一実施例 1.2章の構成 本説明の2章は、一実施例での本発明の方法を明らかに
する。2節は、この方法を実施するのに適したシステム
の大要を提示する。3節は、この方法の主要な上位概念
ステップを概説する。4、5及び6節は、これらの上位
概念ステップのうちの3つ、即ち、質問処理、自動照会
構築及び再定形化、並びに結果ランク付け、を詳細に分
説したものを提示する。7節は、この方法のいくつかの
変形態様を説明する。
する。2節は、この方法を実施するのに適したシステム
の大要を提示する。3節は、この方法の主要な上位概念
ステップを概説する。4、5及び6節は、これらの上位
概念ステップのうちの3つ、即ち、質問処理、自動照会
構築及び再定形化、並びに結果ランク付け、を詳細に分
説したものを提示する。7節は、この方法のいくつかの
変形態様を説明する。
【0014】2.システム大要 図1は、本発明の方法を実施するのに適したシステムを
示す図である。利用者の自然言語による質問が一次照会
構築サブシステム10に導入され、そのソフトウェアは
計算処理ノード4を含む支援ハードウェアを駆動する。
ここで、計算処理ノード4は更にプロセッサー5及びプ
ロセッサー5に接続されたメモリー6を含んでいる。い
くつかの実施例によっては、計算処理ノード4はプロセ
ッサー5に接続された格納(記憶)装置8を付加的に備
えているものもある。一次照会構築サブシステム10
は、チャネル14を介してテキスト総体12を駆動する
情報検索サブシステム11に接続されている。利用者に
よりユーザーインターフェース7を介して一次照会構築
サブシステム10に入力された質問に応答して、一次照
会構築サブシステム10は情報検索サブシステム11に
一次照会を送る。これらの照会に応答して、情報検索サ
ブシステム11はテキスト総体12から文書又は文書識
別子を検索し、これらを一次照会構築サブシステム10
に返送する。
示す図である。利用者の自然言語による質問が一次照会
構築サブシステム10に導入され、そのソフトウェアは
計算処理ノード4を含む支援ハードウェアを駆動する。
ここで、計算処理ノード4は更にプロセッサー5及びプ
ロセッサー5に接続されたメモリー6を含んでいる。い
くつかの実施例によっては、計算処理ノード4はプロセ
ッサー5に接続された格納(記憶)装置8を付加的に備
えているものもある。一次照会構築サブシステム10
は、チャネル14を介してテキスト総体12を駆動する
情報検索サブシステム11に接続されている。利用者に
よりユーザーインターフェース7を介して一次照会構築
サブシステム10に入力された質問に応答して、一次照
会構築サブシステム10は情報検索サブシステム11に
一次照会を送る。これらの照会に応答して、情報検索サ
ブシステム11はテキスト総体12から文書又は文書識
別子を検索し、これらを一次照会構築サブシステム10
に返送する。
【0015】図1に更に付加的に示されるように、ここ
での本発明の方法は、任意ではあるが、自然言語による
質問に解答するための2段階の方法に適したシステムに
おいて具現化することが出来る。解答抽出サブシステム
15は、チャネル16を介して一次照会構築サブシステ
ム10に、そしてチャネル17を介して情報検索サブシ
ステム11に接続されている。解答抽出サブシステム1
5は、その入力として一次照会構築サブシステム10の
出力を受け取る。解答抽出サブシステム15は、二次照
会を含むがそれだけには限られない照会を情報検索サブ
システム11に送り、情報検索サブシステム11は、テ
キスト総体12から検索した文書又は文書(単数又は複
数)識別子を送り返す。解答抽出サブシステム15は、
更にプロセッサー5及びメモリー6を含むノード4、又
は他の方法として、独自のプロセッサー及びメモリ(図
示せず)からなる分離ノードから構成され得る支援ハー
ドウェアのもとで駆動する。解答抽出サブシステム15
の出力はユーザーインターフェース7を介して利用者に
提供される。
での本発明の方法は、任意ではあるが、自然言語による
質問に解答するための2段階の方法に適したシステムに
おいて具現化することが出来る。解答抽出サブシステム
15は、チャネル16を介して一次照会構築サブシステ
ム10に、そしてチャネル17を介して情報検索サブシ
ステム11に接続されている。解答抽出サブシステム1
5は、その入力として一次照会構築サブシステム10の
出力を受け取る。解答抽出サブシステム15は、二次照
会を含むがそれだけには限られない照会を情報検索サブ
システム11に送り、情報検索サブシステム11は、テ
キスト総体12から検索した文書又は文書(単数又は複
数)識別子を送り返す。解答抽出サブシステム15は、
更にプロセッサー5及びメモリー6を含むノード4、又
は他の方法として、独自のプロセッサー及びメモリ(図
示せず)からなる分離ノードから構成され得る支援ハー
ドウェアのもとで駆動する。解答抽出サブシステム15
の出力はユーザーインターフェース7を介して利用者に
提供される。
【0016】解答抽出サブシステムを含まない実施例に
おいては、一次照会構築サブシステム10の出力はユー
ザーインターフェース7を介して利用者に提供される
か、もしくは後の利用のためオプションの格納装置8に
格納される。
おいては、一次照会構築サブシステム10の出力はユー
ザーインターフェース7を介して利用者に提供される
か、もしくは後の利用のためオプションの格納装置8に
格納される。
【0017】図1に示すシステムの主な要素についてこ
こで更に詳述する。
こで更に詳述する。
【0018】一次照会構築サブシステム(10)。一次
照会構築サブシステム10は、1つ又はそれ以上の計算
(演算)ノードのもとで動作する処理である。「処理」
という語から、1つ又はそれ以上の実行のつらなり及び
時に1つ又はそれ以上の入力/出力の流れで構成される
ソフトウェア要素(エンティティ)であることが意味さ
れる。「ノード」という語からは、メモリ及び1つ又は
それ以上のプロセッサーを含むコンピューターであるこ
とを意味する。図1において、一次照会構築サブシステ
ム10はプロセッサー5及びメモリー6を含む計算処理
ノード4のもとで動作する。
照会構築サブシステム10は、1つ又はそれ以上の計算
(演算)ノードのもとで動作する処理である。「処理」
という語から、1つ又はそれ以上の実行のつらなり及び
時に1つ又はそれ以上の入力/出力の流れで構成される
ソフトウェア要素(エンティティ)であることが意味さ
れる。「ノード」という語からは、メモリ及び1つ又は
それ以上のプロセッサーを含むコンピューターであるこ
とを意味する。図1において、一次照会構築サブシステ
ム10はプロセッサー5及びメモリー6を含む計算処理
ノード4のもとで動作する。
【0019】計算処理ノード,プロセッサー,メモリ
ー,利用者インタフェース,及びオプションの格納装置
(4,5,6,7,8)。プロセッサー5及びそれに接
続されるメモリー6は、一次照会構築サブシステム10
における処理を実行する計算処理ノード4の中核をなし
ている。計算処理ノード4は、いくつかの実施例によっ
ては、更にハードディスクのような格納装置8を含んで
おり、それはプロセッサー5に接続される。ユーザーイ
ンターフェース7は、例えば入力キーボード及び表示画
面のようなハードウェア及び利用者が一次照会構築サブ
システム10と通信できるようにする関連ソフトウェア
を含む。いくつかの実施例によっては、例えば計算処理
ノード4がワークステーションであるとすれば、プロセ
ッサー5,メモリー6、ユーザーインターフェース7、
及び(存在するならば)格納装置8は単一コンピュータ
ーに統合される。他のいくつかの実施例においては、ユ
ーザーインターフェース7はプロセッサー5以外のプロ
セッサーのもとで動作し得るものであり、またプロセッ
サー5及びメモリー6から離れた位置に存在するハード
ウェアのもとで実動し得る。この技術における熟練者で
あれば、本発明の範囲内において計算処理ノード4、プ
ロセッサー5、メモリー6、ユーザーインターフェース
7、及びオプションの格納装置8を実現化するには様々
なハードウェア及びソフトウェアが利用し得ることは理
解されるであろう。
ー,利用者インタフェース,及びオプションの格納装置
(4,5,6,7,8)。プロセッサー5及びそれに接
続されるメモリー6は、一次照会構築サブシステム10
における処理を実行する計算処理ノード4の中核をなし
ている。計算処理ノード4は、いくつかの実施例によっ
ては、更にハードディスクのような格納装置8を含んで
おり、それはプロセッサー5に接続される。ユーザーイ
ンターフェース7は、例えば入力キーボード及び表示画
面のようなハードウェア及び利用者が一次照会構築サブ
システム10と通信できるようにする関連ソフトウェア
を含む。いくつかの実施例によっては、例えば計算処理
ノード4がワークステーションであるとすれば、プロセ
ッサー5,メモリー6、ユーザーインターフェース7、
及び(存在するならば)格納装置8は単一コンピュータ
ーに統合される。他のいくつかの実施例においては、ユ
ーザーインターフェース7はプロセッサー5以外のプロ
セッサーのもとで動作し得るものであり、またプロセッ
サー5及びメモリー6から離れた位置に存在するハード
ウェアのもとで実動し得る。この技術における熟練者で
あれば、本発明の範囲内において計算処理ノード4、プ
ロセッサー5、メモリー6、ユーザーインターフェース
7、及びオプションの格納装置8を実現化するには様々
なハードウェア及びソフトウェアが利用し得ることは理
解されるであろう。
【0020】情報検索サブシステム(11)。IRサブ
システムは、1つ又はそれ以上の計算処理ノード(図示
せず)のもとで実行する処理である。一般にこのIRサ
ブシステムは、一次照会構築サブシステム10が動作す
るノード(単数又は複数)とは明らかに異なるノード
(単数又は複数)のもとで動作する。しかし、これはこ
の場合必要なことではない。後に更に詳細に説明するよ
うに、IRサブシステムは、近接条件及び順序拘束条件
を伴う一定の初歩的なブール照会に応答することがで
き、また同様にこれらの初歩的な形式で構成される複合
照会にも応答することができる。情報検索サブシステム
11は、入力照会に応答して動作するサブシステム11
が、その照会に整合する文書をテキスト総体12から検
索できるようにテキスト総体12に接続される。
システムは、1つ又はそれ以上の計算処理ノード(図示
せず)のもとで実行する処理である。一般にこのIRサ
ブシステムは、一次照会構築サブシステム10が動作す
るノード(単数又は複数)とは明らかに異なるノード
(単数又は複数)のもとで動作する。しかし、これはこ
の場合必要なことではない。後に更に詳細に説明するよ
うに、IRサブシステムは、近接条件及び順序拘束条件
を伴う一定の初歩的なブール照会に応答することがで
き、また同様にこれらの初歩的な形式で構成される複合
照会にも応答することができる。情報検索サブシステム
11は、入力照会に応答して動作するサブシステム11
が、その照会に整合する文書をテキスト総体12から検
索できるようにテキスト総体12に接続される。
【0021】文書総体(12)。本発明の方法は、テキ
スト総体と共に利用される。それは自然言語テキストの
形式で格納される情報の総体(本体)である。とりわけ
その総体は記事や文書の集まりである。制限はなく、本
発明に適した総体の中には、例えば、百科事典、新聞記
事の集まり、事務通信文書群、顧客もしくは会社の情報
が含まれるファイル群、又は科学もしくは技術雑誌から
の抜粋もしくは記事が含まれる。
スト総体と共に利用される。それは自然言語テキストの
形式で格納される情報の総体(本体)である。とりわけ
その総体は記事や文書の集まりである。制限はなく、本
発明に適した総体の中には、例えば、百科事典、新聞記
事の集まり、事務通信文書群、顧客もしくは会社の情報
が含まれるファイル群、又は科学もしくは技術雑誌から
の抜粋もしくは記事が含まれる。
【0022】一般にテキスト総体12はコンピュータ化
データベースとして格納されている。コンピュータ化デ
ータベースは、如何なる適切なハードウェア上であれ
ば、実行し得る。そのようなハードウェアは、通常、1
つ又はそれ以上のハードディスクやCD−ROMのよう
な大規模記憶装置を含む。
データベースとして格納されている。コンピュータ化デ
ータベースは、如何なる適切なハードウェア上であれ
ば、実行し得る。そのようなハードウェアは、通常、1
つ又はそれ以上のハードディスクやCD−ROMのよう
な大規模記憶装置を含む。
【0023】チャネル(14,16,17)。本発明の
方法に適したシステムにおいては、各種の処理が通信チ
ャネルを介して相互に通信を行う。例えば、図1におい
て、一次照会構築サブシステム10は、チャネル14を
介して情報検索サブシステム11と通信を行う。2つの
通信処理が一つのノードで行なわれる場合、通信チャネ
ルはその一つのノードで働く処理間通信リンクを含む。
2つの通信処理が異なるノードのもとで動作している場
合、通信チャネルは、それらの処理が相互に通信を行え
るハードウェアリンク及びソフトウェアプロトコルを含
む。通信チャネルは、例えば、ローカルエリヤネットワ
ークやワイドエリアネットワークにおいて実現化され得
るし、また例えば、電線、同軸ケーブル、光ファイバ、
ワイヤレスハードウェアリンクを組み込むことが可能で
ある。一実施例においては、一次照会構築サブシステム
10は、利用者の位置にあるワークステーションのもと
で動作し、情報検索サブシステム11は遠隔地(テキス
ト総体12もここに位置される)にあるメインフレーム
又はサーバーのもとで動作する。通信チャネル14は、
ワイドエリアネットワークにまたがるモデムリンクを含
む。
方法に適したシステムにおいては、各種の処理が通信チ
ャネルを介して相互に通信を行う。例えば、図1におい
て、一次照会構築サブシステム10は、チャネル14を
介して情報検索サブシステム11と通信を行う。2つの
通信処理が一つのノードで行なわれる場合、通信チャネ
ルはその一つのノードで働く処理間通信リンクを含む。
2つの通信処理が異なるノードのもとで動作している場
合、通信チャネルは、それらの処理が相互に通信を行え
るハードウェアリンク及びソフトウェアプロトコルを含
む。通信チャネルは、例えば、ローカルエリヤネットワ
ークやワイドエリアネットワークにおいて実現化され得
るし、また例えば、電線、同軸ケーブル、光ファイバ、
ワイヤレスハードウェアリンクを組み込むことが可能で
ある。一実施例においては、一次照会構築サブシステム
10は、利用者の位置にあるワークステーションのもと
で動作し、情報検索サブシステム11は遠隔地(テキス
ト総体12もここに位置される)にあるメインフレーム
又はサーバーのもとで動作する。通信チャネル14は、
ワイドエリアネットワークにまたがるモデムリンクを含
む。
【0024】いくつかの実施例において、上記処理の2
つ又はそれ以上が、その処理のモジュールとして単一の
処理に集約され得ることが理解できるであろう。また、
実施例によっては、例えば、一次照会構築サブシステム
10及び情報検索サブシステム11は単一処理としての
モジュールとして実現化され得るし、一次照会構築サブ
システム10及び解答抽出サブシステム15は単一処理
としてのモジュールとして実現化され得る。そのような
場合、モジュール間の通信チャネルは、例えば、共有さ
れる変数又は関数又はサブルーチンパラメーターで行な
われることとなる。
つ又はそれ以上が、その処理のモジュールとして単一の
処理に集約され得ることが理解できるであろう。また、
実施例によっては、例えば、一次照会構築サブシステム
10及び情報検索サブシステム11は単一処理としての
モジュールとして実現化され得るし、一次照会構築サブ
システム10及び解答抽出サブシステム15は単一処理
としてのモジュールとして実現化され得る。そのような
場合、モジュール間の通信チャネルは、例えば、共有さ
れる変数又は関数又はサブルーチンパラメーターで行な
われることとなる。
【0025】3.本方法の主要なステップ 上位概念的にとらえた場合、本発明の方法は、図2のフ
ローチャートに示すように5つの主要なステップとして
進行する。(1)入力(ステップ200);(2)質問
処理(ステップ220);(3)自動照会構築及び再定
形化(ステップ240);(4)結果ランク付け(ステ
ップ260);及び(5)結果出力(ステップ280)
である。本説明のこの節は、これらのステップがこの方
法全体の流れにおいてどのように相互に作用しているか
を説明する。それに続く節は、質問処理、自動照会構築
及び再定形化、並びに結果ランク付けについて更に詳し
く吟味している。これらのステップの更に詳細なものは
MURAXとして具現化され、三章において提示されて
いる。
ローチャートに示すように5つの主要なステップとして
進行する。(1)入力(ステップ200);(2)質問
処理(ステップ220);(3)自動照会構築及び再定
形化(ステップ240);(4)結果ランク付け(ステ
ップ260);及び(5)結果出力(ステップ280)
である。本説明のこの節は、これらのステップがこの方
法全体の流れにおいてどのように相互に作用しているか
を説明する。それに続く節は、質問処理、自動照会構築
及び再定形化、並びに結果ランク付けについて更に詳し
く吟味している。これらのステップの更に詳細なものは
MURAXとして具現化され、三章において提示されて
いる。
【0026】以下において、簡略化のため自動照会構築
及び再定形化を時に「照会再定形化」と称することがあ
るに注意を要する。
及び再定形化を時に「照会再定形化」と称することがあ
るに注意を要する。
【0027】ステップ200において、利用者は、一次
照会構築サブシステムに対して連動したユーザーインタ
ーフェースを介して文字列を入力する。入力文字列は1
つ又はそれ以上の自然言語の列び(シーケンス)を表し
ている。通常、入力列は自然言語による質問の形式とな
っている。しかしながら、常にそうであるとは限らず、
例えば、入力列は、文(ステートメント)、段落(パラ
グラフ)、更に全くの記事もしくは他の文書でさえあり
得る。
照会構築サブシステムに対して連動したユーザーインタ
ーフェースを介して文字列を入力する。入力文字列は1
つ又はそれ以上の自然言語の列び(シーケンス)を表し
ている。通常、入力列は自然言語による質問の形式とな
っている。しかしながら、常にそうであるとは限らず、
例えば、入力列は、文(ステートメント)、段落(パラ
グラフ)、更に全くの記事もしくは他の文書でさえあり
得る。
【0028】ステップ220において、一次照会構築サ
ブシステムは入力列に対する質問処理を行う。一実施例
においては、質問処理は、入力列の各々の語がスピーチ
のどの部分かの決定(品詞の決定)、入力列における名
詞句及びタイトル句の認識、及び入力列からの主動詞の
抽出という処理からなる。ステップ220は、後の4節
において更に詳細に解析される。ステップ220の結果
は、入力列の解析結果ということになる。
ブシステムは入力列に対する質問処理を行う。一実施例
においては、質問処理は、入力列の各々の語がスピーチ
のどの部分かの決定(品詞の決定)、入力列における名
詞句及びタイトル句の認識、及び入力列からの主動詞の
抽出という処理からなる。ステップ220は、後の4節
において更に詳細に解析される。ステップ220の結果
は、入力列の解析結果ということになる。
【0029】ステップ240において、一次照会構築サ
ブシステムは、情報検索サブシステム及びそれに関連す
るテキスト総体と共に、ステップ220において展開さ
れた入力列解析を利用して自動照会構築及び再定形化を
行う。一実施例においては、照会再定形化は、2つの系
列からなる照会の構築及び実行を含む。第一の系列にお
ける照会は通常、単純照会であり、その照会の各々は入
力列解析中に検出された名詞句又はタイトル句の1つに
基づいたものである。第二の系列における照会は通常、
単純照会をその要素として含んでいる複合照会である。
照会再定形化は後の5節において更に詳細に説明され
る。ステップ240の結果は文書又は文書(単数又は複
数)識別子のランク付けされていない集まりである。
ブシステムは、情報検索サブシステム及びそれに関連す
るテキスト総体と共に、ステップ220において展開さ
れた入力列解析を利用して自動照会構築及び再定形化を
行う。一実施例においては、照会再定形化は、2つの系
列からなる照会の構築及び実行を含む。第一の系列にお
ける照会は通常、単純照会であり、その照会の各々は入
力列解析中に検出された名詞句又はタイトル句の1つに
基づいたものである。第二の系列における照会は通常、
単純照会をその要素として含んでいる複合照会である。
照会再定形化は後の5節において更に詳細に説明され
る。ステップ240の結果は文書又は文書(単数又は複
数)識別子のランク付けされていない集まりである。
【0030】ステップ260においては、ステップ24
0で導き出された文書又は文書(単数又は複数)識別子
の集まりがランク付けスキームに基づいてランク付けさ
れる。このステップの目的は利用者の質問に対して最も
関係のある文書を最高位にランク付けすることである。
一次照会構築サブシステム10は、ステップ220及び
240の結果を利用してランク付けを行う。実施例によ
っては、ステップ260はユーザーインターフェースを
介した利用者の入力も含み得る。ステップ260の詳細
は後の6節に提示される。ステップ260の結果は通
常、関連した文書の順序化されたリストである。
0で導き出された文書又は文書(単数又は複数)識別子
の集まりがランク付けスキームに基づいてランク付けさ
れる。このステップの目的は利用者の質問に対して最も
関係のある文書を最高位にランク付けすることである。
一次照会構築サブシステム10は、ステップ220及び
240の結果を利用してランク付けを行う。実施例によ
っては、ステップ260はユーザーインターフェースを
介した利用者の入力も含み得る。ステップ260の詳細
は後の6節に提示される。ステップ260の結果は通
常、関連した文書の順序化されたリストである。
【0031】ステップ280において、一次照会構築サ
ブシステムは、ステップ260において生成された関連
のある文書の順序化されたリストを出力する。その順序
化リストはユーザーインターフェースを介して利用者に
直接出力され得る。もしくは、又はそれに付け加えて、
それは後の利用のために格納装置に格納され得るし、又
はそれを入力として利用する解答抽出のような他の処理
に送ることも可能である。実施例によっては、参照を容
易にするため関連する文書において重要な検索用語が強
調される。実施例によっては、利用者への出力は対話形
式でなされる。即ち、例えば、利用者がシステムにコマ
ンドを発することを可能にし、これにより文書タイトル
のみ、完全な文書、文書の抄録等を利用者に対し出力す
る。
ブシステムは、ステップ260において生成された関連
のある文書の順序化されたリストを出力する。その順序
化リストはユーザーインターフェースを介して利用者に
直接出力され得る。もしくは、又はそれに付け加えて、
それは後の利用のために格納装置に格納され得るし、又
はそれを入力として利用する解答抽出のような他の処理
に送ることも可能である。実施例によっては、参照を容
易にするため関連する文書において重要な検索用語が強
調される。実施例によっては、利用者への出力は対話形
式でなされる。即ち、例えば、利用者がシステムにコマ
ンドを発することを可能にし、これにより文書タイトル
のみ、完全な文書、文書の抄録等を利用者に対し出力す
る。
【0032】4.質問処理 この節は、ステップ220、即ち、質問処理を詳細に吟
味する。質問処理は、通常(必ずしもそうである必要は
ないが)質問の形である自然言語入力列の浅い言語的解
析を含んでいる。
味する。質問処理は、通常(必ずしもそうである必要は
ないが)質問の形である自然言語入力列の浅い言語的解
析を含んでいる。
【0033】図3は、本方法の一実施例における質問処
理の各構成ステップをフローチャートで示す。ステップ
300において、入力列の解析が行われ、その列の各々
の語がスピーチのどの部分であるかを決定する。列の各
語は、それが名詞、動詞、形容詞等であるかを示すべく
タグ付けされる。タグ付けは、例えば隠れマルコフモデ
ルを利用したタグ付け手段により実行される。ステップ
300により生成される結果はタグ付けされた入力列で
ある。
理の各構成ステップをフローチャートで示す。ステップ
300において、入力列の解析が行われ、その列の各々
の語がスピーチのどの部分であるかを決定する。列の各
語は、それが名詞、動詞、形容詞等であるかを示すべく
タグ付けされる。タグ付けは、例えば隠れマルコフモデ
ルを利用したタグ付け手段により実行される。ステップ
300により生成される結果はタグ付けされた入力列で
ある。
【0034】ステップ300が完了すると、ステップ3
10、315及び320が直列的に、もしくは図3に示
すように並列的に実行される。構成要素ステップ311
及び312を含むステップ310においては、タグ付け
された入力列が解析されて名詞句が検出される。ステッ
プ315においては、タグ付けされた入力列が更に解析
されて主動詞が検出される。ステップ320において
は、入力列が解析されてタイトル句が検出される。ステ
ップ310、315及び320のそれぞれをここで詳説
する。
10、315及び320が直列的に、もしくは図3に示
すように並列的に実行される。構成要素ステップ311
及び312を含むステップ310においては、タグ付け
された入力列が解析されて名詞句が検出される。ステッ
プ315においては、タグ付けされた入力列が更に解析
されて主動詞が検出される。ステップ320において
は、入力列が解析されてタイトル句が検出される。ステ
ップ310、315及び320のそれぞれをここで詳説
する。
【0035】ステップ310において名詞句が検出され
る。名詞句とは、名詞、形容詞及び他の名詞のようなそ
の修飾語並びに時に定冠詞又は不定冠詞で構成される語
の列びである。ステップ310はステップ311及び3
12を含む。ステップ311においては、タグ付けされ
た入力列が解析されてそれに含まれる最大長の単一名詞
句が検出される。これは、例えば有限状態機械(FS
M)名詞句認識手段を利用して実行される。J.E. hopcr
oft and J.D. Ullman, Introduction to Automata Theo
ry, languages, and Computation (Addison-Wesley, 19
79) 参照。ステップ312においては、ケース(大文字
か小文字か)分割が行われる。即ち、ステップ311で
検出された最大長名詞句が頭文字が大文字か否かに基づ
いて短い名詞句に分割される。特に、ある名詞句のなか
でそれ自身が名詞句でありかつそれらの語の最初の文字
がすべて大文字である一連の語は、その名詞句において
他の語から分割される。例えば、ステップ311におい
て名詞句「New York City borough 」が検出されたとす
ると、ステップ312においてはそれは次のように分割
される。
る。名詞句とは、名詞、形容詞及び他の名詞のようなそ
の修飾語並びに時に定冠詞又は不定冠詞で構成される語
の列びである。ステップ310はステップ311及び3
12を含む。ステップ311においては、タグ付けされ
た入力列が解析されてそれに含まれる最大長の単一名詞
句が検出される。これは、例えば有限状態機械(FS
M)名詞句認識手段を利用して実行される。J.E. hopcr
oft and J.D. Ullman, Introduction to Automata Theo
ry, languages, and Computation (Addison-Wesley, 19
79) 参照。ステップ312においては、ケース(大文字
か小文字か)分割が行われる。即ち、ステップ311で
検出された最大長名詞句が頭文字が大文字か否かに基づ
いて短い名詞句に分割される。特に、ある名詞句のなか
でそれ自身が名詞句でありかつそれらの語の最初の文字
がすべて大文字である一連の語は、その名詞句において
他の語から分割される。例えば、ステップ311におい
て名詞句「New York City borough 」が検出されたとす
ると、ステップ312においてはそれは次のように分割
される。
【外1】 「New York City 」という語の最初の文字が大文字であ
るのに対して、「borough 」の最初の文字は大文字でな
いからである。一旦この分割が決定されると、次の処理
のために名詞句「New York City borough 」は捨てら
れ、2つの短い名詞句「New York City 」及び「boroug
h 」に置き換えられる。他の例としては、ステップ31
1において名詞句「last Apache warrior chief 」が検
出されたとすると、ステップ312において最初の文字
が大文字か否かに基づきこの句は次のように分割され
る。
るのに対して、「borough 」の最初の文字は大文字でな
いからである。一旦この分割が決定されると、次の処理
のために名詞句「New York City borough 」は捨てら
れ、2つの短い名詞句「New York City 」及び「boroug
h 」に置き換えられる。他の例としては、ステップ31
1において名詞句「last Apache warrior chief 」が検
出されたとすると、ステップ312において最初の文字
が大文字か否かに基づきこの句は次のように分割され
る。
【外2】 名詞句「Apache」及び「warrior chief 」が次の処理で
利用され、元の名詞句「last Apache warrior chief 」
は捨てられる。形容詞「last」は、分割後はもはや名詞
句の一部ではなくなるので、同様に捨てられる。
利用され、元の名詞句「last Apache warrior chief 」
は捨てられる。形容詞「last」は、分割後はもはや名詞
句の一部ではなくなるので、同様に捨てられる。
【0036】ステップ315においては主動詞が検出さ
れる。主動詞とは、ステップ300において動詞として
タグ付けされかつ助動詞でないすべての語(ワード)で
ある。通常、入力列には1つの主動詞が含まれている
が、含まれていない場合もあるし、2つ又はそれ以上含
まれている場合もある。
れる。主動詞とは、ステップ300において動詞として
タグ付けされかつ助動詞でないすべての語(ワード)で
ある。通常、入力列には1つの主動詞が含まれている
が、含まれていない場合もあるし、2つ又はそれ以上含
まれている場合もある。
【0037】ステップ320においては入力列の中のタ
イトル句が検出される。タイトル句とは、文献、映画又
は他の作品のタイトルを表す語の列びである。それらは
時にステップ310で検出された名詞句を含む場合もあ
るし、その名詞句と同じであることさえある。他の場
合、それらは動詞や名詞句の要素ではないスピーチの他
の部分(他の品詞)を含むこともある。タイトル句は、
例えば、引用符に挿まれているとか斜体字であるとかと
いう印刷上の指標により認識される。したがって、次に
示す入力列片はタイトル句と認識されるであろう。 ”Gone With the Wind" Gone With the Wind 通常、入力列はゼロ又は1つのタイトル句を含んでいる
が、2つ又はそれ以上を含んでいることもあり得る。
イトル句が検出される。タイトル句とは、文献、映画又
は他の作品のタイトルを表す語の列びである。それらは
時にステップ310で検出された名詞句を含む場合もあ
るし、その名詞句と同じであることさえある。他の場
合、それらは動詞や名詞句の要素ではないスピーチの他
の部分(他の品詞)を含むこともある。タイトル句は、
例えば、引用符に挿まれているとか斜体字であるとかと
いう印刷上の指標により認識される。したがって、次に
示す入力列片はタイトル句と認識されるであろう。 ”Gone With the Wind" Gone With the Wind 通常、入力列はゼロ又は1つのタイトル句を含んでいる
が、2つ又はそれ以上を含んでいることもあり得る。
【0038】ステップ330においては、ステップ31
0、315及び320の結果が格納される。格納された
結果は入力列の完全な解析結果を表すものである。その
結果は、例えば、3タプルのリストに格納される。尚、
1つの3タプルでステップ310、315及び320を
通して検出された各名詞句、主動詞及びタイトル句を賄
う。各3タプルは形式(i、句タイプ、テキスト)につ
いての順序化されたリストである。ここで、iは、例え
ばそのリスト内の位置(第1、第2、第3・・・)とい
うような、その句に関連した固有インデックス番号であ
り、句タイプは、句の種類(名詞句、主要な動詞、又は
タイトル句)を示すものであり、テキストは、その句自
身のテキストを含む列である。ここで、例えば、名詞句
「Abraham Lincoln 」及び「theater 」、主動詞「shoo
t 」、及びタイトル句「Reconsidering the Civil War
」が、入力列に検出されたとしたならば、結果のリス
トは、ここでリスプの文法表現(Lisp syntax)によると
次のような形式となる。 ((1 'NP "Abraham Lincoln") (2 'NP "theater") (3 'V " shoot") (4 'TP "Reconsidering the Civil War")) このリストはプロセッサーのメモリーに格納され得る。
もしくは、又はそれに加えてプロセッサーに接続されて
いる格納装置に格納され得る。ステップ330は図3に
おいてステップ310、315、及び320とは分かれ
て後に行われるように描かれていることがわかるであろ
うが、実施例によっては、ステップ310、315、及
び320の実行に先立って、ステップ330の一部とし
て最初に空のリストが生成され、その後ステップ31
0、315、及び320の処理の間1つずつ埋められて
いくようになっているので、ステップ310、315、
及び320が終了すると、ステップ330も事実上終了
することとなる。
0、315及び320の結果が格納される。格納された
結果は入力列の完全な解析結果を表すものである。その
結果は、例えば、3タプルのリストに格納される。尚、
1つの3タプルでステップ310、315及び320を
通して検出された各名詞句、主動詞及びタイトル句を賄
う。各3タプルは形式(i、句タイプ、テキスト)につ
いての順序化されたリストである。ここで、iは、例え
ばそのリスト内の位置(第1、第2、第3・・・)とい
うような、その句に関連した固有インデックス番号であ
り、句タイプは、句の種類(名詞句、主要な動詞、又は
タイトル句)を示すものであり、テキストは、その句自
身のテキストを含む列である。ここで、例えば、名詞句
「Abraham Lincoln 」及び「theater 」、主動詞「shoo
t 」、及びタイトル句「Reconsidering the Civil War
」が、入力列に検出されたとしたならば、結果のリス
トは、ここでリスプの文法表現(Lisp syntax)によると
次のような形式となる。 ((1 'NP "Abraham Lincoln") (2 'NP "theater") (3 'V " shoot") (4 'TP "Reconsidering the Civil War")) このリストはプロセッサーのメモリーに格納され得る。
もしくは、又はそれに加えてプロセッサーに接続されて
いる格納装置に格納され得る。ステップ330は図3に
おいてステップ310、315、及び320とは分かれ
て後に行われるように描かれていることがわかるであろ
うが、実施例によっては、ステップ310、315、及
び320の実行に先立って、ステップ330の一部とし
て最初に空のリストが生成され、その後ステップ31
0、315、及び320の処理の間1つずつ埋められて
いくようになっているので、ステップ310、315、
及び320が終了すると、ステップ330も事実上終了
することとなる。
【0039】5.照会再定形化 この節は、ステップ240、即ち、自動照会構築及び再
定形化を詳細に考察する。自動照会構築及び再定形化、
又は短く称して照会再定形化は、関連する文書又は文書
(単数又は複数)識別子の処理しやすい(例えば、比較
的小さい)の集まりを得るための一連のIR照会の生成
と実行で構成される。IR照会は、入力列、利用者によ
り又はデフォールトとして設定されているいくつかの拘
束条件、及び一連の照会自体から得られる中間結果の解
析にその基礎を置いている。
定形化を詳細に考察する。自動照会構築及び再定形化、
又は短く称して照会再定形化は、関連する文書又は文書
(単数又は複数)識別子の処理しやすい(例えば、比較
的小さい)の集まりを得るための一連のIR照会の生成
と実行で構成される。IR照会は、入力列、利用者によ
り又はデフォールトとして設定されているいくつかの拘
束条件、及び一連の照会自体から得られる中間結果の解
析にその基礎を置いている。
【0040】この節はいくつかのサブセクションで構成
される。サブセクション5.1は、本発明の方法を実行
する過程で作られる種々の照会を説明するために使用さ
れる照会文法について記述する。サブセクション5.2
は、照会がどのように実行されるかを記述する。サブセ
クション5.3は、広範化と狭小化の概念について記述
する。サブセクション5.4は照会再定形化の手順の大
要を記述しており、またサブセクション5.5から5.
10はこれらのステップの更に詳細な説明を提示する。
される。サブセクション5.1は、本発明の方法を実行
する過程で作られる種々の照会を説明するために使用さ
れる照会文法について記述する。サブセクション5.2
は、照会がどのように実行されるかを記述する。サブセ
クション5.3は、広範化と狭小化の概念について記述
する。サブセクション5.4は照会再定形化の手順の大
要を記述しており、またサブセクション5.5から5.
10はこれらのステップの更に詳細な説明を提示する。
【0041】5.1 照会文法 自然言語で形成されている入力列とは異なり、IR照会
は、IRサブシステムにより理解できる形式である検索
用語の間のブール代数的関係、近接関係、及び順序付け
又はシーケンスの列びの関係を表す照会言語で形成され
ている。考察の便宜上、照会言語は以下のように表現さ
れる。term は、単一検索用語term
を表す。用語は1つの個々の語又は時には別の照会であ
る。<p term1 term2 ...> は、用語の厳密な順
序付けを表す。IRサブシステムは、かぎ括弧に内包さ
れているすべての用語が文書内において最初と最後の語
に挟まれた最大数p個の語(つまり、多くてもP+2個
の語)を含むある列びの中に、かつ括弧内に現われるの
と全く同じ順序で存在している場合にのみ、この文書は
この照会と整合していると決定する。照会<0 phrase>
は、句phraseという正にその語とのみ整合する。厳密順
序照会は、例えば次に示すように照会内で入れ子構造と
なり得る。<5 <0 Abraham Lincoln> president>(p term
(用語)1 term(用語)2 ...) は、厳密な順序は課されず
に、互いにP個の用語の近接条件内にある用語を表す。
IRサブシステムは、丸括弧に内包されているすべての
用語が文書内において最大数 p個の挟まれた語を含む
ある列びの中に存在している場合にのみ、この文書はこ
の照会と整合していると決定する。例えば、照会(3 big
white ball)は、「Taking up the white ball, with t
he big bat in its hands, the gorilla began to play
baseball . . .」 で始まる文を含む文書と整合する。
なぜなら整合する最初の語(「white 」 )で始まって
整合する最後の語(「big 」 )で終わる列びに関し、
その列びの最初と最後の語で挟まれる語が3語よりも多
くないからである。列びに含まれる用語の順序はこの照
会では考慮されない。近接照会は入れ子となり得るし、
例えば次に示すような照会のように厳密順序照会を含み
得る。 (20 <0 Abraham Lin
cion>(10 slavery freedom))
は、IRサブシステムにより理解できる形式である検索
用語の間のブール代数的関係、近接関係、及び順序付け
又はシーケンスの列びの関係を表す照会言語で形成され
ている。考察の便宜上、照会言語は以下のように表現さ
れる。term は、単一検索用語term
を表す。用語は1つの個々の語又は時には別の照会であ
る。<p term1 term2 ...> は、用語の厳密な順
序付けを表す。IRサブシステムは、かぎ括弧に内包さ
れているすべての用語が文書内において最初と最後の語
に挟まれた最大数p個の語(つまり、多くてもP+2個
の語)を含むある列びの中に、かつ括弧内に現われるの
と全く同じ順序で存在している場合にのみ、この文書は
この照会と整合していると決定する。照会<0 phrase>
は、句phraseという正にその語とのみ整合する。厳密順
序照会は、例えば次に示すように照会内で入れ子構造と
なり得る。<5 <0 Abraham Lincoln> president>(p term
(用語)1 term(用語)2 ...) は、厳密な順序は課されず
に、互いにP個の用語の近接条件内にある用語を表す。
IRサブシステムは、丸括弧に内包されているすべての
用語が文書内において最大数 p個の挟まれた語を含む
ある列びの中に存在している場合にのみ、この文書はこ
の照会と整合していると決定する。例えば、照会(3 big
white ball)は、「Taking up the white ball, with t
he big bat in its hands, the gorilla began to play
baseball . . .」 で始まる文を含む文書と整合する。
なぜなら整合する最初の語(「white 」 )で始まって
整合する最後の語(「big 」 )で終わる列びに関し、
その列びの最初と最後の語で挟まれる語が3語よりも多
くないからである。列びに含まれる用語の順序はこの照
会では考慮されない。近接照会は入れ子となり得るし、
例えば次に示すような照会のように厳密順序照会を含み
得る。 (20 <0 Abraham Lin
cion>(10 slavery freedom))
【0042】5.2 照会実行処理 照会の実行処理は、以下で述べられる初期照会であろう
が他の照会であろうが、本発明の一実施例を説明すべく
図4にフローチャートで描かれているようにいくつかの
構成要素ステップからなる。この実施例においては、照
会実行処理は「照会生成(MAKE-QUERY)」と呼ばれる機能
により実行される。ステップ400において「照会生
成」は実行されるべき照会を入力として受け取る。ステ
ップ402においては、その照会が「照会生成」により
以前に格納された結果と比較され、それが以前に実行さ
れたものであるか否かが決定される。照会がすでに実行
されたものであるならば、「照会生成」から即座に復帰
し、そうでなければ「照会生成」はステップ405へと
続く。
が他の照会であろうが、本発明の一実施例を説明すべく
図4にフローチャートで描かれているようにいくつかの
構成要素ステップからなる。この実施例においては、照
会実行処理は「照会生成(MAKE-QUERY)」と呼ばれる機能
により実行される。ステップ400において「照会生
成」は実行されるべき照会を入力として受け取る。ステ
ップ402においては、その照会が「照会生成」により
以前に格納された結果と比較され、それが以前に実行さ
れたものであるか否かが決定される。照会がすでに実行
されたものであるならば、「照会生成」から即座に復帰
し、そうでなければ「照会生成」はステップ405へと
続く。
【0043】ステップ405においては、「照会生成」
は一次照会構築サブシステムからの照会を相互接続する
チャネルを介して情報検索サブシステムに送る。ステッ
プ410においては、情報検索サブシステムはテキスト
総体と共にて照会を行い、「ヒット」即ち、照会に整合
した文書を決定する。ステップ415においては、情報
検索サブシステムはこの処理の結果をチャネルを介して
一次照会構築サブシステムに送り返す。その結果は、検
出されたヒット数とそれに加えて検索文書又は名称やイ
ンデックス番号のようなこれらの文書についての識別子
のリストで構成されている。
は一次照会構築サブシステムからの照会を相互接続する
チャネルを介して情報検索サブシステムに送る。ステッ
プ410においては、情報検索サブシステムはテキスト
総体と共にて照会を行い、「ヒット」即ち、照会に整合
した文書を決定する。ステップ415においては、情報
検索サブシステムはこの処理の結果をチャネルを介して
一次照会構築サブシステムに送り返す。その結果は、検
出されたヒット数とそれに加えて検索文書又は名称やイ
ンデックス番号のようなこれらの文書についての識別子
のリストで構成されている。
【0044】ステップ420において、「照会生成」は
返却された結果を格納するか否かを決定する。更には、
ステップ420においては、「照会生成」は、ヒット数
が例えば1のようなしきい値以上であるか否か、そし
て、それが例えば50である最大値に満たないか否かを
決定する。しきい値及び最大値は通常、前もって(例え
ばプログラマーにより)デフォールト値として指定され
る。実施例によってはそれらは利用者によっても設定し
得るし、実施例によっては一次照会構築サブシステム1
0により動的に設定し得る。選択される現実の値は多く
の要因に依存する。その要因とは無制限であって、例え
ば本発明の方法が適用される個別の作業、テキスト総体
の大きさ、利用者が参照を望む情報量等である。更に、
同じステップ420において、「照会生成」は現照会が
以前の照会(以下参照)の広範化されたバージョンのも
のであるか否かをチェックし、もしそうであるならばそ
の照会はその以前の照会と同じヒット数を返したか否か
をチェックする。もしそうであるならば、その結果は重
複であると考えられ、したがってそれは格納されない。
返却された結果を格納するか否かを決定する。更には、
ステップ420においては、「照会生成」は、ヒット数
が例えば1のようなしきい値以上であるか否か、そし
て、それが例えば50である最大値に満たないか否かを
決定する。しきい値及び最大値は通常、前もって(例え
ばプログラマーにより)デフォールト値として指定され
る。実施例によってはそれらは利用者によっても設定し
得るし、実施例によっては一次照会構築サブシステム1
0により動的に設定し得る。選択される現実の値は多く
の要因に依存する。その要因とは無制限であって、例え
ば本発明の方法が適用される個別の作業、テキスト総体
の大きさ、利用者が参照を望む情報量等である。更に、
同じステップ420において、「照会生成」は現照会が
以前の照会(以下参照)の広範化されたバージョンのも
のであるか否かをチェックし、もしそうであるならばそ
の照会はその以前の照会と同じヒット数を返したか否か
をチェックする。もしそうであるならば、その結果は重
複であると考えられ、したがってそれは格納されない。
【0045】ステップ420の出力に依存して、ステッ
プ421又はステップ423が実行される。ステップ4
20においてヒット数がしきい値及び最大値により設定
される範囲以内であると決定されかつ結果が重複ではな
いとみなされた場合、ステップ421が実行される。ス
テップ421においては情報検索サブシステムにより送
り返されたは文書(単数又は複数)識別子のリストがそ
の入力照会及びヒット数と共に格納される。ステップ4
20においてヒット数がしきい値よりも小さいかもしく
は最大値以上である場合、又は結果が重複であると見な
される場合には、ステップ423が実行される。ステッ
プ423において「照会生成」は情報検索サブシステム
から返送された結果を捨て、ヒット数を人為的な値にリ
セットする。情報検索サブシステムにより検出されたヒ
ット数がしきい値よりも小さいか、もしくは「照会生
成」が結果を重複であるとみなした場合、その人為的な
値は0であり、ヒット数が最大値以上であった場合、そ
の人為的な値はその最大値とする。
プ421又はステップ423が実行される。ステップ4
20においてヒット数がしきい値及び最大値により設定
される範囲以内であると決定されかつ結果が重複ではな
いとみなされた場合、ステップ421が実行される。ス
テップ421においては情報検索サブシステムにより送
り返されたは文書(単数又は複数)識別子のリストがそ
の入力照会及びヒット数と共に格納される。ステップ4
20においてヒット数がしきい値よりも小さいかもしく
は最大値以上である場合、又は結果が重複であると見な
される場合には、ステップ423が実行される。ステッ
プ423において「照会生成」は情報検索サブシステム
から返送された結果を捨て、ヒット数を人為的な値にリ
セットする。情報検索サブシステムにより検出されたヒ
ット数がしきい値よりも小さいか、もしくは「照会生
成」が結果を重複であるとみなした場合、その人為的な
値は0であり、ヒット数が最大値以上であった場合、そ
の人為的な値はその最大値とする。
【0046】ステップ421又はステップ423が終了
した後、実行処理はステップ430へ進む。ステップ4
30においては、「照会生成」はステップ421で格納
された結果と共にヒット数を返すか又は、一方ステップ
423が実行された場合には、結果は捨てられた旨を返
す。ステップ423が実行された場合、「照会生成」が
ステップ430に戻るヒット数はステップ423におい
てセットされた人為的な値である。
した後、実行処理はステップ430へ進む。ステップ4
30においては、「照会生成」はステップ421で格納
された結果と共にヒット数を返すか又は、一方ステップ
423が実行された場合には、結果は捨てられた旨を返
す。ステップ423が実行された場合、「照会生成」が
ステップ430に戻るヒット数はステップ423におい
てセットされた人為的な値である。
【0047】5.3 広範化及び狭小化 ここでは広範化及び狭小化という語が有用である。「広
範な」照会とは、実行時に比較的多くのヒット(つまり
文書整合)を生成する照会である。それはIRサブシス
テムによる比較的広い視野の検索を示すのでそのように
呼ばれる。「狭小な」照会とは実行時に比較的少ないヒ
ットを生成する照会である。それはIRサブシステムに
よる比較的狭い視野の検索を示すのでそのように呼ばれ
る。
範な」照会とは、実行時に比較的多くのヒット(つまり
文書整合)を生成する照会である。それはIRサブシス
テムによる比較的広い視野の検索を示すのでそのように
呼ばれる。「狭小な」照会とは実行時に比較的少ないヒ
ットを生成する照会である。それはIRサブシステムに
よる比較的狭い視野の検索を示すのでそのように呼ばれ
る。
【0048】「広範化」は、現行の照会から現行の照会
よりも広い、つまり多くのヒットを生成しようとする新
たな照会を形成することを意味する。「狭小化」は、現
行の照会から、現行の照会よりも少ないヒットを生成し
ようとする新たな照会を定形化することを意味する。
よりも広い、つまり多くのヒットを生成しようとする新
たな照会を形成することを意味する。「狭小化」は、現
行の照会から、現行の照会よりも少ないヒットを生成し
ようとする新たな照会を定形化することを意味する。
【0049】広範化は、例えば、現行の照会における近
接制約条件を緩和することにより、又は新たな照会を形
成すべく現行の照会から語もしくは構成要素照会を削除
することによりなされる。狭小化は、例えば、現行の照
会における近接制約条件を厳格にすることにより、又は
新たな照会を形成すべく現行の照会に語もしくは構成要
素照会を追加することによりなされる。
接制約条件を緩和することにより、又は新たな照会を形
成すべく現行の照会から語もしくは構成要素照会を削除
することによりなされる。狭小化は、例えば、現行の照
会における近接制約条件を厳格にすることにより、又は
新たな照会を形成すべく現行の照会に語もしくは構成要
素照会を追加することによりなされる。
【0050】5.4 照会再定形化の大要 図5は、本方法の一実施例における自動照会構築及び再
定形化の構成ステップのフローチャートを示す。ステッ
プ500においては、いくつかの照会についての情報を
計数するための表(テーブル)が作られる。ステップ5
05から570においては、一連の照会が、利用者の僅
かな介在により又は利用者の介在なくシステムにより自
動的に実行される。これらの照会はステップ330にお
いて格納された入力列の完結した解析に基づくものであ
る。
定形化の構成ステップのフローチャートを示す。ステッ
プ500においては、いくつかの照会についての情報を
計数するための表(テーブル)が作られる。ステップ5
05から570においては、一連の照会が、利用者の僅
かな介在により又は利用者の介在なくシステムにより自
動的に実行される。これらの照会はステップ330にお
いて格納された入力列の完結した解析に基づくものであ
る。
【0051】ステップ505、510、及び525は、
単純照会に関するものである。単純照会とは個々の名詞
句又はタイトル句に基づく照会である。ステップ505
では、入力列における名詞句に基づいて初期照会が構築
され実行される。ステップ510では、これらの初期照
会についての広範化されたものを構築し実行する。ステ
ップ525においては、タイトル句に基づく単純照会が
構築され実行される。
単純照会に関するものである。単純照会とは個々の名詞
句又はタイトル句に基づく照会である。ステップ505
では、入力列における名詞句に基づいて初期照会が構築
され実行される。ステップ510では、これらの初期照
会についての広範化されたものを構築し実行する。ステ
ップ525においては、タイトル句に基づく単純照会が
構築され実行される。
【0052】ステップ530、540、545、55
0、560、及び570は、主に複合照会に関するもの
である。複合照会とは、2つ又はそれ以上の構成要素か
らなる照会であり、その各構成要素は単純照会又は動詞
等の他の検索用語である。ステップ530では、タイト
ル句及び名詞句の組合せに基づく照会が構築され実行さ
れる。ステップ540では、名詞句の最大の組合せに基
づく照会が構築され実行される。ステップ545では、
名詞句についてより少ない組合せに基づく照会が構築さ
れ実行される。ステップ550では、タイトル句又は名
詞句に関連した主動詞に基づく照会が構築され実行され
る。ステップ560では、名詞句の首位語に基づく照会
が構築され実行され得る。ステップ570では、名詞句
内の同意語又はハイポニム(hypoym)に基づく照会等の照
会が更に構築され実行され得る。
0、560、及び570は、主に複合照会に関するもの
である。複合照会とは、2つ又はそれ以上の構成要素か
らなる照会であり、その各構成要素は単純照会又は動詞
等の他の検索用語である。ステップ530では、タイト
ル句及び名詞句の組合せに基づく照会が構築され実行さ
れる。ステップ540では、名詞句の最大の組合せに基
づく照会が構築され実行される。ステップ545では、
名詞句についてより少ない組合せに基づく照会が構築さ
れ実行される。ステップ550では、タイトル句又は名
詞句に関連した主動詞に基づく照会が構築され実行され
る。ステップ560では、名詞句の首位語に基づく照会
が構築され実行され得る。ステップ570では、名詞句
内の同意語又はハイポニム(hypoym)に基づく照会等の照
会が更に構築され実行され得る。
【0053】図5におけるステップの各々を以下に更に
詳細に説明する。
詳細に説明する。
【0054】5.5 頻度表(テーブル) ステップ500では、引き続くステップにおいて生成さ
れ処理されるいくつかの照会に関する情報を計数するた
めの表が作られる。この表を名詞句頻度表又は単に頻度
表と呼ぶ。頻度表はその生成の段階では空白であり、後
のステップが実行されるにつれ埋められていく。頻度表
はプロセッサーのメモリーに格納され得る。もしくは、
又はそれに加えてプロセッサーに接続されている格納装
置に格納され得る。頻度表は、配列、3タプルのリスト
又は他の適当なデータ構造として表現され得る。
れ処理されるいくつかの照会に関する情報を計数するた
めの表が作られる。この表を名詞句頻度表又は単に頻度
表と呼ぶ。頻度表はその生成の段階では空白であり、後
のステップが実行されるにつれ埋められていく。頻度表
はプロセッサーのメモリーに格納され得る。もしくは、
又はそれに加えてプロセッサーに接続されている格納装
置に格納され得る。頻度表は、配列、3タプルのリスト
又は他の適当なデータ構造として表現され得る。
【0055】一実施例において、頻度表は二次元の3行
n列配列として表現される。ここで、nは入力列におい
て検出された名詞句の数である。この配列の各列はn個
の名詞句の1つに丁度対応しており、要素(i、ヒット
数、近接条件)を含む3タプルを表している。ここで、
iは固有インデックス番号であり、名詞句に対応してス
テップ330において格納されたものである。ヒット数
はこの照会に対して見出された文書整合又は「ヒット」
の数である。また、近接条件は、以下の例により更に詳
細に説明されるが、照会で使用される近接制約条件の表
示である。表1は、この実施例に基づく初期照会の実行
前の頻度表の例の内容を表す。
n列配列として表現される。ここで、nは入力列におい
て検出された名詞句の数である。この配列の各列はn個
の名詞句の1つに丁度対応しており、要素(i、ヒット
数、近接条件)を含む3タプルを表している。ここで、
iは固有インデックス番号であり、名詞句に対応してス
テップ330において格納されたものである。ヒット数
はこの照会に対して見出された文書整合又は「ヒット」
の数である。また、近接条件は、以下の例により更に詳
細に説明されるが、照会で使用される近接制約条件の表
示である。表1は、この実施例に基づく初期照会の実行
前の頻度表の例の内容を表す。
【0056】
【表1】初期照会が実行される前の頻度表の例 i 1 2 3 4 ・・・ ヒット数 0 0 0 0 ・・・ 近接条件 0 0 0 0 ・・・
【0057】この実施例の頻度表においては近接条件情
報を表すために単一の値が使用されていることがわかる
であろう。この実施例においては、厳密順序を明示する
名詞句照会、つまり形式<p NP>の照会は、p値が0であ
ることが必要かつ十分である場合に実行され、厳密順序
を明示するものではない名詞句照会、つまり形式(p NP)
の照会は、p値が0ではないことが必要かつ十分である
場合に実行されるので、単一の値で十分である。他の実
施例においては、近接条件及び厳密順序付けについて異
なる値が格納され得るし、また他の情報も格納され得
る。
報を表すために単一の値が使用されていることがわかる
であろう。この実施例においては、厳密順序を明示する
名詞句照会、つまり形式<p NP>の照会は、p値が0であ
ることが必要かつ十分である場合に実行され、厳密順序
を明示するものではない名詞句照会、つまり形式(p NP)
の照会は、p値が0ではないことが必要かつ十分である
場合に実行されるので、単一の値で十分である。他の実
施例においては、近接条件及び厳密順序付けについて異
なる値が格納され得るし、また他の情報も格納され得
る。
【0058】5.6 初期照会 ステップ505において、初期IR照会が構築されて実
行される。初期照会は、質問処理中に入力列にて検出さ
れた名詞句に基づくものである。そのような名詞句の各
々に1つの初期照会が存在する。各初期照会は次に示す
ような形式となっている。 <0 NPi> ここで、NPi は、固有インデックス番号がiである名詞
句のテキストである。別の表現をすると、初期照会は入
力列に現れるものと完全に整合する名詞句を検索する。
行される。初期照会は、質問処理中に入力列にて検出さ
れた名詞句に基づくものである。そのような名詞句の各
々に1つの初期照会が存在する。各初期照会は次に示す
ような形式となっている。 <0 NPi> ここで、NPi は、固有インデックス番号がiである名詞
句のテキストである。別の表現をすると、初期照会は入
力列に現れるものと完全に整合する名詞句を検索する。
【0059】上述の「照会生成」の機能が使用される実
施例においては、ステップ505は、各初期照会に1回
の、「照会生成」に対する繰り返しの呼び出しにより実
行される。「照会生成」に対するそのような各呼び出し
の後、「照会生成」が結果を返送すると、つまりヒット
数がしきい値及び最大値により設定される範囲内にある
ときは、頻度表は、初期照会についてのヒット数値を
「照会生成」により返送されたヒット数に設定すること
により更新される。その他の場合には、ヒット数値は、
「照会生成」により返送された人為的な値に基づきゼロ
のままであるか最大値に設定される。この例を下の表2
に示す。表2は、インデックス値i=1、2、3、4に
ついての4つの初期照会の実行の後の頻度表の例の内容
を表す。
施例においては、ステップ505は、各初期照会に1回
の、「照会生成」に対する繰り返しの呼び出しにより実
行される。「照会生成」に対するそのような各呼び出し
の後、「照会生成」が結果を返送すると、つまりヒット
数がしきい値及び最大値により設定される範囲内にある
ときは、頻度表は、初期照会についてのヒット数値を
「照会生成」により返送されたヒット数に設定すること
により更新される。その他の場合には、ヒット数値は、
「照会生成」により返送された人為的な値に基づきゼロ
のままであるか最大値に設定される。この例を下の表2
に示す。表2は、インデックス値i=1、2、3、4に
ついての4つの初期照会の実行の後の頻度表の例の内容
を表す。
【0060】
【表2】初期照会が実行された後の頻度表の例 i 1 2 3 4 ・・・ ヒット数 2 30 0 0 ・・・ 近接条件 0 0 0 0 ・・・
【0061】第1の初期照会は2ヒットを返し、第2の
初期照会は30ヒットを返しているのに対して、第3及
び第4の初期照会はしきい値よりも少ないヒット数を返
してきたということが分かるであろう。各照会について
近接条件値は0である。なぜなら照会内の近接制約条件
は0で、その照会は厳密順序照会だったからである。
初期照会は30ヒットを返しているのに対して、第3及
び第4の初期照会はしきい値よりも少ないヒット数を返
してきたということが分かるであろう。各照会について
近接条件値は0である。なぜなら照会内の近接制約条件
は0で、その照会は厳密順序照会だったからである。
【0062】実施例によっては、名詞句が一語のみを含
むのであればステップ505におけるような初期照会は
行わずに名詞句が処理されてもよい。いくつかのIRサ
ブシステムにおいては一語名詞句に対して初期照会を行
うのは非効率的である。なぜならテキスト総体内の個々
の語の頻度についての情報は、照会が必要とされること
なく直接的に得られるからである。したがって照会<0 N
Pi> 、ここでiは一語名詞句についての固有インデック
ス番号、に対しては「照会生成」を呼び出す代わりに、
実施例によっては、IRサブシステムは名詞句である一
語が総体内に現れる頻度を検出するように命令されても
よい。この頻度は名詞句iに対応したヒット数として頻
度表に格納される。
むのであればステップ505におけるような初期照会は
行わずに名詞句が処理されてもよい。いくつかのIRサ
ブシステムにおいては一語名詞句に対して初期照会を行
うのは非効率的である。なぜならテキスト総体内の個々
の語の頻度についての情報は、照会が必要とされること
なく直接的に得られるからである。したがって照会<0 N
Pi> 、ここでiは一語名詞句についての固有インデック
ス番号、に対しては「照会生成」を呼び出す代わりに、
実施例によっては、IRサブシステムは名詞句である一
語が総体内に現れる頻度を検出するように命令されても
よい。この頻度は名詞句iに対応したヒット数として頻
度表に格納される。
【0063】ステップ505に引き続きステップ510
が行われる。ステップ510は、ステップ505におけ
る初期照会について広範化したものの構築及びその実行
に関するものである。初期照会について広範化したもの
は次のような形式をしている。 (p NPi) ここで、pは近接制約条件である。換言すれば、初期照
会について広範化したもの(バージョン)は、多くても
p+2個の長さの語の列びの中に現れる語である限り文
書内に現れる順序には関係なく、その名詞句を構成する
語の整合を検索する。広範化照会は、初期照会又はそれ
以前の広範化照会のヒット数が不十分である場合に実行
される。
が行われる。ステップ510は、ステップ505におけ
る初期照会について広範化したものの構築及びその実行
に関するものである。初期照会について広範化したもの
は次のような形式をしている。 (p NPi) ここで、pは近接制約条件である。換言すれば、初期照
会について広範化したもの(バージョン)は、多くても
p+2個の長さの語の列びの中に現れる語である限り文
書内に現れる順序には関係なく、その名詞句を構成する
語の整合を検索する。広範化照会は、初期照会又はそれ
以前の広範化照会のヒット数が不十分である場合に実行
される。
【0064】ステップ510は、図6に示すようにいく
つかの構成ステップ511から520で構成されてい
る。ステップ511から519はn回繰り返して実行さ
れるループを形成している。そのループは入力列に検出
された名詞句ごとに行われる。この実施例においては、
名詞句は1からnまで連続的に移行するインデックス番
号iを有している。したがって、このループの各パスは
i番目の名詞句、つまり固有インデックス番号がiであ
る名詞句に関する。ステップ520においては、ステッ
プ511から519までのループで生成された更新され
た頻度表がヒット数に応じて並びかえられる(分類され
る)。
つかの構成ステップ511から520で構成されてい
る。ステップ511から519はn回繰り返して実行さ
れるループを形成している。そのループは入力列に検出
された名詞句ごとに行われる。この実施例においては、
名詞句は1からnまで連続的に移行するインデックス番
号iを有している。したがって、このループの各パスは
i番目の名詞句、つまり固有インデックス番号がiであ
る名詞句に関する。ステップ520においては、ステッ
プ511から519までのループで生成された更新され
た頻度表がヒット数に応じて並びかえられる(分類され
る)。
【0065】ステップ511では、i番目の名詞句が二
語以上を含むものであるかを知るためにチェックされ
る。一語名詞句については近接制約条件の緩和による広
範化が出来ない。i番目の名詞句が一語のみの長さであ
る場合には、ループの残されたステップのほとんどが飛
ばされ、実行はステップ518に移行する。
語以上を含むものであるかを知るためにチェックされ
る。一語名詞句については近接制約条件の緩和による広
範化が出来ない。i番目の名詞句が一語のみの長さであ
る場合には、ループの残されたステップのほとんどが飛
ばされ、実行はステップ518に移行する。
【0066】i番目の名詞句が二語以上を含む場合には
実行はステップ512に移行する。ステップ512にお
いては、頻度表が吟味され、i番目の名詞句についての
ヒット数がゼロではないか否かを決定する。初期照会
(又はその代わりに一語名詞句についての頻度の直接決
定)においてヒットが発見されたか、又はそれ以前の広
範化初期照会においてヒットが発見されていれば、その
ヒット数はゼロではないであろう。i番目の名詞句につ
いてのヒット数がゼロの場合、実行はステップ513に
移行する。一方そうでなければ、ループの残されたステ
ップのほとんど(大部分)が飛ばされ、実行はステップ
518に移行する。
実行はステップ512に移行する。ステップ512にお
いては、頻度表が吟味され、i番目の名詞句についての
ヒット数がゼロではないか否かを決定する。初期照会
(又はその代わりに一語名詞句についての頻度の直接決
定)においてヒットが発見されたか、又はそれ以前の広
範化初期照会においてヒットが発見されていれば、その
ヒット数はゼロではないであろう。i番目の名詞句につ
いてのヒット数がゼロの場合、実行はステップ513に
移行する。一方そうでなければ、ループの残されたステ
ップのほとんど(大部分)が飛ばされ、実行はステップ
518に移行する。
【0067】ステップ513から518では、一連の増
加する近接条件値pについてループが実行される。例え
ば、値p=1、5、10、20、及び40のそれぞれに
ついて一度実行される。このループは、広範化された初
期照会が「照会生成」のしきい値及び最大値で指定され
る範囲内のヒット数を返すまで、又は一連の増加する近
接条件値が最後の値となるまで実行される。
加する近接条件値pについてループが実行される。例え
ば、値p=1、5、10、20、及び40のそれぞれに
ついて一度実行される。このループは、広範化された初
期照会が「照会生成」のしきい値及び最大値で指定され
る範囲内のヒット数を返すまで、又は一連の増加する近
接条件値が最後の値となるまで実行される。
【0068】ステップ513では、形式(p NPi) の広範
化初期照会、ここで NPiはi番目の名詞句、が構築され
て実行される。その照会は「照会生成」を使用して実行
される。ステップ514においては、「照会生成」によ
り返送されたヒット数がゼロではないか否かが決定され
る。ゼロでない場合は実行はステップ515に移行す
る。ゼロの場合はステップ516に移行する。
化初期照会、ここで NPiはi番目の名詞句、が構築され
て実行される。その照会は「照会生成」を使用して実行
される。ステップ514においては、「照会生成」によ
り返送されたヒット数がゼロではないか否かが決定され
る。ゼロでない場合は実行はステップ515に移行す
る。ゼロの場合はステップ516に移行する。
【0069】ステップ515では、ステップ513にお
ける広範化初期照会により検出されたヒット数を反映し
て頻度表が更新される。つまり、頻度表のインデックス
iに対応したヒット数値が、「照会生成」により返送さ
れたヒット数に等しい値に設定される。これは内部のし
きい値と最大値の間の値であり、最大値以上のヒット数
の場合はすべて最大値で示される。その後実行はステッ
プ518に移行する。
ける広範化初期照会により検出されたヒット数を反映し
て頻度表が更新される。つまり、頻度表のインデックス
iに対応したヒット数値が、「照会生成」により返送さ
れたヒット数に等しい値に設定される。これは内部のし
きい値と最大値の間の値であり、最大値以上のヒット数
の場合はすべて最大値で示される。その後実行はステッ
プ518に移行する。
【0070】ステップ516では、ステップ513の広
範化初期照会がしきい値よりも小さいヒット数を検出し
た場合には、頻度表は変更されず、名詞句iについての
ヒット数値はゼロのままとされ、近接条件値pがチェッ
クされる。近接条件値がその最大値に達していない場合
には、実行はステップ517に移行する。達している場
合には実行はステップ517に移行する。
範化初期照会がしきい値よりも小さいヒット数を検出し
た場合には、頻度表は変更されず、名詞句iについての
ヒット数値はゼロのままとされ、近接条件値pがチェッ
クされる。近接条件値がその最大値に達していない場合
には、実行はステップ517に移行する。達している場
合には実行はステップ517に移行する。
【0071】ステップ517では、近接条件値pが次の
より大きな値に更新される。例えば、ステップ513か
ら518のループについての増加する近接条件値の列び
がp=(1、5、10、20、40)であり、ステップ
513がp=10について実行したならば、ステップ5
17においては、pは20に増加される。その後、実行
はステップ513に戻る。そこでは新たに更新された近
接条件値を使用して広範化初期照会が実行される。
より大きな値に更新される。例えば、ステップ513か
ら518のループについての増加する近接条件値の列び
がp=(1、5、10、20、40)であり、ステップ
513がp=10について実行したならば、ステップ5
17においては、pは20に増加される。その後、実行
はステップ513に戻る。そこでは新たに更新された近
接条件値を使用して広範化初期照会が実行される。
【0072】ステップ518では、名詞句インデックス
iがチェックされてすべてのn個の名詞句について処理
が行われたか否かが吟味される。そうでない場合は、ス
テップ519で、インデックス値iが1増加され、実行
はループの最上のステップ511に戻る。すべて終了し
た場合は、名詞句についてのループは終了し、実行はス
テップ520に移行する。
iがチェックされてすべてのn個の名詞句について処理
が行われたか否かが吟味される。そうでない場合は、ス
テップ519で、インデックス値iが1増加され、実行
はループの最上のステップ511に戻る。すべて終了し
た場合は、名詞句についてのループは終了し、実行はス
テップ520に移行する。
【0073】表3は、インデックス値i=1、2、3、
4についての照会に対しての初期処理及び広範化の後で
あって、ステップ520の実行前の頻度表の例の内容を
示している。
4についての照会に対しての初期処理及び広範化の後で
あって、ステップ520の実行前の頻度表の例の内容を
示している。
【0074】
【表3】初期照会の広範化の後の並べ替えられていない
頻度表の例 i 1 2 3 4 ・・・ ヒット数 2 30 6 10 ・・・ 近接条件 0 0 10 5 ・・・
頻度表の例 i 1 2 3 4 ・・・ ヒット数 2 30 6 10 ・・・ 近接条件 0 0 10 5 ・・・
【0075】表3においては、表2と同じように、名詞
句1についての初期照会において2ヒットが検出され、
名詞句2についての初期照会において30ヒットが検出
されている。(これらの名詞句のいずれか、例えば名詞
句2が、一語のみの長さの場合、初期照会は必要とされ
ず、その対応するヒット数は総体頻度情報から直接的に
決定されるということが分かるであろう。)したがっ
て、これらの2つの名詞句については広範化照会は実行
されない。表3には更に名詞句3について6ヒットが検
出されたことが示されている。しかし、それは近接制約
条件が10に広範化された後のことである。近接条件値
p=1、5、10、20、40の列びが使用されると仮
定すると、名詞句3についての初期照会は、基本形式に
おいても近接制約条件が1及び5に広範化された場合に
おいても、しきい値よりも小さいヒット数、例えば0ヒ
ットしか生成しないということとなる。同様に、名詞句
4についての近接条件値5に広範化された初期照会、つ
まり照会(5 NP4) において、10ヒットが検出されてい
る。基本の初期照会<0 NP4> 又は広範化初期照会(1 NP
4) については検出されない。
句1についての初期照会において2ヒットが検出され、
名詞句2についての初期照会において30ヒットが検出
されている。(これらの名詞句のいずれか、例えば名詞
句2が、一語のみの長さの場合、初期照会は必要とされ
ず、その対応するヒット数は総体頻度情報から直接的に
決定されるということが分かるであろう。)したがっ
て、これらの2つの名詞句については広範化照会は実行
されない。表3には更に名詞句3について6ヒットが検
出されたことが示されている。しかし、それは近接制約
条件が10に広範化された後のことである。近接条件値
p=1、5、10、20、40の列びが使用されると仮
定すると、名詞句3についての初期照会は、基本形式に
おいても近接制約条件が1及び5に広範化された場合に
おいても、しきい値よりも小さいヒット数、例えば0ヒ
ットしか生成しないということとなる。同様に、名詞句
4についての近接条件値5に広範化された初期照会、つ
まり照会(5 NP4) において、10ヒットが検出されてい
る。基本の初期照会<0 NP4> 又は広範化初期照会(1 NP
4) については検出されない。
【0076】ステップ520では、頻度表がヒット数の
大きい順(降順)に並べ替えられる。例えば、ステップ
520の後、表3に示した頻度表は表4に示した頻度表
のようになる。
大きい順(降順)に並べ替えられる。例えば、ステップ
520の後、表3に示した頻度表は表4に示した頻度表
のようになる。
【0077】
【表4】初期照会の広範化の後の並べ替えられた頻度表
の例 i 2 4 3 1 ・・・ ヒット数 30 10 6 2 ・・・ 近接条件 0 5 10 0 ・・・
の例 i 2 4 3 1 ・・・ ヒット数 30 10 6 2 ・・・ 近接条件 0 5 10 0 ・・・
【0078】表4においては、最大のヒット数が検出さ
れた名詞句が最も左の列に表され、2番目のヒット数が
検出された名詞句が左から2番目の列に表され、以下同
様に表されるように、表3の列が並べ替えられている。
ステップ520の並べ替えにおいては近接条件値は考慮
されない。
れた名詞句が最も左の列に表され、2番目のヒット数が
検出された名詞句が左から2番目の列に表され、以下同
様に表されるように、表3の列が並べ替えられている。
ステップ520の並べ替えにおいては近接条件値は考慮
されない。
【0079】図6のフローチャートは疑似コードとして
更に簡潔に表現され得る。例えば、以下のようにであ
る。
更に簡潔に表現され得る。例えば、以下のようにであ
る。
【0080】 /* 名詞句に対する外側ループ */ FOR i = 1 to n {IF (NPi > 1 word) and (frequency-table(i) = 0) /* 近接条件値に対する内側ループ */ {FOR p = (1, 5, 10, 20, 40) {/* 照会の構築及び実行; ヒット数の格納 */ query = (p NPi); MAKE-QUERY(query, number_of_hits, results); /* ヒット数がしきい値以上の場合、 pを40に設定して 内側ループ終了 */ IF (number_of_hits > 0) {frequency _table(i) = number _of_hits; p = 40; } } } }
【0081】ここで、文 query = (p NPi)は照会(p NP
i) を構築する。文(ステートメント) MAKE-QUERY(que
ry, number-of-hits, results) は照会を実行し、ヒッ
ト数及び(得られれば)照会結果をそれぞれ変数 numbe
r-of-hits 及び resultsに返す。結果が返らない場合
は、変数results にはブール値「偽」又は結果が返らな
かったことを示す他の何らかの値が設定される。本説明
におけるこの章(2章)の残りの部分においては、本発
明のいくつかのステップを表現するのに時折疑似コード
を使用する。
i) を構築する。文(ステートメント) MAKE-QUERY(que
ry, number-of-hits, results) は照会を実行し、ヒッ
ト数及び(得られれば)照会結果をそれぞれ変数 numbe
r-of-hits 及び resultsに返す。結果が返らない場合
は、変数results にはブール値「偽」又は結果が返らな
かったことを示す他の何らかの値が設定される。本説明
におけるこの章(2章)の残りの部分においては、本発
明のいくつかのステップを表現するのに時折疑似コード
を使用する。
【0082】5.7 タイトル句照会 ステップ525は、タイトル句に基づく照会に関するも
のである。質問処理の間タイトル句が検出された場合に
はこの処理は実行され、そうでない場合には飛ばされ
る。ステップ525は以下の疑似コードに基づく構成ス
テップからなる。
のである。質問処理の間タイトル句が検出された場合に
はこの処理は実行され、そうでない場合には飛ばされ
る。ステップ525は以下の疑似コードに基づく構成ス
テップからなる。
【0083】 FOR i = 1 to t {IF (TPi contains no high-frequency function words) {query = <0 TPi> } ELSE /* 内容語のみに基づく照会 */ {1i = number of intervening words between first and last content words of TPi; query = <1i TPi(content1) TPi(content2)...> } MAKE-QUERY (query, number _of_ hits, results); STORE(number_of_ hits in association with TPi); }
【0084】FORループは、質問処理において検出さ
れた各タイトル句ごとに繰り返し実行される。1からt
まで推移する固有インデックス番号iを有する全部でt
個のタイトル句TPiがあると仮定する。
れた各タイトル句ごとに繰り返し実行される。1からt
まで推移する固有インデックス番号iを有する全部でt
個のタイトル句TPiがあると仮定する。
【0085】各タイトル句に照会が構築され実行され
る。照会はタイトル句についての正確な語に可能な限り
整合するように形成される。最初にタイトル句は高頻度
機能語が含まれているか否かが吟味される。これらは、
どんなテキスト総体にも非常な高頻度で典型的に現れる
「the,」「a,」and,「of, 」等のような語である。タイ
トル句が高頻度機能語を含んでいない場合には、次に示
すような形式の照会が構築され実行される。 <0 TPi> この照会はタイトルについての正確な語(ワーディン
グ)を検索する。タイトル句が高頻度機能語を含んでい
る場合、タイトルの内容語、つまりタイトル内の最も重
要な語に基づいて照会が構築され実行される。例えば、
タイトル句「Acrossthe River and Into the Trees 」
は照会<3 River Trees> を作りだす。なぜなら「River
」及び「Trees 」は、そのタイトル内において「River
」は「Trees」より先に現れかつ「Trees 」から多くと
も3語しか離れていないという列びで現れる内容語だか
らである。
る。照会はタイトル句についての正確な語に可能な限り
整合するように形成される。最初にタイトル句は高頻度
機能語が含まれているか否かが吟味される。これらは、
どんなテキスト総体にも非常な高頻度で典型的に現れる
「the,」「a,」and,「of, 」等のような語である。タイ
トル句が高頻度機能語を含んでいない場合には、次に示
すような形式の照会が構築され実行される。 <0 TPi> この照会はタイトルについての正確な語(ワーディン
グ)を検索する。タイトル句が高頻度機能語を含んでい
る場合、タイトルの内容語、つまりタイトル内の最も重
要な語に基づいて照会が構築され実行される。例えば、
タイトル句「Acrossthe River and Into the Trees 」
は照会<3 River Trees> を作りだす。なぜなら「River
」及び「Trees 」は、そのタイトル内において「River
」は「Trees」より先に現れかつ「Trees 」から多くと
も3語しか離れていないという列びで現れる内容語だか
らである。
【0086】タイトル句に係る照会が構築され実行され
ると、検出されたヒット数がそのタイトル句に関連付け
られて格納される。その格納はメモリー又は格納装置に
対してされる。一実施例においては、格納された情報は
各タイトル句について1列が対応した2行t列の配列に
編成される。各列において、頂行はタイトル句の固有イ
ンデックス番号であり、底行はヒット数である。これは
その構造において名詞句頻度表と類似のものであること
が分かるであろう。しかしながら、近接条件値について
の行はない。なぜならタイトル句はこの実施例において
は近接制約条件緩和による広範化は行わないからであ
る。
ると、検出されたヒット数がそのタイトル句に関連付け
られて格納される。その格納はメモリー又は格納装置に
対してされる。一実施例においては、格納された情報は
各タイトル句について1列が対応した2行t列の配列に
編成される。各列において、頂行はタイトル句の固有イ
ンデックス番号であり、底行はヒット数である。これは
その構造において名詞句頻度表と類似のものであること
が分かるであろう。しかしながら、近接条件値について
の行はない。なぜならタイトル句はこの実施例において
は近接制約条件緩和による広範化は行わないからであ
る。
【0087】5.8 インターリーブ化された広範化及
び狭小化 ステップ530から570は主として複合照会に関する
ものである。これらのステップにおいては、連続した又
は一連の照会が行われる。このシーケンスは最適な照会
を含むように設計される。ここで、「最適な照会」と
は、処理し得る数(例えば、応用例に基づき、2、1
0、又は30)の関連する文書を検索し、無関係な文書
についてはほとんど検索しないような照会をいう。換言
すれば、照会のシーケンスは、利用者が必要としかつそ
れのみを必要とする文書を見つけ出し、利用者にとって
分かりやすく行われる体系的手法により検索が実行され
るように設計されている。
び狭小化 ステップ530から570は主として複合照会に関する
ものである。これらのステップにおいては、連続した又
は一連の照会が行われる。このシーケンスは最適な照会
を含むように設計される。ここで、「最適な照会」と
は、処理し得る数(例えば、応用例に基づき、2、1
0、又は30)の関連する文書を検索し、無関係な文書
についてはほとんど検索しないような照会をいう。換言
すれば、照会のシーケンスは、利用者が必要としかつそ
れのみを必要とする文書を見つけ出し、利用者にとって
分かりやすく行われる体系的手法により検索が実行され
るように設計されている。
【0088】ステップ530から570の各々において
は、1つ又はそれ以上の基本照会に対して一組のインタ
ーリーブ化された広範化及び狭小化の操作を適用するこ
とにより複数の照会が生成される。これらの広範化及び
狭小化の操作を説明するには、具体的な例をもって始め
るのが有効である。参照の便宜上、この例は以降の節に
おいて例1として参照される。
は、1つ又はそれ以上の基本照会に対して一組のインタ
ーリーブ化された広範化及び狭小化の操作を適用するこ
とにより複数の照会が生成される。これらの広範化及び
狭小化の操作を説明するには、具体的な例をもって始め
るのが有効である。参照の便宜上、この例は以降の節に
おいて例1として参照される。
【0089】ここで、3つの名詞句NP1, NP2, NP3 が検
出され他には検出されない入力列を考える。初期照会処
理の後、この列についての並べ替えられていない頻度表
は次に示すものであったと仮定する。
出され他には検出されない入力列を考える。初期照会処
理の後、この列についての並べ替えられていない頻度表
は次に示すものであったと仮定する。
【0090】 i 1 2 3 ヒット数 30 3 12 近接条件 0 10 5 この表の各列に対して、ヒット数及び近接条件値が1つ
の照会、特に、これらの値が格納された時に実行された
照会を決定するのが分かる。つまり、この頻度表におけ
るそれらの値は以下の3つの照会から導き出された。 <0 NP1> (10 NP2) (5 NP3) これらの3つの照会を含む組合せ合照会が構築され得
る。 [<0 NP1> (10 NP2) (5 NP3)] この照会を以下基本照会と呼ぶことにするが、これは3
つの構成要素名詞句照会のブール論理積である。この照
会は指定された近接条件及び他の拘束条件に従い修正さ
れることにより3つの名詞句のすべてを含む文書と整合
する。基本照会は、基本照会に対する体系的な広範化及
び狭小化を通じて自動的に生成された一連の照会につい
ての出発点としての役割を果たす。これは例えば次のよ
うになる。 [(1 NP1) (10 NP2) (5 NP3)] ! NP1 照会の広範化 (40 (1 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (1 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... [(5 NP1) (10 NP2) (5 NP3)] ! さらなる広範化 (40 (5 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (5 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... [(10 NP1) (10 NP2) (5 NP3)] ! さらなる広範化 (40 (10 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (10 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... ... [<0 NP1> (20 NP2) (5 NP3)] ! NP2 照会の広範化 (40 <0 NP1> (20 NP2) (5 NP3)) ! 狭小化 (20 <0 NP1> (20 NP2) (5 NP3)) ! 狭小化 ... ... ... ! など これらの照会は、各構成要素名詞句照会についての近接
条件制約を順次緩和することにより広範化される。それ
ぞれの広範化の間においては、これらの照会は、各構成
要素名詞句照会間の全体的な相対近接制約条件を厳しく
することにより狭小化される。具体的には、ブール論理
積照会、即ち、文書内のいずれかどこかに構成要素名詞
句照会があるかを検索する照会に引き続き、文書内に互
いにごく近接した構成要素名詞句照会があるかを検出す
る近接条件照会が行われる。上述の例における一連の照
会の生成手順は以下のように疑似コードで表現される。
の照会、特に、これらの値が格納された時に実行された
照会を決定するのが分かる。つまり、この頻度表におけ
るそれらの値は以下の3つの照会から導き出された。 <0 NP1> (10 NP2) (5 NP3) これらの3つの照会を含む組合せ合照会が構築され得
る。 [<0 NP1> (10 NP2) (5 NP3)] この照会を以下基本照会と呼ぶことにするが、これは3
つの構成要素名詞句照会のブール論理積である。この照
会は指定された近接条件及び他の拘束条件に従い修正さ
れることにより3つの名詞句のすべてを含む文書と整合
する。基本照会は、基本照会に対する体系的な広範化及
び狭小化を通じて自動的に生成された一連の照会につい
ての出発点としての役割を果たす。これは例えば次のよ
うになる。 [(1 NP1) (10 NP2) (5 NP3)] ! NP1 照会の広範化 (40 (1 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (1 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... [(5 NP1) (10 NP2) (5 NP3)] ! さらなる広範化 (40 (5 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (5 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... [(10 NP1) (10 NP2) (5 NP3)] ! さらなる広範化 (40 (10 NP1) (10 NP2) (5 NP3)) ! 狭小化 (20 (10 NP1) (10 NP2) (5 NP3)) ! 狭小化 ... ... [<0 NP1> (20 NP2) (5 NP3)] ! NP2 照会の広範化 (40 <0 NP1> (20 NP2) (5 NP3)) ! 狭小化 (20 <0 NP1> (20 NP2) (5 NP3)) ! 狭小化 ... ... ... ! など これらの照会は、各構成要素名詞句照会についての近接
条件制約を順次緩和することにより広範化される。それ
ぞれの広範化の間においては、これらの照会は、各構成
要素名詞句照会間の全体的な相対近接制約条件を厳しく
することにより狭小化される。具体的には、ブール論理
積照会、即ち、文書内のいずれかどこかに構成要素名詞
句照会があるかを検索する照会に引き続き、文書内に互
いにごく近接した構成要素名詞句照会があるかを検出す
る近接条件照会が行われる。上述の例における一連の照
会の生成手順は以下のように疑似コードで表現される。
【0091】 /* セットアップ */ /* 並べ替えられていない頻度表の近接条件値を利用して全ての名詞句について の構成要素照会を構築する。名詞句は1からnまでのインデックス番号を有して いる。ある名詞句に関連した近接条件が0ならば、その構成要素照会は厳密順序 照会となる。一方、そうでなけば、それは厳密順序付けが要求されない近接制約 条件照会となる。ある名詞句に関連したヒット数が0ならば、その構成要素照会 は空白とみなされ、基本照会に含まれないか又は広範化及び狭小化の手順(シー ケンス)において使用されない。 */ FOR i = 1 to n {hits(i) = frequency _table(2,i); proximity(i) = frequency_table(3,i); IF (hits(i) = 0) {component _query(i) = EMPTY} ELSE {IF (proximity(i) = 0) {component _query(i) = <0 NPi>} ELSE {component _query(i) = (proximity(i) N Pi) } } } /* 基本照会をすべて空白でない構成要素照会のブール論理積(AND)とし て構成 /* base_query = [component_query(i)], (FOR i= 1 to n, component_query(i) ≠ EMPTY); /* 広範化 /* /* 全ての構成要素照会に対する外側ループ。近接制約条件を緩和することに より、つまり全ての近接条件値を基本照会についての近接条件値よりも大きくす ることにより、順次各構成要素照会を広範化する。一語名詞句照会及び基本照会 に現れていない照会は広範化されない。 */ FOR i = 1 to n {FOR p = (1, 5, 10, 20, 40), p > proximity(i) {IF (NPi contains > word) and (component-query(i) is in base-query) /* 基本照会を全て空白でない構成要照会のブール論理積(AND)として 構成/* /* ブール論理積照会の実行。広範化されたi番 目の構成要素照会を定形化し、基本照会における他の構成要素照会との論理積を とる。このように構築された照会を実行する。 */ {broad(i) = (p NPi); query = [broad(i) component-query(j)], (FOR j = 1 to n, j ≠ i, component-query(j) is in base-query); MAKE-QUERY(query,number-of-hits,results); /* 狭小化 */ /* 内側ループ。論理積照会により返送されたヒット数が 指定の値を越えている場合に実行される。全体的近接制約条件、つまり各構成要 素名詞句の他の名詞句に対する近接制約条件を厳格にする。返送されたヒット数 が指定の値以下になるか、すべての与えられた近接条件値について行われるまで 、繰り返し狭小化する。 */ FOR p = (40, 20, 10, 5) {WHILE (number _of_hits > VALUE) {query = (p broad(i) component-query(j)), (FOR j = 1 to n, j ≠ i, component-query(j) is in base-query); MAKE-QUERY (query, number-of-hits,results); } } } }
【0092】狭小化のループにおいて使用される指定値
を、例えば10とする。「照会生成」において使用され
るしきい値及び最大値のように、それはデフォールトに
より又は実行前の利用者により設定され得る。その指定
値は不必要な狭小化が行われないことを保証するもので
あり、それにより計算(演算)効率は改善される。実施
例によっては、外側の広範化ループと共に、付加的な指
定値が使用され得る。それにより、広範化されたi番目
の構成要素(p NPi) を含む照会がその付加的な指定値よ
りも大きなヒット数を返した場合には、そのi番目の構
成要素について更なる広範化が行われる。
を、例えば10とする。「照会生成」において使用され
るしきい値及び最大値のように、それはデフォールトに
より又は実行前の利用者により設定され得る。その指定
値は不必要な狭小化が行われないことを保証するもので
あり、それにより計算(演算)効率は改善される。実施
例によっては、外側の広範化ループと共に、付加的な指
定値が使用され得る。それにより、広範化されたi番目
の構成要素(p NPi) を含む照会がその付加的な指定値よ
りも大きなヒット数を返した場合には、そのi番目の構
成要素について更なる広範化が行われる。
【0093】広範化及び狭小化の一連の処理の間に実行
される全ての照会について、ヒット数がしきい値及び最
大値で設定される範囲以内の場合には「照会生成」は重
複のない照会結果を格納する。結果はこの時点では単に
格納され、後にステップ260においてランク付けされ
る。
される全ての照会について、ヒット数がしきい値及び最
大値で設定される範囲以内の場合には「照会生成」は重
複のない照会結果を格納する。結果はこの時点では単に
格納され、後にステップ260においてランク付けされ
る。
【0094】例1を鑑み、ステップ530から570を
以下に説明する。
以下に説明する。
【0095】5.9 結合(組み合せ)照会 タイトル句と名詞句の結合。 ステップ530におい
て、タイトル句及び名詞句の双方を含む結合照会が実行
される。ステップ525においてゼロでないヒット数が
検出された各タイトル句TPi について、基本照会が次に
示すような形式で構築される。 [<0 TPi> (p1 NP1) (p2 NP2) ...] ここで、及び以下の説明において、タイトル句構成要素
照会は通常、形式<0 TPi> で表現されるが、タイトル句
が高頻度機能語を含む場合には、実行される実際の照会
はタイトル句の内容語に基づくものとなり、上記ステッ
プ525との関連で記述した形式<p TP(content1) TP(c
ontent2)...>で表現されるということを理解しておく必
要がある。同様に、各名詞句構成要素照会は形式(pj NP
j)、ここでpjはj番目の名詞句NPj に関連する頻度表の
近接条件値、で表現されるが、pj= 0の場合、構成要素
照会は<0 NPj> であり、NPj についての初期照会処理の
間にヒットがなかった場合、構成要素照会は省略され
る。また、名詞句NPj がタイトル句TPi に含まれている
場合、名詞句NPj についての構成要素照会は基本照会か
ら省かれる。
て、タイトル句及び名詞句の双方を含む結合照会が実行
される。ステップ525においてゼロでないヒット数が
検出された各タイトル句TPi について、基本照会が次に
示すような形式で構築される。 [<0 TPi> (p1 NP1) (p2 NP2) ...] ここで、及び以下の説明において、タイトル句構成要素
照会は通常、形式<0 TPi> で表現されるが、タイトル句
が高頻度機能語を含む場合には、実行される実際の照会
はタイトル句の内容語に基づくものとなり、上記ステッ
プ525との関連で記述した形式<p TP(content1) TP(c
ontent2)...>で表現されるということを理解しておく必
要がある。同様に、各名詞句構成要素照会は形式(pj NP
j)、ここでpjはj番目の名詞句NPj に関連する頻度表の
近接条件値、で表現されるが、pj= 0の場合、構成要素
照会は<0 NPj> であり、NPj についての初期照会処理の
間にヒットがなかった場合、構成要素照会は省略され
る。また、名詞句NPj がタイトル句TPi に含まれている
場合、名詞句NPj についての構成要素照会は基本照会か
ら省かれる。
【0096】基本照会が形成されると、それは上記例1
において説明されたのと同様の方法で広範化及び狭小化
される。基本照会内の各名詞句構成要素照会NPjは、
その近接制約条件の連続的な緩和により順次広範化され
る。そのように各々の緩和された状態で、全体的近接制
約条件を厳格にすることによりその照会の狭小化が行わ
れる。この過程の間はタイトル句は変化されないままで
ある。一語名詞句に基づく構成要素照会は広範化されな
い。
において説明されたのと同様の方法で広範化及び狭小化
される。基本照会内の各名詞句構成要素照会NPjは、
その近接制約条件の連続的な緩和により順次広範化され
る。そのように各々の緩和された状態で、全体的近接制
約条件を厳格にすることによりその照会の狭小化が行わ
れる。この過程の間はタイトル句は変化されないままで
ある。一語名詞句に基づく構成要素照会は広範化されな
い。
【0097】ステップ530における例のように、タイ
トル句TP1 並びに名詞句NP1 及びNP 2 を含む基本照会を
仮定する。ここで、TP1 は「Gone With the Wind」、NP
1 は「great fire」、NP2 は「Scarlett O'Hara 」とす
る。名詞句NP1 及びNP2 についての近接条件値をそれぞ
れ5及び0とすると、基本照会は次のようになる。 [<3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] 試みられる近接条件値のリストがp = (1, 5, 10, 20, 4
0)とすると、以下のような一連の照会が実行される。 [<3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>] (40 <3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>) (20 <3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>) ... [<3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>] (40 <3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>) (20 <3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>) ... ... [<3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)] (40 <3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)) (20 <3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)) ... ... ステップ530が終了した時点で、ステップ525にお
いてヒット数がゼロでないと検出されたすべてのタイト
ル句TPi は、インターリーブ化された広範化及び狭小化
方式に基づき処理されたそれぞれの基本照会有してい
る。
トル句TP1 並びに名詞句NP1 及びNP 2 を含む基本照会を
仮定する。ここで、TP1 は「Gone With the Wind」、NP
1 は「great fire」、NP2 は「Scarlett O'Hara 」とす
る。名詞句NP1 及びNP2 についての近接条件値をそれぞ
れ5及び0とすると、基本照会は次のようになる。 [<3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] 試みられる近接条件値のリストがp = (1, 5, 10, 20, 4
0)とすると、以下のような一連の照会が実行される。 [<3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>] (40 <3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>) (20 <3 Gone Wind> (10 great fire) <0 Scarlett O'Hara>) ... [<3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>] (40 <3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>) (20 <3 Gone Wind> (20 great fire) <0 Scarlett O'Hara>) ... ... [<3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)] (40 <3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)) (20 <3 Gone Wind> (5 great fire) <1 Scarlett O'Hara)) ... ... ステップ530が終了した時点で、ステップ525にお
いてヒット数がゼロでないと検出されたすべてのタイト
ル句TPi は、インターリーブ化された広範化及び狭小化
方式に基づき処理されたそれぞれの基本照会有してい
る。
【0098】最大名詞句結合(組み合せ)。 ステップ
540において、最大数の名詞句を含む結合照会が実行
される。初期照会処理の間にゼロでない数のヒットが検
出された各名詞句NPi について構成要素照会を含む基本
照会が構築される。 [(p1 NP1) (p2 NP2) (p3 NP3) ...] これは最大名詞句基本照会又は単に最大照会と称され
る。例1における基本照会がこの形式であることが分か
るであろう。上記ステップ530における場合と同様
に、近接条件値piは頻度表からの近接条件値である。更
に上記ステップ530における場合と同様に、最大照会
について各構成要素照会はここでは形式(piNPi)で表現
されているが、pi = 0ならば構成要素照会は<0 NPi> と
なることが理解できるであろう。初期照会処理の間にヒ
ットが検出されなかった名詞句は最大照会から省かれ
る。最大照会が形成されると、それは例1に示した方法
で広範化及び狭小化される。
540において、最大数の名詞句を含む結合照会が実行
される。初期照会処理の間にゼロでない数のヒットが検
出された各名詞句NPi について構成要素照会を含む基本
照会が構築される。 [(p1 NP1) (p2 NP2) (p3 NP3) ...] これは最大名詞句基本照会又は単に最大照会と称され
る。例1における基本照会がこの形式であることが分か
るであろう。上記ステップ530における場合と同様
に、近接条件値piは頻度表からの近接条件値である。更
に上記ステップ530における場合と同様に、最大照会
について各構成要素照会はここでは形式(piNPi)で表現
されているが、pi = 0ならば構成要素照会は<0 NPi> と
なることが理解できるであろう。初期照会処理の間にヒ
ットが検出されなかった名詞句は最大照会から省かれ
る。最大照会が形成されると、それは例1に示した方法
で広範化及び狭小化される。
【0099】最大照会はタイトル句の一部である名詞句
を含み得るということが分かるであろう。このことは、
例えば利用者が入力列に間違った又は部分的なタイトル
を入力したような場合に、更に強力な性能を引き出すこ
ととなる。
を含み得るということが分かるであろう。このことは、
例えば利用者が入力列に間違った又は部分的なタイトル
を入力したような場合に、更に強力な性能を引き出すこ
ととなる。
【0100】より小さい名詞句結合。 ステップ545
において、最大照会に含まれるいくつかの、しかし全て
ではない名詞句を含む結合照会が実行される。基本照会
を、最大照会から1つ、2つ又はそれ以上の構成要素照
会を削除することにより構築する。各構成要素又は構成
要素の組が例えば順次削除されていく。削除される構成
要素の数が多くなればなるほど、照会が広範化される。
において、最大照会に含まれるいくつかの、しかし全て
ではない名詞句を含む結合照会が実行される。基本照会
を、最大照会から1つ、2つ又はそれ以上の構成要素照
会を削除することにより構築する。各構成要素又は構成
要素の組が例えば順次削除されていく。削除される構成
要素の数が多くなればなるほど、照会が広範化される。
【0101】このことを一例で示す。最大照会が[<0 bl
ack cat> (5 yellow dog) (40 pink frog) (20 blue ti
ger)] であるとすると、基本照会は次のように構築され
得る。 [(5 yellow dog) (40 pink frog) (20 blue tiger)] [<0 black cat> (40 pink frog) (20 blue tiger)] [<0 black cat> (5 yellow dog) (20 blue tiger)] [<0 black cat> (5 yellow dog) (40 pink frog)] [(40 pink frog) (20 blue tiger)] [(5 yellow dog) (20 blue tiger)] [(5 yellow dog) (40 pink frog)] [<0 black cat> (20 blue tiger)] [<0 black cat> (40 pink frog)] [<0 black cat> (5 yellow dog)]
ack cat> (5 yellow dog) (40 pink frog) (20 blue ti
ger)] であるとすると、基本照会は次のように構築され
得る。 [(5 yellow dog) (40 pink frog) (20 blue tiger)] [<0 black cat> (40 pink frog) (20 blue tiger)] [<0 black cat> (5 yellow dog) (20 blue tiger)] [<0 black cat> (5 yellow dog) (40 pink frog)] [(40 pink frog) (20 blue tiger)] [(5 yellow dog) (20 blue tiger)] [(5 yellow dog) (40 pink frog)] [<0 black cat> (20 blue tiger)] [<0 black cat> (40 pink frog)] [<0 black cat> (5 yellow dog)]
【0102】実施例によっては、ステップ545におい
て単一構成要素のみを最大照会から削除する。また他の
実施例においては、単一構成要素及び構成要素の組のみ
が削除される。更に他の実施例においては、k構成要
素、k = 1 から m-2、ここでmは最大照会内の全構成要
素数、の全ての組合せが削除される。更にまた他の実施
例においては、処理の順序が逆転し、k構成要素、k =
2 から m-1、からなる基本照会が構築されて実行され
る。
て単一構成要素のみを最大照会から削除する。また他の
実施例においては、単一構成要素及び構成要素の組のみ
が削除される。更に他の実施例においては、k構成要
素、k = 1 から m-2、ここでmは最大照会内の全構成要
素数、の全ての組合せが削除される。更にまた他の実施
例においては、処理の順序が逆転し、k構成要素、k =
2 から m-1、からなる基本照会が構築されて実行され
る。
【0103】主動詞結合。 ステップ550は主動詞を
含む照会に関するものである。基本照会は、ステップ5
30、540及び545において構築されたタイトル句
又は名詞句基本照会に1つ又はそれ以上の主動詞を加え
ることにより構築される。実施例によってはこれらの照
会は広範化及び狭小化され得る。
含む照会に関するものである。基本照会は、ステップ5
30、540及び545において構築されたタイトル句
又は名詞句基本照会に1つ又はそれ以上の主動詞を加え
ることにより構築される。実施例によってはこれらの照
会は広範化及び狭小化され得る。
【0104】例えば、再びタイトル句「Gone With the
Wind」並びに近接制約条件がそれぞれ5及び0である名
詞句「great fire」及び「Scarlett O'Hara 」を含んで
いるタイトル句基本照会を例として考える。入力列は1
つの主動詞「burn」を含んでいると仮定する。すると基
本照会は次のように構築される。 [burn <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] そして前述のように、名詞句構成要素照会についての近
接制約条件を緩和することにより、及び構成要素照会間
の全体的近接制約条件を厳格にすることにより、広範化
及び狭小化がなされる。入力列に例えば「mend, 」のよ
うな他の主動詞がある場合、第2の基本照会が次のよう
に構築される。 [mend <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] そして両主動詞が含まれる第3の基本照会が次のように
構築される。 [burn mend <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] これらの基本照会の各々は前述の方法で広範化及び狭小
化され得る。
Wind」並びに近接制約条件がそれぞれ5及び0である名
詞句「great fire」及び「Scarlett O'Hara 」を含んで
いるタイトル句基本照会を例として考える。入力列は1
つの主動詞「burn」を含んでいると仮定する。すると基
本照会は次のように構築される。 [burn <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] そして前述のように、名詞句構成要素照会についての近
接制約条件を緩和することにより、及び構成要素照会間
の全体的近接制約条件を厳格にすることにより、広範化
及び狭小化がなされる。入力列に例えば「mend, 」のよ
うな他の主動詞がある場合、第2の基本照会が次のよう
に構築される。 [mend <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] そして両主動詞が含まれる第3の基本照会が次のように
構築される。 [burn mend <3 Gone Wind> (5 great fire) <0 Scarlett O'Hara>] これらの基本照会の各々は前述の方法で広範化及び狭小
化され得る。
【0105】主動詞を付加して照会を複合化することは
それらの照会を狭小化するのに効果的である。したがっ
て、実施例によっては、全体的近接制約条件をその最低
の近接条件値に狭めた後においてもタイトル句又は名詞
句複合照会が指定値を越えるヒット数を返した場合に、
主動詞照会が実行される。前述の他の指定値と同じよう
に、主動詞照会を実行するか否かのために使用される指
定値はデフォールトにより又は前もって利用者により設
定され得る。
それらの照会を狭小化するのに効果的である。したがっ
て、実施例によっては、全体的近接制約条件をその最低
の近接条件値に狭めた後においてもタイトル句又は名詞
句複合照会が指定値を越えるヒット数を返した場合に、
主動詞照会が実行される。前述の他の指定値と同じよう
に、主動詞照会を実行するか否かのために使用される指
定値はデフォールトにより又は前もって利用者により設
定され得る。
【0106】実施例によっては、IRサブシステムは主
動詞について自動的に削除を行う。つまり、動詞を減ら
して不規則でない形式にする。また他の実施例において
は、その削除は、主動詞を使用して基本照会を構築する
流れ(文脈)の中で第一照会構築サブシステムによりな
される。
動詞について自動的に削除を行う。つまり、動詞を減ら
して不規則でない形式にする。また他の実施例において
は、その削除は、主動詞を使用して基本照会を構築する
流れ(文脈)の中で第一照会構築サブシステムによりな
される。
【0107】5.10 付加的照会 実施例によっては、図5に示すように、ステップ560
及び570が実行される。これらのステップにおいて
は、名詞句又はタイトル句について追加のヒットが検出
されるかが試みられる。ステップ560及び570は、
以前のステップにおいて殆どヒットが検出されなかった
名詞句又はタイトル句に関し、特に有効である。
及び570が実行される。これらのステップにおいて
は、名詞句又はタイトル句について追加のヒットが検出
されるかが試みられる。ステップ560及び570は、
以前のステップにおいて殆どヒットが検出されなかった
名詞句又はタイトル句に関し、特に有効である。
【0108】首位語。 ステップ560は、名詞句の首
位語に基づいた照会に関するものである。名詞句の「首
位語」とは名詞句の中で最も重要又は顕著な語をいう。
英語においては、首位語はとりわけ名詞句の最も右の語
である。例えば、句「great horned owl」において、首
位語は「owl 」である。名詞句の首位語は、例えば質問
処理の間になされる入力列解析を利用して発見され得
る。
位語に基づいた照会に関するものである。名詞句の「首
位語」とは名詞句の中で最も重要又は顕著な語をいう。
英語においては、首位語はとりわけ名詞句の最も右の語
である。例えば、句「great horned owl」において、首
位語は「owl 」である。名詞句の首位語は、例えば質問
処理の間になされる入力列解析を利用して発見され得
る。
【0109】一実施例においては、頻度表に指定最小値
以下のヒット数が記録される2語以上の各名詞句に対し
て、首位語のみを検索する単純照会が構築されて実行さ
れる。その指定最小値はデフォールトにより又は前もっ
て利用者により設定され得る。単純首位語照会は、名詞
句の全ての語が文書内に現れることを必要とする拘束条
件を削除することにより初期照会の範囲を越えた名詞句
照会及びその近接条件が広範化された表現を広範化する
役割を果たす。
以下のヒット数が記録される2語以上の各名詞句に対し
て、首位語のみを検索する単純照会が構築されて実行さ
れる。その指定最小値はデフォールトにより又は前もっ
て利用者により設定され得る。単純首位語照会は、名詞
句の全ての語が文書内に現れることを必要とする拘束条
件を削除することにより初期照会の範囲を越えた名詞句
照会及びその近接条件が広範化された表現を広範化する
役割を果たす。
【0110】例を挙げると、名詞句「great horned ow
l」についてその近接条件が最大値40に広範化された
後においても0ヒットであった場合は、即ち、(40 grea
t horned owl) が0ヒットであった場合、次の単純首位
語照会owl が実行されることとなる。もしくは、テキス
ト総体における語「owl 」の頻度は、これをサポートし
ている実施例におけるIRサブシステムにより直接的に
供給され得る。
l」についてその近接条件が最大値40に広範化された
後においても0ヒットであった場合は、即ち、(40 grea
t horned owl) が0ヒットであった場合、次の単純首位
語照会owl が実行されることとなる。もしくは、テキス
ト総体における語「owl 」の頻度は、これをサポートし
ている実施例におけるIRサブシステムにより直接的に
供給され得る。
【0111】実施例によっては、例えば、単純首位語照
会がヒットを検出したが、その単純首位語照会のもとと
なった初期照会がヒットを検出しなかった場合に、単純
首位語照会及び名詞句照会、タイトル句照会、主動詞、
又は他の首位語照会のような他の構成要素からなる複合
照会が構築されて実行され得る。実施例によってはその
ような複合照会を例1の方法の後に近接制約条件を変化
させることにより広範化及び狭小化することが可能であ
る。
会がヒットを検出したが、その単純首位語照会のもとと
なった初期照会がヒットを検出しなかった場合に、単純
首位語照会及び名詞句照会、タイトル句照会、主動詞、
又は他の首位語照会のような他の構成要素からなる複合
照会が構築されて実行され得る。実施例によってはその
ような複合照会を例1の方法の後に近接制約条件を変化
させることにより広範化及び狭小化することが可能であ
る。
【0112】関連語。 ステップ570は、入力列のい
くつかの語が同意語又はハイポニム(hyponym)のような
代替関連語に置き換えられるような照会に関するもので
ある。関連語は類語辞典、辞書、又はこのシステムに利
用可能な他の適当な情報源から引き出され得る。関連語
による代用は、1つの広範化操作である。即ち、入力列
の元語とこれらの元語に関連した語の双方により構成さ
れる語の集まりに基づく一連の照会は、元語のみに基づ
く一連の照会による場合よりも多くのヒット数を生成す
るようになる。
くつかの語が同意語又はハイポニム(hyponym)のような
代替関連語に置き換えられるような照会に関するもので
ある。関連語は類語辞典、辞書、又はこのシステムに利
用可能な他の適当な情報源から引き出され得る。関連語
による代用は、1つの広範化操作である。即ち、入力列
の元語とこれらの元語に関連した語の双方により構成さ
れる語の集まりに基づく一連の照会は、元語のみに基づ
く一連の照会による場合よりも多くのヒット数を生成す
るようになる。
【0113】関連語は、単純な又は複合されたタイトル
句照会と共に、タイトル句における1つ又はそれ以上の
内容語を少なくとも1つの関連語で代用することにより
使用され得る。関連語は、単純又は複合名詞句照会とに
関して、名詞句における1つ又はそれ以上の語、例えば
名詞句の首位語、を少なくとも1つの関連語で代用する
ことにより使用され得る。関連語は、単純又は複合主動
詞とに関して、各主動詞を少なくとも1つの関連語で代
用することにより使用され得る。
句照会と共に、タイトル句における1つ又はそれ以上の
内容語を少なくとも1つの関連語で代用することにより
使用され得る。関連語は、単純又は複合名詞句照会とに
関して、名詞句における1つ又はそれ以上の語、例えば
名詞句の首位語、を少なくとも1つの関連語で代用する
ことにより使用され得る。関連語は、単純又は複合主動
詞とに関して、各主動詞を少なくとも1つの関連語で代
用することにより使用され得る。
【0114】一実施例において、関連語による代用は、
指定最小値よりも小さいヒット数が頻度表に記録された
各名詞句に対して、及び(時に異なる)指定値よりも小
さいヒット数がステップ525において見出された各タ
イトル句に対して実行される。各指定最小値はデフォー
ルトにより又は前もって利用者により設定され得る。
指定最小値よりも小さいヒット数が頻度表に記録された
各名詞句に対して、及び(時に異なる)指定値よりも小
さいヒット数がステップ525において見出された各タ
イトル句に対して実行される。各指定最小値はデフォー
ルトにより又は前もって利用者により設定され得る。
【0115】実施例によっては、関連語による代用は、
首位語照会と共にされ得る。例えば、初期照会をその最
大近接条件値にまで広範化し、更に首位語以外の語を削
除することにより広範化した後でも、返送されたヒット
数が許容されないほど低い値のままであった場合、首位
語に対して1つ又はそれ以上の同意語又はハイポニム(h
yponym) を代用することにより、単純首位語照会が更に
広範化され得る。
首位語照会と共にされ得る。例えば、初期照会をその最
大近接条件値にまで広範化し、更に首位語以外の語を削
除することにより広範化した後でも、返送されたヒット
数が許容されないほど低い値のままであった場合、首位
語に対して1つ又はそれ以上の同意語又はハイポニム(h
yponym) を代用することにより、単純首位語照会が更に
広範化され得る。
【0116】実施例によっては、1つ又はそれ以上の関
連語代用を含んだ複合照会を、例1における方法の後に
近接制約条件を変化させることにより広範化及び狭小化
し得る。
連語代用を含んだ複合照会を、例1における方法の後に
近接制約条件を変化させることにより広範化及び狭小化
し得る。
【0117】6. 結果のランク付け この節はステップ260、即ち、結果のランク付けにつ
いて詳説する。結果のランク付けは利用者の質問または
他の入力列に最も関係のありそうなもを決定するために
ステップ240で検索された結果(整合した文書)を順
序化する工程を含む。数多くの結果のランク付けの技法
が本発明の範囲内において考えられるが、この内の1つ
をここで述べる。
いて詳説する。結果のランク付けは利用者の質問または
他の入力列に最も関係のありそうなもを決定するために
ステップ240で検索された結果(整合した文書)を順
序化する工程を含む。数多くの結果のランク付けの技法
が本発明の範囲内において考えられるが、この内の1つ
をここで述べる。
【0118】ステップ260は図7の一実施例に対し示
したように構成要素ステップ261、262、263、
及び264を実行する。ステップ261でステップ24
0の照会により生成された検索結果をランク付けのため
に利用する。これらの結果は以下の形式の対をなす。即
ち、 (照会文書−リスト) ステップ262で、これらの結果対は最も関連のある結
果を最上位にランク付けするするように選択された基準
によりランク付けされる。ステップ263ではそれらの
対における文書をランク付けし、出力される文書(単数
又は複数)識別子を構築する。実施例によっては、この
リストを修正し得るステップ264を実行する。ステッ
プ264で修正されるステップ263で生成されるリス
トはステップ280で利用者、格納、またはその他の処
理等の1またはそれ以上の目的に対する出力となるリス
トとなる。ステップ261、262、263及び264
について更に詳しく述べる。
したように構成要素ステップ261、262、263、
及び264を実行する。ステップ261でステップ24
0の照会により生成された検索結果をランク付けのため
に利用する。これらの結果は以下の形式の対をなす。即
ち、 (照会文書−リスト) ステップ262で、これらの結果対は最も関連のある結
果を最上位にランク付けするするように選択された基準
によりランク付けされる。ステップ263ではそれらの
対における文書をランク付けし、出力される文書(単数
又は複数)識別子を構築する。実施例によっては、この
リストを修正し得るステップ264を実行する。ステッ
プ264で修正されるステップ263で生成されるリス
トはステップ280で利用者、格納、またはその他の処
理等の1またはそれ以上の目的に対する出力となるリス
トとなる。ステップ261、262、263及び264
について更に詳しく述べる。
【0119】6.1 結果対 ステップ260において先ず、各結果に関連して重複の
ない照会が格納されていると仮定する。既に述べた「照
会生成」のルーチンはこのような格納をすることを思い
出しておこう。
ない照会が格納されていると仮定する。既に述べた「照
会生成」のルーチンはこのような格納をすることを思い
出しておこう。
【0120】ステップ261において関連付けされた照
会及び結果は格納(記憶装置)から検索され、さもなく
ば、後の処理に利用される。これらは、例えば、照会及
び文書リストの対により構成される関連リストまたは同
等なデータ構造でメモリーに格納され得る。このような
文書リストの各々は、文書リストに関連した照会が実行
された時にテキスト総体からIRサブシステムにより検
索された文書のリストである。 ( (query1 (document1,1 document1,2 ...)) (query2 (document2,1 document2,2 ...)) ... (queryk (documentk,1...documentk,i ...)) ... ... この関連リストの各要素を結果対と称することにする。
会及び結果は格納(記憶装置)から検索され、さもなく
ば、後の処理に利用される。これらは、例えば、照会及
び文書リストの対により構成される関連リストまたは同
等なデータ構造でメモリーに格納され得る。このような
文書リストの各々は、文書リストに関連した照会が実行
された時にテキスト総体からIRサブシステムにより検
索された文書のリストである。 ( (query1 (document1,1 document1,2 ...)) (query2 (document2,1 document2,2 ...)) ... (queryk (documentk,1...documentk,i ...)) ... ... この関連リストの各要素を結果対と称することにする。
【0121】6.2 結果対のランク付け。 ステップ262ではこれらの結果対を一又はそれ以上の
判断基準に基づきランク付けする。判断基準は一般に利
用者の質問に最も関係のありそうな文書が高位にランク
付けされるように選ばれる。数多くの異なる判断基準が
結果ランク付けの基礎として使用され得る。判断基準の
一実施例においては、(1)整合したタイトル句の数、
(2)整合した大文字化語の数、(3)整合した語の全
体数、(4)文書リストにおける文書の最小数、という
4つの基準が用いられる。これらの判断基準の各々につ
いてこれから述べる。
判断基準に基づきランク付けする。判断基準は一般に利
用者の質問に最も関係のありそうな文書が高位にランク
付けされるように選ばれる。数多くの異なる判断基準が
結果ランク付けの基礎として使用され得る。判断基準の
一実施例においては、(1)整合したタイトル句の数、
(2)整合した大文字化語の数、(3)整合した語の全
体数、(4)文書リストにおける文書の最小数、という
4つの基準が用いられる。これらの判断基準の各々につ
いてこれから述べる。
【0122】(1)整合したタイトル句の数。 最も高
位にランク付けされる結果対は一又はそれ以上のタイト
ル句からの語をそれらの照会が含むものである。照会を
生成するために使用されるタイトル句及び各タイトル句
からの語が照会に多く含まれるほど、結果対のランク付
けは高くなる。この判断基準は、文書内にタイトル句が
見出されれば、その文書が高い確率で関連がありそうで
ある、という正当性に基づく。見い出されるタイトル語
が多ければ多いほど、その文書はより高い確率で関連す
る。
位にランク付けされる結果対は一又はそれ以上のタイト
ル句からの語をそれらの照会が含むものである。照会を
生成するために使用されるタイトル句及び各タイトル句
からの語が照会に多く含まれるほど、結果対のランク付
けは高くなる。この判断基準は、文書内にタイトル句が
見出されれば、その文書が高い確率で関連がありそうで
ある、という正当性に基づく。見い出されるタイトル語
が多ければ多いほど、その文書はより高い確率で関連す
る。
【0123】(2)整合した大文字化語の数。
次に高くランク付けされる結果対は頭文字が大文字で
ある単語を照会が含むものである。照会内のこのような
語の数が多ければ、多いほど、その結果対のランク付け
は高くなる。この判断基準は人名や地名等の固有名詞を
含む照会により大きな重みを与える。これは判断基準
(1)を満足しない結果ついてにのみ適用される。即
ち、これはタイトル句に基づく構成要素照会を含まない
照会を有する結果対にのみ適用される。
次に高くランク付けされる結果対は頭文字が大文字で
ある単語を照会が含むものである。照会内のこのような
語の数が多ければ、多いほど、その結果対のランク付け
は高くなる。この判断基準は人名や地名等の固有名詞を
含む照会により大きな重みを与える。これは判断基準
(1)を満足しない結果ついてにのみ適用される。即
ち、これはタイトル句に基づく構成要素照会を含まない
照会を有する結果対にのみ適用される。
【0124】(3)整合した語の全体数。
三番目に高くランク付けされる結果対は照会が比較的
多くの語を有するものである。照会の語の数が多ければ
多いほど、結果対のランク付けは高くなる。この判断基
準は判断基準(1)又は(2)を満足しない結果対にの
み適用される。即ち、これはタイトル句に基づく、又
は、頭文字が大文字である名詞句に基づく構成要素照会
を含まない照会についての結果対にのみ適用される。
三番目に高くランク付けされる結果対は照会が比較的
多くの語を有するものである。照会の語の数が多ければ
多いほど、結果対のランク付けは高くなる。この判断基
準は判断基準(1)又は(2)を満足しない結果対にの
み適用される。即ち、これはタイトル句に基づく、又
は、頭文字が大文字である名詞句に基づく構成要素照会
を含まない照会についての結果対にのみ適用される。
【0125】(4)文書リストにおける文書の最小数。
判断基準(1)、(2)または(3)のいず
れをも満足しない結果対は最も低くランク付けされる。
これらの内、このような結果対は検索された文書の数に
基づきランク付けされる。少ない文書を含む結果対は、
多くの文書を含む結果対より、高くランク付けされる。
判断基準(1)、(2)または(3)のいず
れをも満足しない結果対は最も低くランク付けされる。
これらの内、このような結果対は検索された文書の数に
基づきランク付けされる。少ない文書を含む結果対は、
多くの文書を含む結果対より、高くランク付けされる。
【0126】これらの4つの判断基準を適用する例をこ
こに示す。以下の4つの照会に対する結果対がランク付
けされると仮定する。 1) [<0 Great Britain> <0 Ireland>] 2) [Ireland sea] 3) [<0 Great Britain> ocean] 4) [Britain ocean sea] これらの照会のいずれもがタイトル句を含まない。そこ
で第一のランク付け判断基準は適用されない。照会1は
頭文字が大文字である語を3つ含み、照会3は2つ、照
会2及び4はそれぞれ1つ含む。このため、第二のラン
ク付け判断基準により、結果対1が最も高位に、結果対
3が第2位にランク付けされる。結果対2及び4におい
て、照会4は3語含み、照会2は2語のみを含む。従っ
て、第三のランク付け判断基準により、照会4が高位に
ランク付けされる。これにより、最終ランク付けは1、
3、4、2となる。
こに示す。以下の4つの照会に対する結果対がランク付
けされると仮定する。 1) [<0 Great Britain> <0 Ireland>] 2) [Ireland sea] 3) [<0 Great Britain> ocean] 4) [Britain ocean sea] これらの照会のいずれもがタイトル句を含まない。そこ
で第一のランク付け判断基準は適用されない。照会1は
頭文字が大文字である語を3つ含み、照会3は2つ、照
会2及び4はそれぞれ1つ含む。このため、第二のラン
ク付け判断基準により、結果対1が最も高位に、結果対
3が第2位にランク付けされる。結果対2及び4におい
て、照会4は3語含み、照会2は2語のみを含む。従っ
て、第三のランク付け判断基準により、照会4が高位に
ランク付けされる。これにより、最終ランク付けは1、
3、4、2となる。
【0127】上記の例で第二及び第四の照会が以下のよ
うに変更されると、 2) [Ireland ocean sea] 4) [Britain ocean sea] 第三のランク付け判断基準は適用されない。更に照会2
は3ヒットを生成し、照会4は5ヒットを生成すると仮
定すると、第四の判断基準により、結果対2が結果対4
の上位にランク付けされ、最終ランク付けは1、3、
2、4になる。
うに変更されると、 2) [Ireland ocean sea] 4) [Britain ocean sea] 第三のランク付け判断基準は適用されない。更に照会2
は3ヒットを生成し、照会4は5ヒットを生成すると仮
定すると、第四の判断基準により、結果対2が結果対4
の上位にランク付けされ、最終ランク付けは1、3、
2、4になる。
【0128】6.3 提示リストの構成。 ステップ263において、ランク付けされた一又はそれ
以上の結果対内の文書を一又はそれ以上の判断基準に基
づきランク付けする。利用者の質問、即ち、入力列に最
も関連のありそうな文書の順序化されたリストをこのラ
ンク付けに基づき構成する。この順序化されたリストを
以下、提示リストと称するが、これは、ステップ280
での直接的な、又は実施例によってはステップ264で
修正された、出力である関連する文書の順序化されたリ
ストになる。
以上の結果対内の文書を一又はそれ以上の判断基準に基
づきランク付けする。利用者の質問、即ち、入力列に最
も関連のありそうな文書の順序化されたリストをこのラ
ンク付けに基づき構成する。この順序化されたリストを
以下、提示リストと称するが、これは、ステップ280
での直接的な、又は実施例によってはステップ264で
修正された、出力である関連する文書の順序化されたリ
ストになる。
【0129】提示リストはその中にN個の固有の文書を
含む。即ち、このリストにはN個の文書があり、これら
の文書のいずれもが、他のものと同じではない。Nはデ
フォールトまたは利用者により予め設定される数であ
る。Nは、例えば、3または30、等、その適用対象に
依存する。
含む。即ち、このリストにはN個の文書があり、これら
の文書のいずれもが、他のものと同じではない。Nはデ
フォールトまたは利用者により予め設定される数であ
る。Nは、例えば、3または30、等、その適用対象に
依存する。
【0130】ステップ263においては、ステップ26
2と同様に、数多くのランク付け判断基準が使用され得
る。一実施例においては単独の判断基準を用いる。即
ち、入力列に現れかつ結果対の照会に現れない語の数を
この基準として用いる。このような語を最も多く含む文
書が最高位を得る。一例でこれを説明する。上位にラン
ク付けされた結果対が二つの文書、doci,1及びdoci,2を
その文書リストに含む(即ち、その照会、照会iが二つ
のヒットを生成した)と仮定する。 ([<0 Great Britain> Ireland] (doci,1 doci,2)) 更に、入力列が動詞"cross" ("crossing the sea"のよ
うに)のような付加的な語を含むと仮定する。そこで、
doci,1が語"crossing"含むが、doci,2は含まない場合に
は、doci,1が doci,2より高位にランク付けされる。次
いで、二番目にランクされた結果対がその文書リストに
4つの文書を有し、それらが、以下のように上位から下
位の順序、 (doci,1 doci,7, doci,3 doci,5) であると仮定する。例えば、N=3の場合、三つの文書
dcoi,1 dcoi,2, doci,7 が最上位にランク付けされ
る、ステップ263により生成された最も関連する確率
が高い文書となる。doci,1は、最も高いランクの結果対
からの最も高いランクの文書であるので最高位にランク
付けされる。doci,2は、最も高いランクの結果対からの
2番目に高いランクの文書であるので第2位にランク付
けされる。doci,7は第二位の結果値対固有の最高位の文
書、即ち、第2位にランク付けされた結果対の中にあり
かつ第1位にランク付けされた結果対にない文書である
のでこの文書は第三位にランク付けされる。最初の二つ
の結果対の中にN個の固有文書があるので、残りのいず
れもの結果対についての文書のランク付けはこの実施例
では省略される。
2と同様に、数多くのランク付け判断基準が使用され得
る。一実施例においては単独の判断基準を用いる。即
ち、入力列に現れかつ結果対の照会に現れない語の数を
この基準として用いる。このような語を最も多く含む文
書が最高位を得る。一例でこれを説明する。上位にラン
ク付けされた結果対が二つの文書、doci,1及びdoci,2を
その文書リストに含む(即ち、その照会、照会iが二つ
のヒットを生成した)と仮定する。 ([<0 Great Britain> Ireland] (doci,1 doci,2)) 更に、入力列が動詞"cross" ("crossing the sea"のよ
うに)のような付加的な語を含むと仮定する。そこで、
doci,1が語"crossing"含むが、doci,2は含まない場合に
は、doci,1が doci,2より高位にランク付けされる。次
いで、二番目にランクされた結果対がその文書リストに
4つの文書を有し、それらが、以下のように上位から下
位の順序、 (doci,1 doci,7, doci,3 doci,5) であると仮定する。例えば、N=3の場合、三つの文書
dcoi,1 dcoi,2, doci,7 が最上位にランク付けされ
る、ステップ263により生成された最も関連する確率
が高い文書となる。doci,1は、最も高いランクの結果対
からの最も高いランクの文書であるので最高位にランク
付けされる。doci,2は、最も高いランクの結果対からの
2番目に高いランクの文書であるので第2位にランク付
けされる。doci,7は第二位の結果値対固有の最高位の文
書、即ち、第2位にランク付けされた結果対の中にあり
かつ第1位にランク付けされた結果対にない文書である
のでこの文書は第三位にランク付けされる。最初の二つ
の結果対の中にN個の固有文書があるので、残りのいず
れもの結果対についての文書のランク付けはこの実施例
では省略される。
【0131】上述の手続きは例えば、以下のように疑似
コードで表現され得る。 /* 文書カウンターを0にし提示リストを空白リストに初期化。文 書カウンターは 提示リストに幾つの文書が付加されたかを追跡 する。/* document_couner = O; presentation_list = EMPTY; /* N個の固有文書を検索 /* WHILE (document _counter < N) /* r個の結果対についての外側ループ/* {FOR i = 1 to r {SORT (all documents docij from results pair i according to ranking criteria); /* 結果対iからのdi個のランク付けされた文書について の内側ループ/* FOR j= 1 to di {IF (jth sorted document is not yet in presenta tion_list) {ADD docij to the end of presentation list; document_counter = document_coounter + 1 } } } }
コードで表現され得る。 /* 文書カウンターを0にし提示リストを空白リストに初期化。文 書カウンターは 提示リストに幾つの文書が付加されたかを追跡 する。/* document_couner = O; presentation_list = EMPTY; /* N個の固有文書を検索 /* WHILE (document _counter < N) /* r個の結果対についての外側ループ/* {FOR i = 1 to r {SORT (all documents docij from results pair i according to ranking criteria); /* 結果対iからのdi個のランク付けされた文書について の内側ループ/* FOR j= 1 to di {IF (jth sorted document is not yet in presenta tion_list) {ADD docij to the end of presentation list; document_counter = document_coounter + 1 } } } }
【0132】実施例によっては異なるランク付け判断基
準を利用することが可能である。例えば、検索された文
書内での、或るいは、テキスト総体全体内において特定
の検索用語の頻度を考慮し得る。照会において類義語を
利用する実施例では類義語に基づく照会より元語に基づ
く照会に対し、上位の優先権を与えることが可能であ
る。
準を利用することが可能である。例えば、検索された文
書内での、或るいは、テキスト総体全体内において特定
の検索用語の頻度を考慮し得る。照会において類義語を
利用する実施例では類義語に基づく照会より元語に基づ
く照会に対し、上位の優先権を与えることが可能であ
る。
【0133】実施例によっては提示リストが文書リスト
の代わりに、文書認識子のリストにより構成される。
の代わりに、文書認識子のリストにより構成される。
【0134】6.4 提示リストに対する修正。 実施例によっては、図7で示されるように、ステップ2
64がステップ263の後に実行される。ステップ26
4ではステップ263で形成された提示リストが修正さ
れ得る。通常、このような修正は利用者に対する出力の
提示を補強(強調)する、若しくは、後の処理に適する
出力を形成するために成される。提示リストに対する広
範囲な修正がステップ264で本発明の範囲内において
可能である。
64がステップ263の後に実行される。ステップ26
4ではステップ263で形成された提示リストが修正さ
れ得る。通常、このような修正は利用者に対する出力の
提示を補強(強調)する、若しくは、後の処理に適する
出力を形成するために成される。提示リストに対する広
範囲な修正がステップ264で本発明の範囲内において
可能である。
【0135】実施例によっては提示リストの文書はタイ
トルによりアルファベット順に並べる事が可能であり、
或るいは、ステップ264でそれ以外に再配列され得
る。
トルによりアルファベット順に並べる事が可能であり、
或るいは、ステップ264でそれ以外に再配列され得
る。
【0136】実施例によってはステップ264の提示リ
ストにおける各々の文書に対し付加的な情報が追加され
得る。例えば、この付加的な情報は文書を検索するため
に利用される照会に関する情報から構成され得る。仮
に、特定のタイトル句を含む照会に応答して文書が検索
されたと仮定しよう。このタイトル句は一タイトル句と
して認識され、例えば、太字、斜体字、アンダーライ
ン、特殊フォント等の特徴的なテキスト提示により、検
索された文書のテキストにおいて目立たせることが可能
である。別の例として、付加的な情報は、整合文、即
ち、検索された文書内において文書が検索されるようも
たらした、或るいはこれを支援した文を含み得る。再
び、特定のタイトル句を含む照会に応答して文書が検索
されたと仮定しよう。このタイトル句が現れる文を検索
された文書に関連づけることが可能である。
ストにおける各々の文書に対し付加的な情報が追加され
得る。例えば、この付加的な情報は文書を検索するため
に利用される照会に関する情報から構成され得る。仮
に、特定のタイトル句を含む照会に応答して文書が検索
されたと仮定しよう。このタイトル句は一タイトル句と
して認識され、例えば、太字、斜体字、アンダーライ
ン、特殊フォント等の特徴的なテキスト提示により、検
索された文書のテキストにおいて目立たせることが可能
である。別の例として、付加的な情報は、整合文、即
ち、検索された文書内において文書が検索されるようも
たらした、或るいはこれを支援した文を含み得る。再
び、特定のタイトル句を含む照会に応答して文書が検索
されたと仮定しよう。このタイトル句が現れる文を検索
された文書に関連づけることが可能である。
【0137】7. 他の実施例。 本方法の上述の実施例は数多くの中の単なる一例に過ぎ
ない。本方法の様々な変形態様が本発明の範囲内に含ま
れる。更なる代替実施例の幾つかをここで簡単に述べ
る。この他の代替実施例もこの分野に精通する者にとっ
ては明らかであろう。
ない。本方法の様々な変形態様が本発明の範囲内に含ま
れる。更なる代替実施例の幾つかをここで簡単に述べ
る。この他の代替実施例もこの分野に精通する者にとっ
ては明らかであろう。
【0138】ステップ220の質問処理を実行するため
に代替的な技法を用いることが可能である。例えば、文
脈のない文法(context-free grammer)に基づくパーサー
(parser)を使用し得る。名詞句のケース分割を実行する
必要はない。テキストの形式化以外の、または、これに
付加的な手がかりがタイトル句を検出するために使用さ
れ得る。一般に自然言語入力列を照会再定形化ステップ
240でのIR照会の基礎として利用可能な名詞句(即
ち、隣接する、比較的短い語列)に変換し得る技法はい
ずれも利用可能である。ステップ220で検出された句
の種類は名詞句、タイトル句、及び動詞句に限定される
必要はない。
に代替的な技法を用いることが可能である。例えば、文
脈のない文法(context-free grammer)に基づくパーサー
(parser)を使用し得る。名詞句のケース分割を実行する
必要はない。テキストの形式化以外の、または、これに
付加的な手がかりがタイトル句を検出するために使用さ
れ得る。一般に自然言語入力列を照会再定形化ステップ
240でのIR照会の基礎として利用可能な名詞句(即
ち、隣接する、比較的短い語列)に変換し得る技法はい
ずれも利用可能である。ステップ220で検出された句
の種類は名詞句、タイトル句、及び動詞句に限定される
必要はない。
【0139】ステップ240も同様に代替的技法を利用
して実行され得る。例えば、上述した単純照会言語より
多様な特性をもつ照会言語を使用し得る。このような特
性には、例えば、文または段落に基づく近接制約条件が
含まれる。
して実行され得る。例えば、上述した単純照会言語より
多様な特性をもつ照会言語を使用し得る。このような特
性には、例えば、文または段落に基づく近接制約条件が
含まれる。
【0140】ステップ240の構成要素ステップの詳細
も同様に変化され得る。例えば、実施例によっては、単
独のタイトル句に基づく照会が過剰ヒットを生成する場
合には、ステップ525は更に二つ又はそれ以上のタイ
トルの組み合わせに基づく付加的なIR照会の構築及び
実行を含み得る。別の例として、上記の例1に関して述
べた動作の広範化及び狭小化の特定のシーケンスは効果
的でありかつコンピューター操作上効率がいいが、イン
ターリーブされた広範化及び狭小化の別のシーケンスを
本発明の範囲内において利用し得ることは理解されるあ
ろう。更に別の例では、広範化の際の冗長な検索を減ら
すために部分的ブール表現の結果を蓄えるIRサブシス
テムを含み得る。更に別の例では、複数の文またはカン
マで区切られた節を含む入力列に対して、入力列の句読
点を利用し、複合照会においてどの名詞句が一纏まりに
すべきかを判断するのを助けることが可能である。
も同様に変化され得る。例えば、実施例によっては、単
独のタイトル句に基づく照会が過剰ヒットを生成する場
合には、ステップ525は更に二つ又はそれ以上のタイ
トルの組み合わせに基づく付加的なIR照会の構築及び
実行を含み得る。別の例として、上記の例1に関して述
べた動作の広範化及び狭小化の特定のシーケンスは効果
的でありかつコンピューター操作上効率がいいが、イン
ターリーブされた広範化及び狭小化の別のシーケンスを
本発明の範囲内において利用し得ることは理解されるあ
ろう。更に別の例では、広範化の際の冗長な検索を減ら
すために部分的ブール表現の結果を蓄えるIRサブシス
テムを含み得る。更に別の例では、複数の文またはカン
マで区切られた節を含む入力列に対して、入力列の句読
点を利用し、複合照会においてどの名詞句が一纏まりに
すべきかを判断するのを助けることが可能である。
【0141】更に別の例では、構成要素照会がステップ
245で削除される際、例えば、可能な全ての構成要素
照会を削除するのにかなりの計算時間を要する時には実
施例によっては選択された構成要素照会のみが、削除さ
れる。選択された構成要素のみが削除される場合、実施
例によっては総体において最頻に現れる、即ち、最大の
ヒット数である照会構成要素を先ず削除するのが好まし
い。高頻度構成要素照会を削除することにより、結果と
して生ずる広範化された照会により検索される文書が入
力列と明確に関連する可能性を向上させ得る。
245で削除される際、例えば、可能な全ての構成要素
照会を削除するのにかなりの計算時間を要する時には実
施例によっては選択された構成要素照会のみが、削除さ
れる。選択された構成要素のみが削除される場合、実施
例によっては総体において最頻に現れる、即ち、最大の
ヒット数である照会構成要素を先ず削除するのが好まし
い。高頻度構成要素照会を削除することにより、結果と
して生ずる広範化された照会により検索される文書が入
力列と明確に関連する可能性を向上させ得る。
【0142】三章 MURAX 1.三章の編成 三章はMURAXに焦点を合わせ記述される。これは自
然言語による質問に解答する為のより大きな二段階の方
法の関する本発明の方法を具現化するシステムである。
MURAXは特定の事象についての自然言語による質問
に解答する強力な言語手法を提供する。これは、その質
問に対する解答をオンラインの百科辞典からなるデータ
ベースから引き出す。MURAXは以下のようなハード
ウェア構成を用いて実行及びテストされた。即ち、ワー
クステーションSun SparcStationが一次照会構築サブシ
ステム及び解答仮説サブシステムの両方を実行し、情報
検索サブシステム及びその関連総体はSun SparcStation
から隔離して設置され、ネットワークを介してそのワー
クステーションにアクセスされる。
然言語による質問に解答する為のより大きな二段階の方
法の関する本発明の方法を具現化するシステムである。
MURAXは特定の事象についての自然言語による質問
に解答する強力な言語手法を提供する。これは、その質
問に対する解答をオンラインの百科辞典からなるデータ
ベースから引き出す。MURAXは以下のようなハード
ウェア構成を用いて実行及びテストされた。即ち、ワー
クステーションSun SparcStationが一次照会構築サブシ
ステム及び解答仮説サブシステムの両方を実行し、情報
検索サブシステム及びその関連総体はSun SparcStation
から隔離して設置され、ネットワークを介してそのワー
クステーションにアクセスされる。
【0143】三章のそれ以外の構成は以下のように編成
される。2節で、MURAXの質問解答作業への動機
を、その関心事及びそれらの特徴である質問の種類の記
述と共に提示する。3節はシステムの構成要素について
述べる。これらは百科辞典、それにアクセスするIRシ
ステムを含む。浅い言語解析は品詞タグ標識及び辞書式
構文パターンと照合するための有限状態認識装置を利用
し実行される。
される。2節で、MURAXの質問解答作業への動機
を、その関心事及びそれらの特徴である質問の種類の記
述と共に提示する。3節はシステムの構成要素について
述べる。これらは百科辞典、それにアクセスするIRシ
ステムを含む。浅い言語解析は品詞タグ標識及び辞書式
構文パターンと照合するための有限状態認識装置を利用
し実行される。
【0144】4節は質問の解析を具体例の考察により述
べ、そのシステム出力を説明する。解析は二つの段階に
て実行される。第1段階の一次照会構築は質問に関係す
る記事を見い出す。第2段階(解答抽出と呼ぶ。)はこ
れらの記事を解析し、その解答となり得そうな名詞句
(解答仮説と呼ぶ)を見い出す。
べ、そのシステム出力を説明する。解析は二つの段階に
て実行される。第1段階の一次照会構築は質問に関係す
る記事を見い出す。第2段階(解答抽出と呼ぶ。)はこ
れらの記事を解析し、その解答となり得そうな名詞句
(解答仮説と呼ぶ)を見い出す。
【0145】いづれの段階も百科辞典の検索を必要とす
る。第1段階で作られる照会は一次照会と呼ばれ、質問
からの句のみを含む。第2段階ではMURAXが特定の
句関係を検証するための二次照会を生成する。二次照会
は解答仮説及び質問からの句の両方を含む。
る。第1段階で作られる照会は一次照会と呼ばれ、質問
からの句のみを含む。第2段階ではMURAXが特定の
句関係を検証するための二次照会を生成する。二次照会
は解答仮説及び質問からの句の両方を含む。
【0146】5節は一次照会構築段階について説明す
る。これは参考として本発明に包括される同時係争中の
出願、「言語解析及び仮説生成を利用してテキスト総体
から自然言語で表現された質問に対する解答を抽出する
方法」の方法により、MURAXで実行される。6節は
解答仮説抽出段階を説明する。これは、本発明の方法に
よりMURAXにて実行される。7節はMURAXの性
能評価をする。
る。これは参考として本発明に包括される同時係争中の
出願、「言語解析及び仮説生成を利用してテキスト総体
から自然言語で表現された質問に対する解答を抽出する
方法」の方法により、MURAXで実行される。6節は
解答仮説抽出段階を説明する。これは、本発明の方法に
よりMURAXにて実行される。7節はMURAXの性
能評価をする。
【0147】2. 作業選択 MURAXの作業は百科辞典により構成されるテキスト
総体を用いて一定の一般知識の質問に解答することであ
る。この作業を選択するためには幾つかの理由がある。
百科辞典は大量の無制限のテキストからなるので、この
作業のために強力(頑強)な解析が必要である。一般知
識は広大な領域であり、このことは、つまり、語彙(百
科辞典は10万語以上の語幹を含む。)の語についての
詳細の辞書的な又は意味論的な詳細情報を人手により提
示する事が実際的でないことを意味する。
総体を用いて一定の一般知識の質問に解答することであ
る。この作業を選択するためには幾つかの理由がある。
百科辞典は大量の無制限のテキストからなるので、この
作業のために強力(頑強)な解析が必要である。一般知
識は広大な領域であり、このことは、つまり、語彙(百
科辞典は10万語以上の語幹を含む。)の語についての
詳細の辞書的な又は意味論的な詳細情報を人手により提
示する事が実際的でないことを意味する。
【0148】MURAXは、浅い言語解析が関係の種類
及び関係する対象の種類が前以て知られていない場合で
かつ各新たな質問毎にこれらの種類がことなるような広
い範囲において実際的な利をもたらすことを証明する。
その解析は質問において利用可能な情報を利用し、辞書
源として百科辞典を利用する。MURAXは更に、自然
言語解析が、単なる語整合のみでなく、句関係を提供す
るテキストを利用者に与えることにより、情報検索過程
の質を向上させることを証明する。
及び関係する対象の種類が前以て知られていない場合で
かつ各新たな質問毎にこれらの種類がことなるような広
い範囲において実際的な利をもたらすことを証明する。
その解析は質問において利用可能な情報を利用し、辞書
源として百科辞典を利用する。MURAXは更に、自然
言語解析が、単なる語整合のみでなく、句関係を提供す
るテキストを利用者に与えることにより、情報検索過程
の質を向上させることを証明する。
【0149】MURAXは確定解答をもつ質問を使用す
る。このため、この性能は質問群とその正答を用いる直
接的な方法で評価可能であることを意味する。正しい名
詞句解答が与えられている場合、システムにより仮定さ
れた名詞句が正しいか、否かを判断するのは一般にたや
すい。このような適合性判断は単純化され、1つの正し
い仮説が他のものと同程度と考えられると、リコール計
測の必要はなくなり、性能は単純に正しく仮定された解
答の割合として考えることが出来る。
る。このため、この性能は質問群とその正答を用いる直
接的な方法で評価可能であることを意味する。正しい名
詞句解答が与えられている場合、システムにより仮定さ
れた名詞句が正しいか、否かを判断するのは一般にたや
すい。このような適合性判断は単純化され、1つの正し
い仮説が他のものと同程度と考えられると、リコール計
測の必要はなくなり、性能は単純に正しく仮定された解
答の割合として考えることが出来る。
【0150】2.1 質問の特徴 MURAXは閉じたクラスの質問について作動する。閉
じたクラスの質問とはその解答が対象群の中に存在する
と仮定されかつ名詞句で表現可能な直接的な質問であ
る。別の言い方をすれば、閉じたクラスの質問とは自然
言語で述べられる質問であり、手順を要する解答ではな
く名詞句により象徴される確定解答を想定する質問であ
る。閉じたクラスの質問の例を以下の表5に与える。
じたクラスの質問とはその解答が対象群の中に存在する
と仮定されかつ名詞句で表現可能な直接的な質問であ
る。別の言い方をすれば、閉じたクラスの質問とは自然
言語で述べられる質問であり、手順を要する解答ではな
く名詞句により象徴される確定解答を想定する質問であ
る。閉じたクラスの質問の例を以下の表5に与える。
【0151】
【表5】 質問例 1. 米国のアレゲーニ川とモノンガヒーラ川の合流点
にあるのは何と言う都市か?(What U.S. city is at t
he junction of the Allegheny and Monongahelarivers
?) 2. 「川を渡り、森へ」を書いたのは誰か?(Who wro
te "Across the Riverand into the Trees"? 3. 女優ナンシー・デヴィスと結婚したのは誰か?(W
ho married actressNancy Davis?) 4. オランダの首都はどこか?(What's the capital
of the Netherlands?) 5. 最後のアパッチ戦士の首長は誰だったか。(Who w
as the last of theApache warrior chiefs?) 6. 何という裁判長が「リー・ハーベイ・オズワルド
が一人で・・・を行った」と宣言した委員会の委員長で
あったか?(What chief justice headed thecommission
that declared: "Lee Harvey Oswald... acted alon
e."?) 7. ゴート島により二つに分けられる有名な滝は何と
言うか?(What famedfalls are split in two by Goat
Island?) 8. 11月の誕生石は何か?(What is November's bi
rthstone?) 9. 誰が、最も多くの衣装デザインのオスカー賞を受
賞したか?( Who'swon the most Oscars for costume d
esign?) 10.アラスカの州花は何か?(What is the state flo
wer of Alaska?) これらのTrivial Pursuit の質問は Horn Abbot Ltd.
が著作権を有する。Trivial Pursuit はHorn Abbot Lt
d. の登録商標である。)
にあるのは何と言う都市か?(What U.S. city is at t
he junction of the Allegheny and Monongahelarivers
?) 2. 「川を渡り、森へ」を書いたのは誰か?(Who wro
te "Across the Riverand into the Trees"? 3. 女優ナンシー・デヴィスと結婚したのは誰か?(W
ho married actressNancy Davis?) 4. オランダの首都はどこか?(What's the capital
of the Netherlands?) 5. 最後のアパッチ戦士の首長は誰だったか。(Who w
as the last of theApache warrior chiefs?) 6. 何という裁判長が「リー・ハーベイ・オズワルド
が一人で・・・を行った」と宣言した委員会の委員長で
あったか?(What chief justice headed thecommission
that declared: "Lee Harvey Oswald... acted alon
e."?) 7. ゴート島により二つに分けられる有名な滝は何と
言うか?(What famedfalls are split in two by Goat
Island?) 8. 11月の誕生石は何か?(What is November's bi
rthstone?) 9. 誰が、最も多くの衣装デザインのオスカー賞を受
賞したか?( Who'swon the most Oscars for costume d
esign?) 10.アラスカの州花は何か?(What is the state flo
wer of Alaska?) これらのTrivial Pursuit の質問は Horn Abbot Ltd.
が著作権を有する。Trivial Pursuit はHorn Abbot Lt
d. の登録商標である。)
【0152】表5の質問は一般知識「Trivial Pursuit
」のゲームに現れ、MURAXの作業に関わる質問の
形態の典型を示すものである。これらの質問は検索作業
から独立して(即ち、これらは、バイアスされていな
い)創作されているという特徴を有しかつ一貫性がある
単純な形式を有する。しかも、これらは、表現力におい
て柔軟である。
」のゲームに現れ、MURAXの作業に関わる質問の
形態の典型を示すものである。これらの質問は検索作業
から独立して(即ち、これらは、バイアスされていな
い)創作されているという特徴を有しかつ一貫性がある
単純な形式を有する。しかも、これらは、表現力におい
て柔軟である。
【0153】質問を導く疑問語は重要な情報源である。
これらは、解答についての特定の予想を与える。これら
の幾つかを以下の表6に示す。
これらは、解答についての特定の予想を与える。これら
の幾つかを以下の表6に示す。
【0154】
【表6】質問の語及び予想 誰/誰の(Who/whose) :人 何/どの(What/which) :もの、人、場所 どこ(Where) :場所 いつ(When) :時 どのくらい(How many) :数
【0155】注意すべきことはここで、何故(Why )及
びどのように(How )が抜かされていることである。Wh
y 及びHow で始まる質問は名詞句解答ではなく、むしろ
手続き的な解答であると予想される。(例えば、どのよ
うにパンを焼くか(How do you make a loaf of bread
?) )
びどのように(How )が抜かされていることである。Wh
y 及びHow で始まる質問は名詞句解答ではなく、むしろ
手続き的な解答であると予想される。(例えば、どのよ
うにパンを焼くか(How do you make a loaf of bread
?) )
【0156】疑問語により確立される予想を用いて様々
な解答仮説をふるいにかけることが可能である。「Who
」で始まる質問の解答は人名である可能性が高い。こ
の事は有効に活用し得る。というのも、様々な発見的手
法が名詞句が人名であるかどうかを検証するために適用
可能であるからである。
な解答仮説をふるいにかけることが可能である。「Who
」で始まる質問の解答は人名である可能性が高い。こ
の事は有効に活用し得る。というのも、様々な発見的手
法が名詞句が人名であるかどうかを検証するために適用
可能であるからである。
【0157】「What」で始まる質問は人を言及すること
もあれば、しないこともある。しかし、そのほかの特徴
を利用することが出来る。以下の文の部分について考え
よう。ここではNPは名詞句を表す。「What is the NP
・・・」及び「What NP ・・・」。このような質問の
最初の名詞句を質問の形態句と呼び、これは仮説がどの
ような形態のものかを示す。解答仮説がその形態句の例
であるという証拠を探すよう試みるために百科辞典を検
索され得る(詳細については以下の6.1.1節に示
す)。質問中の動詞は解答と質問内の他の句との間に存
在する関係を表現するので有効な情報源である。
もあれば、しないこともある。しかし、そのほかの特徴
を利用することが出来る。以下の文の部分について考え
よう。ここではNPは名詞句を表す。「What is the NP
・・・」及び「What NP ・・・」。このような質問の
最初の名詞句を質問の形態句と呼び、これは仮説がどの
ような形態のものかを示す。解答仮説がその形態句の例
であるという証拠を探すよう試みるために百科辞典を検
索され得る(詳細については以下の6.1.1節に示
す)。質問中の動詞は解答と質問内の他の句との間に存
在する関係を表現するので有効な情報源である。
【0158】「Where ・・・」に対する解答仮説は場所
である可能性が高く、これは、大抵、場所を表す前置詞
とともにまたは動きの動詞を導くものとして現れる。
「When・・・」の形の質問は大抵、日時または時間を解
答として予想する。「 How Many ・・」で始まる質問の
予想は数値表現である。
である可能性が高く、これは、大抵、場所を表す前置詞
とともにまたは動きの動詞を導くものとして現れる。
「When・・・」の形の質問は大抵、日時または時間を解
答として予想する。「 How Many ・・」で始まる質問の
予想は数値表現である。
【0159】3. 構成要素 Grolier's Academic American Encyclopedia (The Acad
emic American Encyclopedia, Danbury, Connecticut:
Grolier Electronic Publishing, 1990) のオンライン
版がMURAXのテキスト総体の役割を果たす。このオ
ンライン百科辞典はおよそ27、000の記事を含み、
これらはテキストデータベース(Text Database: D.R.
Cutting, J. pedersen及びP.-K. Harvorsen のConferen
ce Proceedings of RIAO '91, Intelligent Text and I
mage Handling,(P. 285-298 スペイン、バルセロナ、
1991年4月)の「テキスト検索のための目的志向型
構造」)を介してアクセス可能である。このデータベー
スは検索システムのひな型の展開のための柔軟なプラッ
トホームであり、例えば、検索手法及びテキストタグ標
識(D. Cutting, J. Kupiec, J.Pedersen, P. Sibunの
Proceedings of the Third Conference on Applied Nat
ural Language Processing(イタリア、トレント、19
92年4月、ACL)の 「実際的な品詞タグ標識」を
参照)といった付加的機能要素を簡単に組み込むことが
可能である。
emic American Encyclopedia, Danbury, Connecticut:
Grolier Electronic Publishing, 1990) のオンライン
版がMURAXのテキスト総体の役割を果たす。このオ
ンライン百科辞典はおよそ27、000の記事を含み、
これらはテキストデータベース(Text Database: D.R.
Cutting, J. pedersen及びP.-K. Harvorsen のConferen
ce Proceedings of RIAO '91, Intelligent Text and I
mage Handling,(P. 285-298 スペイン、バルセロナ、
1991年4月)の「テキスト検索のための目的志向型
構造」)を介してアクセス可能である。このデータベー
スは検索システムのひな型の展開のための柔軟なプラッ
トホームであり、例えば、検索手法及びテキストタグ標
識(D. Cutting, J. Kupiec, J.Pedersen, P. Sibunの
Proceedings of the Third Conference on Applied Nat
ural Language Processing(イタリア、トレント、19
92年4月、ACL)の 「実際的な品詞タグ標識」を
参照)といった付加的機能要素を簡単に組み込むことが
可能である。
【0160】MURAXの言語解析の責務を担う構成要
素は品詞タグ標識及び辞書式構文パターン整合子であ
る。タグ標識はHMM(隠れマルコフモデル)に基づ
く。HHMは確率に基づくものであり、これらのパラメ
ーターは通常のタグさないテキストのサンプル上に教育
することにより評価可能である。一度教育(トレーニン
グ)されるとヴィテルビ(Viterbi) のアルゴリズムを使
用しタグ付けされる。
素は品詞タグ標識及び辞書式構文パターン整合子であ
る。タグ標識はHMM(隠れマルコフモデル)に基づ
く。HHMは確率に基づくものであり、これらのパラメ
ーターは通常のタグさないテキストのサンプル上に教育
することにより評価可能である。一度教育(トレーニン
グ)されるとヴィテルビ(Viterbi) のアルゴリズムを使
用しタグ付けされる。
【0161】性能を評価するために、HMMタグ標識
(J.M. Kupiec の「隠れマルコフモデルによる強力な品
詞タグ付け」(Computer Speech and Language 6:225-2
42, 1992) )をブラウン総体(W.N. Francis and F. Ku
ccra, Frequnecy Analysis ofEnglish Usage 、Houghto
n Mifflin, 1982)の半分のタグのない語句上に教育を
し、残りの半分に人の手により割り当てたタグに対して
テストした。これは4%の全体エラー率(一種類以上の
品詞を想定可能な語についての11.2%のエラー率に
相当する)をもたらした。名詞句の正しい認識に影響を
及ぼすタグ標識エラーの割合は4%よりずっと低い。タ
グ標識は辞書的なエントリーにない語の種類を予測する
ために、接尾語情報及び局所的な前後関係の両方を利用
する。
(J.M. Kupiec の「隠れマルコフモデルによる強力な品
詞タグ付け」(Computer Speech and Language 6:225-2
42, 1992) )をブラウン総体(W.N. Francis and F. Ku
ccra, Frequnecy Analysis ofEnglish Usage 、Houghto
n Mifflin, 1982)の半分のタグのない語句上に教育を
し、残りの半分に人の手により割り当てたタグに対して
テストした。これは4%の全体エラー率(一種類以上の
品詞を想定可能な語についての11.2%のエラー率に
相当する)をもたらした。名詞句の正しい認識に影響を
及ぼすタグ標識エラーの割合は4%よりずっと低い。タ
グ標識は辞書的なエントリーにない語の種類を予測する
ために、接尾語情報及び局所的な前後関係の両方を利用
する。
【0162】百科辞典のテキストにタグ付けするための
HMMを百科辞典を用いて教育された。このような教育
の好都合な点は、タグ標識がその領域の一定の特徴に合
わせることができる点である。これについての観測を語
句「I」で行った。百科辞典のテキストは非人称の形式
で記述されており、この語は大抵「King George I 」と
か「Word War I」のような句において用いられる。百科
辞典のテキスト上で教育されたタグ標識は「I」を適宜
(適切な名詞として)割り当て、一方、ブラウン総体
(異なる種類のテキストの混合)はこのような場合に代
名詞として割り当てる。
HMMを百科辞典を用いて教育された。このような教育
の好都合な点は、タグ標識がその領域の一定の特徴に合
わせることができる点である。これについての観測を語
句「I」で行った。百科辞典のテキストは非人称の形式
で記述されており、この語は大抵「King George I 」と
か「Word War I」のような句において用いられる。百科
辞典のテキスト上で教育されたタグ標識は「I」を適宜
(適切な名詞として)割り当て、一方、ブラウン総体
(異なる種類のテキストの混合)はこのような場合に代
名詞として割り当てる。
【0163】テキストの1つの文が与えられると、タグ
標識は関係した品詞の種類により語の対の列びを形成す
る。これらは句認識の実行を可能にする。句は有限状態
の計算法(Hopcroft 及び Ullaman, supra )での通常
の表現により特定される。名詞句は、単に品詞の種類に
より認識されるが、より一般には、種類及び語を使用
し、テキストを照合する辞書式構文パターンを定義す
る。
標識は関係した品詞の種類により語の対の列びを形成す
る。これらは句認識の実行を可能にする。句は有限状態
の計算法(Hopcroft 及び Ullaman, supra )での通常
の表現により特定される。名詞句は、単に品詞の種類に
より認識されるが、より一般には、種類及び語を使用
し、テキストを照合する辞書式構文パターンを定義す
る。
【0164】最初は、単純名詞句のみが認識される。な
ぜなら、これらは最も信頼性をもって認識されるからで
ある。次に、前置詞を含む句またはその他の対等関係に
関する解析がより詳細な照合手続きの一部として適用さ
れる。
ぜなら、これらは最も信頼性をもって認識されるからで
ある。次に、前置詞を含む句またはその他の対等関係に
関する解析がより詳細な照合手続きの一部として適用さ
れる。
【0165】単語の最初の大文字化が名詞句を適切に分
割するために便利であることが分かる。これにより「Ne
w York City borough 」は「New York City 」と「boro
ugh」に分割される。このようなケース分割がブール照
会構造の効率を向上させる。ケース分割された名詞句に
基づく照会は句整合を直接的に生成する傾向にあるから
である。これは整合を生成するために名詞句から次々に
数語を落とす手間を省くことになる。
割するために便利であることが分かる。これにより「Ne
w York City borough 」は「New York City 」と「boro
ugh」に分割される。このようなケース分割がブール照
会構造の効率を向上させる。ケース分割された名詞句に
基づく照会は句整合を直接的に生成する傾向にあるから
である。これは整合を生成するために名詞句から次々に
数語を落とす手間を省くことになる。
【0166】3.1 タイトル句 タイトル句とは映画、書籍、劇等のタイトルである複数
の語の句である。これはMURAXでは通常、単独の単
位として扱われる。1つのタイトル句が1つの名詞句で
あるとは限らない。例えば、タイトル「Play Misty for
Me 」は動詞「play」を含む。
の語の句である。これはMURAXでは通常、単独の単
位として扱われる。1つのタイトル句が1つの名詞句で
あるとは限らない。例えば、タイトル「Play Misty for
Me 」は動詞「play」を含む。
【0167】タイトル句は印刷の際、引用符により囲む
ことにより又は斜体字により示されていると簡単に認識
される。しかし、タイトル句は単語の最初の文字の大文
字することにより表現されることもある。更に、短い機
能語等のタイトル句の単語の幾つかは大文字にされると
は限らない。このように、タイトル句の正当性は不明確
であり、別の可能性を用意する必要がある。MURAX
では、句整合が成された後、最も可能性の高い代替案が
選択され、その代替案が、整合及び代替解釈の頻度に基
づいて比較される。
ことにより又は斜体字により示されていると簡単に認識
される。しかし、タイトル句は単語の最初の文字の大文
字することにより表現されることもある。更に、短い機
能語等のタイトル句の単語の幾つかは大文字にされると
は限らない。このように、タイトル句の正当性は不明確
であり、別の可能性を用意する必要がある。MURAX
では、句整合が成された後、最も可能性の高い代替案が
選択され、その代替案が、整合及び代替解釈の頻度に基
づいて比較される。
【0168】4. 動作的概観 この節はMURAXシステムの出力の例によりMURA
Xシステムの二つの段階動作の概観を示す。以下の表7
に例示質問を示す。
Xシステムの二つの段階動作の概観を示す。以下の表7
に例示質問を示す。
【0169】
【表7】 例示質問及び構成要素名詞句 「Who was the Pulitzer Prize-wining novelist that ran for mayor of New York City? 」 Pulitzer Price winning novelist mayor New York City
【0170】4.1 一次照会構造 処理の第1段階において、MURAXは本発明の方法を
具体化する。先ず、表7に示すように単純名詞句及び主
動詞を入力質問から抽出する。これらの句は関連した近
接条件制限及び順序制限を有するブール照会を形成する
照会構築/改良処理において用いられる(5節)。これ
らの照会により百科辞典を検索し、関連する記事のリス
トを見い出す。
具体化する。先ず、表7に示すように単純名詞句及び主
動詞を入力質問から抽出する。これらの句は関連した近
接条件制限及び順序制限を有するブール照会を形成する
照会構築/改良処理において用いられる(5節)。これ
らの照会により百科辞典を検索し、関連する記事のリス
トを見い出す。
【0171】これらの関連する記事を入力質問の句に整
合する度合及び数に基づき発見的手法により採点する。
1つの名詞句内の照合する首位語は句における他の整合
語の得点の倍の得点を獲得する。整合する語幹を有する
が品詞の種類が異なる語には最小の得点を与える。
合する度合及び数に基づき発見的手法により採点する。
1つの名詞句内の照合する首位語は句における他の整合
語の得点の倍の得点を獲得する。整合する語幹を有する
が品詞の種類が異なる語には最小の得点を与える。
【0172】採点の後、これらの関連する記事は各々の
得点によりランク付けされる。ランク付けされた記事の
サブセットが処理の第2段階で利用される。MURAX
はこれらの記事(一次文書と呼ばれる)が利用者の質問
の解答を含むことを仮定する。
得点によりランク付けされる。ランク付けされた記事の
サブセットが処理の第2段階で利用される。MURAX
はこれらの記事(一次文書と呼ばれる)が利用者の質問
の解答を含むことを仮定する。
【0173】4.2 仮説抽出 処理の第2段階では、MURAXは参考として本発明に
包括される同時係争中の出願、「言語解析及び仮説生成
を利用してテキスト総体から自然言語で表現された質問
に対する解答を抽出する方法」の方法を具体化する。
包括される同時係争中の出願、「言語解析及び仮説生成
を利用してテキスト総体から自然言語で表現された質問
に対する解答を抽出する方法」の方法を具体化する。
【0174】解答抽出は一次文書の整合文、即ち、一次
文書を検索した、または検索するように促した文に含ま
れる単純名詞句の全てを見い出すことから開始される。
これらの整合文は入力質問の一又はそれ以上の句に対応
する。見出された各名詞句はその構成要素語及びそれが
現れる記事及び整合文により識別される解答仮説にな
る。
文書を検索した、または検索するように促した文に含ま
れる単純名詞句の全てを見い出すことから開始される。
これらの整合文は入力質問の一又はそれ以上の句に対応
する。見出された各名詞句はその構成要素語及びそれが
現れる記事及び整合文により識別される解答仮説にな
る。
【0175】解答仮説はそれらが現れる記事の得点の合
計に基づき、各記事毎に採点される。この目的とすると
ころは、続く大雑把な検索がこれらの仮説を使って実行
されるとしても、正しい解答仮説を見逃す可能性を最小
限にすることである。
計に基づき、各記事毎に採点される。この目的とすると
ころは、続く大雑把な検索がこれらの仮説を使って実行
されるとしても、正しい解答仮説を見逃す可能性を最小
限にすることである。
【0176】各解答仮説について、本システムは質問に
より暗示される句関係を検証することを試みる。表7の
質問については、解答は人物(「Who 」により暗示され
る)である可能性が高いことが分かる。この形態句は解
答が、好ましくは「PulitzerPrize winning novelist
(ピューリッツァー賞受賞の小説家)」、若しくは、少
なくとも、形態句の首位名詞により示される「novelist
(小説家)」であることを意味する。関係代名詞は解答
が、「ran for mayor of New York City (ニューヨー
ク市の市長に立候補した)」ことをも示す。6節で詳説
する句整合の処理がこれらの解答仮説及び一次文書を用
いてこの検証を実行する。
より暗示される句関係を検証することを試みる。表7の
質問については、解答は人物(「Who 」により暗示され
る)である可能性が高いことが分かる。この形態句は解
答が、好ましくは「PulitzerPrize winning novelist
(ピューリッツァー賞受賞の小説家)」、若しくは、少
なくとも、形態句の首位名詞により示される「novelist
(小説家)」であることを意味する。関係代名詞は解答
が、「ran for mayor of New York City (ニューヨー
ク市の市長に立候補した)」ことをも示す。6節で詳説
する句整合の処理がこれらの解答仮説及び一次文書を用
いてこの検証を実行する。
【0177】検証は一次文書に限定されない。ある適切
な句関係が百科辞典の他の場所にあることが確認され得
るが、一次文書内に存在しないことも起こり得る。これ
は、他の句整合に比較して、その関係に含まれる語が非
常に少ないため、その適切な文のランクが低く、選択さ
れた一次文書に存在しないことによる。また、いずれの
一次文書においても適切な検証情報が表現されず、それ
が、その解答仮説にのみに依存するような場合も有り得
る。MURAXが1つの名詞句が1つの人名を表すこと
を検証しようとする際に用いる1つの発見的手法による
場合に相当する。この発見的手法がそのタイトルに名詞
句を含む記事を探し、仮に、その記事が、質問と共有す
る句を持たないとすると、それは一次文書にはなりよう
がない。
な句関係が百科辞典の他の場所にあることが確認され得
るが、一次文書内に存在しないことも起こり得る。これ
は、他の句整合に比較して、その関係に含まれる語が非
常に少ないため、その適切な文のランクが低く、選択さ
れた一次文書に存在しないことによる。また、いずれの
一次文書においても適切な検証情報が表現されず、それ
が、その解答仮説にのみに依存するような場合も有り得
る。MURAXが1つの名詞句が1つの人名を表すこと
を検証しようとする際に用いる1つの発見的手法による
場合に相当する。この発見的手法がそのタイトルに名詞
句を含む記事を探し、仮に、その記事が、質問と共有す
る句を持たないとすると、それは一次文書にはなりよう
がない。
【0178】二次照会は句関係を確認する代替手段とし
て利用される。1つの二次照会は(直ぐ上に述べた発見
的手法についての)単なる解答仮説からなることもあれ
ば、その質問の形態句等の入力質問からの他の句を含み
得る。解答仮説が「novelist」であるかを見い出すため
に、例えば、その解答仮説及び語「novelist」からなる
照会を構成し実行し、関連する記事のリストを生成す
る。解答仮説と質問句の共通発生を含む整合文をもつ文
書が二次文書と称される。MURAXは辞書式構文パタ
ーンを用いて二次文書を解析し、解答仮説がその形態句
の例として確認されるかを調べる。
て利用される。1つの二次照会は(直ぐ上に述べた発見
的手法についての)単なる解答仮説からなることもあれ
ば、その質問の形態句等の入力質問からの他の句を含み
得る。解答仮説が「novelist」であるかを見い出すため
に、例えば、その解答仮説及び語「novelist」からなる
照会を構成し実行し、関連する記事のリストを生成す
る。解答仮説と質問句の共通発生を含む整合文をもつ文
書が二次文書と称される。MURAXは辞書式構文パタ
ーンを用いて二次文書を解析し、解答仮説がその形態句
の例として確認されるかを調べる。
【0179】4.3 システム出力 表7に与えられた質問についてMURAXは表8に示す
出力を生成する。
出力を生成する。
【0180】
【表8】 例示の質問に対する出力 この質問に対する最適な整合句はMailer, Normanであ
る。以下の文書が最も関連性が高かった。 文書タイトル: Mailer, Norman 関連テキスト: * 「The Armies of the Night (1968), a person
al narrative of the 1967 peace march on the Pentag
on, won Mailer the Pulitzer Prize and the National
Book Award.(The Armies of the Night (1968)、19
67年のペンタゴンでの平和行進の個人的な逸話、がメ
イラーにピューリッツァー賞及びナショナルブックアワ
ードをもたらした。)」 * 「In 1969 Mailer ran unsuccessfully as an
independent candidatefor mayor of New York City
(1969年にメイラーはニューヨーク市の市長の独立
候補として、出馬したが、失敗に終わった。)」 文書タイトル: novel (小説) 関連テキスト: * 「現代のアメリカの小説家の中で、Saul Bello
w, John COs Passos, John Hawkes, Joseph Heller, No
rman Mailer (ノーマン・メイラー), BernardMalamu
d, Thomas Pynchon, J.D. Salingerが幅広い読者に読ま
れている。」 第二候補: Edith Wharton 、William Faulkner
る。以下の文書が最も関連性が高かった。 文書タイトル: Mailer, Norman 関連テキスト: * 「The Armies of the Night (1968), a person
al narrative of the 1967 peace march on the Pentag
on, won Mailer the Pulitzer Prize and the National
Book Award.(The Armies of the Night (1968)、19
67年のペンタゴンでの平和行進の個人的な逸話、がメ
イラーにピューリッツァー賞及びナショナルブックアワ
ードをもたらした。)」 * 「In 1969 Mailer ran unsuccessfully as an
independent candidatefor mayor of New York City
(1969年にメイラーはニューヨーク市の市長の独立
候補として、出馬したが、失敗に終わった。)」 文書タイトル: novel (小説) 関連テキスト: * 「現代のアメリカの小説家の中で、Saul Bello
w, John COs Passos, John Hawkes, Joseph Heller, No
rman Mailer (ノーマン・メイラー), BernardMalamu
d, Thomas Pynchon, J.D. Salingerが幅広い読者に読ま
れている。」 第二候補: Edith Wharton 、William Faulkner
【0181】ここでの提示は従来技術のIRシステムの
ものとは異なる。解答仮説が利用者に示され、可能性の
高い解答及びそれらの解答が質問の他の句とどのように
関係するかを利用者に注視させる。提示されるテキスト
は必ずしも高い類似得点を有する文書からとは限らず、
寧ろ、解答に対する証拠を与える句関係を確証する文書
からの抽出される。利用者がシステムにより実行される
冗長な中間処理に関わりを持たなくとも、利用者はこの
挙動を容易に理解する。
ものとは異なる。解答仮説が利用者に示され、可能性の
高い解答及びそれらの解答が質問の他の句とどのように
関係するかを利用者に注視させる。提示されるテキスト
は必ずしも高い類似得点を有する文書からとは限らず、
寧ろ、解答に対する証拠を与える句関係を確証する文書
からの抽出される。利用者がシステムにより実行される
冗長な中間処理に関わりを持たなくとも、利用者はこの
挙動を容易に理解する。
【0182】表8で、最初の二つの文は一次文書からの
ものである。ノーマン・メイラーが小説家であると確証
する最後の文は二次文書からである。この文は解答仮説
が形態句を有するリスト内包関係であることを確認する
辞書式構文パターンにより認識された。
ものである。ノーマン・メイラーが小説家であると確証
する最後の文は二次文書からである。この文は解答仮説
が形態句を有するリスト内包関係であることを確認する
辞書式構文パターンにより認識された。
【0183】MURAXの手法はベクトル空間検索につ
いての従来技術の代替手法と対照をなす。全長文書を用
いるベクトル空間検索はMURAXの手法ほどMURA
Xが実行する作業に適するものではない。例示質問につ
いて、一般的な類似性の測定及び質問から得られた内容
語句を用いることによりベクトル空間検索を実行した。
(ノーマン・メイラーに関する)最も関連のある文書は
37番目にランクされた。文または段落レベルの照合を
行えば、もう少しましな結果が期待されるかも知れな
い。しかし、得られるテキスト整合は特定の解答の観点
において相関していることもなく、これらは異なる解答
仮説に対する情報を混乱させるものである。
いての従来技術の代替手法と対照をなす。全長文書を用
いるベクトル空間検索はMURAXの手法ほどMURA
Xが実行する作業に適するものではない。例示質問につ
いて、一般的な類似性の測定及び質問から得られた内容
語句を用いることによりベクトル空間検索を実行した。
(ノーマン・メイラーに関する)最も関連のある文書は
37番目にランクされた。文または段落レベルの照合を
行えば、もう少しましな結果が期待されるかも知れな
い。しかし、得られるテキスト整合は特定の解答の観点
において相関していることもなく、これらは異なる解答
仮説に対する情報を混乱させるものである。
【0184】5. 一次照会構築 この節ではMURAXがどのように一次照会構築を行う
かについて更に詳しく述べる。、本発明の方法によれ
ば、MURAXは1つの質問からの句を近接条件制約及
び順序制約を有するブール照会に翻訳する。これらの照
会はIRシステムに送られ、このIRシステムが百科辞
典を検索し、整合文書のリスト(即ち、ヒット)のリス
トを返送する。このIRシステムは以下に示すような基
本的照会及びこれらの基本から構築される複合照会を処
理することが可能であると仮定される。 1.ブール代数の語のAND(論理積)、ここでは[te
rm1 term2 ・・・termn]で表す。 2.P個までの他の語により分離される語の厳格な列び
の近接条件、ここでは <pterm1 term2 ・・・term
n>で表す。 3.P個までの他の語により分離される語の無秩序なリ
ストの近接条件、ここでは (pterm1 term2 ・・・
termn)で表す。
かについて更に詳しく述べる。、本発明の方法によれ
ば、MURAXは1つの質問からの句を近接条件制約及
び順序制約を有するブール照会に翻訳する。これらの照
会はIRシステムに送られ、このIRシステムが百科辞
典を検索し、整合文書のリスト(即ち、ヒット)のリス
トを返送する。このIRシステムは以下に示すような基
本的照会及びこれらの基本から構築される複合照会を処
理することが可能であると仮定される。 1.ブール代数の語のAND(論理積)、ここでは[te
rm1 term2 ・・・termn]で表す。 2.P個までの他の語により分離される語の厳格な列び
の近接条件、ここでは <pterm1 term2 ・・・term
n>で表す。 3.P個までの他の語により分離される語の無秩序なリ
ストの近接条件、ここでは (pterm1 term2 ・・・
termn)で表す。
【0185】例示質問によりこの処理概略を解説する。
これを以下例2とする。 "Who shot President Lincoln?"
これを以下例2とする。 "Who shot President Lincoln?"
【0186】質問は先ず、タグ付けされ、名詞句及び主
動詞が見い出される。例2で、唯一の名詞句は Preside
nt Lincolnであり、主動詞はshotである。次にブール用
語がこれらの句から構成される。先ず初めに、句の構成
要素語に対し、厳格な順序付けが課される。例2につい
ては、一次照会は <0 president lincoln > である。
動詞が見い出される。例2で、唯一の名詞句は Preside
nt Lincolnであり、主動詞はshotである。次にブール用
語がこれらの句から構成される。先ず初めに、句の構成
要素語に対し、厳格な順序付けが課される。例2につい
ては、一次照会は <0 president lincoln > である。
【0187】IRシステムはこのブール照会を受け、整
合する文書を検索する。ヒット数に応じて、新たなブー
ル照会が以下の目的をもって生成され得る。 1.文書のランク付けを詳細化すること 2.ヒット数を減らすこと(狭小化) 3.ヒット数を増やす(広範化)
合する文書を検索する。ヒット数に応じて、新たなブー
ル照会が以下の目的をもって生成され得る。 1.文書のランク付けを詳細化すること 2.ヒット数を減らすこと(狭小化) 3.ヒット数を増やす(広範化)
【0188】5.1 狭小化 狭小化はヒット数を減らすよう試みるために実行され
る。これは文書のランク付けを詳細化する役割をも果た
す。MURAXが実行する狭小化の1つの方法は名詞句
ではなくタイトル句を用いる、又は主動詞等の付加的な
検索語を含む新たなる照会を構成実行することによる。
例2に対する照会の主動詞を含むことにより、 [<0 president lincoln > shot] が与えられる。
る。これは文書のランク付けを詳細化する役割をも果た
す。MURAXが実行する狭小化の1つの方法は名詞句
ではなくタイトル句を用いる、又は主動詞等の付加的な
検索語を含む新たなる照会を構成実行することによる。
例2に対する照会の主動詞を含むことにより、 [<0 president lincoln > shot] が与えられる。
【0189】MURAXが実行する狭小化の別の1つの
方法は照会における語の共通発生の範囲を狭めることに
よる。これは句がより近くに位置することを要請し、こ
れにより、これらの句が相互に体系的関係にある確率を
高める。範囲を狭めつつ照会のシーケンスを実行し、ヒ
ット数が所定のしきい値以下になるまでそのシーケンス
を実行する。例2についての主動詞の狭小化を以下に示
す。 (10 < president Lincoln > shot)
方法は照会における語の共通発生の範囲を狭めることに
よる。これは句がより近くに位置することを要請し、こ
れにより、これらの句が相互に体系的関係にある確率を
高める。範囲を狭めつつ照会のシーケンスを実行し、ヒ
ット数が所定のしきい値以下になるまでそのシーケンス
を実行する。例2についての主動詞の狭小化を以下に示
す。 (10 < president Lincoln > shot)
【0190】5.2 広範化 広範化はヒット数を増やすよう試みるために実行され
る。MURAXでの広範化は三つの方法で実行される。 1.句内の語の共通発生範囲を広ろげ、同時に厳格な語
順に対する束縛を削除することにより行う。例2では、
例えば、広範化された照会(5President Lincoln )は
句「President Abraham Lincoln 」と整合するが、一次
照会<0 President Lincoln >はこれと整合しない。M
URAXは範囲を拡大しつつ照会のシーケンスを実行す
る。このシーケンスは近接条件又は得られるヒット数の
どちらかのしきい値に達するまで続けられる。 2.ブール照会から一又はそれ以上の句全体を削除する
ことにより行う。各々が1つの句に対応する照会用語を
削除するとヒットが増加する。これは百科辞典において
全体的に発生する数を減らすことに対応する方法でこれ
らを削除すると効率的である。 3.1つの照会の複数の語の句から一又はそれ以上の語
を削除し、元の句の補助句から構成される照会を生成す
ることにより行う。例2でヒット数を増すために、pres
ident を削除し得るし、またLincoln も削除し得る。
る。MURAXでの広範化は三つの方法で実行される。 1.句内の語の共通発生範囲を広ろげ、同時に厳格な語
順に対する束縛を削除することにより行う。例2では、
例えば、広範化された照会(5President Lincoln )は
句「President Abraham Lincoln 」と整合するが、一次
照会<0 President Lincoln >はこれと整合しない。M
URAXは範囲を拡大しつつ照会のシーケンスを実行す
る。このシーケンスは近接条件又は得られるヒット数の
どちらかのしきい値に達するまで続けられる。 2.ブール照会から一又はそれ以上の句全体を削除する
ことにより行う。各々が1つの句に対応する照会用語を
削除するとヒットが増加する。これは百科辞典において
全体的に発生する数を減らすことに対応する方法でこれ
らを削除すると効率的である。 3.1つの照会の複数の語の句から一又はそれ以上の語
を削除し、元の句の補助句から構成される照会を生成す
ることにより行う。例2でヒット数を増すために、pres
ident を削除し得るし、またLincoln も削除し得る。
【0191】5.3 制御技法 利用者の質問から導出されるすべての名詞句からなる1
つの初期ブール照会を先ず、構築し、実行する。その
後、広範化及び狭小化を実行する。以下の部分的序列が
利用され得る。 1.用語を削除する前に共通発生範囲を広げる。 2.二つの句を削除する前に照会から個々の句を削除す
る。 3.頻度の低い句を削除する前に頻度の高いから削除す
る。 4.タイトル句を試みた後、構成要素名詞句を試みる。 5.完全な句を利用し、その後、これらの補助句を用い
る。
つの初期ブール照会を先ず、構築し、実行する。その
後、広範化及び狭小化を実行する。以下の部分的序列が
利用され得る。 1.用語を削除する前に共通発生範囲を広げる。 2.二つの句を削除する前に照会から個々の句を削除す
る。 3.頻度の低い句を削除する前に頻度の高いから削除す
る。 4.タイトル句を試みた後、構成要素名詞句を試みる。 5.完全な句を利用し、その後、これらの補助句を用い
る。
【0192】広範化及び狭小化の反復処理はヒット数が
域値に達するか、又はもうこれ以上利用可能な照会を作
成出来なくなると、終了する。終了に際して、ヒットは
ランク付けされる。実際には詳細なランク付けの基準を
与える必要はなく、文書は単純に利用者の質問に共通す
る語の数によりランク付けされる。
域値に達するか、又はもうこれ以上利用可能な照会を作
成出来なくなると、終了する。終了に際して、ヒットは
ランク付けされる。実際には詳細なランク付けの基準を
与える必要はなく、文書は単純に利用者の質問に共通す
る語の数によりランク付けされる。
【0193】6. 解答仮説 この節は参考として本発明に包括される同時係争中の出
願、「言語解析及び仮説生成を利用してテキスト総体か
ら自然言語で表現された質問に対する解答を抽出する方
法」の方法による解答仮説抽出をMURAXがどのよう
に実行するかを詳しく説明する。MURAXは一次照会
構築段階の際に見出された様々なヒットにおける関連す
る文から最も見込みのありそうな解答仮説を見い出す。
まず、句の照合動作を行い、次に二次照会を構築する処
理が続き二次文書を得る。一般に、幾つかの仮説が同じ
解答を表現し得るので、これらを相互に関連付け、これ
らの様々な句整合を統合する必要がある。次に、これら
の仮説は見込順にランク付けされる。
願、「言語解析及び仮説生成を利用してテキスト総体か
ら自然言語で表現された質問に対する解答を抽出する方
法」の方法による解答仮説抽出をMURAXがどのよう
に実行するかを詳しく説明する。MURAXは一次照会
構築段階の際に見出された様々なヒットにおける関連す
る文から最も見込みのありそうな解答仮説を見い出す。
まず、句の照合動作を行い、次に二次照会を構築する処
理が続き二次文書を得る。一般に、幾つかの仮説が同じ
解答を表現し得るので、これらを相互に関連付け、これ
らの様々な句整合を統合する必要がある。次に、これら
の仮説は見込順にランク付けされる。
【0194】6.1 句の照合 句の照合は正規表現により記述される辞書式構文パター
ンを用いて実行される。これらの表現は有限状態認識要
素に翻訳される。これらの有限状態認識要素は照合が効
率的にかつ後戻りすることなく実行されるように決定さ
れ、最小化される(Hopcroft and Ullman, supra)。認
識要素を使用し、一次及び二次文書の文に照合し、最も
長い可能性の高い句整合を記録する。
ンを用いて実行される。これらの表現は有限状態認識要
素に翻訳される。これらの有限状態認識要素は照合が効
率的にかつ後戻りすることなく実行されるように決定さ
れ、最小化される(Hopcroft and Ullman, supra)。認
識要素を使用し、一次及び二次文書の文に照合し、最も
長い可能性の高い句整合を記録する。
【0195】表9にパターン例及びテキスト整合を示
す。便宜上、表現の複製に対し別の表現で命名する。表
9で、表現NP1 は他の場所で定義されるパターンを有す
る名詞句を言及する。
す。便宜上、表現の複製に対し別の表現で命名する。表
9で、表現NP1 は他の場所で定義されるパターンを有す
る名詞句を言及する。
【0196】
【表9】 パターン例及びテキスト整合 正規表現演算子 + 一又はそれ以上の事例 ? ゼロまたは一の事例 {・・・} 事例の列 (・・・) 事例の包含的論理和(OR) 辞書式構文パターン { NP1 (are were include {such as } ) + {NP2,} ? NP3 ? {and NP4 } 例示整合 "Counries such as Egypt, Sudan, and Israel ...." NP1 NP2 NP2 NP4
【0197】強力にするためMURAXは共通発生照合
の最上部に句照合の階層をもつ。従って、入力が質問で
ない場合(または"how" 又は"why" で始まる場合)には
MURAXは共通発生に基づく検索方法の典型である出
力を供給する。
の最上部に句照合の階層をもつ。従って、入力が質問で
ない場合(または"how" 又は"why" で始まる場合)には
MURAXは共通発生に基づく検索方法の典型である出
力を供給する。
【0198】MURAXの広大な総体は単純な言語モデ
リングを使用する際の固有の問題の幾つかを解消する。
例えば、文章照合において、1つの関係を検証するのに
単純な有限状態の文法では不可能であり、より詳細化さ
れた解析を要するためにその関係が検証できないことが
ある。しかし、その関係は百科辞典の幾つかの箇所に表
現されており、それゆえ、ある箇所ではより簡潔に表現
されていて、これがその関係を検証する確率を増す。別
の例として、単純句の照合が偽りの整合を導くことがあ
る。他のことを同等とし、1つの整合について多くの事
例を有する解答仮説が好まれる。しかし、1つの解答仮
説に関する偽の整合が百科辞典の異なる箇所で現れる異
なる幾つかの句関係に対して起こる可能性は少ない。こ
のように、広大な総体は偽りの整合エラーが広がってし
まい、間違った解答を導びいてしまうことを防止する。
リングを使用する際の固有の問題の幾つかを解消する。
例えば、文章照合において、1つの関係を検証するのに
単純な有限状態の文法では不可能であり、より詳細化さ
れた解析を要するためにその関係が検証できないことが
ある。しかし、その関係は百科辞典の幾つかの箇所に表
現されており、それゆえ、ある箇所ではより簡潔に表現
されていて、これがその関係を検証する確率を増す。別
の例として、単純句の照合が偽りの整合を導くことがあ
る。他のことを同等とし、1つの整合について多くの事
例を有する解答仮説が好まれる。しかし、1つの解答仮
説に関する偽の整合が百科辞典の異なる箇所で現れる異
なる幾つかの句関係に対して起こる可能性は少ない。こ
のように、広大な総体は偽りの整合エラーが広がってし
まい、間違った解答を導びいてしまうことを防止する。
【0199】6.1.1 形態句の検証 形態句の事例としての解答仮説を検証するために以下の
関係がMURAXにより利用される。
関係がMURAXにより利用される。
【0200】同格 これは以下の質問の形態句とその下
の整合文の間の整合により例示される。 「Who was the last Anglo-Saxon king of England? 」 1) 「The last Anglo-Saxon king of England, Ha
rold, b.c. 1022, was defeated and killed at ... 」
の整合文の間の整合により例示される。 「Who was the last Anglo-Saxon king of England? 」 1) 「The last Anglo-Saxon king of England, Ha
rold, b.c. 1022, was defeated and killed at ... 」
【0201】IS−A関係 これは以下の整合
文により表現される。 2) 「Saint Edward the Confeesor, b. between 1
002 and 1005,d. Jan. 5, 1066, was the next to last
Anglo-Saxon king of England (1042-66) 」
文により表現される。 2) 「Saint Edward the Confeesor, b. between 1
002 and 1005,d. Jan. 5, 1066, was the next to last
Anglo-Saxon king of England (1042-66) 」
【0202】リスト内包 同じ種類のものを列
挙するためにリストを用いることがよくある。例は表8
及び9に見られる。
挙するためにリストを用いることがよくある。例は表8
及び9に見られる。
【0203】名詞句内包 形態句は解答仮説内に含ま
れることにより、解答仮説に対する関係をもつことがよ
くある。以下に示す質問及び対応する整合文において、
形態句「river 」は解答仮説「Colorado River ...」と
して同じ名詞句に含まれる。 「What river does the Hoover Dam dam? 」 「...the Hoover Dam, on the Colorado River... 」
れることにより、解答仮説に対する関係をもつことがよ
くある。以下に示す質問及び対応する整合文において、
形態句「river 」は解答仮説「Colorado River ...」と
して同じ名詞句に含まれる。 「What river does the Hoover Dam dam? 」 「...the Hoover Dam, on the Colorado River... 」
【0204】6.1.2 述語/引数整合 この動作は質問において暗示される動詞関係を満たす解
答仮説及び整合文中のその他の名詞句を関連付ける。動
詞は単純に一元他動詞(monotransitive )であると仮定
し、能動態及び受動態の交換を説明するためのパターン
が用いられる。これは以下の質問及び整合文により示さ
れる。 「Who succeeded Shastri as prime minister?」 「...Shastri was succeeded by Indira Gandhi as Ind
ian prime minister... 」
答仮説及び整合文中のその他の名詞句を関連付ける。動
詞は単純に一元他動詞(monotransitive )であると仮定
し、能動態及び受動態の交換を説明するためのパターン
が用いられる。これは以下の質問及び整合文により示さ
れる。 「Who succeeded Shastri as prime minister?」 「...Shastri was succeeded by Indira Gandhi as Ind
ian prime minister... 」
【0205】6.1.3 不一致の最小化 認識を信頼性のあるものにするために、一次文書の整合
文から単純名詞句が抽出される。表7の質問に対して、
句「mayor of New York City」は先ず、二つのより簡単
かつ独立した名詞句と考えられる。全ての整合文が見出
された後に名詞句全体の正確な照合が行われる。
文から単純名詞句が抽出される。表7の質問に対して、
句「mayor of New York City」は先ず、二つのより簡単
かつ独立した名詞句と考えられる。全ての整合文が見出
された後に名詞句全体の正確な照合が行われる。
【0206】形態句を解答仮説と比較する際、不一致の
度合が最小であることが最も望ましい。これは上記6.
1.1節の最初の質問及び対応する整合文(1)(2)
を考えることにより説明される。両方の解答仮説"Harol
d"及び"Saint Edward the Confessor"は形態句"Last An
aglo-Saxon King of England" と同程度に整合する。し
かし、"Harold"の方が好適であり(正しく)、これは整
合が正確であるからであり、一方、"Saint Edward the
Confessor"(即ち、彼は最後から2番目の"Anaglo-Saxo
n King of England"であった)についてはより長い整合
が含まれている。
度合が最小であることが最も望ましい。これは上記6.
1.1節の最初の質問及び対応する整合文(1)(2)
を考えることにより説明される。両方の解答仮説"Harol
d"及び"Saint Edward the Confessor"は形態句"Last An
aglo-Saxon King of England" と同程度に整合する。し
かし、"Harold"の方が好適であり(正しく)、これは整
合が正確であるからであり、一方、"Saint Edward the
Confessor"(即ち、彼は最後から2番目の"Anaglo-Saxo
n King of England"であった)についてはより長い整合
が含まれている。
【0207】6.1.4 人物の検証 解答仮説が人名であると確認することは重要である。百
科辞典では、人の名前であれば、これらの単語の最初が
大文字であるという確かな特徴がある。この単純な考慮
はいっそうの考慮を要する解答仮説の数を著しく減ら
す。
科辞典では、人の名前であれば、これらの単語の最初が
大文字であるという確かな特徴がある。この単純な考慮
はいっそうの考慮を要する解答仮説の数を著しく減ら
す。
【0208】百科辞典には数多くの様々な国籍の名前が
あり、人手により全て列挙するのは非実用的である。し
かし、解答仮説が名前であることを検証するのに利用可
能な間接的な手がかりがある。人についての百科辞典の
記事は、一般に、そのタイトルはその人物の名前であ
り、通常、容易に認識できる生年月日及び死亡年月日を
記事の最初に記述する。このような記事は通常、男性又
は女性の代名詞の語を他の記事より高い割合で含んでい
る。
あり、人手により全て列挙するのは非実用的である。し
かし、解答仮説が名前であることを検証するのに利用可
能な間接的な手がかりがある。人についての百科辞典の
記事は、一般に、そのタイトルはその人物の名前であ
り、通常、容易に認識できる生年月日及び死亡年月日を
記事の最初に記述する。このような記事は通常、男性又
は女性の代名詞の語を他の記事より高い割合で含んでい
る。
【0209】従って、解答仮説が人名であるという確認
を試みるために、MURAXは解答仮説が記事のタイト
ルとして存在するかを調べるための二次照会をつくり、
その記事が人物についてのものであるかを決定する。こ
の発見的手法は単純であり、しかも強力である。
を試みるために、MURAXは解答仮説が記事のタイト
ルとして存在するかを調べるための二次照会をつくり、
その記事が人物についてのものであるかを決定する。こ
の発見的手法は単純であり、しかも強力である。
【0210】6.2 二次照会 二次文書の整合文は句関係を確認する補助的な手段であ
る。二次文書はMURAXにより構築される二次照会に
より見出され、IRシステムに送られる。広範化は必要
に応じて二次照会に適用されるが、用語を削除すること
は決してない。というのもこれらは最終整合に必要であ
るからである。人物検証について、二次照会はその解答
仮説のみを含む。しかし、他の関係の検証は他の質問句
が二次照会に含まれることを必要とする。これにについ
てはこれから詳しく述べる。これらの二次照会すべてに
おいて、解答仮説は逐語的に含まれる。
る。二次文書はMURAXにより構築される二次照会に
より見出され、IRシステムに送られる。広範化は必要
に応じて二次照会に適用されるが、用語を削除すること
は決してない。というのもこれらは最終整合に必要であ
るからである。人物検証について、二次照会はその解答
仮説のみを含む。しかし、他の関係の検証は他の質問句
が二次照会に含まれることを必要とする。これにについ
てはこれから詳しく述べる。これらの二次照会すべてに
おいて、解答仮説は逐語的に含まれる。
【0211】6.2.1 形態句照会 形態句を検証する際、MURAXは二次照会においてそ
の形態句の首位語のみを含む。これにより文書整合に要
する制約は最小限になる。形態句内の全ての語の詳細な
照合は形態句との不一致の度合を(上述の6.1.3節
のように)考慮することにより行われる。
の形態句の首位語のみを含む。これにより文書整合に要
する制約は最小限になる。形態句内の全ての語の詳細な
照合は形態句との不一致の度合を(上述の6.1.3節
のように)考慮することにより行われる。
【0212】辞書式構文パターンを使うことにより形態
句を解答仮説に対し整合することが出来ない時でも、文
中の共通発生の事実は記録される。これは、もしより良
い情報がない場合に代替仮説をランク付けする際の手段
となり得るからである。(MURAXが検証のために使
用する単純な照合動作から推察することが出来ない関係
であっても、その文書整合によりその関係を暗示するこ
とが可能である。)
句を解答仮説に対し整合することが出来ない時でも、文
中の共通発生の事実は記録される。これは、もしより良
い情報がない場合に代替仮説をランク付けする際の手段
となり得るからである。(MURAXが検証のために使
用する単純な照合動作から推察することが出来ない関係
であっても、その文書整合によりその関係を暗示するこ
とが可能である。)
【0213】6.2.2 共通発生照会 二次照会に他の質問句を含むことは好都合である。節
4.2で述べたように、関連する句整合が発生する一次
文書が他の一次文書に比べて得点が低いために、その関
連する句整合が無視されることがある。独立した質問句
をもつ二次照会を作成することにより、一次照会構築の
際に排除された文書を再考することにより、関連する句
整合が見い出すことが可能になる。
4.2で述べたように、関連する句整合が発生する一次
文書が他の一次文書に比べて得点が低いために、その関
連する句整合が無視されることがある。独立した質問句
をもつ二次照会を作成することにより、一次照会構築の
際に排除された文書を再考することにより、関連する句
整合が見い出すことが可能になる。
【0214】二次照会は解答仮説及び単独の文の文脈を
越えた範囲の質問句との共通発生を見い出すのにも使用
される。これは、区別の目安となる他の句整合が無い場
合に代替解答仮説をランク付けするために役立ち得る。
これを以下の質問及び一次文書整合文で説明する。 「What film pits Humphrey Bogart against gangsters
in the FloridaKeys? 」 「...Bacall and Bogart became a famous romantic co
uple in filmssuch as The Big Sleep (1946) and Key
Large (1948).」 「Some of his most popular films were The Maltese
Falcon (1941);Casablanca (1942), with Ingrid Bergm
an; The Big Sleep (1946) costarringhis wife, Laur
en Bacall; The Treasure of Sierra Madre (1948);
...」 二次共通発生照会は解答仮説Key Largo がFlorida Keys
と共通発生するが、その他の「film」の仮説は共通出現
しないと判断する。このように、矛盾に対する強い証拠
が無い場合、Key Largo が優先権を得る。
越えた範囲の質問句との共通発生を見い出すのにも使用
される。これは、区別の目安となる他の句整合が無い場
合に代替解答仮説をランク付けするために役立ち得る。
これを以下の質問及び一次文書整合文で説明する。 「What film pits Humphrey Bogart against gangsters
in the FloridaKeys? 」 「...Bacall and Bogart became a famous romantic co
uple in filmssuch as The Big Sleep (1946) and Key
Large (1948).」 「Some of his most popular films were The Maltese
Falcon (1941);Casablanca (1942), with Ingrid Bergm
an; The Big Sleep (1946) costarringhis wife, Laur
en Bacall; The Treasure of Sierra Madre (1948);
...」 二次共通発生照会は解答仮説Key Largo がFlorida Keys
と共通発生するが、その他の「film」の仮説は共通出現
しないと判断する。このように、矛盾に対する強い証拠
が無い場合、Key Largo が優先権を得る。
【0215】6.3 同等な仮説 解答仮説はそれらが現れる記事及び整合文により認識さ
れる。一般に同じ解答が幾つかの仮説により表現され
る。これは、例えば、1つの解答仮説が人物を言及する
場合に起こり得る。というのも、同一人物がしばしば異
なる語列により言及されるためである。例えば、Presid
ent Kennedy, John F. Kennedy, President John F. Ke
nnedy は全て同一の人物をさす。百科辞典のある記事に
おいて、Kennedy であり、この用法はこのような文書に
おいて記事のタイトルを言及することにより明確にする
ことが可能である。Kennedy, John F.というタイトルの
文書で、Kennedy と言えば、そのタイトルを言及し、一
方、家族の他の者は、読者の混乱をさけるために、明確
な名前(例えば、Joseph P. Kennedy)を言及する。
れる。一般に同じ解答が幾つかの仮説により表現され
る。これは、例えば、1つの解答仮説が人物を言及する
場合に起こり得る。というのも、同一人物がしばしば異
なる語列により言及されるためである。例えば、Presid
ent Kennedy, John F. Kennedy, President John F. Ke
nnedy は全て同一の人物をさす。百科辞典のある記事に
おいて、Kennedy であり、この用法はこのような文書に
おいて記事のタイトルを言及することにより明確にする
ことが可能である。Kennedy, John F.というタイトルの
文書で、Kennedy と言えば、そのタイトルを言及し、一
方、家族の他の者は、読者の混乱をさけるために、明確
な名前(例えば、Joseph P. Kennedy)を言及する。
【0216】解答仮説を形成した後は、MURAXは同
等な解答仮説を関連付け、全ての仮説を採点し直す。同
等なクラスでの最も一般的な解答仮説(通常はタイトル
となる仮説)には全ての同等な仮説の累積得点が与えら
れ、その群の代表として使用される。文書タイトルが代
表として使用される場合、それは通常、利用者に対し、
最良の表現を提供することになる。例えば、6.1.1
節の文(1)について、"Harold"が正しい仮説である
が、これはより、より明確なタイトル"Harold II" によ
ってより的確に表現される。
等な解答仮説を関連付け、全ての仮説を採点し直す。同
等なクラスでの最も一般的な解答仮説(通常はタイトル
となる仮説)には全ての同等な仮説の累積得点が与えら
れ、その群の代表として使用される。文書タイトルが代
表として使用される場合、それは通常、利用者に対し、
最良の表現を提供することになる。例えば、6.1.1
節の文(1)について、"Harold"が正しい仮説である
が、これはより、より明確なタイトル"Harold II" によ
ってより的確に表現される。
【0217】姓のように、代名詞、he及び Sheは(も
し、そのタイトルが人名であれば)その記事のタイトル
を言及し、または、直ぐ前の名前を言及する。例えば、
表8に示される例示出力について、ノーマン・メイラー
に対して表示される文書内で、同一の解答仮説Mailarが
両方の文に使用される。しかし、もし、彼が、heとして
言及されとしても、その結果は同じになったであろう。
し、そのタイトルが人名であれば)その記事のタイトル
を言及し、または、直ぐ前の名前を言及する。例えば、
表8に示される例示出力について、ノーマン・メイラー
に対して表示される文書内で、同一の解答仮説Mailarが
両方の文に使用される。しかし、もし、彼が、heとして
言及されとしても、その結果は同じになったであろう。
【0218】解答仮説が人物名を言及するかどうかを検
証するためにMURAXは先ず、一次文書を調べる。こ
の検証の試みが失敗したら、MURAXは二次照会を実
行する。結果として生じた整合のタイトルがその仮説と
同等であり、そのタイトルが人物名であり得ると検証で
きれば、その仮説はそのタイトルと関連付けされる。
証するためにMURAXは先ず、一次文書を調べる。こ
の検証の試みが失敗したら、MURAXは二次照会を実
行する。結果として生じた整合のタイトルがその仮説と
同等であり、そのタイトルが人物名であり得ると検証で
きれば、その仮説はそのタイトルと関連付けされる。
【0219】6.4 句整合の結合 MURAXは、解答仮説のランク付けリストを提供する
ために様々な句整合処理を行う。MURAXは採点の数
段の中間層及び優先基準を提供することによりこれを実
行する。部分的に仮説を順序付けするための基準のリス
トを優先順に以下に与える。一般に、これらの全ての基
準が与えられた質問に適用されるわけではない。しか
し、最低レベルの基準(基準5)は常に適用され、通
常、このほかに幾つかのものが同様に適用される。 1.形態句を含む入力質問について、最もランクの高い
解答仮説はその形態句に対して不一致が最も少ないもの
である。 2.解答仮説は、それらが共通に現れる質問句の数によ
りランク付けされる。これは、殆どの質問句に整合する
ことが必要とされる異なる記事の数により与えれる。 3.述語/引数整合は異なる解答仮説の中で優先権を生
成するために使用される。 4.Who の質問については、人物として検証される解答
仮説が優先権を得る。 5.解答仮説は質問句と共通に発生によりランク付けさ
れる。
ために様々な句整合処理を行う。MURAXは採点の数
段の中間層及び優先基準を提供することによりこれを実
行する。部分的に仮説を順序付けするための基準のリス
トを優先順に以下に与える。一般に、これらの全ての基
準が与えられた質問に適用されるわけではない。しか
し、最低レベルの基準(基準5)は常に適用され、通
常、このほかに幾つかのものが同様に適用される。 1.形態句を含む入力質問について、最もランクの高い
解答仮説はその形態句に対して不一致が最も少ないもの
である。 2.解答仮説は、それらが共通に現れる質問句の数によ
りランク付けされる。これは、殆どの質問句に整合する
ことが必要とされる異なる記事の数により与えれる。 3.述語/引数整合は異なる解答仮説の中で優先権を生
成するために使用される。 4.Who の質問については、人物として検証される解答
仮説が優先権を得る。 5.解答仮説は質問句と共通に発生によりランク付けさ
れる。
【0220】7.性能評価 この節は単純名詞句の解答(「Richard Nixon and Niki
ta Khrushchev 」等の連結された名詞句を持つ質問は含
まれない。)となる「Who 」及び「What」で始まる質問
に対するMURAXの性能の評価を与える。
ta Khrushchev 」等の連結された名詞句を持つ質問は含
まれない。)となる「Who 」及び「What」で始まる質問
に対するMURAXの性能の評価を与える。
【0221】各々が単純名詞句解答を有すると分かって
いるゲーム「Trivial Pursuit 」からの70の質問が評
価のために使用された。更に、これらの質問に対する解
答は百科辞典に存在するが確認された。即ち、質問及び
その解答が与えられると、人間が、そこから常識により
解答を推測し得る百科辞典の中にテキストを見い出すこ
とが可能であることが確認された。
いるゲーム「Trivial Pursuit 」からの70の質問が評
価のために使用された。更に、これらの質問に対する解
答は百科辞典に存在するが確認された。即ち、質問及び
その解答が与えられると、人間が、そこから常識により
解答を推測し得る百科辞典の中にテキストを見い出すこ
とが可能であることが確認された。
【0222】評価は客観的なシステム依存の基準即ち、
正しい解答仮説のランクに基づかれた。結果を以下の表
10に示す。
正しい解答仮説のランクに基づかれた。結果を以下の表
10に示す。
【0223】
【表10】 MURAXの評価結果 正しい仮説のランク 質問の数 最上位 37 上位3位 49 上位5位 52 上位5位以外 18
【0224】表10は質問の53%(70の内の37)
に対し、MURAXの最上位の推測が正答であることを
示し、更に、質問の74%について、MURAXの上位
5位の推察に正答があることを示す。5位までの区切り
を設けることにより、質問の74%に対する解答が見出
されたと考えられ、正しい仮説の平均ランクは1.44
である。
に対し、MURAXの最上位の推測が正答であることを
示し、更に、質問の74%について、MURAXの上位
5位の推察に正答があることを示す。5位までの区切り
を設けることにより、質問の74%に対する解答が見出
されたと考えられ、正しい仮説の平均ランクは1.44
である。
【0225】上記の表5に与えられた例は評価に利用さ
れた質問の典型である。正しい解答が質問10以外のこ
れらの全ての質問に対する上位5位の仮説に存在した。
質問10に対して、解答「forget-me-not 」は発見され
なかった。というのはMURAXは非個人的な代名詞を
含む言及を考察しないからである。このような言及は
「それはアラスカの州花です。(It is the state flow
er of Alaska.)」という文からの解答を推察するのに必
要である。
れた質問の典型である。正しい解答が質問10以外のこ
れらの全ての質問に対する上位5位の仮説に存在した。
質問10に対して、解答「forget-me-not 」は発見され
なかった。というのはMURAXは非個人的な代名詞を
含む言及を考察しないからである。このような言及は
「それはアラスカの州花です。(It is the state flow
er of Alaska.)」という文からの解答を推察するのに必
要である。
【0226】四章 結論 本発明は利用者により提示される自然言語入力列に応答
して、テキスト総体から文書を検索するための方法を提
供する。本方法は、例えばテキストタグ標識により句を
検出する為の入力列解析と、検出された句に基づきかつ
体系的な広範化及び狭小化を用いる照会の自動的な構築
及び再定形化と、一般に適合性基準に基づく結果のラン
ク付けとにより構成される。本方法は順序よく体系づけ
られた方法で名詞句及びタイトル句の認識に関して広範
化及び狭小化を利用する。本方法はそれ自身により、ま
たは他のより大きな方法の関連においてのいずれによっ
ても利用され得る。特に、MURAXで実現される2段
階のIR方法における解答抽出について利用され得る。
して、テキスト総体から文書を検索するための方法を提
供する。本方法は、例えばテキストタグ標識により句を
検出する為の入力列解析と、検出された句に基づきかつ
体系的な広範化及び狭小化を用いる照会の自動的な構築
及び再定形化と、一般に適合性基準に基づく結果のラン
ク付けとにより構成される。本方法は順序よく体系づけ
られた方法で名詞句及びタイトル句の認識に関して広範
化及び狭小化を利用する。本方法はそれ自身により、ま
たは他のより大きな方法の関連においてのいずれによっ
ても利用され得る。特に、MURAXで実現される2段
階のIR方法における解答抽出について利用され得る。
【0227】上記は本発明の一定の実施例及び側面の完
全なる記述であるが、様々な、代替案、変形態様及び同
等なもとを利用することが可能である。例えば、MUR
AX(これ自身も本発明の方法の数多くの可能な実施態
様の一つであるが)の関連において、本発明の範囲内に
おいて性能を向上させる補強をすることが可能である。
このような付加の一つとして同類語及びハイポニム(hy
ponym )情報の包括がある。とりわけ、WordNet thesau
rus (G.A. Miller, R. Beckwith, C. Fellbaum, D. Gro
ss, and K. Miller, "Five papers on WordNet,"techni
cal report, Princeton University Computer Science
Laboratory, July 1990) がMURAXの作業に適合性
を示しており、有効な同類語及びハイポニム(hyponym
)情報を本システムにもたらす。例えば、「What puli
tzer Prize-winning novelist ranfor mayor of New Yo
rk City?」という質問を考えよう。WordNet はnovelist
がwriter, author及びpersonのハイポニムであることを
示す。これは、質問が「what」で始まるにも拘わらず、
質問に対する解答が人名であるであろうことを意味す
る。更に、語writer又はauthorを含む全ての形態句整合
が関連をもつことになる。
全なる記述であるが、様々な、代替案、変形態様及び同
等なもとを利用することが可能である。例えば、MUR
AX(これ自身も本発明の方法の数多くの可能な実施態
様の一つであるが)の関連において、本発明の範囲内に
おいて性能を向上させる補強をすることが可能である。
このような付加の一つとして同類語及びハイポニム(hy
ponym )情報の包括がある。とりわけ、WordNet thesau
rus (G.A. Miller, R. Beckwith, C. Fellbaum, D. Gro
ss, and K. Miller, "Five papers on WordNet,"techni
cal report, Princeton University Computer Science
Laboratory, July 1990) がMURAXの作業に適合性
を示しており、有効な同類語及びハイポニム(hyponym
)情報を本システムにもたらす。例えば、「What puli
tzer Prize-winning novelist ranfor mayor of New Yo
rk City?」という質問を考えよう。WordNet はnovelist
がwriter, author及びpersonのハイポニムであることを
示す。これは、質問が「what」で始まるにも拘わらず、
質問に対する解答が人名であるであろうことを意味す
る。更に、語writer又はauthorを含む全ての形態句整合
が関連をもつことになる。
【0228】本発明の範囲内でのMURAXに対する更
なる付加としては、言語解析について代替的な文法定式
化を使用することが考えられる。上述したMURAXバ
ージョンの言語解析はHMMタグ標識及び句認識子の両
方における基礎的な通常の文法に基づく。 これらは
確率学的な文脈のない文法の使用により利益を得ること
ができ、この文法はラベルされないテキストから教育可
能である(J.M. Kupiec, "Hidden Markov estimation f
or unrestricted stochstic context-free grammars,"
Proceedings of the 1992 International Conference o
n Acoustics, Speech and Signal Processing, p.I-177
-188, IEEE Signal Processing Society, IEEE, 1992年
3月を参照)。さらにこの文法は確率条件で曖昧さを数
値化し得る。
なる付加としては、言語解析について代替的な文法定式
化を使用することが考えられる。上述したMURAXバ
ージョンの言語解析はHMMタグ標識及び句認識子の両
方における基礎的な通常の文法に基づく。 これらは
確率学的な文脈のない文法の使用により利益を得ること
ができ、この文法はラベルされないテキストから教育可
能である(J.M. Kupiec, "Hidden Markov estimation f
or unrestricted stochstic context-free grammars,"
Proceedings of the 1992 International Conference o
n Acoustics, Speech and Signal Processing, p.I-177
-188, IEEE Signal Processing Society, IEEE, 1992年
3月を参照)。さらにこの文法は確率条件で曖昧さを数
値化し得る。
【0229】これらのMURAXに対する付加は決して
本発明の範囲でのMURAXを拡張の可能性を言い尽く
したわけではない。例えば、MURAXは正しい仮説の
ランクを考慮するだけでなく、更に句関係を検証するた
めに利用者に対し提示される整合文の妥当性をも考慮す
る包括的な評価段階を含むように拡張され得る。MUR
AXに対する様々な拡張が可能であり、MURAX及び
その拡張が本発明の可能な実施例の部分集合を表す限り
において、上記の説明は本発明の範囲を制限しないと見
なされるべきである。本発明の範囲は添付の請求範囲及
びそれらの請求範囲が権利として与えられる等価なも全
ての範囲により定義される。
本発明の範囲でのMURAXを拡張の可能性を言い尽く
したわけではない。例えば、MURAXは正しい仮説の
ランクを考慮するだけでなく、更に句関係を検証するた
めに利用者に対し提示される整合文の妥当性をも考慮す
る包括的な評価段階を含むように拡張され得る。MUR
AXに対する様々な拡張が可能であり、MURAX及び
その拡張が本発明の可能な実施例の部分集合を表す限り
において、上記の説明は本発明の範囲を制限しないと見
なされるべきである。本発明の範囲は添付の請求範囲及
びそれらの請求範囲が権利として与えられる等価なも全
ての範囲により定義される。
【発明の効果】本発明によれば、IRシステム(方法)
は、利用者の自然言語による質問に解答するのに必要な
最適照会を含むように企図された一連の照会を自動的に
行うことができる。
は、利用者の自然言語による質問に解答するのに必要な
最適照会を含むように企図された一連の照会を自動的に
行うことができる。
【図1】本発明の一実施例に適したシステムを示す図で
ある。
ある。
【図2】本発明の方法を図示した上位概念フローチャー
トである。
トである。
【図3】本方法の一実施例における質問処理の構成ステ
ップを示したフローチャートである。
ップを示したフローチャートである。
【図4】本方法の一実施例における照会実行のステップ
を示したフローチャートである。
を示したフローチャートである。
【図5】本方法の一実施例における自動照会構築及び再
定形化の構成ステップを示したフローチャートである。
定形化の構成ステップを示したフローチャートである。
【図6】本方法の一実施例における初期照会広範化の構
成ステップを示したフローチャートである。
成ステップを示したフローチャートである。
【図7】本発明の一実施例における結果ランク付けの構
成ステップを示したフローチャートである。
成ステップを示したフローチャートである。
Claims (1)
- 【請求項1】処理装置と、該処理装置に結合されるメモ
リーと、ユーザーインターフェースと、一次照会構築サ
ブシステムと、テキスト総体に結合されたコンピュータ
ー化された情報検索(IR)サブシステムと、該一次照
会構築サブシステムと該情報検索サブシステムを連結す
るチャンネルとを含むシステムにおいて、語より構成さ
れる利用者により与えられる自然言語入力列に応答して
該テキスト総体から文書を検索する方法であって、該方
法は該ユーザーインターフェースを用いて該入力列を該
一次照会構築サブシステムの中に取込み、 該一次照会構築サブシステムを用いて該入力列を解析し
その中の句を検出し、 該一次照会構築サブシステムを用いてその検索された句
に基づき、連続的な広範化及び狭小化の操作からなる動
作シーケンスを介して、該一次照会構築サブシステムに
より自動的に構築される一連の照会を構築し、 該一次照会構築サブシステムと、該情報検索サブシステ
ムと、該テキスト総体と、該チャンネルとを用いて、一
連の照会を実行し、 該一次照会構築サブシステムを用いて、このように実行
された1またはそれ以上の照会に応答してテキスト総体
から検索された文書をランク付けする、ことを特徴とす
る文書検索方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US8544693A | 1993-06-24 | 1993-06-24 | |
| US085446 | 1993-06-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0756933A true JPH0756933A (ja) | 1995-03-03 |
Family
ID=22191651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6107563A Pending JPH0756933A (ja) | 1993-06-24 | 1994-04-22 | 文書検索方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5696962A (ja) |
| JP (1) | JPH0756933A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297880A (zh) * | 2019-05-21 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 语料产品的推荐方法、装置、设备及存储介质 |
Families Citing this family (448)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5842193A (en) * | 1995-07-28 | 1998-11-24 | Sterling Software, Inc. | Knowledge based planning and analysis (KbPA)™ |
| US5963940A (en) * | 1995-08-16 | 1999-10-05 | Syracuse University | Natural language information retrieval system and method |
| SG49804A1 (en) * | 1996-03-20 | 1998-06-15 | Government Of Singapore Repres | Parsing and translating natural language sentences automatically |
| US5995921A (en) * | 1996-04-23 | 1999-11-30 | International Business Machines Corporation | Natural language help interface |
| US5864789A (en) * | 1996-06-24 | 1999-01-26 | Apple Computer, Inc. | System and method for creating pattern-recognizing computer structures from example text |
| US6745194B2 (en) * | 2000-08-07 | 2004-06-01 | Alta Vista Company | Technique for deleting duplicate records referenced in an index of a database |
| US6101488A (en) * | 1996-09-04 | 2000-08-08 | Fujitsu Limited | Intelligent information program generation and retrieval system |
| GB9619165D0 (en) * | 1996-09-13 | 1996-10-23 | British Telecomm | Training apparatus and method |
| US5836771A (en) * | 1996-12-02 | 1998-11-17 | Ho; Chi Fai | Learning method and system based on questioning |
| US6498921B1 (en) * | 1999-09-01 | 2002-12-24 | Chi Fai Ho | Method and system to answer a natural-language question |
| US5963969A (en) * | 1997-05-08 | 1999-10-05 | William A. Tidwell | Document abstraction system and method thereof |
| US6098066A (en) * | 1997-06-13 | 2000-08-01 | Sun Microsystems, Inc. | Method and apparatus for searching for documents stored within a document directory hierarchy |
| US6012053A (en) * | 1997-06-23 | 2000-01-04 | Lycos, Inc. | Computer system with user-controlled relevance ranking of search results |
| US6055528A (en) | 1997-07-25 | 2000-04-25 | Claritech Corporation | Method for cross-linguistic document retrieval |
| US6278990B1 (en) * | 1997-07-25 | 2001-08-21 | Claritech Corporation | Sort system for text retrieval |
| US5895466A (en) * | 1997-08-19 | 1999-04-20 | At&T Corp | Automated natural language understanding customer service system |
| US6175829B1 (en) * | 1998-04-22 | 2001-01-16 | Nec Usa, Inc. | Method and apparatus for facilitating query reformulation |
| US6070149A (en) * | 1998-07-02 | 2000-05-30 | Activepoint Ltd. | Virtual sales personnel |
| US7197451B1 (en) | 1998-07-02 | 2007-03-27 | Novell, Inc. | Method and mechanism for the creation, maintenance, and comparison of semantic abstracts |
| US7152031B1 (en) * | 2000-02-25 | 2006-12-19 | Novell, Inc. | Construction, manipulation, and comparison of a multi-dimensional semantic space |
| US6553372B1 (en) * | 1998-07-13 | 2003-04-22 | Microsoft Corporation | Natural language information retrieval system |
| US6144958A (en) | 1998-07-15 | 2000-11-07 | Amazon.Com, Inc. | System and method for correcting spelling errors in search queries |
| US7272604B1 (en) * | 1999-09-03 | 2007-09-18 | Atle Hedloy | Method, system and computer readable medium for addressing handling from an operating system |
| IL126373A (en) | 1998-09-27 | 2003-06-24 | Haim Zvi Melman | Apparatus and method for search and retrieval of documents |
| US6341277B1 (en) * | 1998-11-17 | 2002-01-22 | International Business Machines Corporation | System and method for performance complex heterogeneous database queries using a single SQL expression |
| US6574632B2 (en) | 1998-11-18 | 2003-06-03 | Harris Corporation | Multiple engine information retrieval and visualization system |
| US6430557B1 (en) * | 1998-12-16 | 2002-08-06 | Xerox Corporation | Identifying a group of words using modified query words obtained from successive suffix relationships |
| US6460029B1 (en) * | 1998-12-23 | 2002-10-01 | Microsoft Corporation | System for improving search text |
| US6751606B1 (en) | 1998-12-23 | 2004-06-15 | Microsoft Corporation | System for enhancing a query interface |
| US6601059B1 (en) | 1998-12-23 | 2003-07-29 | Microsoft Corporation | Computerized searching tool with spell checking |
| US6513031B1 (en) * | 1998-12-23 | 2003-01-28 | Microsoft Corporation | System for improving search area selection |
| US6199067B1 (en) * | 1999-01-20 | 2001-03-06 | Mightiest Logicon Unisearch, Inc. | System and method for generating personalized user profiles and for utilizing the generated user profiles to perform adaptive internet searches |
| JP3347088B2 (ja) * | 1999-02-12 | 2002-11-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 関連情報検索方法およびシステム |
| JP2000276470A (ja) * | 1999-03-23 | 2000-10-06 | Seiko Epson Corp | 情報検索性能評価方法および情報検索性能評価装置並びに情報検索性能評価処理プログラムを記録した記録媒体 |
| WO2000060435A2 (en) * | 1999-04-07 | 2000-10-12 | Rensselaer Polytechnic Institute | System and method for accessing personal information |
| US7760969B2 (en) | 1999-05-25 | 2010-07-20 | Silverbrook Research Pty Ltd | Method of providing information via context searching from a printed substrate |
| US7762453B2 (en) * | 1999-05-25 | 2010-07-27 | Silverbrook Research Pty Ltd | Method of providing information via a printed substrate with every interaction |
| US7832626B2 (en) * | 1999-05-25 | 2010-11-16 | Silverbrook Research Pty Ltd | Anonymous competition entry |
| US7971784B2 (en) | 1999-05-25 | 2011-07-05 | Silverbrook Research Pty Ltd | Sensing device with mode changes via nib switch |
| US20070233513A1 (en) * | 1999-05-25 | 2007-10-04 | Silverbrook Research Pty Ltd | Method of providing merchant resource or merchant hyperlink to a user |
| US7844594B1 (en) | 1999-06-18 | 2010-11-30 | Surfwax, Inc. | Information search, retrieval and distillation into knowledge objects |
| US6513036B2 (en) * | 1999-08-13 | 2003-01-28 | Mindpass A/S | Method and apparatus for searching and presenting search result from one or more information sources based on context representations selected from the group of other users |
| US7392185B2 (en) | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
| US9076448B2 (en) | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
| US7050977B1 (en) | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
| US7725307B2 (en) * | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
| US6411962B1 (en) | 1999-11-29 | 2002-06-25 | Xerox Corporation | Systems and methods for organizing text |
| EP1109152A1 (en) * | 1999-12-13 | 2001-06-20 | Sony International (Europe) GmbH | Method for speech recognition using semantic and pragmatic informations |
| US8271316B2 (en) | 1999-12-17 | 2012-09-18 | Buzzmetrics Ltd | Consumer to business data capturing system |
| MXPA02006288A (es) * | 1999-12-21 | 2004-09-06 | Volcani Yanon | Sistema y metodo para determinar y controlar el impacto de texto. |
| US6834280B2 (en) * | 2000-02-07 | 2004-12-21 | Josiah Lee Auspitz | Systems and methods for determining semiotic similarity between queries and database entries |
| AU2001241510A1 (en) * | 2000-02-16 | 2001-08-27 | Askit Systems Inc. | Customer service system and method |
| US7213024B2 (en) * | 2000-03-09 | 2007-05-01 | The Web Access, Inc. | Method and apparatus for accessing information within an electronic system |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US8131555B1 (en) * | 2000-03-21 | 2012-03-06 | Aol Inc. | System and method for funneling user responses in an internet voice portal system to determine a desired item or service |
| US6480854B1 (en) * | 2000-03-27 | 2002-11-12 | Advanced Micro Devices, Inc. | Method and apparatus for increasing database availability |
| US7120574B2 (en) * | 2000-04-03 | 2006-10-10 | Invention Machine Corporation | Synonym extension of search queries with validation |
| US7177798B2 (en) | 2000-04-07 | 2007-02-13 | Rensselaer Polytechnic Institute | Natural language interface using constrained intermediate dictionary of results |
| US7962326B2 (en) * | 2000-04-20 | 2011-06-14 | Invention Machine Corporation | Semantic answering system and method |
| US6745178B1 (en) * | 2000-04-28 | 2004-06-01 | International Business Machines Corporation | Internet based method for facilitating networking among persons with similar interests and for facilitating collaborative searching for information |
| DE60037681T2 (de) * | 2000-05-23 | 2009-01-02 | Vigilint (Software) Holdings Ltd. | Verfahren zum automatischen und gesicherten suchen von daten mit hilfe eines datenübertragungsnetzwerks |
| US20020040363A1 (en) * | 2000-06-14 | 2002-04-04 | Gadi Wolfman | Automatic hierarchy based classification |
| SE517496C2 (sv) | 2000-06-22 | 2002-06-11 | Hapax Information Systems Ab | Metod och system för informationsextrahering |
| US6839665B1 (en) * | 2000-06-27 | 2005-01-04 | Text Analysis International, Inc. | Automated generation of text analysis systems |
| US7020587B1 (en) * | 2000-06-30 | 2006-03-28 | Microsoft Corporation | Method and apparatus for generating and managing a language model data structure |
| US7003513B2 (en) * | 2000-07-04 | 2006-02-21 | International Business Machines Corporation | Method and system of weighted context feedback for result improvement in information retrieval |
| US7653530B2 (en) * | 2000-07-13 | 2010-01-26 | Novell, Inc. | Method and mechanism for the creation, maintenance, and comparison of semantic abstracts |
| US7672952B2 (en) * | 2000-07-13 | 2010-03-02 | Novell, Inc. | System and method of semantic correlation of rich content |
| US7286977B1 (en) | 2000-09-05 | 2007-10-23 | Novell, Inc. | Intentional-stance characterization of a general content stream or repository |
| US7389225B1 (en) | 2000-10-18 | 2008-06-17 | Novell, Inc. | Method and mechanism for superpositioning state vectors in a semantic abstract |
| US20100122312A1 (en) * | 2008-11-07 | 2010-05-13 | Novell, Inc. | Predictive service systems |
| US7177922B1 (en) | 2000-09-05 | 2007-02-13 | Novell, Inc. | Policy enforcement using the semantic characterization of traffic |
| US20020147578A1 (en) * | 2000-09-29 | 2002-10-10 | Lingomotors, Inc. | Method and system for query reformulation for searching of information |
| US6678679B1 (en) * | 2000-10-10 | 2004-01-13 | Science Applications International Corporation | Method and system for facilitating the refinement of data queries |
| US7197470B1 (en) * | 2000-10-11 | 2007-03-27 | Buzzmetrics, Ltd. | System and method for collection analysis of electronic discussion methods |
| US7185065B1 (en) | 2000-10-11 | 2007-02-27 | Buzzmetrics Ltd | System and method for scoring electronic messages |
| WO2002031815A1 (en) * | 2000-10-13 | 2002-04-18 | Science Applications International Corporation | System and method for linear prediction |
| US6461166B1 (en) | 2000-10-17 | 2002-10-08 | Dennis Ray Berman | Learning system with learner-constructed response based testing methodology |
| WO2002037220A2 (en) * | 2000-10-31 | 2002-05-10 | Contextweb | Internet contextual communication system |
| US8340955B2 (en) | 2000-11-15 | 2012-12-25 | International Business Machines Corporation | System and method for finding the most likely answer to a natural language question |
| US6973429B2 (en) * | 2000-12-04 | 2005-12-06 | A9.Com, Inc. | Grammar generation for voice-based searches |
| US6631367B2 (en) * | 2000-12-28 | 2003-10-07 | Intel Corporation | Method and apparatus to search for information |
| US7133863B2 (en) * | 2000-12-28 | 2006-11-07 | Intel Corporation | Method and apparatus to search for information |
| US7027987B1 (en) | 2001-02-07 | 2006-04-11 | Google Inc. | Voice interface for a search engine |
| US6584470B2 (en) | 2001-03-01 | 2003-06-24 | Intelliseek, Inc. | Multi-layered semiotic mechanism for answering natural language questions using document retrieval combined with information extraction |
| US6694307B2 (en) | 2001-03-07 | 2004-02-17 | Netvention | System for collecting specific information from several sources of unstructured digitized data |
| US7072837B2 (en) * | 2001-03-16 | 2006-07-04 | International Business Machines Corporation | Method for processing initially recognized speech in a speech recognition session |
| JP2002288201A (ja) * | 2001-03-23 | 2002-10-04 | Fujitsu Ltd | 質問応答処理方法,質問応答処理プログラム,質問応答処理プログラム記録媒体および質問応答処理装置 |
| US7269545B2 (en) * | 2001-03-30 | 2007-09-11 | Nec Laboratories America, Inc. | Method for retrieving answers from an information retrieval system |
| SE0101127D0 (sv) * | 2001-03-30 | 2001-03-30 | Hapax Information Systems Ab | Method of finding answers to questions |
| US7197506B2 (en) * | 2001-04-06 | 2007-03-27 | Renar Company, Llc | Collection management system |
| US6625600B2 (en) * | 2001-04-12 | 2003-09-23 | Telelogue, Inc. | Method and apparatus for automatically processing a user's communication |
| US6859771B2 (en) * | 2001-04-23 | 2005-02-22 | Microsoft Corporation | System and method for identifying base noun phrases |
| US20030014254A1 (en) * | 2001-07-11 | 2003-01-16 | You Zhang | Load-shared distribution of a speech system |
| US7074128B2 (en) | 2001-08-03 | 2006-07-11 | Drb Lit Ltd. | Method and system for enhancing memorization by using a mnemonic display |
| US6978274B1 (en) | 2001-08-31 | 2005-12-20 | Attenex Corporation | System and method for dynamically evaluating latent concepts in unstructured documents |
| US6778995B1 (en) | 2001-08-31 | 2004-08-17 | Attenex Corporation | System and method for efficiently generating cluster groupings in a multi-dimensional concept space |
| US6888548B1 (en) * | 2001-08-31 | 2005-05-03 | Attenex Corporation | System and method for generating a visualized data representation preserving independent variable geometric relationships |
| US8078545B1 (en) | 2001-09-24 | 2011-12-13 | Aloft Media, Llc | System, method and computer program product for collecting strategic patent data associated with an identifier |
| WO2003034283A1 (en) * | 2001-10-16 | 2003-04-24 | Kimbrough Steven O | Process and system for matching products and markets |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| US20030105622A1 (en) * | 2001-12-03 | 2003-06-05 | Netbytel, Inc. | Retrieval of records using phrase chunking |
| US7271804B2 (en) * | 2002-02-25 | 2007-09-18 | Attenex Corporation | System and method for arranging concept clusters in thematic relationships in a two-dimensional visual display area |
| US20040203629A1 (en) * | 2002-03-04 | 2004-10-14 | Dezonno Anthony J. | Intelligent interactive voice response unit |
| US7167884B2 (en) * | 2002-04-22 | 2007-01-23 | The United States Of America As Represented By The Secretary Of The Navy | Multistage median cascaded canceller |
| US8082286B1 (en) | 2002-04-22 | 2011-12-20 | Science Applications International Corporation | Method and system for soft-weighting a reiterative adaptive signal processor |
| US7103593B2 (en) * | 2002-06-14 | 2006-09-05 | Christopher James Dean | System and method for retrieving information from disparate information sources in a decentralized manner and integrating the information in accordance with a distributed domain model/ontology |
| US7266553B1 (en) * | 2002-07-01 | 2007-09-04 | Microsoft Corporation | Content data indexing |
| US6990483B2 (en) * | 2002-07-08 | 2006-01-24 | International Business Machines Corporation | Method, system and program product for automatically retrieving documents |
| US8335779B2 (en) * | 2002-08-16 | 2012-12-18 | Gamroe Applications, Llc | Method and apparatus for gathering, categorizing and parameterizing data |
| JP3500383B1 (ja) * | 2002-09-13 | 2004-02-23 | コナミ株式会社 | ゲーム装置、ゲーム装置の制御方法及びプログラム |
| US6938036B2 (en) * | 2002-10-24 | 2005-08-30 | International Business Machines Corporation | Query modification analysis |
| WO2004040779A2 (en) * | 2002-10-25 | 2004-05-13 | Science Applications International Corporation | Adaptive filtering in the presence of multipath |
| US7263517B2 (en) * | 2002-10-31 | 2007-08-28 | Biomedical Objects, Inc. | Structured natural language query and knowledge system |
| US7552051B2 (en) * | 2002-12-13 | 2009-06-23 | Xerox Corporation | Method and apparatus for mapping multiword expressions to identifiers using finite-state networks |
| US7346511B2 (en) * | 2002-12-13 | 2008-03-18 | Xerox Corporation | Method and apparatus for recognizing multiword expressions |
| US7895065B2 (en) * | 2003-02-26 | 2011-02-22 | Sony Corporation | Method and apparatus for an itinerary planner |
| US20040205394A1 (en) * | 2003-03-17 | 2004-10-14 | Plutowski Mark Earl | Method and apparatus to implement an errands engine |
| GB0306877D0 (en) * | 2003-03-25 | 2003-04-30 | British Telecomm | Information retrieval |
| US7197497B2 (en) * | 2003-04-25 | 2007-03-27 | Overture Services, Inc. | Method and apparatus for machine learning a document relevance function |
| US7357640B2 (en) | 2003-07-02 | 2008-04-15 | Drb Lit Ltd. | Lock-In Training system |
| US7599938B1 (en) | 2003-07-11 | 2009-10-06 | Harrison Jr Shelton E | Social news gathering, prioritizing, tagging, searching, and syndication method |
| US7610313B2 (en) * | 2003-07-25 | 2009-10-27 | Attenex Corporation | System and method for performing efficient document scoring and clustering |
| US8856163B2 (en) * | 2003-07-28 | 2014-10-07 | Google Inc. | System and method for providing a user interface with search query broadening |
| US7505969B2 (en) * | 2003-08-05 | 2009-03-17 | Cbs Interactive, Inc. | Product placement engine and method |
| US7505964B2 (en) | 2003-09-12 | 2009-03-17 | Google Inc. | Methods and systems for improving a search ranking using related queries |
| US20050149499A1 (en) * | 2003-12-30 | 2005-07-07 | Google Inc., A Delaware Corporation | Systems and methods for improving search quality |
| TWM249950U (en) * | 2004-01-02 | 2004-11-11 | Cvc Technologies Inc | Cap tightening machine capable of controlling tightening torque |
| US7191175B2 (en) | 2004-02-13 | 2007-03-13 | Attenex Corporation | System and method for arranging concept clusters in thematic neighborhood relationships in a two-dimensional visual display space |
| US20050203924A1 (en) * | 2004-03-13 | 2005-09-15 | Rosenberg Gerald B. | System and methods for analytic research and literate reporting of authoritative document collections |
| US7725414B2 (en) | 2004-03-16 | 2010-05-25 | Buzzmetrics, Ltd An Israel Corporation | Method for developing a classifier for classifying communications |
| US20050256868A1 (en) * | 2004-03-17 | 2005-11-17 | Shelton Michael J | Document search system |
| US20080040315A1 (en) * | 2004-03-31 | 2008-02-14 | Auerbach David B | Systems and methods for generating a user interface |
| US7693825B2 (en) * | 2004-03-31 | 2010-04-06 | Google Inc. | Systems and methods for ranking implicit search results |
| US7707142B1 (en) | 2004-03-31 | 2010-04-27 | Google Inc. | Methods and systems for performing an offline search |
| US7272601B1 (en) | 2004-03-31 | 2007-09-18 | Google Inc. | Systems and methods for associating a keyword with a user interface area |
| US8631001B2 (en) | 2004-03-31 | 2014-01-14 | Google Inc. | Systems and methods for weighting a search query result |
| US9009153B2 (en) | 2004-03-31 | 2015-04-14 | Google Inc. | Systems and methods for identifying a named entity |
| US7364432B2 (en) | 2004-03-31 | 2008-04-29 | Drb Lit Ltd. | Methods of selecting Lock-In Training courses and sessions |
| US8041713B2 (en) | 2004-03-31 | 2011-10-18 | Google Inc. | Systems and methods for analyzing boilerplate |
| US7664734B2 (en) | 2004-03-31 | 2010-02-16 | Google Inc. | Systems and methods for generating multiple implicit search queries |
| US8972444B2 (en) | 2004-06-25 | 2015-03-03 | Google Inc. | Nonstandard locality-based text entry |
| US8131754B1 (en) | 2004-06-30 | 2012-03-06 | Google Inc. | Systems and methods for determining an article association measure |
| US7788274B1 (en) | 2004-06-30 | 2010-08-31 | Google Inc. | Systems and methods for category-based search |
| US7580921B2 (en) | 2004-07-26 | 2009-08-25 | Google Inc. | Phrase identification in an information retrieval system |
| US7580929B2 (en) * | 2004-07-26 | 2009-08-25 | Google Inc. | Phrase-based personalization of searches in an information retrieval system |
| US7599914B2 (en) * | 2004-07-26 | 2009-10-06 | Google Inc. | Phrase-based searching in an information retrieval system |
| US7567959B2 (en) | 2004-07-26 | 2009-07-28 | Google Inc. | Multiple index based information retrieval system |
| US7702618B1 (en) | 2004-07-26 | 2010-04-20 | Google Inc. | Information retrieval system for archiving multiple document versions |
| US7584175B2 (en) | 2004-07-26 | 2009-09-01 | Google Inc. | Phrase-based generation of document descriptions |
| US7711679B2 (en) | 2004-07-26 | 2010-05-04 | Google Inc. | Phrase-based detection of duplicate documents in an information retrieval system |
| US7536408B2 (en) | 2004-07-26 | 2009-05-19 | Google Inc. | Phrase-based indexing in an information retrieval system |
| US8595225B1 (en) * | 2004-09-30 | 2013-11-26 | Google Inc. | Systems and methods for correlating document topicality and popularity |
| US7523085B2 (en) | 2004-09-30 | 2009-04-21 | Buzzmetrics, Ltd An Israel Corporation | Topical sentiments in electronically stored communications |
| US20080077570A1 (en) * | 2004-10-25 | 2008-03-27 | Infovell, Inc. | Full Text Query and Search Systems and Method of Use |
| EP1825395A4 (en) * | 2004-10-25 | 2010-07-07 | Yuanhua Tang | FULL TEXT INTERROGATION AND RESEARCH SYSTEMS AND METHODS OF USE |
| US7716206B2 (en) * | 2004-11-01 | 2010-05-11 | At&T Intellectual Property I, L.P. | Communication networks and methods and computer program products for performing searches thereon while maintaining user privacy |
| US20060253273A1 (en) * | 2004-11-08 | 2006-11-09 | Ronen Feldman | Information extraction using a trainable grammar |
| US20060122834A1 (en) * | 2004-12-03 | 2006-06-08 | Bennett Ian M | Emotion detection device & method for use in distributed systems |
| US20060129531A1 (en) * | 2004-12-09 | 2006-06-15 | International Business Machines Corporation | Method and system for suggesting search engine keywords |
| US7356777B2 (en) | 2005-01-26 | 2008-04-08 | Attenex Corporation | System and method for providing a dynamic user interface for a dense three-dimensional scene |
| US7404151B2 (en) * | 2005-01-26 | 2008-07-22 | Attenex Corporation | System and method for providing a dynamic user interface for a dense three-dimensional scene |
| US9158855B2 (en) | 2005-06-16 | 2015-10-13 | Buzzmetrics, Ltd | Extracting structured data from weblogs |
| US20070100779A1 (en) | 2005-08-05 | 2007-05-03 | Ori Levy | Method and system for extracting web data |
| US7752220B2 (en) * | 2005-08-10 | 2010-07-06 | Yahoo! Inc. | Alternative search query processing in a term bidding system |
| AU2006279694B2 (en) | 2005-08-11 | 2011-11-17 | Contextweb, Inc. | Method and system for placement and pricing of internet-based advertisements or services |
| JP2007058605A (ja) * | 2005-08-24 | 2007-03-08 | Ricoh Co Ltd | 文書管理システム |
| WO2007028021A2 (en) * | 2005-08-31 | 2007-03-08 | Thomson Global Resources | Systems, methods, and interfaces for reducing executions of overly broad user queries |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7698061B2 (en) | 2005-09-23 | 2010-04-13 | Scenera Technologies, Llc | System and method for selecting and presenting a route to a user |
| US20070106496A1 (en) * | 2005-11-09 | 2007-05-10 | Microsoft Corporation | Adaptive task framework |
| US7822699B2 (en) * | 2005-11-30 | 2010-10-26 | Microsoft Corporation | Adaptive semantic reasoning engine |
| US7606700B2 (en) * | 2005-11-09 | 2009-10-20 | Microsoft Corporation | Adaptive task framework |
| US7831585B2 (en) * | 2005-12-05 | 2010-11-09 | Microsoft Corporation | Employment of task framework for advertising |
| US7933914B2 (en) * | 2005-12-05 | 2011-04-26 | Microsoft Corporation | Automatic task creation and execution using browser helper objects |
| US20070130134A1 (en) * | 2005-12-05 | 2007-06-07 | Microsoft Corporation | Natural-language enabling arbitrary web forms |
| US7707204B2 (en) * | 2005-12-13 | 2010-04-27 | Microsoft Corporation | Factoid-based searching |
| US7957968B2 (en) * | 2005-12-22 | 2011-06-07 | Honda Motor Co., Ltd. | Automatic grammar generation using distributedly collected knowledge |
| US20070161214A1 (en) * | 2006-01-06 | 2007-07-12 | International Business Machines Corporation | High k gate stack on III-V compound semiconductors |
| US20090012903A1 (en) * | 2006-01-26 | 2009-01-08 | Contextweb, Inc. | Online exchange for internet ad media |
| US20070179940A1 (en) * | 2006-01-27 | 2007-08-02 | Robinson Eric M | System and method for formulating data search queries |
| US20070180115A1 (en) * | 2006-02-02 | 2007-08-02 | International Business Machines Corporation | System and method for self-configuring multi-type and multi-location result aggregation for large cross-platform information sets |
| US7996783B2 (en) * | 2006-03-02 | 2011-08-09 | Microsoft Corporation | Widget searching utilizing task framework |
| US20070265824A1 (en) * | 2006-05-15 | 2007-11-15 | Michel David Paradis | Diversified semantic mapping engine (DSME) |
| US7849077B2 (en) * | 2006-07-06 | 2010-12-07 | Oracle International Corp. | Document ranking with sub-query series |
| US7668791B2 (en) * | 2006-07-31 | 2010-02-23 | Microsoft Corporation | Distinguishing facts from opinions using a multi-stage approach |
| US8589869B2 (en) * | 2006-09-07 | 2013-11-19 | Wolfram Alpha Llc | Methods and systems for determining a formula |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US7788084B2 (en) * | 2006-09-19 | 2010-08-31 | Xerox Corporation | Labeling of work of art titles in text for natural language processing |
| US7660783B2 (en) | 2006-09-27 | 2010-02-09 | Buzzmetrics, Inc. | System and method of ad-hoc analysis of data |
| US9740778B2 (en) * | 2006-10-10 | 2017-08-22 | Microsoft Technology Licensing, Llc | Ranking domains using domain maturity |
| US8661029B1 (en) | 2006-11-02 | 2014-02-25 | Google Inc. | Modifying search result ranking based on implicit user feedback |
| US7272558B1 (en) * | 2006-12-01 | 2007-09-18 | Coveo Solutions Inc. | Speech recognition training method for audio and video file indexing on a search engine |
| US8938463B1 (en) | 2007-03-12 | 2015-01-20 | Google Inc. | Modifying search result ranking based on implicit user feedback and a model of presentation bias |
| US8694374B1 (en) | 2007-03-14 | 2014-04-08 | Google Inc. | Detecting click spam |
| US7702614B1 (en) | 2007-03-30 | 2010-04-20 | Google Inc. | Index updating using segment swapping |
| US7925655B1 (en) | 2007-03-30 | 2011-04-12 | Google Inc. | Query scheduling using hierarchical tiers of index servers |
| US8166021B1 (en) | 2007-03-30 | 2012-04-24 | Google Inc. | Query phrasification |
| US8166045B1 (en) | 2007-03-30 | 2012-04-24 | Google Inc. | Phrase extraction using subphrase scoring |
| US7693813B1 (en) | 2007-03-30 | 2010-04-06 | Google Inc. | Index server architecture using tiered and sharded phrase posting lists |
| US8086594B1 (en) | 2007-03-30 | 2011-12-27 | Google Inc. | Bifurcated document relevance scoring |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9092510B1 (en) | 2007-04-30 | 2015-07-28 | Google Inc. | Modifying search result ranking based on a temporal element of user feedback |
| US8694511B1 (en) | 2007-08-20 | 2014-04-08 | Google Inc. | Modifying search result ranking based on populations |
| US8229970B2 (en) * | 2007-08-31 | 2012-07-24 | Microsoft Corporation | Efficient storage and retrieval of posting lists |
| US8712758B2 (en) | 2007-08-31 | 2014-04-29 | Microsoft Corporation | Coreference resolution in an ambiguity-sensitive natural language processing system |
| US8280721B2 (en) | 2007-08-31 | 2012-10-02 | Microsoft Corporation | Efficiently representing word sense probabilities |
| US8229730B2 (en) * | 2007-08-31 | 2012-07-24 | Microsoft Corporation | Indexing role hierarchies for words in a search index |
| WO2009029923A2 (en) * | 2007-08-31 | 2009-03-05 | Powerset, Inc. | Emphasizing search results according to conceptual meaning |
| US8346756B2 (en) * | 2007-08-31 | 2013-01-01 | Microsoft Corporation | Calculating valence of expressions within documents for searching a document index |
| US8868562B2 (en) * | 2007-08-31 | 2014-10-21 | Microsoft Corporation | Identification of semantic relationships within reported speech |
| US8316036B2 (en) * | 2007-08-31 | 2012-11-20 | Microsoft Corporation | Checkpointing iterators during search |
| US8209321B2 (en) * | 2007-08-31 | 2012-06-26 | Microsoft Corporation | Emphasizing search results according to conceptual meaning |
| US8463593B2 (en) * | 2007-08-31 | 2013-06-11 | Microsoft Corporation | Natural language hypernym weighting for word sense disambiguation |
| US20090070322A1 (en) * | 2007-08-31 | 2009-03-12 | Powerset, Inc. | Browsing knowledge on the basis of semantic relations |
| US8117223B2 (en) | 2007-09-07 | 2012-02-14 | Google Inc. | Integrating external related phrase information into a phrase-based indexing information retrieval system |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US8909655B1 (en) | 2007-10-11 | 2014-12-09 | Google Inc. | Time based ranking |
| US8347326B2 (en) | 2007-12-18 | 2013-01-01 | The Nielsen Company (US) | Identifying key media events and modeling causal relationships between key events and reported feelings |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US8061142B2 (en) * | 2008-04-11 | 2011-11-22 | General Electric Company | Mixer for a combustor |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US8180630B2 (en) | 2008-06-06 | 2012-05-15 | Zi Corporation Of Canada, Inc. | Systems and methods for an automated personalized dictionary generator for portable devices |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| WO2010011752A2 (en) * | 2008-07-22 | 2010-01-28 | Contextweb, Inc. | New open insertion order system to interface with an exchange for internet ad media |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US8185509B2 (en) * | 2008-10-15 | 2012-05-22 | Sap France | Association of semantic objects with linguistic entity categories |
| US8484014B2 (en) * | 2008-11-03 | 2013-07-09 | Microsoft Corporation | Retrieval using a generalized sentence collocation |
| US8396865B1 (en) | 2008-12-10 | 2013-03-12 | Google Inc. | Sharing search engine relevance data between corpora |
| KR101173556B1 (ko) * | 2008-12-11 | 2012-08-13 | 한국전자통신연구원 | 토픽맵 기반 색인 장치, 토픽맵 기반 검색 장치, 토픽맵 기반 검색 시스템 및 그 방법 |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US8351581B2 (en) | 2008-12-19 | 2013-01-08 | At&T Mobility Ii Llc | Systems and methods for intelligent call transcription |
| US8296297B2 (en) | 2008-12-30 | 2012-10-23 | Novell, Inc. | Content analysis and correlation |
| US8301622B2 (en) | 2008-12-30 | 2012-10-30 | Novell, Inc. | Identity analysis and correlation |
| US8386475B2 (en) * | 2008-12-30 | 2013-02-26 | Novell, Inc. | Attribution analysis and correlation |
| US8768852B2 (en) * | 2009-01-13 | 2014-07-01 | Amazon Technologies, Inc. | Determining phrases related to other phrases |
| US9569770B1 (en) | 2009-01-13 | 2017-02-14 | Amazon Technologies, Inc. | Generating constructed phrases |
| US8452791B2 (en) | 2009-01-16 | 2013-05-28 | Google Inc. | Adding new instances to a structured presentation |
| US8977645B2 (en) | 2009-01-16 | 2015-03-10 | Google Inc. | Accessing a search interface in a structured presentation |
| US8615707B2 (en) | 2009-01-16 | 2013-12-24 | Google Inc. | Adding new attributes to a structured presentation |
| US8412749B2 (en) | 2009-01-16 | 2013-04-02 | Google Inc. | Populating a structured presentation with new values |
| US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| US8433559B2 (en) * | 2009-03-24 | 2013-04-30 | Microsoft Corporation | Text analysis using phrase definitions and containers |
| US20100250479A1 (en) * | 2009-03-31 | 2010-09-30 | Novell, Inc. | Intellectual property discovery and mapping systems and methods |
| US9009146B1 (en) | 2009-04-08 | 2015-04-14 | Google Inc. | Ranking search results based on similar queries |
| US8601015B1 (en) | 2009-05-15 | 2013-12-03 | Wolfram Alpha Llc | Dynamic example generation for queries |
| US9213768B1 (en) | 2009-05-15 | 2015-12-15 | Wolfram Alpha Llc | Assumption mechanism for queries |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US8447760B1 (en) | 2009-07-20 | 2013-05-21 | Google Inc. | Generating a related set of documents for an initial set of documents |
| US8515957B2 (en) * | 2009-07-28 | 2013-08-20 | Fti Consulting, Inc. | System and method for displaying relationships between electronically stored information to provide classification suggestions via injection |
| US9298700B1 (en) * | 2009-07-28 | 2016-03-29 | Amazon Technologies, Inc. | Determining similar phrases |
| US10007712B1 (en) | 2009-08-20 | 2018-06-26 | Amazon Technologies, Inc. | Enforcing user-specified rules |
| WO2011028553A1 (en) | 2009-08-24 | 2011-03-10 | Fti Technology Llc | Generating a reference set for use during document review |
| US8498974B1 (en) | 2009-08-31 | 2013-07-30 | Google Inc. | Refining search results |
| US8972391B1 (en) | 2009-10-02 | 2015-03-03 | Google Inc. | Recent interest based relevance scoring |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| US8874555B1 (en) | 2009-11-20 | 2014-10-28 | Google Inc. | Modifying scoring data based on historical changes |
| US20110123967A1 (en) * | 2009-11-24 | 2011-05-26 | Xerox Corporation | Dialog system for comprehension evaluation |
| US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US8780130B2 (en) | 2010-11-30 | 2014-07-15 | Sitting Man, Llc | Methods, systems, and computer program products for binding attributes between visual components |
| US8661361B2 (en) | 2010-08-26 | 2014-02-25 | Sitting Man, Llc | Methods, systems, and computer program products for navigating between visual components |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US9715332B1 (en) | 2010-08-26 | 2017-07-25 | Cypress Lake Software, Inc. | Methods, systems, and computer program products for navigating between visual components |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US10397639B1 (en) | 2010-01-29 | 2019-08-27 | Sitting Man, Llc | Hot key systems and methods |
| US8615514B1 (en) | 2010-02-03 | 2013-12-24 | Google Inc. | Evaluating website properties by partitioning user feedback |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8799658B1 (en) | 2010-03-02 | 2014-08-05 | Amazon Technologies, Inc. | Sharing media items with pass phrases |
| US20120066303A1 (en) | 2010-03-03 | 2012-03-15 | Waldeck Technology, Llc | Synchronized group location updates |
| US8924379B1 (en) | 2010-03-05 | 2014-12-30 | Google Inc. | Temporal-based score adjustments |
| US8959093B1 (en) | 2010-03-15 | 2015-02-17 | Google Inc. | Ranking search results based on anchors |
| US8676565B2 (en) | 2010-03-26 | 2014-03-18 | Virtuoz Sa | Semantic clustering and conversational agents |
| US9378202B2 (en) | 2010-03-26 | 2016-06-28 | Virtuoz Sa | Semantic clustering |
| US8694304B2 (en) * | 2010-03-26 | 2014-04-08 | Virtuoz Sa | Semantic clustering and user interfaces |
| US8484015B1 (en) * | 2010-05-14 | 2013-07-09 | Wolfram Alpha Llc | Entity pages |
| US8874727B2 (en) | 2010-05-31 | 2014-10-28 | The Nielsen Company (Us), Llc | Methods, apparatus, and articles of manufacture to rank users in an online social network |
| US9623119B1 (en) | 2010-06-29 | 2017-04-18 | Google Inc. | Accentuating search results |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US8832083B1 (en) | 2010-07-23 | 2014-09-09 | Google Inc. | Combining user feedback |
| US8812298B1 (en) | 2010-07-28 | 2014-08-19 | Wolfram Alpha Llc | Macro replacement of natural language input |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| CN103229167A (zh) * | 2010-10-06 | 2013-07-31 | 星汇数据解决方案公司 | 用于为电子发现数据编索引的系统和方法 |
| US9524291B2 (en) * | 2010-10-06 | 2016-12-20 | Virtuoz Sa | Visual display of semantic information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US9002867B1 (en) | 2010-12-30 | 2015-04-07 | Google Inc. | Modifying ranking data based on document changes |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US9280535B2 (en) | 2011-03-31 | 2016-03-08 | Infosys Limited | Natural language querying with cascaded conditional random fields |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US20120310642A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Automatically creating a mapping between text data and audio data |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| US9069814B2 (en) | 2011-07-27 | 2015-06-30 | Wolfram Alpha Llc | Method and system for using natural language to generate widgets |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US9442928B2 (en) | 2011-09-07 | 2016-09-13 | Venio Inc. | System, method and computer program product for automatic topic identification using a hypertext corpus |
| US9442930B2 (en) | 2011-09-07 | 2016-09-13 | Venio Inc. | System, method and computer program product for automatic topic identification using a hypertext corpus |
| US9734252B2 (en) | 2011-09-08 | 2017-08-15 | Wolfram Alpha Llc | Method and system for analyzing data using a query answering system |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US9305082B2 (en) * | 2011-09-30 | 2016-04-05 | Thomson Reuters Global Resources | Systems, methods, and interfaces for analyzing conceptually-related portions of text |
| US9851950B2 (en) | 2011-11-15 | 2017-12-26 | Wolfram Alpha Llc | Programming in a precise syntax using natural language |
| US20130183652A1 (en) * | 2012-01-18 | 2013-07-18 | Yahoo! Inc. | Method and system for providing sets of user comments as answers to a question |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US20150112683A1 (en) * | 2012-03-13 | 2015-04-23 | Mitsubishi Electric Corporation | Document search device and document search method |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| WO2013185109A2 (en) | 2012-06-08 | 2013-12-12 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| WO2014003543A1 (en) * | 2012-06-29 | 2014-01-03 | Sopheon N.V. | Method, system and computer program for generating a query representation of a document, and querying a document retrieval system using said query representation |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US8892422B1 (en) * | 2012-07-09 | 2014-11-18 | Google Inc. | Phrase identification in a sequence of words |
| US9405424B2 (en) | 2012-08-29 | 2016-08-02 | Wolfram Alpha, Llc | Method and system for distributing and displaying graphical items |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| US9460078B2 (en) * | 2012-12-06 | 2016-10-04 | Accenture Global Services Limited | Identifying glossary terms from natural language text documents |
| EP3896596A1 (en) * | 2012-12-28 | 2021-10-20 | Saturn Licensing LLC | Information processing device, information processing method and program |
| EP4560630A3 (en) | 2013-02-07 | 2025-08-06 | Apple Inc. | Voice trigger for a digital assistant |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| KR101857648B1 (ko) | 2013-03-15 | 2018-05-15 | 애플 인크. | 지능형 디지털 어시스턴트에 의한 사용자 트레이닝 |
| US10078487B2 (en) | 2013-03-15 | 2018-09-18 | Apple Inc. | Context-sensitive handling of interruptions |
| US9501506B1 (en) | 2013-03-15 | 2016-11-22 | Google Inc. | Indexing system |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| CN105027197B (zh) | 2013-03-15 | 2018-12-14 | 苹果公司 | 训练至少部分语音命令系统 |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9183499B1 (en) | 2013-04-19 | 2015-11-10 | Google Inc. | Evaluating quality based on neighbor features |
| US9483568B1 (en) | 2013-06-05 | 2016-11-01 | Google Inc. | Indexing system |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| HK1220313A1 (zh) | 2013-06-13 | 2017-04-28 | 苹果公司 | 用於由语音命令发起的紧急呼叫的系统和方法 |
| US9507594B2 (en) * | 2013-07-02 | 2016-11-29 | Intel Corporation | Method and system of compiling program code into predicated instructions for execution on a processor without a program counter |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9619581B2 (en) * | 2013-12-20 | 2017-04-11 | Microsoft Technology Licensing, Llc | Constructing queries for execution over multi-dimensional data structures |
| US9378273B2 (en) | 2014-03-13 | 2016-06-28 | International Business Machines Corporation | System and method for question answering by reformulating word problems |
| US10102274B2 (en) * | 2014-03-17 | 2018-10-16 | NLPCore LLC | Corpus search systems and methods |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| WO2017013667A1 (en) | 2015-07-17 | 2017-01-26 | Giridhari Devanathan | Method for product search using the user-weighted, attribute-based, sort-ordering and system thereof |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10592519B2 (en) | 2016-03-29 | 2020-03-17 | Microsoft Technology Licensing, Llc | Computational-model operation using multiple subject representations |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US11068546B2 (en) | 2016-06-02 | 2021-07-20 | Nuix North America Inc. | Computer-implemented system and method for analyzing clusters of coded documents |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| GB2565512A (en) * | 2016-06-10 | 2019-02-13 | Local Knowledge App Pty Ltd | A system for the automated semantic analysis processing of query strings |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10241716B2 (en) | 2017-06-30 | 2019-03-26 | Microsoft Technology Licensing, Llc | Global occupancy aggregator for global garbage collection scheduling |
| US11264021B2 (en) * | 2018-03-08 | 2022-03-01 | Samsung Electronics Co., Ltd. | Method for intent-based interactive response and electronic device thereof |
| US11132504B1 (en) * | 2018-03-27 | 2021-09-28 | Soundhound, Inc. | Framework for understanding complex natural language queries in a dialog context |
| TWI660341B (zh) * | 2018-04-02 | 2019-05-21 | Pegatron Corporation | 一種搜尋方法以及一種應用該方法的電子裝置 |
| JP7172226B2 (ja) * | 2018-07-20 | 2022-11-16 | 株式会社リコー | 検索装置、検索方法及び検索プログラム |
| US11120060B2 (en) | 2018-10-23 | 2021-09-14 | International Business Machines Corporation | Efficient resolution of syntactic patterns in question and answer (QA) pairs in an n-ary focus cognitive QA system |
| US11436235B2 (en) | 2019-09-23 | 2022-09-06 | Ntent | Pipeline for document scoring |
| US11893981B1 (en) | 2023-07-11 | 2024-02-06 | Seekr Technologies Inc. | Search system and method having civility score |
| US12210535B1 (en) | 2023-07-11 | 2025-01-28 | Seekr Technologies Inc. | Search system and method having quality scoring |
| US12293272B1 (en) | 2024-03-08 | 2025-05-06 | Seekr Technologies, Inc. | Agentic workflow system and method for generating synthetic data for training or post training artificial intelligence models to be aligned with domain-specific principles |
| US12182678B1 (en) | 2024-03-08 | 2024-12-31 | Seekr Technologies Inc. | Systems and methods for aligning large multimodal models (LMMs) or large language models (LLMs) with domain-specific principles |
| US12124932B1 (en) | 2024-03-08 | 2024-10-22 | Seekr Technologies Inc. | Systems and methods for aligning large multimodal models (LMMs) or large language models (LLMs) with domain-specific principles |
| USD1094414S1 (en) | 2024-04-23 | 2025-09-23 | Seekr Technologies Inc. | Display screen or portion thereof with a graphical user interface with a civility score |
| USD1096797S1 (en) | 2024-04-23 | 2025-10-07 | Seekr Technologies Inc. | Display screen or portion thereof with a graphical user interface with a civility score |
| US12511557B1 (en) | 2025-01-21 | 2025-12-30 | Seekr Technologies Inc. | System and method for explaining and contesting outcomes of generative AI models with desired explanation properties |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62191925A (ja) * | 1986-02-18 | 1987-08-22 | Matsushita Electric Ind Co Ltd | 情報登録検索装置 |
| JPH0462667A (ja) * | 1990-06-30 | 1992-02-27 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941124A (en) * | 1982-01-25 | 1990-07-10 | Skinner Jr James T | Text comparator with counter shift register |
| JPS60159970A (ja) * | 1984-01-30 | 1985-08-21 | Hitachi Ltd | 情報蓄積検索方式 |
| JPS60207974A (ja) * | 1984-03-31 | 1985-10-19 | Toshiba Corp | 文書フアイル装置 |
| US5404506A (en) * | 1985-03-27 | 1995-04-04 | Hitachi, Ltd. | Knowledge based information retrieval system |
| US4823306A (en) * | 1987-08-14 | 1989-04-18 | International Business Machines Corporation | Text search system |
| JP2664915B2 (ja) * | 1988-01-12 | 1997-10-22 | 株式会社日立製作所 | 情報検索システム |
| US5197005A (en) * | 1989-05-01 | 1993-03-23 | Intelligent Business Systems | Database retrieval system having a natural language interface |
| US5278980A (en) * | 1991-08-16 | 1994-01-11 | Xerox Corporation | Iterative technique for phrase query formation and an information retrieval system employing same |
| US5377323A (en) * | 1991-09-13 | 1994-12-27 | Sun Microsytems, Inc. | Apparatus and method for a federated naming system which can resolve a composite name composed of names from any number of disparate naming systems |
| US5265065A (en) * | 1991-10-08 | 1993-11-23 | West Publishing Company | Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query |
| US5263167A (en) * | 1991-11-22 | 1993-11-16 | International Business Machines Corporation | User interface for a relational database using a task object for defining search queries in response to a profile object which describes user proficiency |
| US5377103A (en) * | 1992-05-15 | 1994-12-27 | International Business Machines Corporation | Constrained natural language interface for a computer that employs a browse function |
-
1994
- 1994-04-22 JP JP6107563A patent/JPH0756933A/ja active Pending
-
1996
- 1996-05-08 US US08/646,833 patent/US5696962A/en not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62191925A (ja) * | 1986-02-18 | 1987-08-22 | Matsushita Electric Ind Co Ltd | 情報登録検索装置 |
| JPH0462667A (ja) * | 1990-06-30 | 1992-02-27 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297880A (zh) * | 2019-05-21 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 语料产品的推荐方法、装置、设备及存储介质 |
| CN110297880B (zh) * | 2019-05-21 | 2023-04-18 | 深圳壹账通智能科技有限公司 | 语料产品的推荐方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5696962A (en) | 1997-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5696962A (en) | Method for computerized information retrieval using shallow linguistic analysis | |
| EP0631244B1 (en) | A method and system of information retrieval | |
| Kupiec | MURAX: A robust linguistic approach for question answering using an on-line encyclopedia | |
| JP3476237B2 (ja) | 構文解析装置 | |
| EP0965089B1 (en) | Information retrieval utilizing semantic representation of text | |
| Zajic et al. | Multi-candidate reduction: Sentence compression as a tool for document summarization tasks | |
| Senellart et al. | Automatic discovery of similar words | |
| JP3266246B2 (ja) | 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法 | |
| Perez-Carballo et al. | Natural language information retrieval: progress report | |
| US20070106499A1 (en) | Natural language search system | |
| US20040117352A1 (en) | System for answering natural language questions | |
| KR20040111715A (ko) | 검색 시스템에 사용하기 위해 텍스트 문서로부터 정보를검색하기 위한 자기 학습 시스템의 합성 방법 | |
| JPH1125129A (ja) | テキスト・データベース内の情報の検索方法 | |
| JP2000315216A (ja) | 自然言語検索方法および装置 | |
| Metzler et al. | The constituent object parser: syntactic structure matching for information retrieval | |
| De Boni et al. | Implementing clarification dialogues in open domain question answering | |
| Scott et al. | University of Sheffield TREC‐9 Q & A System | |
| CN100524294C (zh) | 使用自然语言处理技术用于处理文本输入的系统 | |
| Litkowski | Question answering using XML-tagged documents | |
| Metzler et al. | Dependency parsing for information retrieval | |
| Liang | Spell checkers and correctors: A unified treatment | |
| Morton | Using semantic relations to improve information retrieval | |
| Whaley | An application of word sense disambiguation to information retrieval | |
| Holub et al. | Use of dependency tree structures for the microcontext extraction | |
| Vilares et al. | A grammatical approach to the extraction of index terms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040908 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050301 |