JPH10198697A - 構造化文書検索装置 - Google Patents
構造化文書検索装置Info
- Publication number
- JPH10198697A JPH10198697A JP9004269A JP426997A JPH10198697A JP H10198697 A JPH10198697 A JP H10198697A JP 9004269 A JP9004269 A JP 9004269A JP 426997 A JP426997 A JP 426997A JP H10198697 A JPH10198697 A JP H10198697A
- Authority
- JP
- Japan
- Prior art keywords
- search
- expression
- document
- accuracy
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 claims abstract description 96
- 238000011156 evaluation Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 8
- 230000001174 ascending effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
おいても、高い再現率で検索可能にする。 【解決手段】 検索式1が入力されると、検索式生成手
段2が、検索式に示された検索条件を段階的に緩やかな
条件に書き換え、条件緩和検索式4を生成する。確度計
算手段3は、各条件緩和検索式4を生成するのに行った
書き換えの内容に応じて、条件緩和検索式4による検索
結果の確からしさを示す確度を計算する。検索実行手段
5は、入力された検索式1と検索式生成手段2により生
成された条件緩和検索式4のそれぞれにより、文書保持
手段6内の構造化文書を対象として検索を実行する。検
索結果併合手段7は、検索実行手段5による検索結果
を、確度の高い順に並べて併合する。これにより、正し
く論理構造が作成されていない文書も検索することがで
き、再現率が向上する。
Description
した文書検索を行う構造化文書検索装置に関し、特に複
数の文書型から生成された文書を検索対象とする構造化
文書検索装置に関する。
と呼ばれ、章、節、図などの複数の文書構成要素からな
る木構造で表現される。図19は論理構造の例を示す図
である。このような論理構造61はまったく自由に作成
してよいのではなく、文書型と呼ばれる構文規則に沿っ
て作成される。
文書型60の中で、矩形のノードは要素の型(要素型)
を定義している。ノードのラベルは、要素型の名前を示
している。同一の名前をもつノードの実体は同一の要素
型である。したがって、図20の「節」という名前の要
素型は、再帰的に定義されていることになる。
義する。このノードを構築子と呼ぶ。SEQノードは、
それにつながるノードのインスタンスがその順に生成さ
れることを示している。REPノードは、それにつなが
るノードのインスタンスが1回以上生成されることを示
す。OPTノードは、それにつながるノードのインスタ
ンスが、出現してもしなくてもよいことを示す。CHO
ノードは、それにつながるいずれか1つのノードのイン
スタンスが生成されることを示す。ここで「インスタン
ス」とは、この文書型に基づき生成される文書の要素を
示す。
ようになる。「記事」は1つ以上の「節」からなり、
「節」は「見出し」と0個以上の「段落」または「図」
および0個以上の「節」からなる。前述のように、
「節」は入れ子になってよい。図19の論理構造61
は、図20の文書型60の制約を満たしている。
実用規模の文書型は大規模であり、要素型の数が数百に
及ぶことも珍しくない。文書型は、データベースで言え
ばスキーマに相当する。即ち、文書の要素の意味と、要
素間の関係とを記述したものが文書型である。データベ
ースの処理がスキーマにしたがって行われるのと同様
に、構造化文書の処理は文書型の情報に基づいて行われ
る。例えば、文書型にしたがって割り付け指示を定義し
ておき、文書インスタンスと割り付け指示とを入力とし
て、文書割り付けが行われる。もう1つの例として、既
存の文書群から必要な部分を適宜抽出、それらを合成し
て新たな文書を作成する例があげられる。このとき、必
要であれば、新規な部分を入れ込むこともある。このよ
うな処理においては、必要な部分を特定する検索処理
と、新たに構成した文書が所望の形態であるかを検査す
る検証処理などに文書型の情報が用いられる。
は、論理構造を直接ユーザに提示するネイティブエディ
タを用いることができる。ネイティブエディタを利用す
るには、構造化文書そのものと、文書作成に用いる文書
型に精通している必要がある。
ない場合、テキストエディタや、印刷イメージとほぼ同
じ画面表示を行う文書作成ソフトウェア(WYSIWY
Gエディタ)を使って文書を作成し、コンバータを使っ
て、所望の論理構造を得るという方法が広く用いられて
いる。この場合、テキストエディタやWYSIWYGエ
ディタでの文書作成は一定の規則に沿って行う必要があ
る。
るために予め定められたパターンに合うよう文章を作成
する方法と、要素として扱う部分に特定のスタイル( 体
裁を指定するための情報) を指定する方法の2つが用い
られる。
と要素の間には空行( 連続する改行) を入れる、特定の
要素はインデントをつけて表現する、正規表現などによ
り予め定められたパターンに合うよう項目に番号づけす
る、正規表現などにより予め定められた文字列を用い
る、などの方法が取られている。
して用いる段落、文、語句などに、予め定められたスタ
イルを指定する。ところで、文書の検索を行うには、文
書がもつテキストを検索条件に用いる全文検索の手法が
用いられることが多い。全文検索では、文書がもつ語句
に関する条件を、AND(かつ)、OR(または)、N
OT(否定)で結合したブーリアン検索が一般的であ
る。単純なブーリアン検索では、再現率(recall)はよ
いが、精度(precision)が低くなる傾向がある。すなわ
ち、検索結果に、ユーザが期待していない文書が数多く
含まれることがよくあるという問題がある。
においては、論理構造を用いることにより、検索精度を
あげる方法が広く用いられている。例えば、章見出しに
「文書処理」という文字列をもつ章にあり、図見出しに
「データベース」という図を検索することにより、文書
データベースや、データベース中のデータをもとに生成
した文書などといった、文書処理の文脈でのデータベー
スに関する図を検索することができる。
特開平4−217073号公報(文書蓄積システムにお
ける文書検索装置)がある。この文書検索装置では、文
書の論理構造におけるノードの親子関係、ノードの内容
および属性を用いて、検索対象を指定できる。これによ
り、論理構造が正しく作成されていれば、構造を利用す
ることにより、再現率を低下させることなく精度を上げ
ることができる。
文書を対象とする文書検索装置では、論理構造が正しく
作成されていない場合には、精度が低下することはない
が再現率が低下してしまうという問題点があった。
から、論理構造が常に正しく作成されているとは限らな
い。とくに、WYSIWYGエディタを用いて文書を作
成している場合には、所定のパターンにマッチしないよ
うに記述されたり、画面表示が同一になるか類似した表
示になる、論理構造の異なる複数の文書要素が混同され
たりする。この結果、文書型の制約は満たしているが、
本来もつべき論理構造とは異なる論理構造をもつ文書が
作成される。
る従来の文書検索装置では、文書型によって定められた
要素型の情報を用いて多数の文書を対象として検索する
と再現率が低下する。このことは、先に例示した従来技
術以外の技術も含めた、既存の全ての文書検索装置にあ
てはまる。
のであり、論理構造の異なる複数の文書に対する検索に
おいても、高い再現率を維持した構造化文書検索装置を
提供することを目的とする。
決するために、構造化文書を検索対象とする構造化文書
検索装置において、文書構造中のノードのタイプ、ノー
ドの内容、ノードの属性、ノード間の構造上の関係によ
って記述された検索式が入力されると、前記検索式に示
された検索条件を段階的に緩やかな条件に書き換えた条
件緩和検索式を生成する検索式生成手段と、前記条件緩
和検索式を生成するのに行った書き換えの内容に応じ
て、前記条件緩和検索式による検索結果の確からしさを
示す確度を計算する確度計算手段と、入力された前記検
索式及び前記条件緩和検索式に基づいて検索を行う検索
実行手段と、前記検索実行手段による検索結果を、確度
の高い順に並べて併合する検索結果併合手段と、を有す
ることを特徴とする構造化文書検索装置が提供される。
検索式が入力されると、検索式生成手段によって、前記
検索式に示された検索条件を段階的に緩やかな条件に書
き換え、条件緩和検索式が生成される。すると、確度計
算手段により、各条件緩和検索式を生成するのに行った
書き換えの内容に応じて、条件緩和検索式による検索結
果の確からしさを示す確度が計算されるとともに、検索
実行手段により、入力された検索式及び条件緩和検索式
に基づいて検索が行われる。検索結果は、検索結果併合
手段により、確度の高い順に並べて併合される。
文書検索装置において、文書構造中のノードのタイプ、
ノードの内容、ノードの属性、ノード間の構造上の関係
によって記述された検索式が入力されると、前記検索式
内の各検索条件を個別の部分式とし、前記部分式毎に条
件を満たした文書部品の取り出しを行う部分式評価手段
と、前記部分式評価手段で取り出された文書部品が条件
を満たす部分式に応じて、各文書部品の確からしさの度
合いを示す確度を計算する確度計算手段と、確度の高い
文書部品の順に検索結果を出力する検索結果出力手段
と、を有することを特徴とする文書検索装置が提供され
る。
検索式が入力されると、部分式評価手段によって、検索
式内の各検索条件を個別の部分式とし、部分式毎に条件
を満たした文書部品の取り出しが行われる。すると、確
度計算手段により、部分式評価手段で取り出された文書
部品が条件を満たす部分式に応じて、各文書部品の確か
らしさの度合いを示す確度が計算される。そして、検索
結果出力手段により、確度の高い文書部品の順に検索結
果が出力される。
を参照して説明する。図1は、本発明の原理構成図であ
る。まず、文書構造中のノードのタイプ、ノードの内
容、ノードの属性、ノード間の構造上の関係によって記
述された検索式1が入力されると、検索式生成手段2
が、検索式に示された検索条件を段階的に緩やかな条件
に書き換え、条件緩和検索式4を生成する。例えば、構
造条件の「AND」を「OR」に書き換えれば、検索条
件が緩和された条件緩和検索式となる。このような条件
緩和検索式4が生成されると、確度計算手段3は、各条
件緩和検索式4を生成するのに行った書き換えの内容に
応じて、条件緩和検索式4による検索結果の確からしさ
を示す確度を計算する。
検索式生成手段2により生成された条件緩和検索式4の
それぞれにより、文書保持手段6内の構造化文書を対象
として検索を実行する。検索結果併合手段7は、検索実
行手段5による検索結果を、確度の高い順に並べて併合
する。
いない文書も検索することができる。単純に検索結果を
見た場合にはもとの検索式で検索したときに比して適合
率が低下するが、検索結果はもとの検索式に正確に一致
するものとあまり一致しないものとが乱雑に並ぶことは
なく、もとの検索式に照らして確からしい順に出力され
るので、利用者は確からしいものから順次検索結果を吟
味することができる。
の形態のブロック図である。この実施の形態は、以下の
ような構成要素からなる。なお、この実施の形態では、
図1の説明で用いた「確度」は、「ペナルティ」で表し
ている。このペナルティは、値が小さいほど検索結果の
確からしさが大きくなる。
検索式の作成及び入力機能を提供している。また、この
検索式入力手段11は、他のプログラムで作成した検索
式を入力することもできる。ペナルティ割当手段12
は、利用者に対して、ペナルティを計算する基準となる
値を検索式の書き換え規則毎に割り当てるための機能を
提供している。ペナルティ計算手段13は、ペナルティ
割当手段12により入力されたペナティの値に従い、各
検索式のペナルティの合計値を求める。ペナルティ指定
手段14は、利用者に対して、ペナルティの上限値の入
力機能を提供する。
1により入力された検索式をもとに、検索式書き換え規
則にしたがって検索条件の緩やかな検索式を生成する。
検索式保持手段16は、検索式入力手段11により入力
された検索式と検索式生成手段15で生成された検索式
とを、ペナルティ計算手段13により計算されたペナル
ティの値を付加して保持する。
複数の文書が格納されている。検索実行手段18は、文
書保持手段17に保持された文書を対象とし、検索式保
持手段16に格納されている検索式による検索を行う。
検索結果保持手段19は、検索式実行手段18が行った
検索結果を格納する。この際、各検索結果には、検索式
に設定されたペナルティの値が付加されている。検索結
果併合手段20は、検索結果保持手段19に格納されて
いる検索結果を、付加されたペナルティの値の小さい順
に並べ替える。検索結果出力手段21は、検索結果併合
手段20で並べ替えられた順に、検索結果を表示装置の
画面上に表示する。
いて検索を実行するには、予めペナルティ割当手段12
を用いて、検索式の書き換え規則に対するペナルティを
設定する。設定するペナルティは、検索式の書き換えに
よって、検索の条件が緩やかになる度合いが大きいほど
大きな値とする。入力されたペナルティは、ペナルティ
計算手段13に渡され、そこで保持される。また、利用
者は、ペナルティの上限値を、ペナルティ指定手段14
を用いて入力することもできる。なお、ペナルティの上
限値は必須の設定項目ではない。
とする利用者は、検索式入力手段11により、任意の検
索式を検索式生成手段15に入力する。すると、検索式
生成手段15は、入力された検索式から、検索条件を段
階的に緩やかにした検索式を多数生成する。検索式生成
手段15で生成された検索式は、検索式保持手段16で
一時的に保持される。なお、ペナルティの上限値が設定
されている場合には、ペナルティが上限値を超えた検索
式が生成されることはない。
は、検索式実行手段18により順に取り出され、文書保
持手段17に格納されている構造化文書を対象として検
索が行われる。そして、各検索式を評価した結果得られ
る検索結果は、検索式に付加されていたペナルティの値
とともに検索結果保持手段19に保持される。
ティとともに検索結果保持手段19に保持された検索結
果は、検索結果併合手段20により、ペナルティの値の
小さい順に並べ替えて併合される。併合された検索結果
は、検索結果出力手段21により、順次出力される。
説明する。まず、書き換えの規則に割り当てるペナルテ
ィの例を示す。図3は、書き換え規則に割り当てられた
ペナルティの例を示す図である。このペナルティ13a
は、ペナルティ割当手段12で入力され、ペナルティ計
算手段13が保持するものである。この例では、書き換
え種別が「親子→祖孫」の場合にはペナルティは「1
0」である。書き換え種別が「タイプの無視」の場合に
はペナルティは「30」である。書き換え種別が「子孫
のAND→OR」の場合にはペナルティは「100」で
ある。書き換え種別が「テキストに関する条件のAND
→OR」の場合にはペナルティは「200」である。書
き換え種別が「ブーリアン検索」の場合にはペナルティ
は「500」である。
で、利用者は、検索式入力手段11により検索式を入力
する。例えば、以下のような検索式を入力する。図4
は、検索式の例を示す図である。図に示すように、利用
者が検索式入力手段11を用いて入力した検索式30
は、内部的には有向グラフで表現される。
3〜35は、文書のある要素自身に関する条件( 局所条
件) と、そのノードにもっとも近い、AND以外のラベ
ルをもつノードの局所条件で指定された要素との構造上
の関係を示す条件( 構造条件) を表現する。この例で示
した局所条件は、取出対象であるか否か(真、偽)の条
件、そのノードのタイプの種別に関する条件、及びその
ノードのテキストに関する条件である。また、構造条件
は、上位のノードとの関係が親子であるか、祖孫である
かにより指定されている。
に関する条件の連言を示す。なお、検索式入力手段11
により入力された検索式のペナルティは、常に「0」で
ある。
ード内で指定された条件を、もとの検索式の部分式と呼
ぶ。図4のような検索式30が入力されたら、検索処理
の実行に先だって、検索式の書き換えが行われる。
ャートである。以下、図5の手順にしたがい、検索式の
書き換え処理について説明する。 〔S1〕ペナルティ計算手段13は、ペナルティの値を
初期化する。即ち、値を「0」にする。
は、検索式の内部表現の部分式に対する繰り返し処理で
ある。 〔S2〕検索式生成手段15は、現在与えられている検
索式において、適用可能な書き換え規則が存在するか否
か検査する。適用可能な書き換え規則が存在すればステ
ップS3へ、そうでなければ実行を終了する。 〔S3〕検索式生成手段15は、適用可能な書き換え規
則をひとつ選択する。 〔S4〕検索式生成手段15は、ステップS3で選択さ
れた書き換え規則がタイプの無視であるか否か検査す
る。書き換え規則が「タイプの無視」であればステップ
S5へ、そうでなければステップS6へ行く。 〔S5〕検索式生成手段15は、取出対象以外のノード
(取出対象が「偽」)のタイプに関する条件を、任意型
を示す「ANY」に書き換える。すなわち、タイプに関
する条件を無効化する。この処理の後、ステップS7へ
行く。 〔S6〕検索式生成手段15は、ステップS3で選択さ
れた書き換え規則を適用し、検索式を書き換える。書き
換え規則が「親子→祖孫」、「子孫のAND→OR」、
若しくは「テキストに関する条件のAND→OR」のい
ずれかであれば、その書き換え規則の通りに検索式の書
き換えを行う。また、書き換え規則が「ブーリアン検
索」の場合には、検索式全体をブーリアン検索に変更す
る。その変更の手続については、後述する(図10に示
す)。 〔S7〕ペナルティ計算手段13は、現在処理中の検索
式に対し、ステップS3で選択された書き換え規則に対
応するペナルティを加算する。 〔S8〕検索式生成手段15は、ペナルティが基準値を
超えたか否かを検査する。ペナルティが基準値を超えて
いれば実行を終了し、そうでなければステップS9へ行
く。 〔S9〕ステップS5あるいはステップS6の検索式の
書き換えで得られた検索式を、検索式保持手段16が保
存し、ステップS2へ行く。
図4に示した検索式から複数の新たな検索式が生成され
る。そして、各検索式には、書き換えの内容に応じてペ
ナルティが付加される。図4の検索式30を書き換えた
例を図6ないし図9に示す。
示す図である。この検索式30aは、図4の検索式30
に対し、親子関係を祖孫関係に変更する書き換え規則を
3箇所に適用したものである。この場合のペナルティは
10×3=30となる。
示す図である。この検索式30bは、図6の検索式30
aに対し、タイプを無視する書き換え規則を3箇所に適
用したものである。この場合のペナルティは( 図6の検
索式30aのペナルティ)+30×3=30+90=12
0である。
示す図である。この検索式30cは、図7の検索式30
bに対し、子孫に関するANDの条件をORに変更する
書き換え規則を1箇所に適用したものである。この場合
のペナルティは、( 図7の検索式30bのペナルティ)
+100=120+100=220である。
示す図である。この検索式30dは、図8の検索式30
cに対し、テキストに関する条件のANDをORに変更
する書き換え規則を1箇所に適用したものである。この
場合のペナルティは、( 図8の検索式30cのペナルテ
ィ) +200=220+200=420である。
造の検索式への書き換えを行った場合の例であり、これ
らの書き換えは、各ノード内の検索条件を、書き換え規
則に従って書き換えればよい。一方、ブーリアン検索へ
の書き換えを行うには、次のような手続を実行する必要
がある。
書き換える手続きのフローチャートである。この手続は
検索式生成手段15の行う処理であり、この手続きの入
力は木構造で表現された検索式のノードで、出力はその
ノードを頂点とする検索式の部分木を変換して得られた
ブーリアン検索式である。この手続きでは、出力される
検索式は文字列で表わされる。 〔S11〕ノードが要素に対する条件か否か判定する。
要素に関する条件であればステップS12へ、そうでな
ければステップS13へ行く。 〔S12〕ノードに指定されたテキスト内容に関する条
件を検索式とし、ステップS14へ行く。 〔S13〕検索式を空とし、ステップS14へ行く。 〔S14〕ノードが子ノードをもつか否かを判定する。
子ノードが存在すればステップS15へ、存在しなけれ
ばステップS23へ行く。
2は、ノードの子ノードに対する繰り返し処理である。 〔S15〕変換処理を施していない子ノードがあるか否
か判定する。未処理の子ノードがあればステップS16
へ、そうでなければステップS23へ行く。 〔S16〕未処理の子ノードを1つ選択する。 〔S17〕ステップS16で選択したノードを引数とし
て、ブーリアン検索への書き換え手続きを再帰的に呼び
出す。 〔S18〕検索式が空であるか否かを判定する。検索式
が空であればステップS19へ、そうでなければステッ
プS20へ行く。 〔S19〕ステップS17の手続き呼出しの結果得られ
た検索式( 文字列) を検索式とし、ステップS15へ行
く。 〔S20〕この手続きの引数として与えられたノードが
ORノードであるか否か判定する。ORノードであれば
ステップS22へ、そうでなければステップS21へ行
く。 〔S21〕検索式と、ステップS17の手続き呼出しの
結果得られた検索式とをANDで連結し、ステップS1
5へ行く。 〔S22〕検索式と、ステップS17の手続き呼出しの
結果得られた検索式をORで連結し、ステップS15へ
行く。 〔S23〕検索式を戻り値として、手続きの実行を終了
する。
らブーリアン検索式を求めることができる。以下に、図
4の検索式を直接ブーリアン検索式へ書き換えた例を示
す。
AND Publishing このブーリアン検索式のペナルティは、( 図4の検索式
30のペナルティ)+500=0+500=500であ
る。
ーリアン検索式とのそれぞれに基づいて、検索が行われ
ると、それぞれの検索結果に対して検索式のペナルティ
が付加される。そして、全ての検索結果がペナルティの
低い順に並べられる。この際、1つの文書が複数の検索
式により検出された場合には、その検索結果には、値の
小さい方のペナルティが採用される。並べられた検索結
果は、表示装置の画面に表示される。
果の表示例を示す図である。同図では、検索結果の表示
画面21aの中に、検索結果として得られた文書が表示
されている。これらの文書は、ペナルティ、文書名、著
者、作成日とともに表示されている。画面中にはスクロ
ールバーが設けられており、このスクロールバーを操作
することにより、表示させる文書をスクロールさせ、ペ
ナルティの小さい検索結果を順次画面表示させることが
できる。ペナルティの上限値が定められていれば、その
上限値を超える検索結果は存在しない。
の厳しさを表示しているが、検索条件が厳しいものほど
高い値となるようなスコアを計算して表示してもよい。
例えば、ペナルティ指定手段14によりペナルティの上
限値を指定した場合には、その上限値からペナルティの
値を引いたものをスコアとすることができる。
条件を段階的に緩めた検索式による検索結果を閲覧する
ことができる。従って、正しい論理構造に基づいて作成
した検索式を入力した場合でも、論理構造が正しく作成
されていない文書を検出することができ、再現率が向上
する。しかも、検索式の条件を緩める度合いが低いもの
を優先的に表示するため、検索結果の数が多くなっても
利用者の閲覧が不便になることはない。
力された検索式の検索条件を書き換えることにより、段
階的な検索条件の緩和を行ったものであるが、入力され
た検索式の部分式に基づいて文書部品(構造化文書の個
々の要素)を取り出し、検索式の条件を満たしている度
合いの高い文書部品を、検索結果として出力することも
できる。そのような例を第2の実施の形態として以下に
説明する。
施の形態のブロック図である。なお、この実施の形態で
は、検索結果の確からしさを「スコア」で表している。
このスコアは、値が大きいほど検索結果の確からしさが
大きいことを示す。検索式入力手段41は、利用者に対
して、検索式の作成及び入力機能を提供している。検索
式保持手段42は、検索式入力手段41により入力され
た検索式を保持する。
複数の文書が格納されている。部分式評価手段44は、
検索式保持手段42に格納された検索式の部分式を順次
取り出し、その部分式により文書保持手段43に格納さ
れた文書を対象として評価を行う。即ち、取り出した部
分式の示す条件を満たした文書部品を文書保持手段43
から候補として取り出す。一方、スコア割当手段45
は、スコアを計算する基準となる値を部分式の種類毎に
割り当てるための機能を利用者に対して提供している。
スコア計算手段46は、スコア割当手段45により入力
されたスコアの値に従い、部分式評価手段44の取り出
した候補のスコアを求める。
が取得した候補に、スコアの値を付加して保持する。ス
コア指定手段48は、利用者に対して、スコアの下限値
の入力機能を提供する。検索結果出力手段49は、スコ
ア指定手段48により指定された下限値よりも大きいス
コアの文書部品を検索結果として、スコアの大きいもの
から順に、表示装置の画面上に表示する。
計算手段46、及び候補保持手段47により、検索式評
価手段40を構成している。このような構造化文書検索
装置において検索を実行するには、利用者は、予めスコ
ア割当手段45を用いて、スコアを計算する基準となる
値を部分式の種類毎に割り当てる。割り当てるスコア
は、その検索条件により検索対象が絞り込まれる度合い
が大きいほど大きな値とする。入力されたスコアは、ス
コア計算手段46に渡され、そこで保持される。また、
利用者は、スコアの下限値を、スコア指定手段48を用
いて入力することもできる。なお、スコアの下限値は必
須の設定項目ではない。
とする利用者は、検索式入力手段41により、自己が作
成したか若しくは所定のプログラムにより作成された検
索式を、検索式保持手段42に入力する。検索式入力手
段41で入力された検索式は、検索式保持手段42で保
持される。検索式保持手段42に保持された検索式は、
部分式評価手段44により、文書保持手段43に保持さ
れた文書を対象として、部分式ごとに評価される。部分
式評価手段44で検索式の部分式を評価した結果得られ
た候補は、部分式毎にスコア計算手段46により算出さ
れたスコアとともに候補保持手段47に保持される。部
分式を評価していく段階で、候補となる文書部品が得ら
れたとき、その部品がまだ候補保持手段47に存在して
いなければ、スコア計算手段46はその候補のスコアと
して該部分式のスコアを割り当てる。得られた候補がす
でに候補保持手段47に存在していれば、スコア計算手
段46は該候補のスコアを該部分式のスコア分だけ増加
させる。
とともに候補保持手段47に保持された検索結果は、検
索結果出力手段49によりスコア順に出力される。次
に、第2の実施の形態の内容を具体的に説明する。ま
ず、文書を評価する条件に割り当てるスコアの例を示
す。
られたスコアの例を示す図である。このスコア46a
は、スコア割当手段45で入力され、スコア計算手段4
6が保持するものである。図の例では、条件が「タイ
プ」の場合にはスコアは「100」である。条件が「親
子関係」の場合にはスコアは「100」である。条件が
「祖孫関係」の場合にはスコアは「100」である。条
件が「テキストに関する条件」の場合にはスコアは「1
00」である。条件が「タイプのAND」の場合にはス
コアは「200」である。条件が「テキストに関する条
件のAND」の場合にはスコアは「200」である。
用者は、検索式入力手段41により検索式を入力する。
例えば、図4のような検索式を入力する。すると、検索
式評価手段40は、文書保持手段43内の文書に対して
検索式の評価を行い、評価の高い文書を検索結果とす
る。
ーチャートである。この手続きでは、検索条件を評価す
る段階で、検索結果の候補に対しスコアを与えていく。 〔S31〕部分式評価手段44は、検索式の内部表現の
ノードのうち、未処理のものが存在するか否かを検査す
る。未処理のノードが存在すればステップS32へ行
く。そうでなければ、ステップS37に行く。 〔S32〕部分式評価手段44は、検索式の内部表現の
ノードのうち、未処理のものを1つ選択する。 〔S33〕部分式評価手段44は、ステップS32で選
択されたノードがもつ検索条件のうち、未処理のものが
存在するか否かを検査する。未処理の条件が存在すれば
ステップS34へ、そうでなければステップS31へ行
く。 〔S34〕部分式評価手段44は、ステップS32で選
択されたノードがもつ検索条件のうち、未処理のものを
1つ選択する。 〔S35〕部分式評価手段44は、ステップS34で選
択された検索条件を評価する。 〔S36〕スコア計算手段46は、ステップS35で検
索条件を評価した結果として得られた各候補に対し、ス
テップS35で評価した検索条件に対応するスコアを加
算する。その後、ステップS33へ行く。 〔S37〕部分式評価手段44は、構造条件のうち、未
評価のものが存在するか否か検査する。未評価の構造条
件が存在すればステップS38へ、そうでなければステ
ップS41へ行く。 〔S38〕部分式評価手段44は、構造条件のうち、未
評価のものを1つ選択する。 〔S39〕部分式評価手段44は、ステップS38で選
択された構造条件を評価する。 〔S40〕スコア計算手段46は、ステップS39の評
価結果得られた各候補に対し、ステップS39で評価し
た条件に対応するスコアを加算する。 〔S41〕候補保持手段47は、取出対象でないものを
候補から除外して、残った候補を保持する。即ち、取出
対象が「真」である候補のみを保持する。
図4に示した検索式から検索結果が得られる。そして、
各検索式には、スコアが付加される。なお、図4の検索
式で取出対象となるのは、タイプが「Section 」のノー
ド31のみであるため、取り出される検索結果は、タイ
プが「Section 」の文書部品だけである。図15ないし
図17に、図4の検索式30による検索結果をスコアと
ともに示す。
ある。この文書部品50は、各ノード51〜54の関係
と内容とが、図4の検索式30の条件を全て満たしてい
る。そのため、スコアは最大の値(=1500)とな
る。
ある。この文書部品50aは、3つのノード51,5
2,54に関する条件のみを満たしている。そのため、
スコアは図15の例よりも低くなり、スコア=1000
である。
ある。この文書部品50bは、2つのノード51,52
に関する条件のみを満たしている。そのため、スコアは
図16の例よりもさらに低くなり、スコア=700であ
る。
アの順に表示装置の画面に表示される。図18は、第2
の実施の形態による検索結果の表示例を示す図である。
同図では、検索結果の表示画面49aの中に、検索結果
として得られた文書が表示されている。これらの文書
は、スコア、文書名、著者、作成日とともに表示されて
いる。この画面は、スクロールバーを操作することによ
り、画面中に表示させる文書をスクロールさせ、スコア
の小さい検索結果を順次画面表示させることができる。
このとき、スコアの上限値が定められていれば、その上
限値を超えた検索結果は表示されない。
のような変形例も考えられる。上記の実施の形態では、
スコアやペナルティは固定の値としたが、データベース
の状態により可変にしてもよい。以下に、データベース
の状態によりこれらの値を変更する方法の例を示す。
ータベース中に頻出する語句ほどスコアあるいはペナル
ティを下げる。また、タイプに関する条件の場合、デー
タベース中に頻出する語句ほどスコアあるいはペナルテ
ィを下げる。
ルティ若しくはスコアを計算するには、ペナルティ計算
手段13(図2に示す)若しくはスコア計算手段46
(図12に示す)が、テキストに関する条件が指定され
ると、テキストに関する条件の語句の頻出の度合いを求
める手段と、その度合いに応じたペナルティ若しくはス
コアを求める手段とを有していればよい。
が成立する場合、親子関係あるいは祖孫関係に関する条
件に一致したときのスコアは0とする。この場合には、
親子関係あるいは祖孫関係が必ず成立するため、ペナル
ティの値がいくらになっていても実質的には意味をなさ
ない。親子関係あるいは祖孫関係が必然的に成立するか
どうかは、文書型を見れば判定できる。あるタイプT1
から、SEQまたはREPノードだけを辿って別のタイ
プT2に到達できるとき、T1が存在すればT2が必ず
存在し( 逆も真) 、それらは親子関係にある。また、あ
るタイプT1から、SEQ、REP、またはタイプノー
ドだけを辿って別のタイプT2に到達できるとき、T1
が存在すればT2が必ず存在し( 逆も真) 、それらは祖
孫関係にある。
力された検索式に基づいて、検索条件を段階的に緩やか
にした条件緩和検索式を生成し、条件の緩やかな検索を
も行うようにしたため、正しく論理構造が作成されてい
ない文書も検索することができ、再現率が向上する。し
かも、検索結果はもとの検索式に照らして確からしい順
に出力されるので、利用者は確からしいものから順次検
索結果を吟味することができる。
の部分式により文書部品を取り出し、入力された検索式
の条件を満たしている度合いが高いものから順に検索結
果として出力するようにしたため、上記第1の発明と同
様に、正しく論理構造が作成されていない文書も検索す
ることができ、再現率が向上する。
ック図である。
を示す図である。
る。
る。
る。
る。
る。
続きのフローチャートである。
示す図である。
ロック図である。
の例を示す図である。
ある。
示す図である。
Claims (6)
- 【請求項1】 構造化文書を検索対象とする構造化文書
検索装置において、 文書構造中のノードのタイプ、ノードの内容、ノードの
属性、ノード間の構造上の関係によって記述された検索
式が入力されると、前記検索式に示された検索条件を段
階的に緩やかな条件に書き換えた条件緩和検索式を生成
する検索式生成手段と、 前記条件緩和検索式を生成するのに行った書き換えの内
容に応じて、前記条件緩和検索式による検索結果の確か
らしさを示す確度を計算する確度計算手段と、 入力された前記検索式及び前記条件緩和検索式に基づい
て検索を行う検索実行手段と、 前記検索実行手段による検索結果を、確度の高い順に並
べて併合する検索結果併合手段と、 を有することを特徴とする構造化文書検索装置。 - 【請求項2】 前記検索式生成手段は、予め定められた
限界値よりも高い確度の条件緩和検索式のみを生成する
ことを特徴とする請求項1の構造化文書検索装置。 - 【請求項3】 書き換え規則ごとに基準確度を割り当て
る確度割当手段をさらに有し、 前記確度計算手段は、前記確度割当手段が割り当てた基
準確度に基づいて、前記条件緩和検索式の確度を計算す
ることを特徴とする請求項1記載の文書検索装置。 - 【請求項4】 構造化文書を検索対象とする構造化文書
検索装置において、 文書構造中のノードのタイプ、ノードの内容、ノードの
属性、ノード間の構造上の関係によって記述された検索
式が入力されると、前記検索式内の各検索条件を個別の
部分式とし、部分式毎にそれぞれの条件を満たした文書
部品の取り出しを行う部分式評価手段と、 前記部分式評価手段で取り出された文書部品が、どのよ
うな部分式の条件を満たしているかに基づいて、各文書
部品の確からしさの度合いを示す確度を計算する確度計
算手段と、 確度の高い文書部品の順に検索結果を出力する検索結果
出力手段と、 を有することを特徴とする文書検索装置。 - 【請求項5】 前記検索結果出力手段は、予め定められ
た限界値よりも高い確度の文書部品のみを検索結果とす
ることを特徴とする請求項4記載の構造化文書検索装
置。 - 【請求項6】 部分式の種類ごとに基準確度を割り当て
る確度割当手段をさらに有し、 前記確度計算手段は、前記確度割当手段が割り当てた基
準確度に基づいて、各文書部品の確度を計算することを
特徴とする請求項4記載の構造化文書検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00426997A JP3612914B2 (ja) | 1997-01-14 | 1997-01-14 | 構造化文書検索装置及び構造化文書検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00426997A JP3612914B2 (ja) | 1997-01-14 | 1997-01-14 | 構造化文書検索装置及び構造化文書検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10198697A true JPH10198697A (ja) | 1998-07-31 |
| JP3612914B2 JP3612914B2 (ja) | 2005-01-26 |
Family
ID=11579831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00426997A Expired - Fee Related JP3612914B2 (ja) | 1997-01-14 | 1997-01-14 | 構造化文書検索装置及び構造化文書検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3612914B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259425A (ja) * | 2001-02-28 | 2002-09-13 | Hitachi Ltd | 統合データベースシステムにおける問合せ最適化方法 |
| WO2005091170A1 (ja) * | 2004-03-18 | 2005-09-29 | Nec Corporation | テキストマイニング装置、その方法及びプログラム |
| JP2007535016A (ja) * | 2003-05-08 | 2007-11-29 | オラクル・インターナショナル・コーポレイション | 検索基準の累進的緩和 |
| JP2008537624A (ja) * | 2005-03-29 | 2008-09-18 | グーグル インク. | 多数のクエリー修正モデルの統合 |
| JP2008234519A (ja) * | 2007-03-23 | 2008-10-02 | Toyota Central R&D Labs Inc | 情報検索システム、情報検索装置、情報検索方法、及びそのプログラム。 |
| JP2009517758A (ja) * | 2005-11-30 | 2009-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 少なくとも1つの更なるコンテンツ項目の推奨を生成する方法及びシステム |
| JP2010033377A (ja) * | 2008-07-29 | 2010-02-12 | Yahoo Japan Corp | Webクエリに対する検索要求属性を自動推定する検索装置、検索方法及びプログラム |
| JP2010039781A (ja) * | 2008-08-05 | 2010-02-18 | Yahoo Japan Corp | クリック履歴を用いたWeb検索における検索処理をパーソナライズする検索処理システム、検索処理装置、端末装置及び検索処理方法。 |
| WO2014038069A1 (ja) * | 2012-09-07 | 2014-03-13 | 株式会社東芝 | 構造化文書管理装置、方法およびプログラム |
| JP2017167893A (ja) * | 2016-03-17 | 2017-09-21 | ヤフー株式会社 | 情報検索装置、情報検索方法及び情報検索プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07302267A (ja) * | 1994-03-09 | 1995-11-14 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置、情報検索方法及び知識獲得システム |
| JPH086970A (ja) * | 1994-06-15 | 1996-01-12 | Ado In Kenkyusho:Kk | 情報検索装置 |
| JPH08212234A (ja) * | 1995-02-06 | 1996-08-20 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索装置及びデータベース検索方法 |
| JPH1027180A (ja) * | 1996-07-12 | 1998-01-27 | Toshiba Corp | 文書検索システムおよび文書検索方法 |
-
1997
- 1997-01-14 JP JP00426997A patent/JP3612914B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07302267A (ja) * | 1994-03-09 | 1995-11-14 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索装置、情報検索方法及び知識獲得システム |
| JPH086970A (ja) * | 1994-06-15 | 1996-01-12 | Ado In Kenkyusho:Kk | 情報検索装置 |
| JPH08212234A (ja) * | 1995-02-06 | 1996-08-20 | Nippon Telegr & Teleph Corp <Ntt> | データベース検索装置及びデータベース検索方法 |
| JPH1027180A (ja) * | 1996-07-12 | 1998-01-27 | Toshiba Corp | 文書検索システムおよび文書検索方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259425A (ja) * | 2001-02-28 | 2002-09-13 | Hitachi Ltd | 統合データベースシステムにおける問合せ最適化方法 |
| JP2007535016A (ja) * | 2003-05-08 | 2007-11-29 | オラクル・インターナショナル・コーポレイション | 検索基準の累進的緩和 |
| JP4525936B2 (ja) * | 2004-03-18 | 2010-08-18 | 日本電気株式会社 | テキストマイニング装置、その方法及びプログラム |
| WO2005091170A1 (ja) * | 2004-03-18 | 2005-09-29 | Nec Corporation | テキストマイニング装置、その方法及びプログラム |
| JPWO2005091170A1 (ja) * | 2004-03-18 | 2008-02-07 | 日本電気株式会社 | テキストマイニング装置、その方法及びプログラム |
| US8612207B2 (en) | 2004-03-18 | 2013-12-17 | Nec Corporation | Text mining device, method thereof, and program |
| JP2008537624A (ja) * | 2005-03-29 | 2008-09-18 | グーグル インク. | 多数のクエリー修正モデルの統合 |
| JP4831795B2 (ja) * | 2005-03-29 | 2011-12-07 | グーグル インコーポレイテッド | 多数のクエリー修正モデルの統合 |
| JP2011248914A (ja) * | 2005-03-29 | 2011-12-08 | Google Inc | 多数のクエリー修正モデルの統合 |
| JP2009517758A (ja) * | 2005-11-30 | 2009-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 少なくとも1つの更なるコンテンツ項目の推奨を生成する方法及びシステム |
| US10382723B2 (en) | 2005-11-30 | 2019-08-13 | S.I.Sv.El. Societa Italiana Per Lo Sviluppo Dell'elettronica S.P.A. | Method and system for generating a recommendation for at least one further content item |
| JP2008234519A (ja) * | 2007-03-23 | 2008-10-02 | Toyota Central R&D Labs Inc | 情報検索システム、情報検索装置、情報検索方法、及びそのプログラム。 |
| JP2010033377A (ja) * | 2008-07-29 | 2010-02-12 | Yahoo Japan Corp | Webクエリに対する検索要求属性を自動推定する検索装置、検索方法及びプログラム |
| JP2010039781A (ja) * | 2008-08-05 | 2010-02-18 | Yahoo Japan Corp | クリック履歴を用いたWeb検索における検索処理をパーソナライズする検索処理システム、検索処理装置、端末装置及び検索処理方法。 |
| WO2014038069A1 (ja) * | 2012-09-07 | 2014-03-13 | 株式会社東芝 | 構造化文書管理装置、方法およびプログラム |
| US10007666B2 (en) | 2012-09-07 | 2018-06-26 | Toshiba Solutions Corporation | Device and method for managing structured document, and computer program product |
| JP2017167893A (ja) * | 2016-03-17 | 2017-09-21 | ヤフー株式会社 | 情報検索装置、情報検索方法及び情報検索プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3612914B2 (ja) | 2005-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3883810B2 (ja) | 情報管理、検索及び表示システム及び関連方法 | |
| US8805861B2 (en) | Methods and systems to train models to extract and integrate information from data sources | |
| US6853992B2 (en) | Structured-document search apparatus and method, recording medium storing structured-document searching program, and method of creating indexes for searching structured documents | |
| CN1653448B (zh) | 搜索数据源的系统和方法 | |
| US10108720B2 (en) | Automatically providing relevant search results based on user behavior | |
| US8983965B2 (en) | Document rating calculation system, document rating calculation method and program | |
| US20020065857A1 (en) | System and method for analysis and clustering of documents for search engine | |
| US20040221229A1 (en) | Data structures related to documents, and querying such data structures | |
| US20180081880A1 (en) | Method And Apparatus For Ranking Electronic Information By Similarity Association | |
| KR960706138A (ko) | 관계형 데이타베이스 스키마를 생성하기 위한 의미 객체 모델링 시스템(semantic object modeling system for creating relational database schemas) | |
| JPH09297768A (ja) | 文書データベース管理装置及び文書データベース検索方法 | |
| JPH11110413A (ja) | データベース検索結果を生成するための方法および装置 | |
| JP3612914B2 (ja) | 構造化文書検索装置及び構造化文書検索方法 | |
| JPH07319918A (ja) | 文書検索対象指示装置 | |
| US8082240B2 (en) | System for retrieving information units | |
| JPH10105551A (ja) | プロセッサを用いて第1グラフの単一化の一部として第1節と第2節を結合する方法 | |
| Jurish et al. | Querying the Deutsches Textarchiv. | |
| JPH0844771A (ja) | 情報検索装置 | |
| JP5447368B2 (ja) | 新規事例生成装置、新規事例生成方法及び新規事例生成用プログラム | |
| JP2000057152A (ja) | 文書関連付け装置、文書閲覧装置、文書関連付けプログラムを記録したコンピュータ読み取り可能な記録媒体及び文書閲覧プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3856388B2 (ja) | 類義性計算方法、類義性計算プログラム、類義性計算プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2009251845A (ja) | 検索結果評価装置及び検索結果評価方法 | |
| JP3842574B2 (ja) | 情報抽出方法および構造化文書管理装置およびプログラム | |
| JP4543819B2 (ja) | 情報検索システム、情報検索方法及び情報検索プログラム | |
| US20070150519A1 (en) | Organiser for complex categorisations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041018 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |