JPH11328191A - Ｗｗｗロボット検索システム - Google Patents
Ｗｗｗロボット検索システムInfo
- Publication number
- JPH11328191A JPH11328191A JP10129829A JP12982998A JPH11328191A JP H11328191 A JPH11328191 A JP H11328191A JP 10129829 A JP10129829 A JP 10129829A JP 12982998 A JP12982998 A JP 12982998A JP H11328191 A JPH11328191 A JP H11328191A
- Authority
- JP
- Japan
- Prior art keywords
- www
- page
- search
- update
- update frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 単純な検索ではなく予め更新されているＷＷ
Ｗページを予想して、該当するページだけを検索ための
探索基準点の自動導出方法を提供する。 【解決手段】 検索した結果より任意のＷＷＷページの
更新頻度を演算する更新頻度演算エンジン２２と、更新
頻度から任意の時間における更新期待値を演算する更新
期待度演算エンジン２３と、検索優先順位を自動抽出す
る検索順序テーブル作成エンジン２４を有し、更新頻度
演算エンジン２２と更新期待度演算エンジン２３とか
ら、ある時刻におけて任意のＷＷＷページが更新されて
いるかを予想し、検索順序テーブルを作成する。ＷＷＷ
ロボット検索システムはこの検索順序テーブルに従って
検索する。
Ｗページを予想して、該当するページだけを検索ための
探索基準点の自動導出方法を提供する。 【解決手段】 検索した結果より任意のＷＷＷページの
更新頻度を演算する更新頻度演算エンジン２２と、更新
頻度から任意の時間における更新期待値を演算する更新
期待度演算エンジン２３と、検索優先順位を自動抽出す
る検索順序テーブル作成エンジン２４を有し、更新頻度
演算エンジン２２と更新期待度演算エンジン２３とか
ら、ある時刻におけて任意のＷＷＷページが更新されて
いるかを予想し、検索順序テーブルを作成する。ＷＷＷ
ロボット検索システムはこの検索順序テーブルに従って
検索する。
Description
【０００１】
【発明の属する技術分野】本発明は、ＷＷＷ（Ｗｏｒｌ
ｄ Ｗｉｄｅｗｅｂ）ロボットによる検索時の探索基準
点の導出方法に関し、特にＷＷＷロボットによる検索を
行う場合において、開始点となる複数個の探索基準点か
ら最適な検索順序を求めるためのＷＷＷロボット検出シ
ステムに関する。
ｄ Ｗｉｄｅｗｅｂ）ロボットによる検索時の探索基準
点の導出方法に関し、特にＷＷＷロボットによる検索を
行う場合において、開始点となる複数個の探索基準点か
ら最適な検索順序を求めるためのＷＷＷロボット検出シ
ステムに関する。
【０００２】
【従来の技術】ＷＷＷロボット検索システムは、ＷＷＷ
サーバ内部のＷＷＷページの構造や各ＷＷＷページの更
新を検出する機能を有することを特徴とするシステムで
ある。ＷＷＷロボット検索システムは、特定のＷＷＷサ
ーバのトップページやある特定のＷＷＷページを始点と
してＷＷＷサーバの検索を実施し、検索によって取得し
たＷＷＷページ情報からページを記述しているＨＴＭＬ
（ＨｙｐｅｒＴｅｘｔＭａｋｅｕｐ Ｌａｎｇｕａｇ
ｅ）を解析して、このＷＷＷページからハイパーリンク
されている次のＷＷＷページの位置を抽出する。なお、
ＨＴＭＬは、ＷＷＷにおいてクライアントとサーバとが
通信するためのプロトコルであるＨＴＴＰ（Ｈｙｐｅｒ
Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｃｏｌ）にした
がってハイパーテキストを記述するための言語である。
サーバ内部のＷＷＷページの構造や各ＷＷＷページの更
新を検出する機能を有することを特徴とするシステムで
ある。ＷＷＷロボット検索システムは、特定のＷＷＷサ
ーバのトップページやある特定のＷＷＷページを始点と
してＷＷＷサーバの検索を実施し、検索によって取得し
たＷＷＷページ情報からページを記述しているＨＴＭＬ
（ＨｙｐｅｒＴｅｘｔＭａｋｅｕｐ Ｌａｎｇｕａｇ
ｅ）を解析して、このＷＷＷページからハイパーリンク
されている次のＷＷＷページの位置を抽出する。なお、
ＨＴＭＬは、ＷＷＷにおいてクライアントとサーバとが
通信するためのプロトコルであるＨＴＴＰ（Ｈｙｐｅｒ
Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｃｏｌ）にした
がってハイパーテキストを記述するための言語である。
【０００３】また、この検索システムは、ＷＷＷサーバ
ーを検索していく過程において検出した、新規に作成さ
れたＷＷＷページ、変更されたＷＷＷページ、削除され
たＷＷＷページの内容と位置情報を記憶する。ＷＷＷロ
ボットは前述の手順により目的のＷＷＷサーバ内部のＷ
ＷＷページの構造、更新履歴の管理を行う。
ーを検索していく過程において検出した、新規に作成さ
れたＷＷＷページ、変更されたＷＷＷページ、削除され
たＷＷＷページの内容と位置情報を記憶する。ＷＷＷロ
ボットは前述の手順により目的のＷＷＷサーバ内部のＷ
ＷＷページの構造、更新履歴の管理を行う。
【０００４】しかしながら、従来のＷＷＷ検索ロボット
においては、検索の開始位置は必ず操作者によって予め
指定されており、同様に検索順序も操作者があらかじめ
指定されている。ＷＷＷ検索ロボットの検索処理は、操
作者があらかじめ指定した検索の開始位置と検索順序か
ら、順次ＨＴＭＬを解析しＷＷＷページを取得するルー
ルに基づいて処理している。
においては、検索の開始位置は必ず操作者によって予め
指定されており、同様に検索順序も操作者があらかじめ
指定されている。ＷＷＷ検索ロボットの検索処理は、操
作者があらかじめ指定した検索の開始位置と検索順序か
ら、順次ＨＴＭＬを解析しＷＷＷページを取得するルー
ルに基づいて処理している。
【０００５】このように操作者が事前に指定したパラメ
ータをそのままで用いるような検索ルールで動くＷＷＷ
ロボット検索システムにおいては、広範囲に多くのＷＷ
Ｗページを取得する場合にＷＷＷロボットが検索する範
囲と検索時間、およびネットワークへの負荷は、検索す
るＷＷＷサーバの数とハイパーリンク（ＨｙｐｅｒＬｉ
ｎｋ）の深さの積算に比例する。
ータをそのままで用いるような検索ルールで動くＷＷＷ
ロボット検索システムにおいては、広範囲に多くのＷＷ
Ｗページを取得する場合にＷＷＷロボットが検索する範
囲と検索時間、およびネットワークへの負荷は、検索す
るＷＷＷサーバの数とハイパーリンク（ＨｙｐｅｒＬｉ
ｎｋ）の深さの積算に比例する。
【０００６】従来の文書検索システムにおいて、利用者
から指示された語句を含む文書を検索するに当たり、記
憶された文書全体を対象として全文検索を行う機能と、
各文書から予め抽出された語句により構成される索引を
参照して指示語句を含む文書を検索するキーワード検索
機能とを備え、さらにこれら両機能のいずれを利用すべ
きかを、指示された語句その他の条件から判定し、この
判定結果にしたがっていずれか有利な検索を行う判定手
段を備えた文書検索システムも提案されている（例え
ば、特開平１０−２１２５５号公報）。しかし、この文
書検索システムでは、全文検索、キーワード検索のいず
れが有利かについてのみ判定するものであり、検索開始
の基準点や検索順序は所定基準に従って実行される。
から指示された語句を含む文書を検索するに当たり、記
憶された文書全体を対象として全文検索を行う機能と、
各文書から予め抽出された語句により構成される索引を
参照して指示語句を含む文書を検索するキーワード検索
機能とを備え、さらにこれら両機能のいずれを利用すべ
きかを、指示された語句その他の条件から判定し、この
判定結果にしたがっていずれか有利な検索を行う判定手
段を備えた文書検索システムも提案されている（例え
ば、特開平１０−２１２５５号公報）。しかし、この文
書検索システムでは、全文検索、キーワード検索のいず
れが有利かについてのみ判定するものであり、検索開始
の基準点や検索順序は所定基準に従って実行される。
【０００７】これら従来のＷＷＷロボット検索システム
においては、必ず操作者の指定した開始点から、順次ハ
イパーリンクされているＷＷＷページを継続的に検索す
る。しかし、現在のＷＷＷサーバ内部のＷＷＷページの
構造は複雑、かつ、ハイパーリンクの階層も非常に深く
なっており、操作者が事前に開始点を与えて、本情報を
基に順次検索を行う従来の検索ルールでは、ＷＷＷサー
バ内部で実際に変更されたＷＷＷページに到達するまで
非常に多くの時間を要するといった問題点が指摘されて
いる。さらに、ＷＷＷサーバ検索はネットワークを経由
して行う関係から、不要な検索を多く行うことによりネ
ットワークリソースを浪費し、さらに、ネットワーク負
荷を増大させてしまうという問題点もある。
においては、必ず操作者の指定した開始点から、順次ハ
イパーリンクされているＷＷＷページを継続的に検索す
る。しかし、現在のＷＷＷサーバ内部のＷＷＷページの
構造は複雑、かつ、ハイパーリンクの階層も非常に深く
なっており、操作者が事前に開始点を与えて、本情報を
基に順次検索を行う従来の検索ルールでは、ＷＷＷサー
バ内部で実際に変更されたＷＷＷページに到達するまで
非常に多くの時間を要するといった問題点が指摘されて
いる。さらに、ＷＷＷサーバ検索はネットワークを経由
して行う関係から、不要な検索を多く行うことによりネ
ットワークリソースを浪費し、さらに、ネットワーク負
荷を増大させてしまうという問題点もある。
【０００８】
【発明が解決しようとする課題】本発明の課題は、上述
のような従来技術の問題点を解消し、ＷＷＷサーバ内の
各ＷＷＷページの更新頻度と更新期待度を導出し、これ
ら２つから最適な検索開始点の検索順序を自動的に導出
することであり、またＷＷＷロボットによる検索時のネ
ットワークへの負荷を軽減するＷＷＷロボット検索シス
テムを提供することにある。
のような従来技術の問題点を解消し、ＷＷＷサーバ内の
各ＷＷＷページの更新頻度と更新期待度を導出し、これ
ら２つから最適な検索開始点の検索順序を自動的に導出
することであり、またＷＷＷロボットによる検索時のネ
ットワークへの負荷を軽減するＷＷＷロボット検索シス
テムを提供することにある。
【０００９】
【課題を解決するための手段】本発明は、ＷＷＷロボッ
ト検索システムがＷＷＷページを検索するための優先順
位の決定を自動的に導出して、それに従って実際のＷＷ
Ｗページの検索を実施する。より具体的には、図１に示
すように、ＷＷＷロボット検索システムは、検索した結
果より任意のＷＷＷページの更新頻度を演算する更新頻
度演算エンジン２２と、ＷＷＷページの更新頻度から任
意の時間における更新期待値を演算する更新期待度演算
エンジン２３と、更新頻度と更新期待度の値からＷＷＷ
ページの検索優先順位を自動抽出する検索順序テーブル
作成エンジン２４と、を具備している。
ト検索システムがＷＷＷページを検索するための優先順
位の決定を自動的に導出して、それに従って実際のＷＷ
Ｗページの検索を実施する。より具体的には、図１に示
すように、ＷＷＷロボット検索システムは、検索した結
果より任意のＷＷＷページの更新頻度を演算する更新頻
度演算エンジン２２と、ＷＷＷページの更新頻度から任
意の時間における更新期待値を演算する更新期待度演算
エンジン２３と、更新頻度と更新期待度の値からＷＷＷ
ページの検索優先順位を自動抽出する検索順序テーブル
作成エンジン２４と、を具備している。
【００１０】
【作用】ＷＷＷサーバ・ページ構造記憶部３２は、ＷＷ
Ｗサーバ検索エンジン２１が検索した結果であるＷＷＷ
サーバ内部のＷＷＷページの情報とページ間の繋がりを
表す構造情報を記憶している。ＷＷＷサーバ・ページ更
新頻度演算エンジン２２は、ＷＷＷページの構造情報か
ら各々のＷＷＷページの更新頻度の値を演算し、その結
果をＷＷＷサーバ・ページ更新頻度記憶部３３に記憶さ
せる。
Ｗサーバ検索エンジン２１が検索した結果であるＷＷＷ
サーバ内部のＷＷＷページの情報とページ間の繋がりを
表す構造情報を記憶している。ＷＷＷサーバ・ページ更
新頻度演算エンジン２２は、ＷＷＷページの構造情報か
ら各々のＷＷＷページの更新頻度の値を演算し、その結
果をＷＷＷサーバ・ページ更新頻度記憶部３３に記憶さ
せる。
【００１１】ＷＷＷサーバ・ページ更新期待度演算エン
ジン２３は更新頻度記憶部３３の情報からある時刻にお
ける各々のＷＷＷページが更新される期待度を演算する
ためのパラメータを自動生成して、このパラメータをＷ
ＷＷサーバ・ページ更新期待度記憶部３４に記憶させ
る。ＷＷＷサーバ検索順序テーブル作成エンジン２４は
更新頻度と更新期待度から次回、ＷＷＷサーバ検索エン
ジン２１が検索を実行する際に、どのＷＷＷサーバのペ
ージから検索しているかを順序付けたテーブルを自動生
成する。
ジン２３は更新頻度記憶部３３の情報からある時刻にお
ける各々のＷＷＷページが更新される期待度を演算する
ためのパラメータを自動生成して、このパラメータをＷ
ＷＷサーバ・ページ更新期待度記憶部３４に記憶させ
る。ＷＷＷサーバ検索順序テーブル作成エンジン２４は
更新頻度と更新期待度から次回、ＷＷＷサーバ検索エン
ジン２１が検索を実行する際に、どのＷＷＷサーバのペ
ージから検索しているかを順序付けたテーブルを自動生
成する。
【００１２】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１を参照すると、
本発明の第一の実施の形態は、キーボートやディスプレ
イなどの入出力装置１とプログラム制御により動作する
演算処理部２と、情報を記憶する記憶装置３、そしてイ
ンターネット等を介して外部のＷＷＷサーバと情報のや
り取りを行うネットワーク通信装置４とを含む。
て図面を参照して詳細に説明する。図１を参照すると、
本発明の第一の実施の形態は、キーボートやディスプレ
イなどの入出力装置１とプログラム制御により動作する
演算処理部２と、情報を記憶する記憶装置３、そしてイ
ンターネット等を介して外部のＷＷＷサーバと情報のや
り取りを行うネットワーク通信装置４とを含む。
【００１３】記憶装置３は、検索スケジュール記憶部３
１と、ＷＷＷサーバ・ページ構造記憶部３２、ＷＷＷサ
ーバ・ページ更新頻度記憶部３３、ＷＷＷサーバ・ペー
ジ更新期待値記憶部３４、検索順序テーブル３５とを備
える。
１と、ＷＷＷサーバ・ページ構造記憶部３２、ＷＷＷサ
ーバ・ページ更新頻度記憶部３３、ＷＷＷサーバ・ペー
ジ更新期待値記憶部３４、検索順序テーブル３５とを備
える。
【００１４】検索スケジュール記憶部３１は、過去にＷ
ＷＷサーバを検索した開始時間と検索に要した時間の履
歴情報を記憶する。
ＷＷサーバを検索した開始時間と検索に要した時間の履
歴情報を記憶する。
【００１５】ＷＷＷサーバ・ページ構造記憶部３２は、
検索することによって得られたＷＷＷサーバ内に配置さ
れているＷＷＷページの文章の内容とこれらＷＷＷペー
ジが各々どのような接続関係にあるのかを記憶する。
検索することによって得られたＷＷＷサーバ内に配置さ
れているＷＷＷページの文章の内容とこれらＷＷＷペー
ジが各々どのような接続関係にあるのかを記憶する。
【００１６】ＷＷＷサーバ・ページ更新頻度記憶部３３
は、各ＷＷＷページの更新頻度の度合いを算出して数値
化した情報を記憶する。
は、各ＷＷＷページの更新頻度の度合いを算出して数値
化した情報を記憶する。
【００１７】ＷＷＷサーバ・ページ更新期待値記憶部３
４は、各ＷＷＷページが任意の時間の時点で更新されて
いると期待される可能性を算出して数値化した情報を記
憶する。
４は、各ＷＷＷページが任意の時間の時点で更新されて
いると期待される可能性を算出して数値化した情報を記
憶する。
【００１８】検索順序テーブル３５は、次回に検索を行
う場合に、どのＷＷＷサーバのどのＷＷＷページから検
索するのかという観点から優先順序づけられた情報を記
憶する。
う場合に、どのＷＷＷサーバのどのＷＷＷページから検
索するのかという観点から優先順序づけられた情報を記
憶する。
【００１９】演算処理部２は、ＷＷＷサーバ検索エンジ
ン２１と、ＷＷＷサーバ・ページ更新頻度演算エンジン
２２、ＷＷＷサーバ・ページ更新期待値演算エンジン２
３、ＷＷＷサーバ検索順序テーブル作成エンジン２４と
を備える。
ン２１と、ＷＷＷサーバ・ページ更新頻度演算エンジン
２２、ＷＷＷサーバ・ページ更新期待値演算エンジン２
３、ＷＷＷサーバ検索順序テーブル作成エンジン２４と
を備える。
【００２０】ＷＷＷサーバ検索エンジン２１は、入出力
装置１からの実行命令を契機として検索順序テーブルが
記憶している順序情報に従って、ネットワーク装置４を
経由して外部のＷＷＷサーバ・ページの検索を実施す
る。検索の結果、ＷＷＷページの更新や新規ＷＷＷペー
ジの追加・削除、およびＷＷＷページ間のハイパーリン
ク関係といった情報をＷＷＷサーバ・ページ構造記憶部
３２に記憶させる。ＷＷＷページを検索した時間の情報
は検索スケジュール記憶部３１に記憶させる。
装置１からの実行命令を契機として検索順序テーブルが
記憶している順序情報に従って、ネットワーク装置４を
経由して外部のＷＷＷサーバ・ページの検索を実施す
る。検索の結果、ＷＷＷページの更新や新規ＷＷＷペー
ジの追加・削除、およびＷＷＷページ間のハイパーリン
ク関係といった情報をＷＷＷサーバ・ページ構造記憶部
３２に記憶させる。ＷＷＷページを検索した時間の情報
は検索スケジュール記憶部３１に記憶させる。
【００２１】ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２は、ＷＷＷサーバ・ページ構造記憶部３２が記憶
しているＷＷＷページの更新情報やハイパーリンク情報
とＷＷＷサーバ・ページ更新頻度記憶部３３が記憶して
いるＷＷＷページ毎の更新頻度に関する情報を基に新た
に各々のＷＷＷページの更新頻度を演算して、演算結果
をＷＷＷサーバ・ページ更新頻度記憶部３３に記憶させ
る。
ン２２は、ＷＷＷサーバ・ページ構造記憶部３２が記憶
しているＷＷＷページの更新情報やハイパーリンク情報
とＷＷＷサーバ・ページ更新頻度記憶部３３が記憶して
いるＷＷＷページ毎の更新頻度に関する情報を基に新た
に各々のＷＷＷページの更新頻度を演算して、演算結果
をＷＷＷサーバ・ページ更新頻度記憶部３３に記憶させ
る。
【００２２】ＷＷＷサーバ・ページ更新期待値演算エン
ジン２３は、ＷＷＷサーバ・ページ更新頻度記憶部３３
が記憶している情報を元に、各ＷＷＷページが任意の時
間の時点で更新されていると期待される度合いを演算し
て、その結果をＷＷＷサーバページ更新期待値記憶部34
に記憶させる。
ジン２３は、ＷＷＷサーバ・ページ更新頻度記憶部３３
が記憶している情報を元に、各ＷＷＷページが任意の時
間の時点で更新されていると期待される度合いを演算し
て、その結果をＷＷＷサーバページ更新期待値記憶部34
に記憶させる。
【００２３】ＷＷＷサーバ検索順序テーブル作成エンジ
ン２４は、入出力装置１から入力されたキーとＷＷＷサ
ーバ・ページ更新頻度記憶部３３、およびＷＷＷサーバ
・ページ更新期待度記憶部３４が記憶している情報から
検索順序を演算して、その結果を検索順序テーブル３５
に記憶させる。
ン２４は、入出力装置１から入力されたキーとＷＷＷサ
ーバ・ページ更新頻度記憶部３３、およびＷＷＷサーバ
・ページ更新期待度記憶部３４が記憶している情報から
検索順序を演算して、その結果を検索順序テーブル３５
に記憶させる。
【００２４】
【動作の説明】次に、図１、図２、図３、図４、図５を
参照して本発明にかかる構成の動作について詳細に説明
する。
参照して本発明にかかる構成の動作について詳細に説明
する。
【００２５】入出力装置１からの実行指示を受信を契機
に、ＷＷＷサーバ検索エンジン２１は検索順序テーブル
３５があらかじめ記憶している検索順序に従ってネット
ワーク通信装置４を用いて外部のＷＷＷサーバからＷＷ
Ｗページの情報を取得する。検索によって取得するＷＷ
Ｗページ情報は、「現在検索しているＷＷＷページを記
述しているＨＴＭＬ」、「現在検索しているＷＷＷペー
ジが前回検索したときから更新されているか」、「現在
検索しているＷＷＷページをハイパーリンクしていた親
のＷＷＷページ」、「現在検索しているＷＷＷページが
ハイパーリンクしている子のＷＷＷページ」の４つであ
る。ＷＷＷサーバ検索エンジン２１はこれら４つのＷＷ
Ｗページに関する情報をＷＷＷサーバ・ページ構造記憶
部３２に記憶させる。
に、ＷＷＷサーバ検索エンジン２１は検索順序テーブル
３５があらかじめ記憶している検索順序に従ってネット
ワーク通信装置４を用いて外部のＷＷＷサーバからＷＷ
Ｗページの情報を取得する。検索によって取得するＷＷ
Ｗページ情報は、「現在検索しているＷＷＷページを記
述しているＨＴＭＬ」、「現在検索しているＷＷＷペー
ジが前回検索したときから更新されているか」、「現在
検索しているＷＷＷページをハイパーリンクしていた親
のＷＷＷページ」、「現在検索しているＷＷＷページが
ハイパーリンクしている子のＷＷＷページ」の４つであ
る。ＷＷＷサーバ検索エンジン２１はこれら４つのＷＷ
Ｗページに関する情報をＷＷＷサーバ・ページ構造記憶
部３２に記憶させる。
【００２６】ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２はＷＷＷサーバ・ページ構造記憶部３２が記憶し
ている情報を基に、ＷＷＷサーバやＷＷＷページの更新
の頻度の度合いを示すＷＷＷサーバ・ページ更新頻度を
演算して決定する。
ン２２はＷＷＷサーバ・ページ構造記憶部３２が記憶し
ている情報を基に、ＷＷＷサーバやＷＷＷページの更新
の頻度の度合いを示すＷＷＷサーバ・ページ更新頻度を
演算して決定する。
【００２７】ＷＷＷサーバ検索エンジン２１で検索した
ＷＷＷサーバ内部のＷＷＷページの構造は図２のような
パーセプトロン型のニューラルネットと同等の形状をし
ている。そこで、本発明では各ＷＷＷページのニューラ
ルネットのノードと見なし、更新頻度を各ＷＷＷページ
（ノード）の持つ重みがＷＷＷページの更新頻度に相当
すると考えて各ＷＷＷページの更新頻度を演算してい
く。図２のようなＷＷＷページ構造をしているＷＷＷサ
ーバの場合、ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２は任意のＷＷＷページa の更新頻度をＷＷＷペー
ジa からハイパーリンクする子のＷＷＷページの更新頻
度と現状のＷＷＷページa の更新頻度の値から図２に示
す式(1) を用いて求める。
ＷＷＷサーバ内部のＷＷＷページの構造は図２のような
パーセプトロン型のニューラルネットと同等の形状をし
ている。そこで、本発明では各ＷＷＷページのニューラ
ルネットのノードと見なし、更新頻度を各ＷＷＷページ
（ノード）の持つ重みがＷＷＷページの更新頻度に相当
すると考えて各ＷＷＷページの更新頻度を演算してい
く。図２のようなＷＷＷページ構造をしているＷＷＷサ
ーバの場合、ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２は任意のＷＷＷページa の更新頻度をＷＷＷペー
ジa からハイパーリンクする子のＷＷＷページの更新頻
度と現状のＷＷＷページa の更新頻度の値から図２に示
す式(1) を用いて求める。
【００２８】ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２はＷＷＷサーバ内の全てのＷＷＷページの更新頻
度を導出する手法として、任意のＷＷＷページに着目し
て、その着目したＷＷＷページの更新頻度を演算してい
く手法を用いる。着目するＷＷＷページの決定手順を以
下で説明していく。
ン２２はＷＷＷサーバ内の全てのＷＷＷページの更新頻
度を導出する手法として、任意のＷＷＷページに着目し
て、その着目したＷＷＷページの更新頻度を演算してい
く手法を用いる。着目するＷＷＷページの決定手順を以
下で説明していく。
【００２９】第一に、ＷＷＷサーバ・ページ更新頻度演
算エンジン２２は、ＷＷＷサーバ・ページ構造記憶部３
２が記憶しているＷＷＷページの中で最下部に位置する
子のＷＷＷページに着目して、このページのＷＷＷサー
バ・ページ更新頻度を導出する。第二に、先ほど更新頻
度を導出したページにマークを付ける。第三に、ＷＷＷ
サーバ・ページ更新頻度演算エンジン２２は、ＷＷＷサ
ーバ・ページ構造記憶部３２が記憶しているＷＷＷペー
ジの中でマークの付いていないＷＷＷページの中で最下
部に位置する子のＷＷＷページを次の着目するＷＷＷペ
ージとする。以後、この手順を繰り返すことによりＷＷ
Ｗページの更新頻度を導出していく。
算エンジン２２は、ＷＷＷサーバ・ページ構造記憶部３
２が記憶しているＷＷＷページの中で最下部に位置する
子のＷＷＷページに着目して、このページのＷＷＷサー
バ・ページ更新頻度を導出する。第二に、先ほど更新頻
度を導出したページにマークを付ける。第三に、ＷＷＷ
サーバ・ページ更新頻度演算エンジン２２は、ＷＷＷサ
ーバ・ページ構造記憶部３２が記憶しているＷＷＷペー
ジの中でマークの付いていないＷＷＷページの中で最下
部に位置する子のＷＷＷページを次の着目するＷＷＷペ
ージとする。以後、この手順を繰り返すことによりＷＷ
Ｗページの更新頻度を導出していく。
【００３０】８つのＷＷＷページが図３のような関係で
ハイパーリンクされている場合には、演算順序は、例え
ば図３の枠１内に示すように『ページ８→ページ５→ペ
ージ６→ページ７→ページ２→ページ３→ページ４→ペ
ージ１』という具合に演算していく。
ハイパーリンクされている場合には、演算順序は、例え
ば図３の枠１内に示すように『ページ８→ページ５→ペ
ージ６→ページ７→ページ２→ページ３→ページ４→ペ
ージ１』という具合に演算していく。
【００３１】ＷＷＷサーバ・ページ更新頻度演算エンジ
ン２２は上記で述べた手法により各々のＷＷＷページの
更新頻度を導き出し、求めた更新頻度をＷＷＷサーバ・
ページ更新頻度記憶部３３に記憶させる。
ン２２は上記で述べた手法により各々のＷＷＷページの
更新頻度を導き出し、求めた更新頻度をＷＷＷサーバ・
ページ更新頻度記憶部３３に記憶させる。
【００３２】ＷＷＷサーバ・ページ更新期待度演算エン
ジン２３は、ある時点におけるＷＷＷページの更新され
ていると期待できる度合いの値を演算して、その結果を
ＷＷＷサーバ・ページ更新期待度記憶部３４に記憶させ
る。
ジン２３は、ある時点におけるＷＷＷページの更新され
ていると期待できる度合いの値を演算して、その結果を
ＷＷＷサーバ・ページ更新期待度記憶部３４に記憶させ
る。
【００３３】ＷＷＷサーバ・ページ更新期待度エンジン
２３は、各々のＷＷＷページの更新期待度を求める手法
として次の手法を用いて演算する。ＷＷＷサーバ・ペー
ジ更新期待度演算エンジン２３はＷＷＷページの更新期
待を演算する場合に、検索スケジュール記憶部３１が記
憶している前回検索を実施した時点から現在検索を実施
した時点に至るまでの経過時間と、ＷＷＷサーバ・ペー
ジ更新頻度記憶部３３が記憶している更新頻度ｗを用い
て、更新期待度Ｅx を導き出すための図４の式（１）の
パラメータεを図４の式（２）を用いて演算する。任意
の時刻ｔにおける更新期待度Ｅx は図４の式（１）から
導出する。
２３は、各々のＷＷＷページの更新期待度を求める手法
として次の手法を用いて演算する。ＷＷＷサーバ・ペー
ジ更新期待度演算エンジン２３はＷＷＷページの更新期
待を演算する場合に、検索スケジュール記憶部３１が記
憶している前回検索を実施した時点から現在検索を実施
した時点に至るまでの経過時間と、ＷＷＷサーバ・ペー
ジ更新頻度記憶部３３が記憶している更新頻度ｗを用い
て、更新期待度Ｅx を導き出すための図４の式（１）の
パラメータεを図４の式（２）を用いて演算する。任意
の時刻ｔにおける更新期待度Ｅx は図４の式（１）から
導出する。
【００３４】ＷＷＷサーバ検索順序テーブル作成エンジ
ン２４がＷＷＷ検索ロボットの検索順序情報を作成する
手順は以下のとおりである。ＷＷＷサーバ検索順序テー
ブル作成エンジン２４は、第一にＷＷＷサーバ・ページ
構造記憶部３２が記憶しているＷＷＷページ情報を検索
順序テーブル３５へ複写する（図５の表5-1 ）。
ン２４がＷＷＷ検索ロボットの検索順序情報を作成する
手順は以下のとおりである。ＷＷＷサーバ検索順序テー
ブル作成エンジン２４は、第一にＷＷＷサーバ・ページ
構造記憶部３２が記憶しているＷＷＷページ情報を検索
順序テーブル３５へ複写する（図５の表5-1 ）。
【００３５】第二に、ＷＷＷサーバ検索順序テーブル作
成エンジン２４は、ＷＷＷサーバ・ページ更新期待度記
憶部３４、および検索スケジュール記憶部３１が記憶し
ている情報から、各ＷＷＷページの更新確信度を演算し
て、その結果を検索順序テーブル３５に記憶させる（図
５の表5-2 ）。
成エンジン２４は、ＷＷＷサーバ・ページ更新期待度記
憶部３４、および検索スケジュール記憶部３１が記憶し
ている情報から、各ＷＷＷページの更新確信度を演算し
て、その結果を検索順序テーブル３５に記憶させる（図
５の表5-2 ）。
【００３６】第三にＷＷＷサーバ検索順序テーブル作成
エンジン２４は、演算によって求めた各ＷＷＷページの
更新期待度を値の大きいものが検索の優先順位の高いも
のと見なして、検索順序テーブル３５の情報を優先順序
の高い順に並び替える（図５の表5-3 ）。
エンジン２４は、演算によって求めた各ＷＷＷページの
更新期待度を値の大きいものが検索の優先順位の高いも
のと見なして、検索順序テーブル３５の情報を優先順序
の高い順に並び替える（図５の表5-3 ）。
【００３７】第四にＷＷＷサーバ検索順序テーブル作成
エンジン２４は、入出力装置１を介して人間（操作者）
から与えられた条件に従って、検索順序テーブル３５が
記憶している情報の中から条件に合わないＷＷＷページ
情報を削除する（図５の表5-4 ）。
エンジン２４は、入出力装置１を介して人間（操作者）
から与えられた条件に従って、検索順序テーブル３５が
記憶している情報の中から条件に合わないＷＷＷページ
情報を削除する（図５の表5-4 ）。
【００３８】
【発明の効果】本発明にかかるＷＷＷロボット検索シス
テムによって得られる効果は、対象としているＷＷＷペ
ージとそのＷＷＷページがハイパーリンクする子のＷＷ
Ｗページの更新状態から、対象としているＷＷＷページ
のある時刻における更新期待度を自動生成して、その結
果を基にして次回の検索時の優先順序を決定することで
ある。これにより、ＷＷＷロボットは更新されている期
待度の高いＷＷＷページから先に検索していくことにな
るので、更新されているＷＷＷページの情報をすばやく
取得することが可能となる。
テムによって得られる効果は、対象としているＷＷＷペ
ージとそのＷＷＷページがハイパーリンクする子のＷＷ
Ｗページの更新状態から、対象としているＷＷＷページ
のある時刻における更新期待度を自動生成して、その結
果を基にして次回の検索時の優先順序を決定することで
ある。これにより、ＷＷＷロボットは更新されている期
待度の高いＷＷＷページから先に検索していくことにな
るので、更新されているＷＷＷページの情報をすばやく
取得することが可能となる。
【００３９】また、検索テーブルを作成時に人間（操作
者）の与える条件に従って検索するに値しないＷＷＷペ
ージを間引きできる（図５の表5-4 ）ので、不要な検索
作業を軽減させて、ＷＷＷロボット検索システムが検索
する際に発生するネットワークへの負荷を軽減すること
ができる。
者）の与える条件に従って検索するに値しないＷＷＷペ
ージを間引きできる（図５の表5-4 ）ので、不要な検索
作業を軽減させて、ＷＷＷロボット検索システムが検索
する際に発生するネットワークへの負荷を軽減すること
ができる。
【図１】本発明の実施の形態の構成を示すブロック図で
ある。
ある。
【図２】本発明の実施の形態の動作の更新頻度の演算方
法を示す説明図である。
法を示す説明図である。
【図３】本発明の実施の形態の動作の更新頻度演算時の
演算順序の具体例を示す説明図である。
演算順序の具体例を示す説明図である。
【図４】本発明の実施の形態の動作の更新期待度の演算
方法を示す説明図である。
方法を示す説明図である。
【図５】本発明の実施の形態の動作の検索テーブル作成
方法を示す説明図である。
方法を示す説明図である。
１ 入出力装置 ２ 演算処理部 ３ 記憶装置 ４ ネットワーク通信装置 ２１ ＷＷＷ サーバ検索エンジン ２２ ＷＷＷ サーバ・ページ更新頻度演算エンジン ２３ ＷＷＷ サーバ・ページ更新期待度演算エンジン ２４ ＷＷＷ サーバ検索順序テーブル作成エンジン ３１ 検索スケジュール記憶部 ３２ ＷＷＷ サーバ・ページ構造記憶部 ３３ ＷＷＷ サーバ・ページ更新頻度記憶部 ３４ ＷＷＷ サーバ・ページ更新期待度記憶部 ３５ ＷＷＷ サーバ検索順序テーブル
Claims (6)
- 【請求項１】 ＷＷＷページ検索時に自動生成された検
索順序に従って検索を実施することを特徴とするＷＷＷ
ロボット検索システム。 - 【請求項２】 ＷＷＷページ検索時に開始点となり得る
複数の探索基準点から最適の基準点を特定し、自動生成
された検索順序に従って検索を実施することを特徴とす
るＷＷＷロボット検索システム。 - 【請求項３】 ＷＷＷロボットが検索したＷＷＷページ
の構造を基に任意のＷＷＷページの更新頻度を自動的に
抽出することを特徴とするＷＷＷロボット検索システ
ム。 - 【請求項４】 ＷＷＷページ間のハイパーリンク関係に
よって各ＷＷＷページから一意に求まる更新頻度から、
任意の時間における更新期待度を自動抽出することを特
徴とするＷＷＷロボット検索システム。 - 【請求項５】 各ＷＷＷページの更新頻度と更新期待度
からＷＷＷロボットが検索する場合の検索先の優先順序
を自動生成することを特徴とするＷＷＷロボット検索シ
ステム。 - 【請求項６】 各ＷＷＷページの更新頻度を演算する更
新頻度演算エンジンと、ＷＷＷページの更新頻度から任
意の時間における更新期待値を演算する更新期待度演算
エンジンと、更新頻度の値と更新期待度の値からＷＷＷ
ロボットが検索する場合の検索優先順位を自動抽出する
検索順序テーブル作成エンジンと、を具備することを特
徴とするＷＷＷロボット検索システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10129829A JPH11328191A (ja) | 1998-05-13 | 1998-05-13 | Ｗｗｗロボット検索システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10129829A JPH11328191A (ja) | 1998-05-13 | 1998-05-13 | Ｗｗｗロボット検索システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11328191A true JPH11328191A (ja) | 1999-11-30 |
Family
ID=15019266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10129829A Pending JPH11328191A (ja) | 1998-05-13 | 1998-05-13 | Ｗｗｗロボット検索システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11328191A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010102814A (ko) * | 2000-05-02 | 2001-11-16 | 황용길 | 클라이언트 프로그램을 이용한 웹사이트 정보 제공 방법및 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체 |
| JP2001337708A (ja) * | 2000-05-30 | 2001-12-07 | Nec Corp | 生産設備制御システム及び方法 |
| EP1120717A3 (en) * | 2000-01-28 | 2002-09-11 | Microsoft Corporation | Adaptive web crawling using a statistical model |
| JP2004118415A (ja) * | 2002-09-25 | 2004-04-15 | Fujitsu Ltd | 情報収集方法及びその方法における処理をコンピュータに行なわせるためのプログラム |
| JP2005189959A (ja) * | 2003-12-24 | 2005-07-14 | Canon Inc | 情報処理方法、情報処理装置、制御プログラム及び記憶媒体 |
| US7584221B2 (en) | 2004-03-18 | 2009-09-01 | Microsoft Corporation | Field weighting in text searching |
| JP2009223507A (ja) * | 2008-03-14 | 2009-10-01 | Mitsubishi Electric Corp | 周期更新データ管理システム |
| US7599917B2 (en) | 2005-08-15 | 2009-10-06 | Microsoft Corporation | Ranking search results using biased click distance |
| JP2011215912A (ja) * | 2010-03-31 | 2011-10-27 | Yahoo Japan Corp | クローラ管理システム及び方法 |
| US8095565B2 (en) | 2005-12-05 | 2012-01-10 | Microsoft Corporation | Metadata driven user interface |
| US8843486B2 (en) | 2004-09-27 | 2014-09-23 | Microsoft Corporation | System and method for scoping searches using index keys |
| US9348912B2 (en) | 2007-10-18 | 2016-05-24 | Microsoft Technology Licensing, Llc | Document length as a static relevance feature for ranking search results |
| US9495462B2 (en) | 2012-01-27 | 2016-11-15 | Microsoft Technology Licensing, Llc | Re-ranking search results |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1049553A (ja) * | 1996-08-05 | 1998-02-20 | Toshiba Corp | 情報収集方法 |
| JPH1091638A (ja) * | 1996-09-17 | 1998-04-10 | Toshiba Corp | 検索システム |
-
1998
- 1998-05-13 JP JP10129829A patent/JPH11328191A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1049553A (ja) * | 1996-08-05 | 1998-02-20 | Toshiba Corp | 情報収集方法 |
| JPH1091638A (ja) * | 1996-09-17 | 1998-04-10 | Toshiba Corp | 検索システム |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7328401B2 (en) | 2000-01-28 | 2008-02-05 | Microsoft Corporation | Adaptive web crawling using a statistical model |
| EP1120717A3 (en) * | 2000-01-28 | 2002-09-11 | Microsoft Corporation | Adaptive web crawling using a statistical model |
| US7603616B2 (en) | 2000-01-28 | 2009-10-13 | Microsoft Corporation | Proxy server using a statistical model |
| KR20010102814A (ko) * | 2000-05-02 | 2001-11-16 | 황용길 | 클라이언트 프로그램을 이용한 웹사이트 정보 제공 방법및 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체 |
| JP2001337708A (ja) * | 2000-05-30 | 2001-12-07 | Nec Corp | 生産設備制御システム及び方法 |
| JP2004118415A (ja) * | 2002-09-25 | 2004-04-15 | Fujitsu Ltd | 情報収集方法及びその方法における処理をコンピュータに行なわせるためのプログラム |
| JP2005189959A (ja) * | 2003-12-24 | 2005-07-14 | Canon Inc | 情報処理方法、情報処理装置、制御プログラム及び記憶媒体 |
| US7584221B2 (en) | 2004-03-18 | 2009-09-01 | Microsoft Corporation | Field weighting in text searching |
| US8843486B2 (en) | 2004-09-27 | 2014-09-23 | Microsoft Corporation | System and method for scoping searches using index keys |
| US7599917B2 (en) | 2005-08-15 | 2009-10-06 | Microsoft Corporation | Ranking search results using biased click distance |
| US8095565B2 (en) | 2005-12-05 | 2012-01-10 | Microsoft Corporation | Metadata driven user interface |
| US9348912B2 (en) | 2007-10-18 | 2016-05-24 | Microsoft Technology Licensing, Llc | Document length as a static relevance feature for ranking search results |
| JP2009223507A (ja) * | 2008-03-14 | 2009-10-01 | Mitsubishi Electric Corp | 周期更新データ管理システム |
| JP2011215912A (ja) * | 2010-03-31 | 2011-10-27 | Yahoo Japan Corp | クローラ管理システム及び方法 |
| US9495462B2 (en) | 2012-01-27 | 2016-11-15 | Microsoft Technology Licensing, Llc | Re-ranking search results |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7844594B1 (en) | Information search, retrieval and distillation into knowledge objects | |
| US20010020238A1 (en) | Document searching apparatus, method thereof, and record medium thereof | |
| US7756860B2 (en) | Advanced handling of multiple form fields based on recent behavior | |
| US20070112777A1 (en) | Identification and automatic propagation of geo-location associations to un-located documents | |
| KR20160124079A (ko) | 인-메모리 데이터베이스 탐색을 위한 시스템 및 방법 | |
| JP2006525601A (ja) | 概念ネットワーク | |
| JPH1166081A (ja) | プロファイル取得システム、情報提供システム、プロファイル取得方法及び媒体 | |
| JPH11328191A (ja) | Ｗｗｗロボット検索システム | |
| US7783643B2 (en) | Direct navigation for information retrieval | |
| JP4767694B2 (ja) | 不正ハイパーリンク検出装置及びその方法 | |
| KR101933953B1 (ko) | 페이지랭크와 토픽 모델링을 이용한 소프트웨어 도메인 토픽 추출 시스템 | |
| US20040034635A1 (en) | Method and system for identifying and matching companies to business event information | |
| WO2019108740A1 (en) | Systems and methods for crawling web pages and parsing relevant information stored in web pages | |
| JPWO2019239543A1 (ja) | 質問応答装置、質問応答方法およびプログラム | |
| JP2003150624A (ja) | 情報抽出装置および情報抽出方法 | |
| JP2007219722A (ja) | 文書検索サーバおよび文書検索方法 | |
| JP5349032B2 (ja) | 情報選別装置 | |
| JP4212347B2 (ja) | 文書検索装置、プログラムおよび記録媒体 | |
| JPH10260978A (ja) | 情報収集方法及び装置 | |
| KR100445943B1 (ko) | 근접 검색식을 이용한 정보 검색 시스템 및 방법 | |
| JP2021131576A (ja) | 事例カタログ管理装置及び事例カタログ構築方法 | |
| US20060059126A1 (en) | System and method for network searching | |
| JP2003256472A (ja) | 文書検索システム | |
| JP2006185167A (ja) | ファイル検索方法、ファイル検索装置、および、ファイル検索プログラム | |
| JP2001075859A (ja) | 情報巡回獲得装置 |