JP2004102759A

JP2004102759A - アクセスログ情報多次元分析システムおよび多次元分析環境構築方法

Info

Publication number: JP2004102759A
Application number: JP2002265166A
Authority: JP
Inventors: Koji Yatome; 矢留　宏治
Original assignee: Hitachi Information Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2002-09-11
Filing date: 2002-09-11
Publication date: 2004-04-02
Anticipated expiration: 2022-09-11
Also published as: JP3886872B2

Abstract

【課題】アクセスログ情報のＯＬＡＰシステムを利用した分析環境の速やかな構築およびアクセスログ情報の保存領域の容量の最小限化
【解決手段】処理装置１３の転送ログ情報取得部１３ａが各ネットワーク機器１０，１１から転送されるアクセスログ情報２１を取得すると、データ形式変換部１３ｂが、非分析対象項目データベース１４内のデータを踏まえて取得済のアクセスログ情報をフラットファイル形式からテーブル形式へと形式変換し、分析対象抽出部１３ｃが、リレーショナルデータベース１５内のテーブル形式アクセスログ情報２２から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベース２３を構築する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワーク機器から出力されるログ情報の多次元分析を行うアクセスログ情報多次元分析システムに関し、特に、そのログ情報の効率的な多次元分析環境を必要時に最短時間にて提供可能なアクセスログ情報多次元分析システムおよび多次元分析環境構築方法に関するものである。
【０００２】
【従来の技術】
通常、ネットワーク機器から出力されるネットワークアクセスログ情報は、例えば図６に示すように、文字列の羅列であるフラットファイル形式であり、ネットワークが稼動している間、常にそのネットワークアクセスログ情報は出力される。よって、ネットワーク管理者は、出力された膨大な量のフラットファイル形式のネットワークアクセスログ情報の全てに目を通し、不正アクセスの有無を確認している。
【０００３】
また、ネットワーク管理者が、所望の日や時間帯におけるネットワークの利用状況を把握する場合、その所望の日や時間帯のネットワークアクセスログ情報をその都度取り出し、表計算プログラム等に取り出したデータを読み込ませてグラフ化等の処理を行い、所望の条件におけるネットワークの利用状況を把握していた。
【０００４】
そこで、ネットワーク管理者に課せられる作業の効率化、および詳細な分析の実現のため、ＯＬＡＰ（ＯｎＬｉｎｅ　Ａｎａｌｙｔｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ）システムによるネットワークアクセスログ情報の多次元分析の実施が試みられている。
【０００５】
ここで、このＯＬＡＰシステムによるネットワークアクセスログ情報の多次元分析を実施するためには、図８に示す全ての作業を分析担当者（ネットワーク管理者）自身が行わなければならない。以下、ネットワークアクセスログ情報の多次元分析実施の際の作業工程について、図７及び図８を参照して具体的に説明する。図７は、従来の多次元分析環境を示す図であり、図８は、従来の多次元分析処理手順を示すフローチャートである。
【０００６】
まず、分析担当者は、各ネットワーク機器にて逐次保存されているフラットファイル形式のネットワークアクセスログ情報から、分析に必要な情報をアクセスログ分析装置に抽出する処理を実施する（ステップＳＴ２１）。次に分析担当者は、アクセスログ分析装置内に抽出された抽出済アクセスログ情報を、ＯＬＡＰシステムによる多次元分析を実施するために、フラットファイル形式からリレーショナルデータベースにおけるテーブル形式へと形式変換する（ステップＳＴ２２）。こうして、リレーショナルデータベース上にテーブル形式アクセスログ情報が作成される。さらに、作成されたテーブル形式アクセスログ情報を使用して、ＯＬＡＰデータベースを構築する（ステップＳＴ２３）。このようにして、多次元分析可能形式のアクセスログ情報を得ることができる。
【０００７】
以上のような各処理工程を経て、多次元分析環境の作成が完了し、多次元分析処理が実施可能となる。そして、分析担当者が多次元分析処理を行い（ステップＳＴ２４）、その結果、ステップＳＴ２１におけるログの抽出処理にて抽出した情報以外に必要なログ情報がある場合には（ステップＳＴ２５）、分析担当者は改めて、フラットファイル形式の各ネットワークアクセスログ情報から必要なログ情報を抽出する抽出処理を実施し、再度、ステップＳＴ２１からステップＳＴ２４までの処理を行い、ステップＳＴ２５において他のアクセスログ情報も必要がなければ、本実施形態に係るアクセスログ情報多次元分析システムによる多次元分析処理は終了となる。
【０００８】
しかし、上述した従来技術では、ＯＬＡＰシステムを利用してネットワークアクセスログ情報の多次元分析を実施する毎に、分析対象となるネットワークアクセスログ情報についてフラットファイル形式からテーブル形式を経てＯＬＡＰデータベースを構築するまでの各変換作業が発生するため、ネットワーク管理者が分析作業を実施するためのＯＬＡＰシステム環境を構築するまでに多くの工数と時間とを要するといった不都合が生じてしまう。
【０００９】
ここで、上記不都合を改善し、多次元分析環境を効率的に構築するシステムとして、次の先行技術文献に係る発明がある。
【００１０】
【特許文献１】
特開平１１−３１６７６６号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、ＯＬＡＰシステムを利用してネットワークアクセスログ情報の多次元分析を実施する際に、分析対象となるネットワークアクセスログ情報については、フラットファイル形式からテーブル形式を経てＯＬＡＰデータベースを構築しなければならず、フラットファイル形式からテーブル形式への形式変換作業の自動化を実現しなければ、アクセスログ情報の多次元分析処理の効率化は図れない。
【００１２】
また、全てのネットワークアクセスログ情報については一定期間の保存が必須であり、長期的（永続的）に保存する必要があるが、従来のようにフラットファイル形式にて保存する場合、次のような問題も生じていた。
【００１３】
フラットファイル形式のネットワークアクセスログ情報は、図６のように各アクセスログデータが時系列順に配列した構成となっており、さらにネットワークアクセスログ情報の内容は、アクセス日時データ，アクセス元ＩＰ，アクセス先ＩＰ，ステータスなど様々な項目により構成されているが、各項目に登場するデータは、各ネットワークアクセスログ情報の間において重複することが多く、その結果、フラットファイル形式のネットワークアクセスログ情報は一般に冗長なデータ構造となっている。このようなデータ構造のネットワークアクセスログ情報を長期間分も保存するとなると、重複したデータ部分が更に増え、保存対象のログ情報がより一層冗長となるため、より大容量の保存領域を確保しなければならない。
【００１４】
そこで本発明の目的は、上記不都合を改善し、ネットワーク管理者に対して必要時にネットワークアクセスログ情報のＯＬＡＰシステムを利用した分析環境を速やかに構築でき、且つネットワークアクセスログ情報の保存領域の容量の最小限化を実現可能なアクセスログ情報多次元分析システムおよび多次元分析環境構築方法を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、本発明のアクセスログ情報多次元分析システムは、ネットワーク機器と、多次元分析環境を構築し多次元分析処理を行うアクセスログ分析装置とが、ネットワーク回線を介して接続されて成り、前記アクセスログ分析装置は、各処理の制御を司る処理装置と、分析対象から除外するとネットワーク管理者により決定された項目のデータを格納する非分析対象項目データベースと、後述の如く形式変換されたテーブル形式アクセスログ情報を保存するリレーショナルデータベースとを有し、前記処理装置は、各ネットワーク機器から転送されるアクセスログ情報を取得する転送ログ情報取得部と、前記非分析対象項目データベース内のデータを踏まえて前記転送ログ情報取得部にて取得済のアクセスログ情報をフラットファイル形式からテーブル形式へと形式変換するデータ形式変換部と、前記リレーショナルデータベース内のテーブル形式アクセスログ情報から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベースを構築する分析対象抽出部と、ＯＬＡＰデータベース内のログ情報を基に多次元分析処理を行う多次元分析処理部と、を具備して成る。
【００１６】
また、本発明の多次元分析環境構築方法は、各ネットワーク機器から転送されるアクセスログ情報を取得する第一工程と、分析対象から除外するとネットワーク管理者により決定された項目のデータを踏まえて、第一工程にて取得済のアクセスログ情報をフラットファイル形式からテーブル形式へと形式変換する第二工程と、形式変換されたテーブル形式アクセスログ情報から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベースを構築する第三工程と、を有して成る。
【００１７】
さらに、本発明の多次元分析環境構築方法における第二工程は、フラットファイル形式のデータと同期する、ログ情報における各要素を項目としたデータテーブルと、ログ情報の各項目を抽出したマスターテーブルとを生成するテーブル生成工程と、各マスターテーブルに、実データの各々にＩＤ値を割り当て、さらにそれぞれの実データが非分析対象か否かを示す非分析対象項目を設け、前記非分析対象項目に所定の数値データを付与するマスターテーブル作成工程と、データテーブルの各項目には、前記マスターテーブルにて定義されたＩＤ値を、実データと対応する箇所に付与し、且つ該データテーブルの非分析対象項目に所定の数値データを付与するデータテーブル作成工程と、から成る。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態に係るアクセスログ情報多次元分析システムについて、図１から図５を参照して詳細に説明する。図１は本実施形態に係るアクセスログ情報多次元分析システムの構成を示す図であり、図２は、本実施形態に係るアクセスログ情報多次元分析システムにおける非分析対象項目データベースの構成を示す図である。また、図３は本実施形態に係るアクセスログ情報多次元分析システムによる多次元分析処理手順を示すフローチャートであり、さらに図４は、本実施形態に係るアクセスログ情報多次元分析システムでの保存形式を示す図である。また、図５は本実施形態に係るアクセスログ情報多次元分析システムによるデータ形式変換処理工程の手順を示すフローチャートである。
【００１９】
［アクセスログ情報多次元分析システムの構成］
まず、本実施形態に係るアクセスログ情報多次元分析システム１の構成について、図１を参照して説明する。アクセスログ情報多次元分析システム１は、ネットワーク機器１０，１１（本実施形態では、Ｐｒｏｘｙサーバ１０とＦｉｒｅｗａｌｌサーバ１１としている）と、多次元分析環境を構築し多次元分析処理を行うアクセスログ分析装置１２とが、ネットワーク回線５０を介して接続されてなる。尚、本実施形態におけるネットワーク機器の台数を２台としているが、このネットワーク機器の台数はこれに限定されるものではない。以下、各構成要素について説明する。
【００２０】
前記各ネットワーク機器１０，１１には、該各ネットワーク機器１０，１１内に保存されているネットワークアクセスログ情報２１を定期的にアクセスログ分析装置１２に転送する機能を各ネットワーク機器１０，１１に実現させる転送プログラム３１が実装されている。
【００２１】
前記アクセスログ分析装置１２は、各処理の制御を司る処理装置１３と、分析対象から除外するとネットワーク管理者により決定された項目のデータを格納する非分析対象項目データベース１４と、後述の如く形式変換されたテーブル形式アクセスログ情報２２を保存するリレーショナルデータベース１５と、を有している。
【００２２】
また前記処理装置１３には、各ネットワーク機器１０，１１から転送されるアクセスログ情報２１を取得する転送ログ情報取得部１３ａと、前記非分析対象項目データベース１４内のデータを踏まえて前記転送ログ情報取得部１３ａにて取得済のアクセスログ情報２１をフラットファイル形式からテーブル形式へと形式変換するデータ形式変換部１３ｂと、前記リレーショナルデータベース１５内のテーブル形式アクセスログ情報２２から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベース２３を構築する分析対象抽出部１３ｃと、ＯＬＡＰデータベース２３内のログ情報を基に多次元分析処理を行う多次元分析処理部１３ｄと、を具備している。
【００２３】
ここで、前記非分析対象項目データベース１４は、図２のように、ログ情報における項目（図６の日時，アクセス元ＩＰ，アクセス先ＩＰ，ステータスなど）の種類が格納される「ログ情報項目種類データ」項目と、各ログ情報項目について分析対象としなくても良いとネットワーク管理者が判断した内容が格納される「非分析対象内容データ」項目とを有している。図２によれば、日時が「２００２年３月２９日」であるログ情報と、アクセス先ＩＰが「２０２．２３．１１２．３４」のログ情報は、多次元分析対象から除外する，すなわち多次元分析を行わないとネットワーク管理者が予め判断したものであり、非分析対象項目データベースに非分析対象ログ情報として図２のような形式で登録，保存されている。
【００２４】
［多次元分析処理手順］
以上のような構成のアクセスログ情報多次元分析システム１における多次元分析処理の手順について、図３を参照して以下説明する。
【００２５】
まず、ネットワーク機器１０，１１に蓄積，保存されているフラットファイル形式のネットワークアクセスログ情報２１が、ネットワーク機器１０，１１に実装された転送プログラム３１により、ネットワーク回線５０を介して定期的にアクセスログ分析装置１２に転送されると、転送されたネットワークアクセスログ情報２１は、アクセスログ分析装置１２の転送ログ情報取得部１３ａにて取得され（ステップＳＴ１）、さらにデータ形式変換部１３ｂにて、フラットファイル形式から自動的にテーブル形式のアクセスログ情報２２に変換される（ステップＳＴ２）。
【００２６】
ここで、ステップＳＴ２の処理について図４及び図５を参照して詳細に説明すると、データ形式変換部１３ｂでは、まず図４のようなフラットファイル形式のデータと同期する、ログ情報における各要素を項目としたデータテーブルと、ログ情報の各項目を抽出したマスターテーブルとが生成される（ステップＳＴ１１）。
【００２７】
そして各マスターテーブルには、実データの各々にＩＤ値が割り当てられる（ステップＳＴ１２）。また各マスターテーブルには、「ＩＤ」項目と「要素」項目以外に「非分析対象」項目が設けられ（ステップＳＴ１３）、非分析対象項目データベース内に格納済のデータと合致するデータについては、この「非分析対象」項目に任意の数値データ（例えば「０」）が付与され、それ以外のデータについては前記「非分析対象」項目に他の数値データ（例えば「１」）が付与される（ステップＳＴ１４）。そして、データテーブルの各項目には、実データではなく、マスターテーブルにて定義されたＩＤ値が、実データと対応する箇所に付与される（ステップＳＴ１５）。具体的には、マスターテーブルに登録されるデータの内、図２のテーブルに登録済の「日時が２００２年３月２９日」のデータと「アクセス先ＩＰが２０２．２３．１１２．３４」のデータについては「非分析対象」項目に「０」が付与されている。
【００２８】
また、データテーブルの「非分析対象」項目には、非分析対象項目データベース内に格納済のデータと合致するデータ項目を一つでも含むログ情報については、マスターテーブルと同様に「０」が付与され、合致するデータ項目を全く含まないログ情報については前記「非分析対象」項目に「１」が付与される（ステップＳＴ１６）。
【００２９】
以上のようにしてステップＳＴ２の処理は行われ、この処理により、図４のようなテーブル形式アクセスログ情報２２が作成され、このテーブル形式アクセスログ情報２２は、アクセスログ分析装置１２内のリレーショナルデータベース１５に蓄積，保存される（ステップＳＴ３）。
【００３０】
このように、各ネットワーク機器１０，１１から定期的にアクセスログ情報２１を取得してテーブル形式に形式変換後、得られたテーブル形式アクセスログ情報２２をアクセスログ分析装置１２内に蓄積，保存するまでのステップＳＴ１〜ステップＳＴ３の処理は、全て自動的に行われ、分析担当者たるネットワーク管理者が多次元分析処理を開始する際には、全てのアクセスログ情報がテーブル形式でアクセスログ分析装置１２内に蓄積，保存された状態となっている。
【００３１】
そして、ネットワーク管理者が多次元分析処理を開始すると（ステップＳＴ４）、ネットワーク管理者が分析に使用するログ情報を選定することにより、リレーショナルデータベース内のテーブル形式アクセスログ情報２２から、分析に使用するログ情報のみが分析対象抽出部１３ｃにより抽出され（ステップＳＴ５）、多次元分析可能な分析環境であるＯＬＡＰデータベース２３が構築される（ステップＳＴ６）。
【００３２】
ここで、ステップＳＴ５の抽出作業において、テーブル形式アクセスログ情報２２の各ログ情報の内、「非分析対象」項目に「０」が付与されているものについてはネットワーク管理者によって分析対象外と予め定められているため抽出されず、「非分析対象」項目に「１」が付与されているログ情報のみが抽出される。このように、ステップＳＴ５の抽出作業では、ネットワーク管理者が選定した分析対象ログ情報をさらに絞り込む抽出ログ情報のフィルタリング処理も自動的に行われる。
【００３３】
以上のような各処理工程を経て、ネットワーク管理者は、最終的な分析環境であるＯＬＡＰデータベース２３を得ることができ、しかる後に多次元分析処理を行うこととなる（ステップＳＴ７）。
【００３４】
ここで、ステップＳＴ７における多次元分析処理の結果、分析対象抽出部１３ｃにて抽出したログ情報以外のアクセスログ情報が必要となった場合には（ステップＳＴ８）、ネットワーク管理者は上記ステップＳＴ６の処理を再度行い、ＯＬＡＰデータベース２３の再作成処理を実施すればよい。このように、本実施形態に係るアクセスログ情報多次元分析システム１によれば、ステップＳＴ６のＯＬＡＰデータベース２３の作成処理を再度行うことで新しい多次元分析環境が改めて提供されるため、多次元分析環境の構築に多くの工数を必要とすることなく、多次元分析処理を速やかに実施することが可能となる。
【００３５】
こうして多次元分析処理を行い、ステップＳＴ８において他のアクセスログ情報も必要がなければ、本実施形態に係るアクセスログ情報多次元分析システム１による多次元分析処理の全工程は終了となる。
【００３６】
以上のように、本実施形態に係るアクセスログ情報多次元分析システム１によれば、分析対象となるネットワークアクセスログ情報２１についてフラットファイル形式からテーブル形式を経てＯＬＡＰデータベース２３を構築するまでの各変換作業に、多くの工数と時間とを要することなく、速やかな多次元分析処理の実施を可能とする。
【００３７】
また、従来のフラットファイル形式では、各項目に同じデータ（同じ文字列）が登場することが多く、項目毎のデータが冗長であったが、本実施形態に係るアクセスログ情報多次元分析システム１では、図４のようなテーブル形式でログ情報が格納されているため、マスターテーブル内のデータについては重複することなくデータの追加，削除を実施でき、その結果、ネットワーク管理者の作業の効率化を図ることができる。
【００３８】
さらに、データテーブルには、各項目の実データではなく、対応するマスターテーブルにて定義されたＩＤ値（数値）が使用されているため、時系列順に全ての実データが格納されるフラットファイル形式と比較して、テーブル形式の方がログ情報を保存する場合のリソース消費量（ハードディスク消費量）が少なくてすむ。よって、ネットワークアクセスログ情報の保存についても、ハードディスク消費量を最小限に抑えることが可能となり、システムの動作環境が改善される。
【００３９】
尚、上記実施形態のアクセスログ情報分析装置１２において、データ形式変換部１３ｂを設けることに代わって、本発明のデータ形式変換処理動作および分析対象抽出処理動作を行うプログラムを作成し、アクセスログ情報分析装置１２に、このプログラムに基づいて処理動作を実行させるようにしてもよい。
【００４０】
【発明の効果】
以上説明したように、本発明のアクセスログ情報多次元分析システムによれば、ネットワーク管理者による膨大な量のネットワークアクセスログ情報の多次元分析作業を開始するまでに要する時間を短縮することが可能となり、その結果、多次元分析処理における作業効率を向上させることができる。また、テーブル形式にて長期的にネットワークアクセスログ情報を保存するので、フラットファイル形式の場合に発生する文字列としての冗長なデータを全て省くことができ、リソース消費量を必要最小限に抑えることが可能となり、システムの動作環境の改善が実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るアクセスログ情報多次元分析システムの構成を示す図である。
【図２】本実施形態に係るアクセスログ情報多次元分析システムにおける非分析対象項目データベースの構成を示す図である。
【図３】本実施形態に係るアクセスログ情報多次元分析システムによる多次元分析処理手順を示すフローチャートである。
【図４】本実施形態に係るアクセスログ情報多次元分析システムでの保存形式を示す図である。
【図５】本実施形態に係るアクセスログ情報多次元分析システムによるデータ形式変換処理工程の手順を示すフローチャートである。
【図６】フラットファイル形式のネットワークアクセスログ情報データの一例を示す図である。
【図７】従来の多次元分析環境を示す図である。
【図８】従来の多次元分析処理手順を示すフローチャートである。
【符号の説明】
１…アクセスログ情報多次元分析システム、１０，１１…ネットワーク機器、１２…アクセスログ分析装置、１３…処理装置、１３ａ…転送ログ情報取得部、１３ｂ…データ形式変換部、１３ｃ…分析対象抽出部、１３ｄ…多次元分析処理部、１４…非分析対象項目データベース、１５…リレーショナルデータベース、２１…ネットワークアクセスログ情報（フラットファイル形式）、２２…テーブル形式アクセスログ情報、２３…ＯＬＡＰデータベース、３１…転送プログラム。

Claims

ネットワーク機器と、多次元分析環境を構築し多次元分析処理を行うアクセスログ分析装置とが、ネットワーク回線を介して接続されて成り、
前記アクセスログ分析装置は、各処理の制御を司る処理装置と、分析対象から除外するとネットワーク管理者により決定された項目のデータを格納する非分析対象項目データベースと、後述の如く形式変換されたテーブル形式アクセスログ情報を保存するリレーショナルデータベースとを有し、
前記処理装置は、各ネットワーク機器から転送されるアクセスログ情報を取得する転送ログ情報取得部と、前記非分析対象項目データベース内のデータを踏まえて前記転送ログ情報取得部にて取得済のアクセスログ情報をフラットファイル形式からテーブル形式へと形式変換するデータ形式変換部と、前記リレーショナルデータベース内のテーブル形式アクセスログ情報から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベースを構築する分析対象抽出部と、ＯＬＡＰデータベース内のログ情報を基に多次元分析処理を行う多次元分析処理部と、を具備することを特徴とするアクセスログ情報多次元分析システム。
各ネットワーク機器から転送されるアクセスログ情報を取得する第一工程と、
分析対象から除外するとネットワーク管理者により決定された項目のデータを踏まえて、第一工程にて取得済のアクセスログ情報をフラットファイル形式からテーブル形式へと形式変換する第二工程と、
形式変換されたテーブル形式アクセスログ情報から分析対象のログ情報を抽出し且つ多次元分析可能な分析環境であるＯＬＡＰデータベースを構築する第三工程と、
を有することを特徴とする多次元分析環境構築方法。
前記第二工程は、
フラットファイル形式のデータと同期する、ログ情報における各要素を項目としたデータテーブルと、ログ情報の各項目を抽出したマスターテーブルとを生成するテーブル生成工程と、
各マスターテーブルに、実データの各々にＩＤ値を割り当て、さらにそれぞれの実データが非分析対象か否かを示す非分析対象項目を設け、前記非分析対象項目に所定の数値データを付与するマスターテーブル作成工程と、
データテーブルの各項目には、前記マスターテーブルにて定義されたＩＤ値を、実データと対応する箇所に付与し、且つ該データテーブルの非分析対象項目に所定の数値データを付与するデータテーブル作成工程と、
からなることを特徴とする請求項２に記載の多次元分析環境構築方法。