JPH06290089A - データベース・データ蓄積システム - Google Patents

Abstract

(57)【要約】 【目的】データベース・データ蓄積処理における入力デ
ータを記録形式に変換する際、中間ファイルを仮想化バ
ッファ上に設け、前記処理を効率化するデータベース・
データ蓄積システムの提供。 【構成】データベースに格納するデータを蓄積する入力
データファイル１と、入力データの記録形式を示してい
る入力データ記録形式ファイル２と、データベース上の
データ項目に対応した編集を行う入力処理部３と、中間
ファイルに関する処理を行う中間ファイル処理部４と、
中間ファイルを格納する仮想化バッファ５と、中間ファ
イル上に書き込まれるデータの中間ファイル上のアドレ
スと仮想化バッファ内の仮想アドレスを保持する仮想ア
ドレス変換管理部６と、中間ファイルが仮想化バッファ
５をオーバフローするとき、中間ファイルを拡張する外
部記憶装置７と、を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、データベース・デー
タ蓄積処理における高速な処理および柔軟な入力データ
の選択を可能にする中間ファイルを仮想化バッファに設
けるデータベース・データ蓄積システムに関する。

【０００２】

【従来の技術】従来のデータベース・データ蓄積処理
は、データ毎のまとまりやデータ構造上の同一グループ
単位に複数のデータを１つにまとめる処理をデータベー
スに蓄積する前に行っている。その処理では入力される
データをデータベースへの蓄積前段階に中間ファイルで
処理する手法がとられる。

【０００３】

【発明が解決しようとする課題】この従来のデータベー
スにデータを蓄積するための前処理として複数のデータ
を１つのまとめる処理において、入力データファイルか
ら入力されるデータを入力データ記録形式ファイルに記
述されている記録形式に応じて変換し、中間ファイルに
一旦蓄え、処理する必要がある。この手法において、中
間ファイルは外部記憶装置に設けられるため入出力動作
が増大し、処理効率を低下させる。

【０００４】この発明の目的はデータベース・データ蓄
積処理における中間ファイルを仮想化バッファに設け、
中間ファイルに対する入出力動作の増大と、処理効率の
低下を回避することにある。

【０００５】

【課題を解決するための手段】この発明のデータベース
・データ蓄積システムは、データベースに入力するデー
タを蓄積する入力データファイルおよび前記データの記
録形式を示すデータを蓄積する入力データ記録形式ファ
イルとから前記データおよび記録形式を示すデータを入
力する入力処理部と、前記入力処理部から入力する前記
データのデータ抜けを検査し、前記記録形式に変換され
ているデータを中間ファイルに格納する中間ファイル作
成部と、前記中間ファイルを格納する仮想化バッファ
と、前記仮想化バッファを格納する記憶領域に対するデ
ータ入出力を制御し、前記中間ファイルに対するアドレ
スと前記仮想化バッファに対する仮想アドレスとの変換
および管理を行う仮想化制御部と、を有する。

【０００６】

【実施例】次に、この発明について図面を参照して説明
する。

【０００７】この発明の一実施例のシステム構成を示す
図１を参照すると、データベースに蓄積するデータをフ
ァイルする入力データファイル１と、データの記録形式
をファイルするデータ記録形式ファイル２と、データお
よび記録形式を入力する入力処理部３と、データを記録
形式に変換し、中間ファイル（図示せず）を作成する中
間ファイル作成部４と、中間ファイルを格納する仮想化
バッファ５と、中間ファイルのアドレスと仮想化バッフ
ァの仮想アドレスを管理する仮想アドレス変換管理部６
と仮想化バッファ５に対するデータ入出力を制御する入
出力制御部７とを有する仮想化制御部８と、仮想化バッ
ファ５を格納する主記憶（図示せず）および外部記憶装
置からなる記憶領域１０と、を備える。

【０００８】更に、各部の詳細を説明すると、入力デー
タファイル１は、データベースに格納する原始データで
あり、データベース上のデータ項目に対応して１項目１
レコードの形式で作成される。そして、通常、データベ
ースの構造が複雑な場合、データは同一集団単位にまと
められる。この実施例では、原始データはデータベース
上のデータ項目順に各データを記録形式に変換し、中間
ファイルに入力し、格納する場合を例に説明する。

【０００９】入力データ記録形式ファイル２は、入力デ
ータファイル１上に記録されるデータの記録形式を記述
している。記録形式では、格納されているデータの属
性、長さ、格納位置が定められている。入力処理部３
は、それの記録形式に従ってデータベース上のデータ項
目に対応する編集を入力データに対し行う。入力処理部
３は入力データを編集し、データベース上のデータ項目
を集団項目単位あるいは同一レベル単位に処理し、１レ
コードにまとめる。中間ファイル作成部４は先述のレコ
ードを中間ファイルに格納する。中間ファイルを格納す
る仮想化バッファ５は主記憶部（図示せず）および外部
記憶装置９を含む記憶領域１０に設けられる。仮想化制
御部８は、仮想化バッファとのデータ入出力を制御する
入出力制御部７と仮想アドレス変換管理部６とを有す
る。仮想アドレス変換管理部６は、仮想化バッファ５の
仮想アドレスと中間ファイル作成部４が指定するファイ
ルおよびレコードのアドレスとの対応づけを管理する。
外部記憶装置９は、中間ファイルが仮想化バッファをオ
ーバフローするとき、中間ファイルが格納される記憶領
域１０である。

【００１０】次にこの実施例の動作を説明する。

【００１１】入力処理部３で処理される入力データは、
処理途中の中間結果として中間ファイル作成部４に渡さ
れる。その結果を中間ファイル処理部４は、１レコード
毎に仮想化バッファ５上の中間ファイルに書き込み、仮
想アドレス変換管理部６にそれのアドレスを登録する。
仮想アドレス変換管理部６のアドレス形式を例示する図
２を参照すると、ファイル番号２１に中間ファイルのフ
ァイル番号と、変位２４にレコードを指定する変位番号
が格納される。中間ファイルのレコードには、データベ
ース中に１件分としてまとめられた単位にデータをまと
め処理されるため、仮想化バッファ５上の中間ファイル
で全ての入力データを管理することができる。しかし、
例外的に長大なデータが入力された時、中間ファイルが
仮想化バッファ５をオーバフローする状態となる場合が
ある。その際には、記憶領域１０である外部記憶装置９
に中間ファイルを拡張し、中間ファイルの内容を書き込
む。仮想アドレス変換管理部６では、中間ファイルのア
ドレスを、このファイル番号２１とファイル内のレコー
ドを指定する相対アドレスである変位番号２４で管理す
る。また、仮想アドレス変換管理部６はレコード数２２
を示しており、１つのバッファに記録されるレコード数
を管理する。更に、中間ファイルとして使用される外部
記憶装置７に書き込まれるレコードの実アドレス２３を
記憶する。

【００１２】更に、また、ファイル内のアドレスである
相対変位２４は、仮想化バッファ５上の中間ファイルに
書き込まれる各レコードの先頭からの相対変位値を格納
している。この相対変位２４によって、中間ファイル作
成部４が認識するアドレスは、ファイル番号と変位番号
のみとなり、仮想化バッファ上の実アドレスに左右され
ないで、データの管理が可能になる。また、通常の処理
条件では、外部記憶装置９に入出力を行わずに、主記憶
上の仮想化バッファ５上で処理が可能なため、高速な処
理が行える。そして、この実施例の場合、上述のファイ
ル番号２１と変位２４で全てのレコードを管理できるた
め、各レコードに容易にアクセスすることができる。し
たがって、中間結果として未確定の状態であるレコード
を再度読みだし、データを補った後、再書き込みする処
理も容易になる。また、中間ファイルを設ける記録媒体
毎に、上位の入力処理部３あるいは中間ファイル作成部
４で管理するアドレスを変更する必要があるが、仮想ア
ドレス変換管理部６でアドレスを管理するため、入力処
理部３あるいは中間ファイル作成部４では物理的なアド
レスを意識しない利点がある。

【００１３】

【発明の効果】以上説明したようにこの発明によれば、
データベースにデータを蓄積する前処理として、データ
記録形式と入力データを分離して処理するため、データ
構造に依存しない入力データファイルの作成ができる。
また、仮想化バッファ上のデータの所在が中間ファイル
のファイル番号およびレコード番号でアクセスできるの
で、高速な処理を行うことができる。

【図面の簡単な説明】

【図１】この実施例のシステム構成を示す図である。

【図２】図１の仮想アドレス変換管理部のアドレスデー
タを例示する図である。

【符号の説明】

１ 入力データファイル ２ 入力データ記録形式ファイル ３ 入力処理部 ４ 中間ファイル作成部 ５ 仮想化バッファ ６ 仮想アドレス変換管理部 ７ 入出力制御部 ８ 仮想化制御部 ９ 外部記憶装置 １０ 記憶領域

Claims (1)

【特許請求の範囲】
1. 【請求項１】 データベースに入力するデータを蓄積す
   る入力データファイルおよび前記データの記録形式を示
   すデータを蓄積する入力データ記録形式ファイルとから
   前記データおよび記録形式を示すデータを入力する入力
   処理部と、 前記入力処理部から入力する前記データのデータ抜けを
   検査し、前記記録形式に変換されているデータを中間フ
   ァイルに格納する中間ファイル作成部と、 前記中間ファイルを格納する仮想化バッファと、 前記仮想化バッファを格納する記憶領域に対するデータ
   入出力を制御し、前記中間ファイルに対するアドレスと
   前記仮想化バッファに対する仮想アドレスとの変換およ
   び管理を行う仮想化制御部と、 を有することを特徴とするデータベース・データ蓄積シ
   ステム。