JPS62182849A - デ−タ管理方式 - Google Patents
デ−タ管理方式Info
- Publication number
- JPS62182849A JPS62182849A JP61025125A JP2512586A JPS62182849A JP S62182849 A JPS62182849 A JP S62182849A JP 61025125 A JP61025125 A JP 61025125A JP 2512586 A JP2512586 A JP 2512586A JP S62182849 A JPS62182849 A JP S62182849A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage area
- storage
- address
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、ファイルを有する計算機システムにおけるデ
ータ管理方式に関し、とくにデータの一部をキーとして
計算によってデータの格納番地を求めるハツシュによる
データアクセスを行なうときのデータ管理方式に関する
。
ータ管理方式に関し、とくにデータの一部をキーとして
計算によってデータの格納番地を求めるハツシュによる
データアクセスを行なうときのデータ管理方式に関する
。
1′従来の技術〕
従来、ファイルを用いたハツシュアクセス方式において
は、キー及びキー以外のデータは、他のデータと共にペ
ージと呼ばれるデータ格納域単位で蓄積される。このと
き、キー値から上記データ格納域と示す格納番地を求め
るにはハツシュ関数と呼ばれる特殊な計算式によってお
こなわれてきた。
は、キー及びキー以外のデータは、他のデータと共にペ
ージと呼ばれるデータ格納域単位で蓄積される。このと
き、キー値から上記データ格納域と示す格納番地を求め
るにはハツシュ関数と呼ばれる特殊な計算式によってお
こなわれてきた。
しかして従来のデータ管理方式ではページの中の記憶域
が少なくなり、もはやこのページにはデータを格納する
ことができない、いわゆるオーバフローが発生したとき
にはオーバフローしたページにデータを格納できずにオ
ーバフローしたページを介して別の格納域に格納してい
た。
が少なくなり、もはやこのページにはデータを格納する
ことができない、いわゆるオーバフローが発生したとき
にはオーバフローしたページにデータを格納できずにオ
ーバフローしたページを介して別の格納域に格納してい
た。
〔発明が解決しようとする問題点、1
上記の従来のデータ管理方式ではデータの分布の偏りに
よりデータの格納効率が劣化し、またオーバフローした
データへのアクセスに際してはページアクセス回数が増
加するという問題点があった。
よりデータの格納効率が劣化し、またオーバフローした
データへのアクセスに際してはページアクセス回数が増
加するという問題点があった。
1、問題点を解決するための手段〕
本発明の方式は、データの一部をキーとし、該キーのハ
ツシュ関数値により前記データのファイルへの格納域番
地を決定するデータアクセスを行なう情報処理装置のデ
ータ管理方式において、あらかじめデータ蓄積の際に記
憶された、オーバフローして格納されているデータを複
数のデータ格納域に分割したデータ格納域の番地列から
なる分割列データと前記ハツシュ関数値とがちデータの
格納域番地を決定する格納域番地決定手段と、データ蓄
積に際し前記格納域番地決定手段により決定された格納
域がオーバフローするときには該格納域の番地を前記分
割列データに追加して前記格納域番地決定手段により前
記オーバフローした格納域に格納されているデータおよ
び蓄積しようとしたデータの格納域番地を決定し蓄積す
るように制御する制御手段とを含んで構成される。
ツシュ関数値により前記データのファイルへの格納域番
地を決定するデータアクセスを行なう情報処理装置のデ
ータ管理方式において、あらかじめデータ蓄積の際に記
憶された、オーバフローして格納されているデータを複
数のデータ格納域に分割したデータ格納域の番地列から
なる分割列データと前記ハツシュ関数値とがちデータの
格納域番地を決定する格納域番地決定手段と、データ蓄
積に際し前記格納域番地決定手段により決定された格納
域がオーバフローするときには該格納域の番地を前記分
割列データに追加して前記格納域番地決定手段により前
記オーバフローした格納域に格納されているデータおよ
び蓄積しようとしたデータの格納域番地を決定し蓄積す
るように制御する制御手段とを含んで構成される。
し作用〕
前記の手段を有することにより、ページ数はオーバフロ
ーとともに増加することと、オーバフローしたページの
データのみ複数ページに分割することによりデータの均
質的な格納が可能となる。
ーとともに増加することと、オーバフローしたページの
データのみ複数ページに分割することによりデータの均
質的な格納が可能となる。
また、オーバフローしたデータへのアクセスにおいても
、従来のようなオーバフロ一対応の格納域のアクセスが
不要であり、かつ分割列記憶域の参照にはファイルへの
アクセスが不要なことから、必ず1回のアクセスで所望
のデータを取り出すことが可能となる。
、従来のようなオーバフロ一対応の格納域のアクセスが
不要であり、かつ分割列記憶域の参照にはファイルへの
アクセスが不要なことから、必ず1回のアクセスで所望
のデータを取り出すことが可能となる。
以下、本発明の実施例を図面を参照して説明する。
第1図は、本発明の一実施例を示すブロック図である。
データを蓄積する際には、まず外部からデータ値記憶部
1・1ヘデータが転送される。データ値内のキ一部のみ
ハツシュ計算部12で使用され、適切な0から1に写像
する実数値が生成される。ハツシュ関数としては、任意
のものあるいはデータ分布状況からみて一様分布へ写像
する可能性の高い関数が選ばれる。例えば、関数として
F (X)=X/ (Xの取り得る最大値)が考えられ
る。得られたハツシュ関数値および以下で説明する分割
列記憶部13内の分割列を用いて、第2図に示す動作に
より格納番地計算部15で格納番地が計算される。デー
タアクセス制御部14では以下に示ず処理が行なわれる
。格納番地計算部15で得られた格納番地を有する格納
域をデータ取出部16よりとりだし、もしオーバフロー
していなければデータ蓄積部17にて上記格納域に上記
データを格納したのち、ディスク装置18でディスクに
書き込む。もし、オーバフローしたページであればこの
ページのページ内データを各データのキーのハツシュ関
数値によって複数のページに分割する。
1・1ヘデータが転送される。データ値内のキ一部のみ
ハツシュ計算部12で使用され、適切な0から1に写像
する実数値が生成される。ハツシュ関数としては、任意
のものあるいはデータ分布状況からみて一様分布へ写像
する可能性の高い関数が選ばれる。例えば、関数として
F (X)=X/ (Xの取り得る最大値)が考えられ
る。得られたハツシュ関数値および以下で説明する分割
列記憶部13内の分割列を用いて、第2図に示す動作に
より格納番地計算部15で格納番地が計算される。デー
タアクセス制御部14では以下に示ず処理が行なわれる
。格納番地計算部15で得られた格納番地を有する格納
域をデータ取出部16よりとりだし、もしオーバフロー
していなければデータ蓄積部17にて上記格納域に上記
データを格納したのち、ディスク装置18でディスクに
書き込む。もし、オーバフローしたページであればこの
ページのページ内データを各データのキーのハツシュ関
数値によって複数のページに分割する。
分割はまず分割列記憶部13にオーバフローページの格
納域の番地を追加し、次いで各データを第2図のフロー
で処理し格納番地を求める。以降、単純な場合として2
分割のときを考えることとする。2分割されたデータ集
合は、上記オーバフロー巳なページと新にディスクの空
き領域から獲得されたページに格納される。与えられた
格納しようとするデータもそのハツシュ関数値によって
上記2つのページのいずれかに格納される。
納域の番地を追加し、次いで各データを第2図のフロー
で処理し格納番地を求める。以降、単純な場合として2
分割のときを考えることとする。2分割されたデータ集
合は、上記オーバフロー巳なページと新にディスクの空
き領域から獲得されたページに格納される。与えられた
格納しようとするデータもそのハツシュ関数値によって
上記2つのページのいずれかに格納される。
データを収り出す際には、まず外部よりデータ値記憶部
11ヘデータのキ一部のみ設定される。
11ヘデータのキ一部のみ設定される。
上記キー値を用いてノ\ツシュ計算部12および格納番
地計算部15にてL記蓄積の場合と同様にして格納域の
番地が決定されろ。その後、上記得られた番地よりデー
タ収出部16より与えられたキー値を有するデータ格納
域が収り出され、データがデータ値記憶部11へ設定さ
れる。
地計算部15にてL記蓄積の場合と同様にして格納域の
番地が決定されろ。その後、上記得られた番地よりデー
タ収出部16より与えられたキー値を有するデータ格納
域が収り出され、データがデータ値記憶部11へ設定さ
れる。
に記処理の詳細を例を用いてコ(2明する。
今、第3図に示すデータが第11図のよつに格納されて
いるものとする。新に、データ(15,f>を蓄積する
要求か与えられ、そのデータがデータ値記憶部11に設
定されたものとする。分割列の内容は(1,,2)であ
る。まず、ハ・ソシュ計算部12によりハツシュ関数値
が得られる。今、仮に0.2が計算でもとまったものと
する。このとき、つぎの格納番地計算部15では、以下
に示す処理が行なわれる。
いるものとする。新に、データ(15,f>を蓄積する
要求か与えられ、そのデータがデータ値記憶部11に設
定されたものとする。分割列の内容は(1,,2)であ
る。まず、ハ・ソシュ計算部12によりハツシュ関数値
が得られる。今、仮に0.2が計算でもとまったものと
する。このとき、つぎの格納番地計算部15では、以下
に示す処理が行なわれる。
(ステップ1)初期値の設定 Nr)=1.m=1、P
=1.Ne=1.1=0 (ステップ2>1=1 (ステップ3)i>2でないからステ・ツブ4へ(ステ
ップ4)L、l−1 (ステ・ツブ5 ) N l! = 1.− +である
からステ・ンプ6.1へ (ステップ6.1)A、=Oであるからステップ7、I
a/\ (ステーツブ7.1a)Nff= 1 、Np=2.m
=2(ステ・lア2 ) i = 2 (スう゛・・Iプ3)i> 2でないからステ・・lプ
・1へ(、ス テ ・・) ア’−1)L2=2(ステ
・ツブ5)Nj?=Lzでないからステ・ツブ6.2へ (ステップ6.2) N e > L 2でないがらス
テ・ソ77.2b’\ (7!、テ・y7”7.2t+)Ne=1.Np=3(
ステップ2> i =3 (ステップ3)i>2であるから終了、P=1これより
データの格納番地が1であることが得られた4ところが
、上記ページ1は既にオーバフロー状!ぶにありこれ以
上データを格納することができない。従って、ページ1
内のデータ集合を分割し、ページ1及び新しいページ4
に格納する。
=1.Ne=1.1=0 (ステップ2>1=1 (ステップ3)i>2でないからステ・ツブ4へ(ステ
ップ4)L、l−1 (ステ・ツブ5 ) N l! = 1.− +である
からステ・ンプ6.1へ (ステップ6.1)A、=Oであるからステップ7、I
a/\ (ステーツブ7.1a)Nff= 1 、Np=2.m
=2(ステ・lア2 ) i = 2 (スう゛・・Iプ3)i> 2でないからステ・・lプ
・1へ(、ス テ ・・) ア’−1)L2=2(ステ
・ツブ5)Nj?=Lzでないからステ・ツブ6.2へ (ステップ6.2) N e > L 2でないがらス
テ・ソ77.2b’\ (7!、テ・y7”7.2t+)Ne=1.Np=3(
ステップ2> i =3 (ステップ3)i>2であるから終了、P=1これより
データの格納番地が1であることが得られた4ところが
、上記ページ1は既にオーバフロー状!ぶにありこれ以
上データを格納することができない。従って、ページ1
内のデータ集合を分割し、ページ1及び新しいページ4
に格納する。
このとき、蓄積すべき上記データもそのキーのハツシュ
関数値によって新しい分割列(1,2,1>をもちい第
2図のフローチャーI・に従って適当なページ(1ある
いは4)に格納される。分割後のファイルの状態を第5
図に示す。
関数値によって新しい分割列(1,2,1>をもちい第
2図のフローチャーI・に従って適当なページ(1ある
いは4)に格納される。分割後のファイルの状態を第5
図に示す。
次に、第4図の状態でデータを取り出す際には、仮にデ
ータキー値が120でありそのハツシュ関数値が0.9
であるとしたとき、上の蓄積と同様にして以下のように
格納番地が設定される。
ータキー値が120でありそのハツシュ関数値が0.9
であるとしたとき、上の蓄積と同様にして以下のように
格納番地が設定される。
(ステップ1〉初期値の設定 Np=1.m=1、P=
1.Ne=1.1=0 (ステップ2)i=1 (ステップ3)i>2でないからステップ4へ(ステッ
プ4)L+=1 (ステップ5)Nj?=L+であるからステップ6.1
へ (ステップ6.1) A+ = Oでないからステップ
7 、Ihへ (ステップ7 、Ib)P = 2 、 N e =
2 、 N p = 2、m=2 (ステップ2)i=2 (ステップ3)i)・2でないからステップ4へ(ステ
ップ4)L2=2 (ステップ5)Ne=L2であるからステップ6.1へ (ステップ6.1) A2 = 0でないからステップ
7.1hへ (ステ・:tT)”7.1b>P=3.Ne=3.Np
=3、m=3 (ステップ2)i−=3 (ステップ3)i>2であるから終了。P=3得られた
格納番地3からデータ取出部6によってキー120と一
致するデータ(120、d)が取り出され、データ値記
憶部11に設定され外部に渡される。
1.Ne=1.1=0 (ステップ2)i=1 (ステップ3)i>2でないからステップ4へ(ステッ
プ4)L+=1 (ステップ5)Nj?=L+であるからステップ6.1
へ (ステップ6.1) A+ = Oでないからステップ
7 、Ihへ (ステップ7 、Ib)P = 2 、 N e =
2 、 N p = 2、m=2 (ステップ2)i=2 (ステップ3)i)・2でないからステップ4へ(ステ
ップ4)L2=2 (ステップ5)Ne=L2であるからステップ6.1へ (ステップ6.1) A2 = 0でないからステップ
7.1hへ (ステ・:tT)”7.1b>P=3.Ne=3.Np
=3、m=3 (ステップ2)i−=3 (ステップ3)i>2であるから終了。P=3得られた
格納番地3からデータ取出部6によってキー120と一
致するデータ(120、d)が取り出され、データ値記
憶部11に設定され外部に渡される。
i発明の効果〕
このように、本発明にはオーバフローしたページに格納
されているデータの動的な分割および分割ページ番地を
有する分割列を用いた格納番地計算によって、ファイル
内のデータの分布を均質にでき、また必ず1回のアクセ
スでデータを収り出すことができ、アクセス回数を減少
できるという効果がある。実験および解析の結果、デー
タのページ格納効率は平均0.67であり効率的なデー
タ格納が可能となった。
されているデータの動的な分割および分割ページ番地を
有する分割列を用いた格納番地計算によって、ファイル
内のデータの分布を均質にでき、また必ず1回のアクセ
スでデータを収り出すことができ、アクセス回数を減少
できるという効果がある。実験および解析の結果、デー
タのページ格納効率は平均0.67であり効率的なデー
タ格納が可能となった。
図面の節citな説明
第1図は、本発明の一実施例を示すブロック図、第2図
は、第1図の格納番地計算部の動作フローチャー1・、
第3図は、第2図の説明にC重用するデータ集合の例を
示す図、第4図及び第5図は、第3図を用いた例におけ
る分割前後のファイル状態を示す説明図である。
は、第1図の格納番地計算部の動作フローチャー1・、
第3図は、第2図の説明にC重用するデータ集合の例を
示す図、第4図及び第5図は、第3図を用いた例におけ
る分割前後のファイル状態を示す説明図である。
1〜5.6.1.6.2.7.la 、 7.Ib 、
7.2a 。
7.2a 。
7.2b・・・フローチャートのスデップ、11・・・
データ飽記憶部、12・・・ハツシュ計算部、13・・
・分割列記憶部、14・・・データアクセス制御部、1
5・・・格納番地計算部、16・・・データ取出部、1
7・・・データ蓄積部、18・・・ディスク装置。
データ飽記憶部、12・・・ハツシュ計算部、13・・
・分割列記憶部、14・・・データアクセス制御部、1
5・・・格納番地計算部、16・・・データ取出部、1
7・・・データ蓄積部、18・・・ディスク装置。
躬 2ffi
熟3 凹
番地 4地
学4 図
牛5図
Claims (1)
- 【特許請求の範囲】 データの一部をキーとし、該キーのハッシュ関数値によ
り前記データのフアイルへの格納域番地を決定するデー
タアクセスを行なう情報処理装置のデータ管理方式にお
いて、 あらかじめデータ蓄積の際に記憶された、オーバフロー
して格納されているデータを複数のデータ格納域に分割
したデータ格納域の番地列からなる分割列データと前記
ハッシュ関数値とからデータの格納域番地を決定する格
納域番地決定手段と、データ蓄積に際し前記格納域番地
決定手段により決定された格納域がオーバフローすると
きには該格納域の番地を前記分割列データに追加して前
記格納域番地決定手段により前記オーバフローした格納
域に格納されているデータおよび蓄積しようとしたデー
タの格納域番地を決定し蓄積するように制御する制御手
段とを含むことを特徴とするデータ管理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61025125A JPS62182849A (ja) | 1986-02-06 | 1986-02-06 | デ−タ管理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61025125A JPS62182849A (ja) | 1986-02-06 | 1986-02-06 | デ−タ管理方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS62182849A true JPS62182849A (ja) | 1987-08-11 |
Family
ID=12157224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61025125A Pending JPS62182849A (ja) | 1986-02-06 | 1986-02-06 | デ−タ管理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS62182849A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01237853A (ja) * | 1988-03-18 | 1989-09-22 | Fujitsu Ltd | データ管理装置 |
| JPH01302422A (ja) * | 1988-05-31 | 1989-12-06 | Toshiba Corp | 情報処理装置 |
| JPH02230373A (ja) * | 1988-05-19 | 1990-09-12 | Hitachi Ltd | データベース処理装置及びデータベース処理方法 |
-
1986
- 1986-02-06 JP JP61025125A patent/JPS62182849A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01237853A (ja) * | 1988-03-18 | 1989-09-22 | Fujitsu Ltd | データ管理装置 |
| JPH02230373A (ja) * | 1988-05-19 | 1990-09-12 | Hitachi Ltd | データベース処理装置及びデータベース処理方法 |
| JPH01302422A (ja) * | 1988-05-31 | 1989-12-06 | Toshiba Corp | 情報処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11886401B2 (en) | Database key compression | |
| JP3510042B2 (ja) | データベース管理方法及びシステム | |
| WO2025112899A1 (zh) | 一种计算集成电路的内存管理方法、装置及计算集成电路 | |
| JPH09231053A (ja) | 並列ソート装置 | |
| CN112506823A (zh) | 一种fpga数据读写方法、装置、设备及可读存储介质 | |
| JP2781092B2 (ja) | システム間排他制御方式 | |
| CN111984204B (zh) | 一种数据读写方法、装置及电子设备和存储介质 | |
| CN113625938B (zh) | 一种元数据存储方法及其设备 | |
| JPH04313126A (ja) | 分散ファイルシステムのファイル入出力方式 | |
| CN106682047A (zh) | 一种数据导入方法以及相关装置 | |
| JPS62182849A (ja) | デ−タ管理方式 | |
| CN114911410B (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| US7313651B2 (en) | Method and related apparatus for data migration of disk array | |
| CN121255663B (zh) | 污点标签处理方法、装置、设备及介质 | |
| JP2994917B2 (ja) | 記憶システム | |
| CN111858603B (zh) | 区块链的数据写入方法及系统 | |
| JPH1185585A (ja) | 完全メモリ常駐型インデックス方法および装置 | |
| JPH09244932A (ja) | ディスクアレイ装置 | |
| JP2507399B2 (ja) | デ―タベ―ス装置 | |
| JP2912657B2 (ja) | ファイルアクセス処理装置 | |
| CN118051494A (zh) | 确定spark目标参数的方法、装置及电子设备 | |
| JPH04287245A (ja) | ファイルシステムのフリーエリア管理方式 | |
| JPH06337808A (ja) | メモリ管理方式 | |
| JPS62145441A (ja) | キ−順デ−タセツトの更新処理方式 | |
| JPS61184651A (ja) | 記憶領域管理方式 |