JPH04178726A - 大容量データ分類処理方式 - Google Patents
大容量データ分類処理方式Info
- Publication number
- JPH04178726A JPH04178726A JP30688490A JP30688490A JPH04178726A JP H04178726 A JPH04178726 A JP H04178726A JP 30688490 A JP30688490 A JP 30688490A JP 30688490 A JP30688490 A JP 30688490A JP H04178726 A JPH04178726 A JP H04178726A
- Authority
- JP
- Japan
- Prior art keywords
- string
- strings
- key
- directory
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、電子計算機による事務データ処理等における
大容量データの分類処理方式に関し、特に、外部記憶装
置として磁気ディスク装置等を使用して大容量データを
分類する方式に関する。
大容量データの分類処理方式に関し、特に、外部記憶装
置として磁気ディスク装置等を使用して大容量データを
分類する方式に関する。
従来、外部記憶装置として磁気ディスク装置を使用して
大容量データを分類する方式にはリンク分類方式がある
（特許出願番号昭和８２−２５８０６８）。これは、第
４図に示すように、以下の４つのフェーズからなる。
大容量データを分類する方式にはリンク分類方式がある
（特許出願番号昭和８２−２５８０６８）。これは、第
４図に示すように、以下の４つのフェーズからなる。
（１）プリソートフェーズ（フェーズ１）（２）リンク
フェーズ（フェーズ２） （３）マージフェーズ（フェーズ４） （４）ラストパスフェーズ（フェーズ５）ブリソートフ
ェーズ１では、入力ファイル６からデータ・レコードが
読込まれ、順番に組分けされ、順序づけられた組、即ち
ストリングとして磁気ディスク装置８へ出力されると同
時に、これらのストリングのそれぞれが出力された磁気
ディスク装置８上の位置（アドレス）とそのストリング
の第１レコードのキー及び最終レコードのキードから成
るストリングデイレクトＩＪ ７を内部記憶装置へ出力
しておく。
フェーズ（フェーズ２） （３）マージフェーズ（フェーズ４） （４）ラストパスフェーズ（フェーズ５）ブリソートフ
ェーズ１では、入力ファイル６からデータ・レコードが
読込まれ、順番に組分けされ、順序づけられた組、即ち
ストリングとして磁気ディスク装置８へ出力されると同
時に、これらのストリングのそれぞれが出力された磁気
ディスク装置８上の位置（アドレス）とそのストリング
の第１レコードのキー及び最終レコードのキードから成
るストリングデイレクトＩＪ ７を内部記憶装置へ出力
しておく。
リンクフェーズ２では、このストリングデイレクトリフ
を入力して第１レコードのキーの昇順に並び替え、並び
替えた後の先頭のストリングディレクトリの最終レコー
ドのキーと以降のストリングディレクトリの第１レコー
ドのキーとを比較し、後者の方が大きい場合に両方のス
トリングディレクトリをリンクするという処理を行う。
を入力して第１レコードのキーの昇順に並び替え、並び
替えた後の先頭のストリングディレクトリの最終レコー
ドのキーと以降のストリングディレクトリの第１レコー
ドのキーとを比較し、後者の方が大きい場合に両方のス
トリングディレクトリをリンクするという処理を行う。
こうすることによりストリングを論理的にマージするこ
とが出来る。
とが出来る。
次のマージフェース４では、これらのストリングの数が
ラストパスのマージオーダ以下になるまで、リンクフェ
ースで処理されたストリングがさらにマージされる。
ラストパスのマージオーダ以下になるまで、リンクフェ
ースで処理されたストリングがさらにマージされる。
ラストパスフェース５では、マージフェーズ４でマージ
されてできあがったストリングを１本のストリングに作
成して出力ファイル９へ書込む。
されてできあがったストリングを１本のストリングに作
成して出力ファイル９へ書込む。
上述した従来の大容量データ分類処理方式では、磁気デ
ィスク装置等の外部記憶装置の特性であるランダムアク
セスを生かすことを重要視するあまり０．物理的な特性
を無視して、論理的にストリングをリンクしてしまうこ
とになるため、論理的にリンクしたストリングを物理的
に入替えてマージするような場合、磁気ヘッドの位置ぎ
めに要する時間（シークタイム）が極端にかかってしま
うという欠点がある。
ィスク装置等の外部記憶装置の特性であるランダムアク
セスを生かすことを重要視するあまり０．物理的な特性
を無視して、論理的にストリングをリンクしてしまうこ
とになるため、論理的にリンクしたストリングを物理的
に入替えてマージするような場合、磁気ヘッドの位置ぎ
めに要する時間（シークタイム）が極端にかかってしま
うという欠点がある。
つまり、リンクフェーズで、ストリングディレクトリを
入力して第１レコードのキーの昇順に並び替え、並び替
えた後の先頭のストリングディレクトリの最終レコード
のキーと以降のストリングディレクトリの第１レコード
のキーとを比較し、後者の方が大きい場合に両方のスト
リングディレクトリをリンクするという処理のため、物
理的に非常に離れたストリング同志がリンクされてしま
う可能性があり、シークタイムがかかってしまうことに
なる。
入力して第１レコードのキーの昇順に並び替え、並び替
えた後の先頭のストリングディレクトリの最終レコード
のキーと以降のストリングディレクトリの第１レコード
のキーとを比較し、後者の方が大きい場合に両方のスト
リングディレクトリをリンクするという処理のため、物
理的に非常に離れたストリング同志がリンクされてしま
う可能性があり、シークタイムがかかってしまうことに
なる。
本発明は、回転する記憶媒体に対し移動するヘッドでデ
ータを読み書きし記憶媒体の２以上のシリンダでのデー
タの読み書きではヘッドをシークさせる必要がある外部
記憶装置に入力ファイルから読込まれたレコードから作
成した複数のストリングを出力し、これらのストリング
を物理的に入替えてマージする大容量データ分類処理方
式において、 前記ストリングが作成されて前記外部記憶装置へ出力さ
れると同時に、前記ストリングのそれぞれが出力される
前記外部記憶装置上の位置とそのストリングの第１レコ
ードのキー及び最終レコードのキーとを有するストリン
グディレクトリを内部記憶装置へ出力するス） ＩＪン
クディレク） ＩＪ作成手段と、 シリンダ単位に前記シリンダディレクトリを所定の規則
に基ずいて第１レコードのキーの順に並び替え、並び替
えた後のそれぞれのディレクトリの最終レコードのキー
が以降の順番のストリングディレクトリの第１のレコー
ドのキーより前記規則に基ずいて後位のものである時に
両方のストリングをリンクする論理的マージ手段と、前
記論理的マージ手段によりリンクされたストリングをシ
リンダ単位に物理的にマージする物理的マージ手段とを
有している。
ータを読み書きし記憶媒体の２以上のシリンダでのデー
タの読み書きではヘッドをシークさせる必要がある外部
記憶装置に入力ファイルから読込まれたレコードから作
成した複数のストリングを出力し、これらのストリング
を物理的に入替えてマージする大容量データ分類処理方
式において、 前記ストリングが作成されて前記外部記憶装置へ出力さ
れると同時に、前記ストリングのそれぞれが出力される
前記外部記憶装置上の位置とそのストリングの第１レコ
ードのキー及び最終レコードのキーとを有するストリン
グディレクトリを内部記憶装置へ出力するス） ＩＪン
クディレク） ＩＪ作成手段と、 シリンダ単位に前記シリンダディレクトリを所定の規則
に基ずいて第１レコードのキーの順に並び替え、並び替
えた後のそれぞれのディレクトリの最終レコードのキー
が以降の順番のストリングディレクトリの第１のレコー
ドのキーより前記規則に基ずいて後位のものである時に
両方のストリングをリンクする論理的マージ手段と、前
記論理的マージ手段によりリンクされたストリングをシ
リンダ単位に物理的にマージする物理的マージ手段とを
有している。
以下、本発明の一実施例について図面を参照して説明す
る。
る。
第１図は本発明の一実施例の大容量データ分類処理方式
を用いて大容量データを分類する場合のデータの流れを
示す図、第２図はストリングデイレクトリフのフォーマ
ット例を示す図、第３図はリンクフェーズ２でのリンク
例を示す図である。
を用いて大容量データを分類する場合のデータの流れを
示す図、第２図はストリングデイレクトリフのフォーマ
ット例を示す図、第３図はリンクフェーズ２でのリンク
例を示す図である。
本実施例の大容量データ分類処理方式は、第１図に示す
ように以下の５つのフェーズからなる。
ように以下の５つのフェーズからなる。
（１）プリソートフェーズ（フェーズ１）（２）リンク
フェーズ（フェーズ２） （３）ワンシリンダマージフェーズ（フェーズ３）（４
）マルチシリンダマージフェーズ（フェーズ４）（５）
ラストパスフェーズ（フェーズ５）プリソートフェーズ
１では、第４図に示した従来の大容量データ分類処理方
式と同様に、入力ファイル６からデータφレコードが読
込まれ、ストリングが作成されて外部記憶装置の磁気デ
ィスク装置８へ出力されるが、このとき同時に、ストリ
ングデイレクトリフが作成されて１シリンダ単位にまと
め区切りを付けて内部記憶装置に格納される。このスト
リングデイレクトリフは第２図で示すように、ストリン
グが格納されているディスクアドレス（シリンダアドレ
スを含む）と、ストリングの第１レコードのキーである
第１キード、最終レコードのキーである最終キーとから
なる。
フェーズ（フェーズ２） （３）ワンシリンダマージフェーズ（フェーズ３）（４
）マルチシリンダマージフェーズ（フェーズ４）（５）
ラストパスフェーズ（フェーズ５）プリソートフェーズ
１では、第４図に示した従来の大容量データ分類処理方
式と同様に、入力ファイル６からデータφレコードが読
込まれ、ストリングが作成されて外部記憶装置の磁気デ
ィスク装置８へ出力されるが、このとき同時に、ストリ
ングデイレクトリフが作成されて１シリンダ単位にまと
め区切りを付けて内部記憶装置に格納される。このスト
リングデイレクトリフは第２図で示すように、ストリン
グが格納されているディスクアドレス（シリンダアドレ
スを含む）と、ストリングの第１レコードのキーである
第１キード、最終レコードのキーである最終キーとから
なる。
リンクフェーズ２では、プリソートフェーズ１で作成さ
れたストリングデイレクトリフをリンクすることにより
、ストリングを論理的にマージする。このリンクは、ま
ず、プリソートフェーズ２で作成した複数個のストリン
グディレクトリを１シリンダ単位に第１キーが大きいも
のから昇順に並びかえる。次に、１シリンダ内で１番目
のストリングディレクトリの最終キーと２番目のストリ
ングディレクトリの第１キーを比較し、後者の方が大き
いときにこれら２つのストリングディレクトリをリンク
することにより、ストリングを論理的にマージする。３
番目以降のストリングディレクトリについても同様の比
較を行ってリンクしていく。
れたストリングデイレクトリフをリンクすることにより
、ストリングを論理的にマージする。このリンクは、ま
ず、プリソートフェーズ２で作成した複数個のストリン
グディレクトリを１シリンダ単位に第１キーが大きいも
のから昇順に並びかえる。次に、１シリンダ内で１番目
のストリングディレクトリの最終キーと２番目のストリ
ングディレクトリの第１キーを比較し、後者の方が大き
いときにこれら２つのストリングディレクトリをリンク
することにより、ストリングを論理的にマージする。３
番目以降のストリングディレクトリについても同様の比
較を行ってリンクしていく。
この作業をシリンダ単位に全てのストリングディレクト
リについて行うことにより、ストリングを物理的にマー
ジすることなく論理的にマージさせてストリングの数を
減らす。
リについて行うことにより、ストリングを物理的にマー
ジすることなく論理的にマージさせてストリングの数を
減らす。
例えば第３図に示すように、５０シリンダ上のディスク
アドレス“Ａ”〜“Ｄ”を持つ４つのストリングディレ
クトリをリンクする場合に、これらのストリングディレ
クトリを第１キーが大きいものから昇順に並び替えると
ｕＢ” ｕ ［） １１゜“Ｃ”、′Ａ” （ディ
スクアドレスによる表示）となる。次に ｕＢ”の最終
キーと“Ａ”の第１キーを比較して後者の方が大きいの
で、両者をリンクする。これにより“Ｂ−Ａ”” ｕｐ
”。
アドレス“Ａ”〜“Ｄ”を持つ４つのストリングディレ
クトリをリンクする場合に、これらのストリングディレ
クトリを第１キーが大きいものから昇順に並び替えると
ｕＢ” ｕ ［） １１゜“Ｃ”、′Ａ” （ディ
スクアドレスによる表示）となる。次に ｕＢ”の最終
キーと“Ａ”の第１キーを比較して後者の方が大きいの
で、両者をリンクする。これにより“Ｂ−Ａ”” ｕｐ
”。
“Ｃ”の３つのストリングにマージされたこととなる。
次に ＩＪＤ″の最終キーと“Ｃ”の第１キーを比較し
て後者の方が大きいので、両者をリンクする。これによ
り“Ｂ−Ａ”、”Ｄ−Ｃ”の２つのストリングが作成さ
れることになる。同様に、５１シリンダについても同様
の操作によって“Ｈ−Ｆ”、”Ｅ−Ｇ”の２つのストリ
ングが作成されることになる。
て後者の方が大きいので、両者をリンクする。これによ
り“Ｂ−Ａ”、”Ｄ−Ｃ”の２つのストリングが作成さ
れることになる。同様に、５１シリンダについても同様
の操作によって“Ｈ−Ｆ”、”Ｅ−Ｇ”の２つのストリ
ングが作成されることになる。
ワンシリンダマージフェーズ３では、リンクフェーズ２
で論理的にリンクされたストリングの数が各シリンダに
ついて１ストリングになるまでストリングを物理的にマ
ージする。
で論理的にリンクされたストリングの数が各シリンダに
ついて１ストリングになるまでストリングを物理的にマ
ージする。
この間、磁気ディスク８の磁気ヘッドは同一シリンダ上
のデータをアクセスするため移動する必要がなく、ヘッ
ド位置ぎめに要する時間（シークタイム）は最小で零に
出来る。
のデータをアクセスするため移動する必要がなく、ヘッ
ド位置ぎめに要する時間（シークタイム）は最小で零に
出来る。
マルチシリンダフェーズ４では、ワンシリンダマージフ
ェーズ３で１シリンダ１ストリングになっている２つの
シリンダをマージして１ストリングにする。これをスト
リング数が２以下になるまでくりかえす。この方式は読
取りと書き込みを極力同一シリンダ上で行なうように工
夫したスライディングバッファ手法を特徴する特許出願
番号昭和６３−２９１３８８）。こうすることにより、
マージフェーズにおけるシークタイムを極力最小にする
ことができる。また、ラストバスフェーズ５では、マー
ジフェーズ４でマージして作成されたストリングを１本
のストリングに作成して出力ファイルへ書き込むことに
よって処理が終了する。
ェーズ３で１シリンダ１ストリングになっている２つの
シリンダをマージして１ストリングにする。これをスト
リング数が２以下になるまでくりかえす。この方式は読
取りと書き込みを極力同一シリンダ上で行なうように工
夫したスライディングバッファ手法を特徴する特許出願
番号昭和６３−２９１３８８）。こうすることにより、
マージフェーズにおけるシークタイムを極力最小にする
ことができる。また、ラストバスフェーズ５では、マー
ジフェーズ４でマージして作成されたストリングを１本
のストリングに作成して出力ファイルへ書き込むことに
よって処理が終了する。
以上説明したように本発明は、外部記憶装置として、磁
気ディスク装置等を使用して大容量データを分類する場
合に、従来はリンクフェーズで無条件にストリングディ
レクトリ上の全データを第１キーと最終キーの大小によ
ってリンクしていたのを、シリンダ単位に区切って、そ
の範囲内で同様の操作によってリンクすることにより、
論理的にストリングをマージする効果を生じながら、物
理的な面からシークタイムを極力最小にすることができ
る効果がある。
気ディスク装置等を使用して大容量データを分類する場
合に、従来はリンクフェーズで無条件にストリングディ
レクトリ上の全データを第１キーと最終キーの大小によ
ってリンクしていたのを、シリンダ単位に区切って、そ
の範囲内で同様の操作によってリンクすることにより、
論理的にストリングをマージする効果を生じながら、物
理的な面からシークタイムを極力最小にすることができ
る効果がある。
第１図は本発明の一実施例の大容量データ分類処理方式
を用いて大容量データを分類する場合のデータの流れを
示す図、第２図は第１図のストリングデイレクトリフの
フォーマット例を示す図、第３図は第１図のリンクフェ
ーズ２におけるリンク例を示す図、第４図は従来の大容
量データ分類処理方式のデータの流れを示す図である。 １・・・プリソートフェーズ、２・・・リンクフェーズ
、３・・・ワンシリンダマージフェーズ、４・・・マル
チシリンダマージフェーズ、５・・・ラストパスフェー
ズ、６・・・入力ファイル、７・・・ストリングディレ
クトリ、８・・・磁気ディスク装置、９・・・出力ファ
イル。
を用いて大容量データを分類する場合のデータの流れを
示す図、第２図は第１図のストリングデイレクトリフの
フォーマット例を示す図、第３図は第１図のリンクフェ
ーズ２におけるリンク例を示す図、第４図は従来の大容
量データ分類処理方式のデータの流れを示す図である。 １・・・プリソートフェーズ、２・・・リンクフェーズ
、３・・・ワンシリンダマージフェーズ、４・・・マル
チシリンダマージフェーズ、５・・・ラストパスフェー
ズ、６・・・入力ファイル、７・・・ストリングディレ
クトリ、８・・・磁気ディスク装置、９・・・出力ファ
イル。
Claims (1)
- 【特許請求の範囲】 回転する記憶媒体に対し移動するヘッドでデータを読
み書きし記憶媒体の２以上のシリンダでのデータの読み
書きではヘッドをシークさせる必要がある外部記憶装置
に入力ファイルから読込まれたレコードから作成した複
数のストリングを出力し、これらのストリングを物理的
に入替えてマージする大容量データ分類処理方式におい
て、前記ストリングが作成されて前記外部記憶装置へ出
力されると同時に、前記ストリングのそれぞれが出力さ
れる前記外部記憶装置上の位置とそのストリングの第１
レコードのキー及び最終レコードのキーとを有するスト
リングディレクトリを内部記憶装置へ出力するストリン
グディレクトリ作成手段と、 シリンダ単位に前記シリンダディレクトリを所定の規則
に基ずいて第１レコードのキーの順に並び替え、並び替
えた後のそれぞれのディレクトリの最終レコードのキー
が以降の順番のストリングディレクトリの第１のレコー
ドのキーより前記規則に基ずいて後位のものである時に
両方のストリングをリンクする論理的マージ手段と、 前記論理的マージ手段によりリンクされたストリングを
シリンダ単位に物理的にマージする物理的マージ手段と
を含むことを特徴とする大容量データ分類処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30688490A JPH04178726A (ja) | 1990-11-13 | 1990-11-13 | 大容量データ分類処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30688490A JPH04178726A (ja) | 1990-11-13 | 1990-11-13 | 大容量データ分類処理方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04178726A true JPH04178726A (ja) | 1992-06-25 |
Family
ID=17962413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30688490A Pending JPH04178726A (ja) | 1990-11-13 | 1990-11-13 | 大容量データ分類処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04178726A (ja) |
-
1990
- 1990-11-13 JP JP30688490A patent/JPH04178726A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8001134B2 (en) | Method for performing an external (disk-based) sort of a large data file which takes advantage of “presorted” data already present in the input | |
| US5222235A (en) | Databases system for permitting concurrent indexing and reloading of data by early simulating the reload process to determine final locations of the data | |
| EP0066061A2 (en) | Relational algebra engine | |
| JPH02178730A (ja) | 分割法を用いた内部ソート方式 | |
| US6424970B1 (en) | Sorting system and method executed by plural computers for sorting and distributing data to selected output nodes | |
| JP3251138B2 (ja) | ハッシュ方式 | |
| Menon | A study of sort algorithms for multiprocessor database machines | |
| JPH04178726A (ja) | 大容量データ分類処理方式 | |
| JP5354606B2 (ja) | データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム | |
| US20220138338A1 (en) | Data replacement apparatus, data replacement method, and program | |
| JPS63196959A (ja) | フアイルの退避復元方式 | |
| JP3145727B2 (ja) | データの検索装置 | |
| JPH02289005A (ja) | 計数情報の整列処理方式 | |
| JPH0199125A (ja) | リンク分類方式 | |
| JP3293551B2 (ja) | ソート処理方法 | |
| JPH0291725A (ja) | 併合処理方式 | |
| JPH02252061A (ja) | 画像フアイル装置 | |
| CN111367915A (zh) | 一种区块链数据的操作方法及装置 | |
| JPH0764835A (ja) | リレーショナルデータベースのデータ格納方式 | |
| JPH02302869A (ja) | ファイル編集方式 | |
| JPS61133450A (ja) | デ−タベ−ス更新ログ処理方式 | |
| JPH01136252A (ja) | ファイルの構造 | |
| JPH04172541A (ja) | レコード格納装置 | |
| JPH0398137A (ja) | ファイルバックアップ方式 | |
| JPH0388069A (ja) | 記憶媒体接続装置 |