JPH0535444A - ソート処理方式 - Google Patents
ソート処理方式Info
- Publication number
- JPH0535444A JPH0535444A JP18791691A JP18791691A JPH0535444A JP H0535444 A JPH0535444 A JP H0535444A JP 18791691 A JP18791691 A JP 18791691A JP 18791691 A JP18791691 A JP 18791691A JP H0535444 A JPH0535444 A JP H0535444A
- Authority
- JP
- Japan
- Prior art keywords
- sorting
- data
- files
- file
- sort
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 ソート処理時間を短縮する。
【構成】 ソート対象ファイルを例えば４つのファイル
に分割し、次に分割された各ファイルに存在する１／４
のデータを４つのタスクで同時に多重並列ソートし、更
に、ソートが行われた各ファイルのデータをマージする
ことにより、ソート対象ファイルの全データのソートを
行う。
に分割し、次に分割された各ファイルに存在する１／４
のデータを４つのタスクで同時に多重並列ソートし、更
に、ソートが行われた各ファイルのデータをマージする
ことにより、ソート対象ファイルの全データのソートを
行う。
Description
【０００１】
【産業上の利用分野】本発明は記憶装置に存するファイ
ルの管理方式に係り、特に膨大なデータを持つファイル
のソート処理に適したソート処理方式に関する。
ルの管理方式に係り、特に膨大なデータを持つファイル
のソート処理に適したソート処理方式に関する。
【０００２】
【従来の技術】図４はファイル管理における従来のソー
ト処理方式の概念図である。この図に示すように、従
来、ソート処理を行おうとするときは、１タスクでまず
ソートプログラムで対象ファイルから全データを入力
し、これらデータのソート処理を行った後、再び当該フ
ァイルに出力していた。
ト処理方式の概念図である。この図に示すように、従
来、ソート処理を行おうとするときは、１タスクでまず
ソートプログラムで対象ファイルから全データを入力
し、これらデータのソート処理を行った後、再び当該フ
ァイルに出力していた。
【０００３】
【発明が解決しようとする課題】ところで、ソート処理
では、比較数がデータの組合せ数に比例して増減する。
したがって、１タスクでデータの入出力やソート処理を
行っていた従来のソート処理方式ではファイル内のデー
タが膨大になると、処理時間がかかりすぎる問題があっ
た。また、データの入出力時にはソート処理が行われて
いないため、ＣＰＵの遊びが発生し、ＣＰＵの機能を有
効に活用されない問題もあった。
では、比較数がデータの組合せ数に比例して増減する。
したがって、１タスクでデータの入出力やソート処理を
行っていた従来のソート処理方式ではファイル内のデー
タが膨大になると、処理時間がかかりすぎる問題があっ
た。また、データの入出力時にはソート処理が行われて
いないため、ＣＰＵの遊びが発生し、ＣＰＵの機能を有
効に活用されない問題もあった。
【０００４】本発明はかかる問題点に鑑みて創案された
もので、膨大なデータのソート処理を短時間で行えるソ
ート処理方式を提供することにある。
もので、膨大なデータのソート処理を短時間で行えるソ
ート処理方式を提供することにある。
【０００５】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、記憶媒体に存在するソート対象ファイ
ルの容量を複数のファイルに分割し、次に分割された各
ファイルに存在するデータを同時に多重並列ソートし、
更に、ソートが行われた各ファイルのデータをマージす
ることにより、前記ソート対象ファイルの全データのソ
ートを終了するようにした。
め、本発明では、記憶媒体に存在するソート対象ファイ
ルの容量を複数のファイルに分割し、次に分割された各
ファイルに存在するデータを同時に多重並列ソートし、
更に、ソートが行われた各ファイルのデータをマージす
ることにより、前記ソート対象ファイルの全データのソ
ートを終了するようにした。
【０００６】具体的には、記憶媒体に存在するソート対
象ファイルと、ソート制御プログラムと、ソートプログ
ラムと、マージプログラムとを備え、前記ソート対象フ
ァイルの容量をソート制御プログラムで複数の仮想ファ
イルに分割する過程と、各仮想ファイルに対応したソー
トプログラムで仮想ファイル毎のデータを同時に多重並
列ソートする過程と、全ての仮想ファイルのデータのソ
ート処理が終了した時点でマージファイルで仮想ファイ
ルのマージを行う過程とによりソート処理を行う。
象ファイルと、ソート制御プログラムと、ソートプログ
ラムと、マージプログラムとを備え、前記ソート対象フ
ァイルの容量をソート制御プログラムで複数の仮想ファ
イルに分割する過程と、各仮想ファイルに対応したソー
トプログラムで仮想ファイル毎のデータを同時に多重並
列ソートする過程と、全ての仮想ファイルのデータのソ
ート処理が終了した時点でマージファイルで仮想ファイ
ルのマージを行う過程とによりソート処理を行う。
【０００７】なお、上記仮想ファイルのデータ容量は各
々均等に割り付けている。
々均等に割り付けている。
【０００８】
【実施例】以下、図面を参照して本発明の実施例を説明
する。
する。
【０００９】図１は本発明の一実施例に係るソート処理
方式の概念図である。図１に示すように、本実施例のソ
ート処理方式は、まず、記憶媒体、例えば外部ディスク
装置に存在するソート対象ファイルを同一ロケーション
の例えば４つの多重割り付けファイルに分割し、各多重
割り付けファイルに存する１／４毎のデータを各々対応
するソートプログラムを用い、複数のタスクで同時に入
力して多重並列ソートを行なった後、各データをマージ
プログラムでマージし、再び各多重割り付けファイルに
出力してソート処理を行うようにしたものである。
方式の概念図である。図１に示すように、本実施例のソ
ート処理方式は、まず、記憶媒体、例えば外部ディスク
装置に存在するソート対象ファイルを同一ロケーション
の例えば４つの多重割り付けファイルに分割し、各多重
割り付けファイルに存する１／４毎のデータを各々対応
するソートプログラムを用い、複数のタスクで同時に入
力して多重並列ソートを行なった後、各データをマージ
プログラムでマージし、再び各多重割り付けファイルに
出力してソート処理を行うようにしたものである。
【００１０】上記ソート処理において、ソートプログラ
ムとマージプログラムの制御はソート制御プログラムを
用いて行う。
ムとマージプログラムの制御はソート制御プログラムを
用いて行う。
【００１１】図２は本実施例による処理ブロック図、図
３はその処理過程図である。
３はその処理過程図である。
【００１２】これらの図を参照して具体的に説明する
と、まず、本実施例のソート処理方式は、ソート対象フ
ァイル３０を複数に分割し、これらを仮想ファイル(
１) 〜(ｎ) と見立てる過程を有する（ステップＡ）。
この過程はソート制御プログラム１０により行われ、好
ましくは各仮想ファイルのデータ量が均等に割り付けら
れるようにソート対象ファイル３０を分割する。
と、まず、本実施例のソート処理方式は、ソート対象フ
ァイル３０を複数に分割し、これらを仮想ファイル(
１) 〜(ｎ) と見立てる過程を有する（ステップＡ）。
この過程はソート制御プログラム１０により行われ、好
ましくは各仮想ファイルのデータ量が均等に割り付けら
れるようにソート対象ファイル３０を分割する。
【００１３】次に、本実施例のソート処理方式は、各々
の仮想ファイル( １) 〜( ｎ) に対してソートプログラ
ム１〜ｎを起動し、同時並列にデータのソート処理を行
う過程を有する（ステップＢ）。ここで、ソートプログ
ラム１は仮想ファイル( １)、ソートプログラム２は仮
想ファイル( ２) 、ソートプログラムｎは仮想ファイル
( ｎ) に各々対応する。仮想ファイル( １）〜( ｎ) に
対して同時起動されたタスクは、ソート制御プログラム
１０からのソート要求指令により各仮想ファイル( １)
〜( ｎ）からデータを入力してソートを開始し、ソート
終了後は再び各仮想ファイル( １) 〜( ｎ) に出力す
る。各タスクが割り当てられた仮想ファイル( １) 〜(
ｎ) のソート処理が終了すると、各々、ソート制御プロ
グラム１０に対してソート終了ステータスを送る。
の仮想ファイル( １) 〜( ｎ) に対してソートプログラ
ム１〜ｎを起動し、同時並列にデータのソート処理を行
う過程を有する（ステップＢ）。ここで、ソートプログ
ラム１は仮想ファイル( １)、ソートプログラム２は仮
想ファイル( ２) 、ソートプログラムｎは仮想ファイル
( ｎ) に各々対応する。仮想ファイル( １）〜( ｎ) に
対して同時起動されたタスクは、ソート制御プログラム
１０からのソート要求指令により各仮想ファイル( １)
〜( ｎ）からデータを入力してソートを開始し、ソート
終了後は再び各仮想ファイル( １) 〜( ｎ) に出力す
る。各タスクが割り当てられた仮想ファイル( １) 〜(
ｎ) のソート処理が終了すると、各々、ソート制御プロ
グラム１０に対してソート終了ステータスを送る。
【００１４】更に、本実施例のソート処理方式は、各仮
想ファイル同士をマージする過程を有する（ステップ
Ｃ）。この過程は、ソート制御プログラム１０が全ての
仮想ファイル( １) 〜( ｎ) からのソート終了ステータ
スを受領した時点でマージ要求指令をマージプログラム
２０に出力することで実行される。即ち、ソート対象フ
ァイル３０から各仮想ファイル( １) 〜( ｎ) の入力を
行い、マージ終了後再びソート対象ファイル３０に出力
することにより実行される。
想ファイル同士をマージする過程を有する（ステップ
Ｃ）。この過程は、ソート制御プログラム１０が全ての
仮想ファイル( １) 〜( ｎ) からのソート終了ステータ
スを受領した時点でマージ要求指令をマージプログラム
２０に出力することで実行される。即ち、ソート対象フ
ァイル３０から各仮想ファイル( １) 〜( ｎ) の入力を
行い、マージ終了後再びソート対象ファイル３０に出力
することにより実行される。
【００１５】このマージプログラムによるマージ処理の
実行が終了した時点で全てのソート処理を終了する。
実行が終了した時点で全てのソート処理を終了する。
【００１６】このように、本実施例では、ソート対象フ
ァイル３０の容量を複数の仮想ファイル( １) 〜( ｎ)
に分割し、次に分割された各仮想ファイル( １) 〜(
ｎ) に存在するデータをｎ個のタスクで同時に多重並列
ソートし、更に、ソートが行われた各仮想ファイル(
１) 〜( ｎ) のデータをマージすることにより、ソート
対象ファイル３０の全データのソート処理を行うように
したので、１タスクでソート処理を行っていた従来の方
式に比べて著しく処理時間が短縮されるようになった。
したがって、膨大なデータを有するファイルであっても
迅速にソート処理が行えるようになった。
ァイル３０の容量を複数の仮想ファイル( １) 〜( ｎ)
に分割し、次に分割された各仮想ファイル( １) 〜(
ｎ) に存在するデータをｎ個のタスクで同時に多重並列
ソートし、更に、ソートが行われた各仮想ファイル(
１) 〜( ｎ) のデータをマージすることにより、ソート
対象ファイル３０の全データのソート処理を行うように
したので、１タスクでソート処理を行っていた従来の方
式に比べて著しく処理時間が短縮されるようになった。
したがって、膨大なデータを有するファイルであっても
迅速にソート処理が行えるようになった。
【００１７】なお、本実施例のように、各仮想ファイル
( １) 〜( ｎ) のデータ量を均等に割り付けることで、
各仮想ファイルにおける処理時間が均一になり、最小限
の時間でソート処理を行なうことができる。
( １) 〜( ｎ) のデータ量を均等に割り付けることで、
各仮想ファイルにおける処理時間が均一になり、最小限
の時間でソート処理を行なうことができる。
【００１８】
【発明の効果】以上、説明してきたように、本発明では
一つのファイル容量を複数のファイルに分割し、各分割
されたファイル毎に複数のタスクで同時に並列多重にソ
ート処理を行い、ソート終了後にマージするようにした
ので、膨大なデータのソート処理を短時間で行えるソー
ト処理方式を提供することができる。
一つのファイル容量を複数のファイルに分割し、各分割
されたファイル毎に複数のタスクで同時に並列多重にソ
ート処理を行い、ソート終了後にマージするようにした
ので、膨大なデータのソート処理を短時間で行えるソー
ト処理方式を提供することができる。
【図１】本発明の一実施例に係るソート処理方式の概念
図である。
図である。
【図２】本実施例のソート処理方式による処理ブロック
図である。
図である。
【図３】本実施例のソート処理方式により処理過程図で
ある。
ある。
【図４】従来のソート処理方式の概念図である。
( １) 〜( ｎ) 仮想ファイル
１〜ｎ ソートプログラム
１０ ソート制御プログラム
２０ マージプログラム
３０ ソート対象ファイル
Claims (3)
- 【請求項１】 記憶媒体に存在するソート対象ファイル
のデータのソート処理を行う方式であって、前記ソート
対象ファイルの容量を複数のファイルに分割し、次に分
割された各ファイルに存在するデータを同時に多重並列
ソートし、更に、ソートが行われた各ファイルのデータ
をマージすることにより、前記ソート対象ファイルの全
データのソート処理を終了するようにしたことを特徴と
するソート処理方式。 - 【請求項２】 記憶媒体に存在するソート対象ファイル
と、ソート制御プログラムと、ソートプログラムと、マ
ージプログラムとを備え、前記ソート対象ファイルの容
量をソート制御プログラムで複数の仮想ファイルに分割
する過程と、各仮想ファイルに対応したソートプログラ
ムで仮想ファイル毎のデータを同時に多重並列ソートす
る過程と、全ての仮想ファイルのデータのソートが終了
した時点でマージファイルで仮想ファイルのマージを行
う過程とを有することを特徴とするソート処理方式。 - 【請求項３】 前記仮想ファイルのデータ量を各々均等
に割り付けたことを特徴とする請求項２記載のソート処
理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18791691A JPH0535444A (ja) | 1991-07-26 | 1991-07-26 | ソート処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18791691A JPH0535444A (ja) | 1991-07-26 | 1991-07-26 | ソート処理方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0535444A true JPH0535444A (ja) | 1993-02-12 |
Family
ID=16214451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18791691A Withdrawn JPH0535444A (ja) | 1991-07-26 | 1991-07-26 | ソート処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0535444A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001038967A1 (en) * | 1999-11-22 | 2001-05-31 | Turbo Data Laboratories, Inc. | Information processing system |
-
1991
- 1991-07-26 JP JP18791691A patent/JPH0535444A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001038967A1 (en) * | 1999-11-22 | 2001-05-31 | Turbo Data Laboratories, Inc. | Information processing system |
| US6886082B1 (en) | 1999-11-22 | 2005-04-26 | Turbo Data Laboratories, Inc. | Information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250004839A1 (en) | Memory Allocation Method and Apparatus for Neural Network | |
| US5404477A (en) | Extended memory address conversion and data transfer control system | |
| CN110262896A (zh) | 一种面向Spark系统的数据处理加速方法 | |
| CN119724304B (zh) | 一种硬盘测试方法、装置、设备及可读存储介质 | |
| CN113241120B (zh) | 一种基因测序系统及测序方法 | |
| JPH0535444A (ja) | ソート処理方式 | |
| CN116974994B (zh) | 一种基于集群的高效能文件协作系统 | |
| CN118819842A (zh) | 一种人工智能加速运算芯片 | |
| JPS63142431A (ja) | パイプライン制御方式 | |
| CN114546943A (zh) | 基于多进程调用的数据库文件排序优化方法及装置 | |
| CN120540716B (zh) | 筛选方法、装置、设备、存储介质 | |
| JP2000293215A (ja) | 数値制御装置の加工プログラムの指令方法 | |
| JP2003256193A (ja) | 並列ソート装置及び並列ソート方法並びにプログラム | |
| JP3975975B2 (ja) | 並列クイックソート装置，並列クイックソート方法および並列クイックソートプログラム | |
| JP2000235551A (ja) | データベース並列検索制御方法および記録媒体 | |
| JPH05151035A (ja) | データベースシステム | |
| CN118796392A (zh) | 一种提高线程执行效率的优化方法及终端 | |
| JPH0580977A (ja) | データ処理装置 | |
| JPH02222026A (ja) | 並列ディスク装置のバッファ制御方式 | |
| JPH03188531A (ja) | 時分割マルチタスク実行装置 | |
| CN117742968A (zh) | 一种高性能自动均匀拆分海量非结构化数据的方法及系统 | |
| CN115269551A (zh) | 一种数据库迁移系统、方法及计算机可读存储介质 | |
| JPH02120931A (ja) | ソートの外部ファイル割り付け方式 | |
| JPH01259430A (ja) | インターバルタイマ値の減算方法 | |
| JPH04337846A (ja) | オペレーティングシステムの検査方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981008 |