JPH08241214A - データ処理システム - Google Patents
データ処理システムInfo
- Publication number
- JPH08241214A JPH08241214A JP7045693A JP4569395A JPH08241214A JP H08241214 A JPH08241214 A JP H08241214A JP 7045693 A JP7045693 A JP 7045693A JP 4569395 A JP4569395 A JP 4569395A JP H08241214 A JPH08241214 A JP H08241214A
- Authority
- JP
- Japan
- Prior art keywords
- data processing
- file
- job
- jobs
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99938—Concurrency, e.g. lock management in shared database
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 データ処理システムに関し、個々のデータ処
理の高速化と複数のジョブ間の同期および負荷分散とを
容易に実現可能とする。 【構成】 プロセサ１の動作を制御するＯＳ２は、実行
中の各々のジョブ３の動作状態を単位時間ごとに測定
し、得られた状態値（ＣＰＵ使用率，Ｉ／Ｏ使用率，メ
モリ使用率など）をジョブの動作状態テーブル４に格納
する。複数のジョブ３から同一のファイル５への並列デ
ータ入力要求があった場合、ＯＳ２に起動された並列デ
ータ処理制御手段７は、該当する複数のジョブ３とファ
イル５との関連性を示す情報を並列データ処理ファイル
管理テーブル８にエントリする。その後、ファイル５か
ら１レコードずつ入力されたデータは、エントリされた
情報中の分散規則にしたがって、実行中のジョブ３に分
散して渡されていく。
理の高速化と複数のジョブ間の同期および負荷分散とを
容易に実現可能とする。 【構成】 プロセサ１の動作を制御するＯＳ２は、実行
中の各々のジョブ３の動作状態を単位時間ごとに測定
し、得られた状態値（ＣＰＵ使用率，Ｉ／Ｏ使用率，メ
モリ使用率など）をジョブの動作状態テーブル４に格納
する。複数のジョブ３から同一のファイル５への並列デ
ータ入力要求があった場合、ＯＳ２に起動された並列デ
ータ処理制御手段７は、該当する複数のジョブ３とファ
イル５との関連性を示す情報を並列データ処理ファイル
管理テーブル８にエントリする。その後、ファイル５か
ら１レコードずつ入力されたデータは、エントリされた
情報中の分散規則にしたがって、実行中のジョブ３に分
散して渡されていく。
Description
【０００１】
【産業上の利用分野】本発明はデータ処理システムに係
り、特に、複数のジョブが同一ファイル中のデータを並
列処理するデータ処理システムに関する。
り、特に、複数のジョブが同一ファイル中のデータを並
列処理するデータ処理システムに関する。
【０００２】
【従来の技術】従来より、磁気ディスク上のディスクフ
ァイルではなく、半導体メモリ上のメモリファイルを利
用して関連性を有する複数のプログラム間におけるデー
タの受け渡しを行うことにより、データ処理の高速化を
実現する「メモリファイルアクセス方式」が知られてい
る（特開平６−７５８３７号公報記載の発明）。
ァイルではなく、半導体メモリ上のメモリファイルを利
用して関連性を有する複数のプログラム間におけるデー
タの受け渡しを行うことにより、データ処理の高速化を
実現する「メモリファイルアクセス方式」が知られてい
る（特開平６−７５８３７号公報記載の発明）。
【０００３】
【発明が解決しようとする課題】上記従来技術は、関連
性を有するジョブ間のデータの受け渡しに際してメモリ
ファイルを用いることを特徴とするものであり、ファイ
ルに格納されているデータを複数のジョブで利用するこ
とについて特別な考慮はされていない。そこで、ファイ
ルに格納されたデータを複数のジョブに渡したい場合、
あらかじめユーザがファイルをジョブごとの複数のファ
イルに分割しておくか、あるいは、データ分割を行うた
めの特別なジョブを作成しておかなければならず、ひと
つのファイルについて複数のジョブを並列実行させてデ
ータ処理の高速化を実現させることは困難であるという
問題点があった。
性を有するジョブ間のデータの受け渡しに際してメモリ
ファイルを用いることを特徴とするものであり、ファイ
ルに格納されているデータを複数のジョブで利用するこ
とについて特別な考慮はされていない。そこで、ファイ
ルに格納されたデータを複数のジョブに渡したい場合、
あらかじめユーザがファイルをジョブごとの複数のファ
イルに分割しておくか、あるいは、データ分割を行うた
めの特別なジョブを作成しておかなければならず、ひと
つのファイルについて複数のジョブを並列実行させてデ
ータ処理の高速化を実現させることは困難であるという
問題点があった。
【０００４】また、従来より、オペレータなどの人手を
介したり、特別なジョブスケジューラを設けたりするこ
とで、プロセサの有効利用が図られているが、それぞれ
が全く無関係に並列実行されている複数のジョブ間の同
期および負荷分散を実現させることは困難であるという
問題点があった。
介したり、特別なジョブスケジューラを設けたりするこ
とで、プロセサの有効利用が図られているが、それぞれ
が全く無関係に並列実行されている複数のジョブ間の同
期および負荷分散を実現させることは困難であるという
問題点があった。
【０００５】したがって本発明の目的は、上記の問題点
を解決して、個々のデータ処理の高速化と複数のジョブ
間の同期および負荷分散とを容易に実現させることがで
きるデータ処理システムを提供することにある。
を解決して、個々のデータ処理の高速化と複数のジョブ
間の同期および負荷分散とを容易に実現させることがで
きるデータ処理システムを提供することにある。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
め、本発明のデータ処理システムは、ジョブの実行制御
を行うプロセサと、データが格納されるファイルと、フ
ァイルの入出力制御を行うファイルアクセス手段とを具
備するデータ処理システムにおいて、プロセサ上で並列
実行中のグループ化された関連ジョブから順編成の入力
ファイルへの並列データ入力要求があったとき、前記関
連ジョブの各々に対して前記入力ファイル中のデータを
所定の分散規則にしたがって渡していく並列データ処理
制御手段を具備し、さらに、前記関連ジョブおよび前記
入力ファイルについての管理情報が格納される並列デー
タ処理ファイル管理テーブルを具備する構成としたもの
である。
め、本発明のデータ処理システムは、ジョブの実行制御
を行うプロセサと、データが格納されるファイルと、フ
ァイルの入出力制御を行うファイルアクセス手段とを具
備するデータ処理システムにおいて、プロセサ上で並列
実行中のグループ化された関連ジョブから順編成の入力
ファイルへの並列データ入力要求があったとき、前記関
連ジョブの各々に対して前記入力ファイル中のデータを
所定の分散規則にしたがって渡していく並列データ処理
制御手段を具備し、さらに、前記関連ジョブおよび前記
入力ファイルについての管理情報が格納される並列デー
タ処理ファイル管理テーブルを具備する構成としたもの
である。
【０００７】ここで、上述した所定の分散規則は、各
々の前記関連ジョブが起動されたときの順番にしたがう
こと，各々の前記関連ジョブからの要求に対して即応
すること，各々の前記関連ジョブの動作状態（当該ジ
ョブのＣＰＵ使用率，Ｉ／Ｏ使用率，メモリ使用率のう
ちの少なくともひとつを用いて算出する）について考慮
することのいずれかである。
々の前記関連ジョブが起動されたときの順番にしたがう
こと，各々の前記関連ジョブからの要求に対して即応
すること，各々の前記関連ジョブの動作状態（当該ジ
ョブのＣＰＵ使用率，Ｉ／Ｏ使用率，メモリ使用率のう
ちの少なくともひとつを用いて算出する）について考慮
することのいずれかである。
【０００８】
【作用】上記構成に基づく作用を説明する。
【０００９】本発明のデータ処理システムは、ジョブの
実行制御を行うプロセサと、データが格納されるファイ
ルと、ファイルの入出力制御を行うファイルアクセス手
段とを具備するデータ処理システムにおいて、プロセサ
上で並列実行中のグループ化された関連ジョブから順編
成の入力ファイルへの並列データ入力要求があったと
き、前記関連ジョブの各々に対して前記入力ファイル中
のデータを所定の分散規則にしたがって渡していく並列
データ処理制御手段を具備し、さらに、前記関連ジョブ
および前記入力ファイルについての管理情報が格納され
る並列データ処理ファイル管理テーブルを具備する構成
としたことにより、複数のジョブによる個々のデータ処
理の高速化と複数のジョブ間の同期および負荷分散とを
容易に実現させることができる。
実行制御を行うプロセサと、データが格納されるファイ
ルと、ファイルの入出力制御を行うファイルアクセス手
段とを具備するデータ処理システムにおいて、プロセサ
上で並列実行中のグループ化された関連ジョブから順編
成の入力ファイルへの並列データ入力要求があったと
き、前記関連ジョブの各々に対して前記入力ファイル中
のデータを所定の分散規則にしたがって渡していく並列
データ処理制御手段を具備し、さらに、前記関連ジョブ
および前記入力ファイルについての管理情報が格納され
る並列データ処理ファイル管理テーブルを具備する構成
としたことにより、複数のジョブによる個々のデータ処
理の高速化と複数のジョブ間の同期および負荷分散とを
容易に実現させることができる。
【００１０】
【実施例】以下、本発明のデータ処理システムの一実施
例を、図面を用いて詳細に説明する。
例を、図面を用いて詳細に説明する。
【００１１】図１は、本発明のデータ処理システムの一
実施例の構成を示すブロック図である。同図中、１はジ
ョブを実行するプロセサ，５はプロセサ１によって処理
されるデータを格納したファイルであり、プロセサ１と
ファイル５とは入出力チャネルを介して接続されてい
る。
実施例の構成を示すブロック図である。同図中、１はジ
ョブを実行するプロセサ，５はプロセサ１によって処理
されるデータを格納したファイルであり、プロセサ１と
ファイル５とは入出力チャネルを介して接続されてい
る。
【００１２】図１中のプロセサ１では、当該プロセサ１
の動作を制御するオペレーティングシステム（ＯＳ）
２，ＯＳ２の制御下でそれぞれデータ処理を行う複数の
ジョブ３，ＯＳ２によって各々のジョブ３の動作状態が
格納されるジョブの動作状態テーブル４，ファイル５に
対する入出力を制御するファイルアクセス手段６，ファ
イル５に格納されたデータを少なくとも一つ以上のジョ
ブ３へ渡す並列データ処理制御手段７，ファイル５に格
納されたデータを対象として複数のジョブ３が所定のデ
ータ処理を行う場合におけるジョブ３とファイル５との
関連性を示す情報が格納される並列データ処理ファイル
管理テーブル８などが存在する。
の動作を制御するオペレーティングシステム（ＯＳ）
２，ＯＳ２の制御下でそれぞれデータ処理を行う複数の
ジョブ３，ＯＳ２によって各々のジョブ３の動作状態が
格納されるジョブの動作状態テーブル４，ファイル５に
対する入出力を制御するファイルアクセス手段６，ファ
イル５に格納されたデータを少なくとも一つ以上のジョ
ブ３へ渡す並列データ処理制御手段７，ファイル５に格
納されたデータを対象として複数のジョブ３が所定のデ
ータ処理を行う場合におけるジョブ３とファイル５との
関連性を示す情報が格納される並列データ処理ファイル
管理テーブル８などが存在する。
【００１３】図２は、図１中の動作状態テーブルにおけ
るデータ構成の一例を示す図である。同図中、動作状態
テーブル４には、それぞれのジョブを識別するためのジ
ョブ名４ａと、当該ジョブの動作状態を示すＣＰＵ使用
率４ｂ，Ｉ／Ｏ使用率４ｃ，メモリ使用率４ｄとが格納
されている。それぞれの使用率は、ＯＳ２によって所定
の単位時間ごとに測定された値であり、例えば求められ
た各々の使用率を百分率で表したものが格納される。
るデータ構成の一例を示す図である。同図中、動作状態
テーブル４には、それぞれのジョブを識別するためのジ
ョブ名４ａと、当該ジョブの動作状態を示すＣＰＵ使用
率４ｂ，Ｉ／Ｏ使用率４ｃ，メモリ使用率４ｄとが格納
されている。それぞれの使用率は、ＯＳ２によって所定
の単位時間ごとに測定された値であり、例えば求められ
た各々の使用率を百分率で表したものが格納される。
【００１４】図３は、図１中の並列データ処理ファイル
管理テーブルにおけるデータ構成の一例を示す図であ
る。同図中、並列データ処理ファイル管理テーブル８に
は、それぞれのファイルを識別するためのファイル名８
ａ，当該ファイルのデータを複数のジョブへ渡す際の分
散規則８ｂ，当該ファイルを同時に入力対象とするジョ
ブのジョブ数８ｃ，当該ファイルを同時に入力対象とす
るそれぞれのジョブを識別するためのジョブ名８ｄ，当
該ファイルからそれぞれのジョブが直近に入力したデー
タを識別するための入力レコード番号８ｅ，それぞれの
ジョブからのデータ入力要求の有無を示すデータ入力要
求フラグ８ｆなどが格納されている。ここで、ひとつの
ファイルを同時に入力対象としている複数のジョブが、
請求項中の“グループ化された関連ジョブ”に相当す
る。例えば、図３において、ファイル名“Ａ．Ｂ．Ｃ”
を同時に入力対象としているグループ化された関連ジョ
ブは、ジョブ名“ABC001”，“ABC002”，“ABC003”の
３つのジョブである。
管理テーブルにおけるデータ構成の一例を示す図であ
る。同図中、並列データ処理ファイル管理テーブル８に
は、それぞれのファイルを識別するためのファイル名８
ａ，当該ファイルのデータを複数のジョブへ渡す際の分
散規則８ｂ，当該ファイルを同時に入力対象とするジョ
ブのジョブ数８ｃ，当該ファイルを同時に入力対象とす
るそれぞれのジョブを識別するためのジョブ名８ｄ，当
該ファイルからそれぞれのジョブが直近に入力したデー
タを識別するための入力レコード番号８ｅ，それぞれの
ジョブからのデータ入力要求の有無を示すデータ入力要
求フラグ８ｆなどが格納されている。ここで、ひとつの
ファイルを同時に入力対象としている複数のジョブが、
請求項中の“グループ化された関連ジョブ”に相当す
る。例えば、図３において、ファイル名“Ａ．Ｂ．Ｃ”
を同時に入力対象としているグループ化された関連ジョ
ブは、ジョブ名“ABC001”，“ABC002”，“ABC003”の
３つのジョブである。
【００１５】図４は、図１中の並列データ処理制御手段
による動作手順の一例を示すフローチャートである。同
図中、並列データ処理制御手段７は、プロセサ１の動作
開始時にＯＳ２から起動されて、並列データ処理ファイ
ル管理テーブル８の初期化を行って（ステップ７０）、
ジョブ３およびＯＳ２からの要求待ち状態となる（ステ
ップ７１）。そして、ジョブ３からの要求がファイル５
のＯＰＥＮ要求であった場合（ステップ７２＝ＹＥ
Ｓ）、ジョブ３からの要求情報に基づき、ファイル名８
ａ，データの分散規則８ｂ，データを分散させるジョブ
数８ｃ，ジョブ名８ｄを並列データ処理ファイル管理テ
ーブル８に格納するとともに、当該ジョブの入力レコー
ド番号８ｅの値を“０”に、データ入力要求フラグ８ｆ
を“無”に、それぞれ初期化する（ステップ７２０）。
による動作手順の一例を示すフローチャートである。同
図中、並列データ処理制御手段７は、プロセサ１の動作
開始時にＯＳ２から起動されて、並列データ処理ファイ
ル管理テーブル８の初期化を行って（ステップ７０）、
ジョブ３およびＯＳ２からの要求待ち状態となる（ステ
ップ７１）。そして、ジョブ３からの要求がファイル５
のＯＰＥＮ要求であった場合（ステップ７２＝ＹＥ
Ｓ）、ジョブ３からの要求情報に基づき、ファイル名８
ａ，データの分散規則８ｂ，データを分散させるジョブ
数８ｃ，ジョブ名８ｄを並列データ処理ファイル管理テ
ーブル８に格納するとともに、当該ジョブの入力レコー
ド番号８ｅの値を“０”に、データ入力要求フラグ８ｆ
を“無”に、それぞれ初期化する（ステップ７２０）。
【００１６】一方、ジョブ３からの要求がファイル５の
ＲＥＡＤ要求であった場合（ステップ７３＝ＹＥＳ）、
並列データ処理ファイル管理テーブル８を参照して、当
該ＲＥＡＤ要求のあったファイル５のファイル名８ａに
対応するデータの分散規則８ｂを調べる。その結果、
「分散規則＝順番」であった場合（ステップ７３１＝Ｙ
ＥＳ）、当該ファイル５を用いるジョブ３へ順番に入力
データを渡す（ステップ７３１０）。「分散規則＝要
求」であった場合（ステップ７３２＝ＹＥＳ）、当該フ
ァイル５から１レコードのデータを入力し、並列データ
処理ファイル管理テーブル８における入力要求を行った
ジョブ３についての入力レコード番号８ｅの値に新たな
入力データのレコード番号を設定して、当該ジョブ３に
入力データを渡す（ステップ７３２０）。「分散規則＝
動作状態」であった場合（ステップ７３３＝ＹＥＳ）
は、当該ファイル５を用いる複数のジョブ３のうち、最
も負荷の軽いジョブに入力データを渡す（ステップ７３
３０）。
ＲＥＡＤ要求であった場合（ステップ７３＝ＹＥＳ）、
並列データ処理ファイル管理テーブル８を参照して、当
該ＲＥＡＤ要求のあったファイル５のファイル名８ａに
対応するデータの分散規則８ｂを調べる。その結果、
「分散規則＝順番」であった場合（ステップ７３１＝Ｙ
ＥＳ）、当該ファイル５を用いるジョブ３へ順番に入力
データを渡す（ステップ７３１０）。「分散規則＝要
求」であった場合（ステップ７３２＝ＹＥＳ）、当該フ
ァイル５から１レコードのデータを入力し、並列データ
処理ファイル管理テーブル８における入力要求を行った
ジョブ３についての入力レコード番号８ｅの値に新たな
入力データのレコード番号を設定して、当該ジョブ３に
入力データを渡す（ステップ７３２０）。「分散規則＝
動作状態」であった場合（ステップ７３３＝ＹＥＳ）
は、当該ファイル５を用いる複数のジョブ３のうち、最
も負荷の軽いジョブに入力データを渡す（ステップ７３
３０）。
【００１７】さらに、ジョブ３からの要求がファイル５
のＣＬＯＳＥ要求であった場合（ステップ７４＝ＹＥ
Ｓ）、当該ファイル５から並列入力を行うジョブ３がそ
れぞれＣＬＯＳＥ要求をしてくる中で、最後のＣＬＯＳ
Ｅ要求の際に当該ファイル５をＣＬＯＳＥして、並列デ
ータ処理ファイル管理テーブル８から当該ファイル５に
ついてのエントリを削除する（ステップ７４０）。
のＣＬＯＳＥ要求であった場合（ステップ７４＝ＹＥ
Ｓ）、当該ファイル５から並列入力を行うジョブ３がそ
れぞれＣＬＯＳＥ要求をしてくる中で、最後のＣＬＯＳ
Ｅ要求の際に当該ファイル５をＣＬＯＳＥして、並列デ
ータ処理ファイル管理テーブル８から当該ファイル５に
ついてのエントリを削除する（ステップ７４０）。
【００１８】最後に、ＯＳ２からプロセサ１の動作終了
通知を受けた場合（ステップ７５＝ＹＥＳ）、プロセサ
１の動作を終了する。あるいは、プロセサ１の動作を続
行する場合（ステップ７５＝ＮＯ）、ステップ７１の処
理に戻ってジョブ３およびＯＳ２からの要求待ち状態と
なる。
通知を受けた場合（ステップ７５＝ＹＥＳ）、プロセサ
１の動作を終了する。あるいは、プロセサ１の動作を続
行する場合（ステップ７５＝ＮＯ）、ステップ７１の処
理に戻ってジョブ３およびＯＳ２からの要求待ち状態と
なる。
【００１９】なお、上述した説明中のＯＰＥＮ要求およ
びＲＥＡＤ要求が、請求項中の“並列データ入力要求”
に相当する。
びＲＥＡＤ要求が、請求項中の“並列データ入力要求”
に相当する。
【００２０】図５は、図４中で「分散規則＝順番」の場
合の入力データを渡す処理の詳細な動作手順の一例を示
すフローチャートである。同図中、ファイル５を用いる
ジョブ３へ順番に入力データを渡す処理７３１０では、
最初に、ＲＥＡＤ要求を行ったジョブ３（以後、“要求
ジョブ”と略記する）を識別するジョブ名８ｄに対応し
て並列データ処理ファイル管理テーブル８中に格納され
ている入力レコード番号８ｅの値が、当該ファイル５か
ら並列入力を行っているすべてのジョブ３の中で最小で
あるか否かを判定する（ステップ７３１１）。その結
果、要求ジョブの入力レコード番号８ｅが最小であると
判定された場合（ステップ７３１１＝ＹＥＳ）、当該フ
ァイル５から１レコードのデータを入力し、並列データ
処理ファイル管理テーブル８中に格納されている要求ジ
ョブの入力レコード番号８ｅの値を新たな入力データの
レコード番号に変更するとともに対応するデータ入力要
求フラグ８ｆを“無”にした後、要求ジョブに得られた
入力データを渡す（ステップ７３１２）。さらに、当該
ファイル５から並列入力を行っているすべてのジョブ３
の中で、データ入力要求フラグ８ｆが“有”であり、か
つ、入力レコード番号８ｅの値が当該ファイル５から並
列入力を行っているすべてのジョブ３の中で最小である
ものが他に存在するか否かを判定し（ステップ７３１
３）、存在する場合（ステップ７３１３＝ＹＥＳ）に
は、再度ステップ７３１２の処理を行って、このような
ジョブ３が存在しなくなるまでステップ７３１２の処理
を繰り返し行う。一方、要求ジョブの入力レコード番号
８ｅが最小ではないと判定された場合（ステップ７３１
１＝ＮＯ）、要求ジョブに対応するデータ入力要求フラ
グ８ｆを“有”にする（ステップ７３１４）。
合の入力データを渡す処理の詳細な動作手順の一例を示
すフローチャートである。同図中、ファイル５を用いる
ジョブ３へ順番に入力データを渡す処理７３１０では、
最初に、ＲＥＡＤ要求を行ったジョブ３（以後、“要求
ジョブ”と略記する）を識別するジョブ名８ｄに対応し
て並列データ処理ファイル管理テーブル８中に格納され
ている入力レコード番号８ｅの値が、当該ファイル５か
ら並列入力を行っているすべてのジョブ３の中で最小で
あるか否かを判定する（ステップ７３１１）。その結
果、要求ジョブの入力レコード番号８ｅが最小であると
判定された場合（ステップ７３１１＝ＹＥＳ）、当該フ
ァイル５から１レコードのデータを入力し、並列データ
処理ファイル管理テーブル８中に格納されている要求ジ
ョブの入力レコード番号８ｅの値を新たな入力データの
レコード番号に変更するとともに対応するデータ入力要
求フラグ８ｆを“無”にした後、要求ジョブに得られた
入力データを渡す（ステップ７３１２）。さらに、当該
ファイル５から並列入力を行っているすべてのジョブ３
の中で、データ入力要求フラグ８ｆが“有”であり、か
つ、入力レコード番号８ｅの値が当該ファイル５から並
列入力を行っているすべてのジョブ３の中で最小である
ものが他に存在するか否かを判定し（ステップ７３１
３）、存在する場合（ステップ７３１３＝ＹＥＳ）に
は、再度ステップ７３１２の処理を行って、このような
ジョブ３が存在しなくなるまでステップ７３１２の処理
を繰り返し行う。一方、要求ジョブの入力レコード番号
８ｅが最小ではないと判定された場合（ステップ７３１
１＝ＮＯ）、要求ジョブに対応するデータ入力要求フラ
グ８ｆを“有”にする（ステップ７３１４）。
【００２１】図６は、図４中で「分散規則＝動作状態」
の場合の入力データを渡す処理の詳細な動作手順の一例
を示すフローチャートである。同図中、ファイル５を用
いる複数のジョブ３のうち、最も負荷の軽いジョブに入
力データを渡す処理７３３０では、最初に、ジョブの動
作状態テーブル４を参照して、要求ジョブの負荷が当該
ファイル５から並列入力を行っているすべてのジョブ３
の中で最小であるか否かを判定する（ステップ７３３
１）。その結果、要求ジョブの負荷が最小であると判定
された場合（ステップ７３３１＝ＹＥＳ）、当該ファイ
ル５から１レコードのデータを入力し、並列データ処理
ファイル管理テーブル８中に格納されている要求ジョブ
の入力レコード番号８ｅの値を新たな入力データのレコ
ード番号に変更するとともに対応するデータ入力要求フ
ラグ８ｆを“無”にした後、要求ジョブに得られた入力
データを渡す（ステップ７３３２）。一方、要求ジョブ
の負荷が最小ではないと判定された場合（ステップ７３
３１＝ＮＯ）、要求ジョブに対応するデータ入力要求フ
ラグ８ｆを“有”にして（ステップ７３３３）、さら
に、当該ファイル５から並列入力を行っているすべての
ジョブ３の中で、データ入力要求フラグ８ｆが“有”で
あり、かつ、負荷が最小であるものが他に存在するか否
かを判定し（ステップ７３３４）、存在する場合（ステ
ップ７３３４＝ＹＥＳ）には、もう一度ステップ７３３
２の処理を行う。
の場合の入力データを渡す処理の詳細な動作手順の一例
を示すフローチャートである。同図中、ファイル５を用
いる複数のジョブ３のうち、最も負荷の軽いジョブに入
力データを渡す処理７３３０では、最初に、ジョブの動
作状態テーブル４を参照して、要求ジョブの負荷が当該
ファイル５から並列入力を行っているすべてのジョブ３
の中で最小であるか否かを判定する（ステップ７３３
１）。その結果、要求ジョブの負荷が最小であると判定
された場合（ステップ７３３１＝ＹＥＳ）、当該ファイ
ル５から１レコードのデータを入力し、並列データ処理
ファイル管理テーブル８中に格納されている要求ジョブ
の入力レコード番号８ｅの値を新たな入力データのレコ
ード番号に変更するとともに対応するデータ入力要求フ
ラグ８ｆを“無”にした後、要求ジョブに得られた入力
データを渡す（ステップ７３３２）。一方、要求ジョブ
の負荷が最小ではないと判定された場合（ステップ７３
３１＝ＮＯ）、要求ジョブに対応するデータ入力要求フ
ラグ８ｆを“有”にして（ステップ７３３３）、さら
に、当該ファイル５から並列入力を行っているすべての
ジョブ３の中で、データ入力要求フラグ８ｆが“有”で
あり、かつ、負荷が最小であるものが他に存在するか否
かを判定し（ステップ７３３４）、存在する場合（ステ
ップ７３３４＝ＹＥＳ）には、もう一度ステップ７３３
２の処理を行う。
【００２２】以上のように本実施例によれば、あらかじ
めユーザがファイルをジョブごとの複数のファイルに分
割したり、データ分割を行うための特別なジョブを作成
したりすることなく、ひとつのファイルについて複数の
ジョブを並列実行させてデータ処理の高速化を実現させ
ることが容易にできるようになる。また、オペレータな
どの人手を介したり、特別なジョブスケジューラを設け
たりすることなく、並列実行されている複数のジョブ間
の同期および負荷分散を実現させることが容易にできる
ようになる。
めユーザがファイルをジョブごとの複数のファイルに分
割したり、データ分割を行うための特別なジョブを作成
したりすることなく、ひとつのファイルについて複数の
ジョブを並列実行させてデータ処理の高速化を実現させ
ることが容易にできるようになる。また、オペレータな
どの人手を介したり、特別なジョブスケジューラを設け
たりすることなく、並列実行されている複数のジョブ間
の同期および負荷分散を実現させることが容易にできる
ようになる。
【００２３】
【発明の効果】以上詳しく説明したように、本発明のデ
ータ処理システムによれば、ジョブの実行制御を行うプ
ロセサと、データが格納されるファイルと、ファイルの
入出力制御を行うファイルアクセス手段とを具備するデ
ータ処理システムにおいて、プロセサ上で並列実行中の
グループ化された関連ジョブから順編成の入力ファイル
への並列データ入力要求があったとき、前記関連ジョブ
の各々に対して前記入力ファイル中のデータを所定の分
散規則にしたがって渡していく並列データ処理制御手段
を具備し、さらに、前記関連ジョブおよび前記入力ファ
イルについての管理情報が格納される並列データ処理フ
ァイル管理テーブルを具備する構成としたことにより、
複数のジョブによる個々のデータ処理の高速化と複数の
ジョブ間の同期および負荷分散とを容易に実現させるこ
とができるという効果が得られる。
ータ処理システムによれば、ジョブの実行制御を行うプ
ロセサと、データが格納されるファイルと、ファイルの
入出力制御を行うファイルアクセス手段とを具備するデ
ータ処理システムにおいて、プロセサ上で並列実行中の
グループ化された関連ジョブから順編成の入力ファイル
への並列データ入力要求があったとき、前記関連ジョブ
の各々に対して前記入力ファイル中のデータを所定の分
散規則にしたがって渡していく並列データ処理制御手段
を具備し、さらに、前記関連ジョブおよび前記入力ファ
イルについての管理情報が格納される並列データ処理フ
ァイル管理テーブルを具備する構成としたことにより、
複数のジョブによる個々のデータ処理の高速化と複数の
ジョブ間の同期および負荷分散とを容易に実現させるこ
とができるという効果が得られる。
【図１】本発明のデータ処理システムの一実施例の構成
を示すブロック図である。
を示すブロック図である。
【図２】図１中の動作状態テーブルにおけるデータ構成
の一例を示す図である。
の一例を示す図である。
【図３】図１中の並列データ処理ファイル管理テーブル
におけるデータ構成の一例を示す図である。
におけるデータ構成の一例を示す図である。
【図４】図１中の並列データ処理制御手段による動作手
順の一例を示すフローチャートである。
順の一例を示すフローチャートである。
【図５】図４中で「分散規則＝順番」の場合の入力デー
タを渡す処理の詳細な動作手順の一例を示すフローチャ
ートである。
タを渡す処理の詳細な動作手順の一例を示すフローチャ
ートである。
【図６】図４中で「分散規則＝動作状態」の場合の入力
データを渡す処理の詳細な動作手順の一例を示すフロー
チャートである。
データを渡す処理の詳細な動作手順の一例を示すフロー
チャートである。
１ プロセサ ２ オペレーティングシステム（ＯＳ） ３ ジョブ ４ ジョブの動作状態テーブル ５ ファイル ６ ファイルアクセス手段 ７ 並列データ処理制御手段 ８ 並列データ処理ファイル管理テーブル
Claims (6)
- 【請求項１】 ジョブの実行制御を行うプロセサと、デ
ータが格納されるファイルと、ファイルの入出力制御を
行うファイルアクセス手段とを具備するデータ処理シス
テムにおいて、 プロセサ上で並列実行中のグループ化された関連ジョブ
から順編成の入力ファイルへの並列データ入力要求があ
ったとき、前記関連ジョブの各々に対して前記入力ファ
イル中のデータを所定の分散規則にしたがって渡してい
く並列データ処理制御手段を具備する構成としたことを
特徴とするデータ処理システム。 - 【請求項２】 前記関連ジョブおよび前記入力ファイル
についての管理情報が格納される並列データ処理ファイ
ル管理テーブルを具備する構成としたことを特徴とする
請求項１記載のデータ処理システム。 - 【請求項３】 前記分散規則は、各々の前記関連ジョブ
が起動されたときの順番にしたがうこと、であることを
特徴とする請求項１または２記載のデータ処理システ
ム。 - 【請求項４】 前記分散規則は、各々の前記関連ジョブ
からの要求に対して即応すること、であることを特徴と
する請求項１または２記載のデータ処理システム。 - 【請求項５】 前記分散規則は、各々の前記関連ジョブ
の動作状態について考慮すること、であることを特徴と
する請求項１または２記載のデータ処理システム。 - 【請求項６】 各々の前記関連ジョブの動作状態を、当
該ジョブのＣＰＵ使用率，Ｉ／Ｏ使用率，メモリ使用率
のうちの少なくともひとつを用いて算出することを特徴
とする請求項５記載のデータ処理システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7045693A JPH08241214A (ja) | 1995-03-06 | 1995-03-06 | データ処理システム |
| US08/610,978 US5848411A (en) | 1995-03-06 | 1996-03-01 | Method for distributedly processing a plurality of jobs in a data processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7045693A JPH08241214A (ja) | 1995-03-06 | 1995-03-06 | データ処理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08241214A true JPH08241214A (ja) | 1996-09-17 |
Family
ID=12726471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7045693A Pending JPH08241214A (ja) | 1995-03-06 | 1995-03-06 | データ処理システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5848411A (ja) |
| JP (1) | JPH08241214A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8549526B2 (en) | 2007-03-20 | 2013-10-01 | Fujitsu Limited | Access control apparatus and access control method |
| US8863142B2 (en) | 2011-02-28 | 2014-10-14 | Sharp Kabushiki Kaisha | Image forming apparatus |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0990985A3 (de) * | 1998-09-30 | 2005-12-28 | Infineon Technologies AG | Verfahren zum Betrieb eines Netzcomputers |
| US6928482B1 (en) | 2000-06-29 | 2005-08-09 | Cisco Technology, Inc. | Method and apparatus for scalable process flow load balancing of a multiplicity of parallel packet processors in a digital communication network |
| US20030028594A1 (en) * | 2001-07-31 | 2003-02-06 | International Business Machines Corporation | Managing intended group membership using domains |
| JP2005092542A (ja) * | 2003-09-18 | 2005-04-07 | Hitachi Ltd | ジョブネット構成ファイルの生成装置および生成方法 |
| JP6345604B2 (ja) * | 2014-01-27 | 2018-06-20 | アラクサラネットワークス株式会社 | 通信装置、拡張機能の移動方法、及び通信システム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5296836A (en) * | 1976-02-10 | 1977-08-15 | Toshiba Corp | Multiplex data processing system |
| US4658351A (en) * | 1984-10-09 | 1987-04-14 | Wang Laboratories, Inc. | Task control means for a multi-tasking data processing system |
| JPS61150059A (ja) * | 1984-12-24 | 1986-07-08 | Sony Corp | デ−タ処理装置 |
| US4918595A (en) * | 1987-07-31 | 1990-04-17 | International Business Machines Corp. | Subsystem input service for dynamically scheduling work for a computer system |
| JPH03188528A (ja) * | 1989-09-27 | 1991-08-16 | Hitachi Ltd | ジョブ実行管理方法およびシステム |
| JP2746734B2 (ja) * | 1990-06-08 | 1998-05-06 | 富士通株式会社 | ストリームファイルに対してのアクセス処理方式 |
| US5390329A (en) * | 1990-06-11 | 1995-02-14 | Cray Research, Inc. | Responding to service requests using minimal system-side context in a multiprocessor environment |
| US5483641A (en) * | 1991-12-17 | 1996-01-09 | Dell Usa, L.P. | System for scheduling readahead operations if new request is within a proximity of N last read requests wherein N is dependent on independent activities |
| JPH0675837A (ja) * | 1992-08-26 | 1994-03-18 | Nec Corp | メモリファイルアクセス方式 |
| US5588134A (en) * | 1992-09-25 | 1996-12-24 | Amdahl Corporation | System for establishing priority among selected tasks based on location of tasks and sequence that the tasks were stored whereas task is always stored in location with the lowest available address |
-
1995
- 1995-03-06 JP JP7045693A patent/JPH08241214A/ja active Pending
-
1996
- 1996-03-01 US US08/610,978 patent/US5848411A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8549526B2 (en) | 2007-03-20 | 2013-10-01 | Fujitsu Limited | Access control apparatus and access control method |
| US8863142B2 (en) | 2011-02-28 | 2014-10-14 | Sharp Kabushiki Kaisha | Image forming apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US5848411A (en) | 1998-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004038758A (ja) | 記憶制御装置、記憶制御装置の制御方法、及びプログラム | |
| JP4233635B2 (ja) | アプリケーション・インタフェースに持続性を提供するための装置および方法 | |
| US5761696A (en) | Parallel database serving mechanism for a single-level-store computer system | |
| CN113241120B (zh) | 一种基因测序系统及测序方法 | |
| JPH0798663A (ja) | 非同期ｉ／ｏ制御方式 | |
| JP2001282551A (ja) | ジョブ処理装置および方法 | |
| US5848411A (en) | Method for distributedly processing a plurality of jobs in a data processing system | |
| JP2001265726A (ja) | コンピュータ作業負荷の高速リカバリおよび再配置を可能にする自動化アプリケーションおよび手順 | |
| Sweeney et al. | Early experience using amazon batch for scientific workflows | |
| JP2752894B2 (ja) | ファイル転送装置 | |
| JPH08272739A (ja) | オンライン・レスポンス向上方法 | |
| JPH10161915A (ja) | 後発ジョブ優先の排他制御を実現するデータ引き継ぎ方法 | |
| JP2675026B2 (ja) | 計算機システムにおけるファイルの実行方法 | |
| JPH05241890A (ja) | データトレース方式 | |
| US8352504B2 (en) | Method, system and program product for managing a workload on a plurality of heterogeneous computing systems | |
| JPH11259431A (ja) | 分散処理方法及びネットワーク分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH09128321A (ja) | ユーザインタフェース装置 | |
| JPH0454623A (ja) | データ処理装置 | |
| JPH064472A (ja) | 入出力優先順位制御方式 | |
| JPH05250179A (ja) | マルチジョブシステムに於けるジョブ管理方式 | |
| JPH04113414A (ja) | ディスクキャッシュ自動利用方式 | |
| JPH06230950A (ja) | 分散処理環境におけるタスク管理方法 | |
| JPH08292956A (ja) | データベース管理装置及びデータベース管理方法 | |
| JPH05197571A (ja) | スケジュール管理装置 | |
| JPH0581047A (ja) | テストプログラム実行制御処理方式 |