JPH10198643A

JPH10198643A - 分散計算機システム

Info

Publication number: JPH10198643A
Application number: JP206197A
Authority: JP
Inventors: Hiroaki Kato; 裕昭加藤; Satoshi Nakada; 智仲田; Norio Tanaka; 紀夫田中
Original assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Current assignee: Hitachi Ltd; Hitachi Information and Control Systems Inc
Priority date: 1997-01-09
Filing date: 1997-01-09
Publication date: 1998-07-31

Abstract

(57)【要約】【課題】ジョブを配分するに際し、その配分の判断が
計算機資源のジョブ起動時点における情報のみによって
行われており、時間の経過に伴い計算機上で実行されて
いる複数のジョブによって資源が消費され、資源の不足
により計算機を停止させる可能性がある。【解決手段】ジョブ消費予定資源定義表１２に予め各
ジョブの消費予定資源が定義されている。ジョブの実行
時に、ジョブ配分制御部１１、ジョブ実行制御部２１、
ジョブ消費予定資源定義表２２、予測消費資源管理表２
３を用い、ジョブ消費予定資源定義表１２の消費予定資
源及び予測消費資源情報を基に、前記ジョブを実行する
ジョブ実行ノード２において必要とされる将来の消費予
定資源が前記ノードの有する資源をこえない様にジョブ
を配分し、稼働停止を防止する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の計算機ノー
ドで構成された分散計算機システムに関するものであ
る。

【０００２】

【従来の技術】近年の計算機システムは、処理を高速化
する要求、処理データ量の増大、及び計算機間を接続す
るネットワークの発展により、複数の計算機をネットワ
ークで接続した分散計算機システムを構成するケースが
多くなってきている。分散計算機システム上でジョブを
実行する場合、計算機資源（１群の仕事を計算機システ
ムで実行するために必要なハードウェア及びソフトウェ
ア）を有効に活用するためには、個々の計算機の資源消
費状態を管理しながら各計算機に最適にジョブを配分す
る必要がある。

【０００３】従来、分散計算機システムにおけるジョブ
配分は、ジョブの新規起動時に、（ｉ）各計算機のジョ
ブ配分時点における資源消費状態、及び（ii) 予め定め
られたポリシーに基づいてジョブの配分を決定してい
た。

【０００４】

【発明が解決しようとする課題】しかし、従来の分散計
算機システムにおけるジョブ配分は、ジョブの制御を行
うために管理する各計算機上の資源情報が、刻々変化す
る計算機上の資源のある時間断面におけるデータに基づ
いている。このため、ジョブの起動時には計算機の空き
資源がジョブを実行するに十分と判断されているにもか
かわらず、時間の経過に伴い計算機上で実行されている
複数のジョブによって資源が消費され、計算機を資源の
不足により停止させてしまう可能性がある。

【０００５】なお、計算機の資源が予め設定したしきい
値を超えて消費された場合、アラーム等によりオペレー
タに通知し、オペレータがジョブのキャンセル等の措置
を行うことにより、計算機の停止を未然に防ぐことは可
能である。しかし、実行を中止したジョブを他の計算機
で再起動する必要があること、及び計算機が終日運転す
る場合、オペレータが常時監視しなければならないとい
う不便さがある。これは、ジョブ配分の判断が、計算機
資源のジョブ起動時点における情報のみによって行われ
ていることに理由があり、これを解決するためには、計
算機上で実行されているすべてのジョブがそのライフタ
イム（ジョブの起動から停止までの時間）にわたって消
費する資源を管理する必要がある。

【０００６】本発明の目的は、ノードの稼働停止を防止
することのできる分散計算機システムを提供することに
ある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、複数の計算機から構成された分散計算
機システムにおいて、実行対象のジョブの消費予定資源
を予め定義するジョブ消費予定資源定義手段と、前記ジ
ョブの実行時に、そのジョブを実行するノード上で必要
とされる将来の消費予定資源が前記ノードの有する資源
を超えない様にジョブの配分を行うジョブ配分手段とを
備えた構成にしている。この構成によれば、予め各ジョ
ブの使用予定資源をジョブ消費予定資源定義手段に定義
しておき、ジョブの実行時に、個々のノードに一度にジ
ョブが配分されないような配分、つまりジョブ配分を各
ノードの有する資源を超えないように決定すれば、ジョ
ブの起動に際して該ジョブを実行するために必要な計算
機上の資源が、ジョブのライフタイムにわたって予測消
費資源として仮想的に確保される。この結果、計算機上
で実行されている全てのジョブがそのライフタイムにわ
たって消費する資源を管理できるようになり、計算機資
源が各ジョブの実行に伴って不足する事態を招くことが
なくなる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。図１は本発明による分散計算機システムの
ジョブ配分処理部分を示すブロックを示している。図１
には分散計算機システムのジョブ制御ノード１と、この
ジョブ制御ノード１に接続されたジョブ実行ノード２が
示されている。ジョブ制御ノード１は、ユーザからのジ
ョブ実行要求を基に動作するジョブ配分制御部１１、定
義されたジョブ消費予定資源をジョブ配分制御部１１に
提供するジョブ消費予定資源定義表１２、予め定義され
た各実行ノードの保有資源情報を保持し、これをジョブ
配分制御部１１に提供する実行ノード保有資源定義表１
３、ノード上の予測消費資源をジョブ配分制御部１１に
提供する予測消費資源統括管理表１４、及びジョブ実行
ノード２側から予測消費資源情報を収集して予測消費資
源統括管理表１４に反映する予測消費資源収集部１５を
備えている。

【０００９】また、ジョブ実行ノード２は、ジョブ制御
ノード１側からの実行要求により起動するジョブ実行制
御部２１、定義されたジョブ消費予定資源をジョブ実行
制御部２１に提供するジョブ消費予定資源定義表２２、
ジョブ実行制御部２１により当該実行ノードの予測消費
資源が更新される予測消費資源管理表２３、及び予測消
費資源管理表２３の内容を参照して予測消費資源を管理
する予測消費資源管理部２４を備えている。なお、ジョ
ブ実行ノード２は複数が存在可能であるが、図１では１
つのみの構成を示し、その動作説明においても１つのみ
について説明する。また、図１においては、ジョブ制御
ノード１とジョブ実行ノード２を別個のノードとして構
成しているが、ジョブ制御ノード１がジョブ実行ノード
２を含む構成であってもよい。

【００１０】以上の構成において、ジョブ配分制御部１
１は、ユーザからのジョブ実行要求に対し、予測消費資
源統括管理表１４で管理される予測消費資源（ジョブ実
行ノード上の）Ｒfcと、ジョブ消費予定資源定義表１２
に定義されるジョブの消費予定資源Ｒcpの和（Ｒfc＋Ｒ
cp）に対する前記Ｒfcの比率Ｒfc／（Ｒfc＋Ｒcp）が最
小になり、且つ、前記Ｒfc＋Ｒcpが実行ノード保有資源
定義表１３に定義される当該ジョブ実行ノードの保有資
源を超えないジョブ実行ノード２を選択する。この選択
したジョブ実行ノード２上のジョブ実行制御部２１に対
し、ジョブの実行要求が行われる。

【００１１】ジョブ配分制御部１１からジョブの実行要
求を受けたジョブ実行制御部２１は、そのジョブを起動
すると共にジョブ消費予定資源定義表２２から前記ジョ
ブの消費予定資源値を取得する。この消費予定資源値
は、ジョブ実行制御部２１によって予測消費資源管理表
２３に加算され、また、ジョブの実行が終了すれば、前
記ジョブの消費予定資源値は予測消費資源管理表２３か
ら減算され、予測消費資源の更新が行われ、予測消費資
源の状態が管理される。この後、予測消費資源管理部２
４によって予測消費資源管理表２３の参照が行われ、こ
の参照結果を基に予測消費資源情報が取得され、この予
測消費資源情報は予測消費資源管理部２４から予測消費
資源収集部１５へ送出される。

【００１２】このように、予め各ジョブの使用予定資源
をジョブ消費予定資源定義表１２、２２に定義してお
き、ジョブの実行時に、各ノードにジョブが一度に配分
されないようにジョブ配分制御部１１によって決定すれ
ば、計算機資源を有効に活用できる。この結果、計算機
上で実行されている全てのジョブがそのライフタイムに
わたって消費する資源を管理でき、計算機資源が各ジョ
ブの実行に伴って不足する事態は生じなくなる。

【００１３】本発明は、特に、画像処理や科学技術計算
分野のように大量の資源を消費する類似のジョブを多数
実行する等の用途に有効である。つまり、各計算機に一
度にジョブを配分し過ぎることによって計算機に許容以
上の資源が要求され、計算機の稼働に悪影響を与えるよ
うなシステムへの適用に有効である。

【００１４】図２は図１に示したジョブ配分制御部１１
の詳細を示すブロック図である。ジョブ配分制御部１１
は、ジョブ実行要求管理部１６、ジョブ実行要求キュー
管理表１７、及びジョブ配分処理部１８を備えて構成さ
れている。ジョブ実行要求管理部１６は、ユーザからジ
ョブ実行要求を受けたときにジョブ実行要求をジョブ実
行要求キュー管理表１７のキューに登録する。また、ジ
ョブ配分処理部１８は、予め定義された周期毎、又はユ
ーザからジョブ実行要求があった時ジョブ実行要求管理
部１６からの起動指令に基づいて、ジョブ実行要求キュ
ー管理表１７からジョブ実行要求を取り出し、ジョブ消
費予定資源定義表１２、実行ノード保有資源定義表１３
及び予測消費資源統括管理表１４の３つを参照して各ジ
ョブのジョブ実行ノードへの配分を実行する。

【００１５】更に、ジョブ配分処理部１８は、どのジョ
ブ実行ノード上に対しても必要とする予測消費資源を確
保できなかったジョブの配分を見合わせ、ジョブ実行要
求キュー管理表１７内の次の順番のジョブを配分するこ
とを試みる。これは、ジョブ実行ノードの効率的な使用
を実現するものである。しかし、このようなジョブの配
分を行っていると、大量の消費予定資源を必要とするジ
ョブが、いつまでもジョブ実行ノード２に配分されない
ケースが発生する。そこで、ジョブ配分処理部１８は、
ジョブの配分をスキップする度にジョブ実行要求キュー
管理表１７内の当該ジョブのスキップカウンタ（図示せ
ず）をインクリメントする。そして、カウント値が予め
定義（スキップカウンタに）したしきい値に達した場
合、前記ジョブが優先的に実行されるように処理する。
このジョブ配分方式にすることで、ジョブに対する公平
な資源配分の実現、すなわちジョブを公平に実行するこ
とが可能になる。なお、ジョブ消費予定資源定義表２２
は、ジョブ配分制御部１１がジョブ実行制御部２１に対
してジョブの実行要求を行う時に、当該ジョブの消費予
定資源を合わせて通知することにより削除することも可
能である。

【００１６】次に、本発明による分散計算機システムの
具体例について説明する。図３は、大量の入力データに
処理及び加工を施して出力するジョブを複数のデータ処
理サーバ上で実行する分散計算機システムのブロック図
を示している。入力データのサイズは、ユーザから与え
られるジョブ実行要求毎に異なるので、各ジョブが出力
するデータのサイズもジョブ実行要求毎に異なる。この
ため、従来のジョブ配分技術では、データ処理サーバ上
で各ジョブの実行が進むにつれ、出力データを格納する
ディスク（記憶媒体）を使いきってしまう可能性があっ
た。ディスクに出力データを格納できないということ
は、データ処理サーバの稼働停止を意味する。したがっ
て、かかる事態はジョブ配分の過程で避ける必要があっ
た。しかし、本発明の適用により、各データ処理サーバ
上で実行中のジョブがそのライフタイムにわたって消費
予定のディスク容量を把握でき、その情報に基づいたジ
ョブ配分を行うことが可能になるので、データ処理サー
バの稼働停止の危険性を著しく低下させることができ
る。

【００１７】以下、図３の構成及び動作について説明す
る。図３には管理エージェント１０１と、複数のデータ
処理サーバ２０１の構成が示され、管理エージェント１
０１は図１のジョブ制御ノード１に相当し、データ処理
サーバ２０１は図１のジョブ実行ノード２に相当する。
管理エージェント１０１は、ジョブ属性定義ファイル１
２１、ジョブ属性ジェネレータ１２２、図１のジョブ消
費予定資源定義表１２に相当するジョブ属性定義テーブ
ル１２３、ノード記憶資源定義ファイル１３１、ノード
記憶資源ジェネレータ１３２、図１の実行ノード保有資
源管理表１３に相当するノード記憶資源定義テーブル１
３３、記憶資源統括アカウントテーブル１４１、記憶資
源アカウント収集マスタ１５１、図２のジョブ実行要求
管理部１６に相当するジョブ実行受付処理部１６１、図
２のジョブ実行要求キュー管理表１７に相当するジョブ
管理テーブル１７１、図２のジョブ配分処理部１８に相
当するジョブディスパッチャ１８１、及びジョブ状態更
新処理部１８２を備えて構成されている。

【００１８】また、データ処理サーバ２０１は、図１の
ジョブ実行制御部２１に相当するジョブ起動処理部２１
１、ジョブシェル２１２、記憶資源アカウントテーブル
２３１、及び図１の予測消費資源管理部２４に相当する
記憶資源アカウント収集スレーブ２４１を備えて構成さ
れている。なお、データ処理サーバ２０１は複数台の存
在が可能であるが、以下においてはデータ処理サーバ２
０１の１つについてのみ説明する。

【００１９】管理エージェント１０１において、ジョブ
属性定義テーブル１２３は管理エージェントの不図示の
メモリ上に存在しており、これに対してジョブ属性定義
ファイル１２１及びジョブ属性ジェネレータ１２２はそ
の補助機構として機能する。具体的に説明すると、ユー
ザがジョブ属性定義ファイル１２１にジョブの属性を記
述し、ジョブ属性ジェネレータ１２２を実行することに
よって、ジョブ属性定義ファイル１２１に格納したジョ
ブの属性をメモリ上のジョブ属性定義テーブル１２３に
反映することができる。本実施例において、ジョブの属
性とは、（１）ジョブ実行要求時にユーザから与えられ
る入力データのサイズに対してジョブ実行の過程で生成
される中間データ及び最終的な出力データのサイズの関
係式、（２）上記ジョブを起動する場合のスキップリミ
ット値、を含むものである。

【００２０】ノード記憶資源定義テーブル１３３は管理
エージェント１０１のメモリ上に存在し、これに対して
ノード記憶資源定義ファイル１３１及びノード記憶資源
ジェネレータ１３２は、ノード記憶資源定義テーブル１
３３の補助機構として機能する。具体的に説明すると、
ユーザによりノード記憶資源定義ファイル１３１に各ノ
ードが有する記憶資源量の情報が記述され、ノード記憶
資源ジェネレータ１３２が動作することにより、各ノー
ドが有する記憶資源量をメモリ上のノード記憶資源定義
テーブル１３３に反映することができる。本実施例にお
いて、ノード記憶資源定義ファイル１３１に定義される
ノード記憶資源とは、各データ処理サーバが有するディ
スクの容量を含むものである。

【００２１】ジョブ管理テーブル１７１は、管理エージ
ェント１０１のメモリ上に存在する。また、ジョブディ
スパッチャ１８１は予め定義された周期で起動し、各デ
ータ処理サーバ２０１の記憶資源アカウント情報テーブ
ル２３１の内容の収集を記憶資源アカウント収集マスタ
１５１に要求し、その収集結果が格納される記憶資源統
括アカウントテーブル１４１を参照してジョブ実行要求
をジョブ管理テーブル１７１から取り出し、そのジョブ
をデータ処理サーバ２０１のいずれかにディスパッチす
る。

【００２２】ここで、ジョブディスパッチャ１８１は、
ジョブを実行するために必要な記憶資源の空きがデータ
処理サーバ２０１のいずれにも存在しない場合、そのジ
ョブの実行を見合わせ、ジョブ管理テーブル１７１内の
ジョブのスキップカウンタをインクリメントする。スキ
ップカウンタの値がジョブ属性定義テーブル１２３から
与えられるスキップリミット値に達した場合、以後ジョ
ブディスパッチャ１８１はそのジョブをスキップさせ
ず、データ処理サーバ２０１のいずれかにおいてジョブ
を実行するのに十分な記憶資源の空きが生じるまで待機
する。また、ジョブディスパッチャ１８１はジョブのデ
ィスパッチに際し、ジョブ属性定義テーブル１２３から
取得した情報を基にジョブディスパッチャ１８１が生成
するジョブの記憶資源アカウント値をジョブ起動パラメ
ータとし、これをジョブ起動処理部２１１へ転送する。
これにより、図１で必要であったジョブ消費予定資源定
義表２２を省略することができる。

【００２３】ジョブ管理テーブル１７１は、ユーザから
要求されたジョブのキュー管理情報に限らず、データ処
理サーバ２０１上で実行されている各ジョブの状態も、
ジョブ要求受付処理部１６１を通して保持する。なお、
図３には示していないが、ジョブ管理テーブル１７１
は、画面等を通して各ジョブの実行状態をユーザに提供
するための元データとして用いることができる。

【００２４】記憶資源統括アカウントテーブル１４１は
図１の予測消費資源統括管理表１４に相当し、管理エー
ジェントのメモリ上に存在する。また、記憶資源アカウ
ント収集マスタ１５１は図１の予測消費資源収集部１５
に相当する。この記憶資源アカウント収集マスタ１５１
は、ジョブディスパッチャ１８１からの要求に従って記
憶資源アカウント収集スレーブ２４１から各データ処理
サーバ２０１の記憶資源アカウント情報を収集し、記憶
資源統括アカウントテーブル１４１へ格納する。記憶資
源アカウントテーブル２３１は図１の予測消費資源管理
表２３に相当し、データ処理サーバのメモリ上に存在し
ている。また、記憶資源アカウント収集スレーブ２４１
は記憶資源アカウント収集マスタ１５１からの要求によ
り、記憶資源アカウント収集テーブル２３１の内容を記
憶資源アカウント収集マスタ１５１へ転送する。ジョブ
シェル２１２はジョブを包含するものであり、図１に示
したジョブ実行制御部２１が予測消費資源管理表２３へ
予測消費資源を格納する部分の機能と同一の機能を有し
ている。

【００２５】図４はジョブシェル２１２で実行される処
理を示すフローチャートである。まず、ジョブディスパ
ッチャ１８１からジョブ起動処理部２１１に対してジョ
ブ起動要求のパラメータとして渡された記憶資源アカウ
ント値を取得する（ステップＳ４０１）。次に、取得し
た記憶資源アカウント値を記憶資源アカウントテーブル
２３１に加算する（ステップＳ４０２）。更に、ジョブ
が実行され（ステップＳ４０３）、このジョブの終了
後、記憶資源アカウントテーブル２３１から記憶資源ア
カウント値を減算する（ステップＳ４０４）。最後に、
ジョブ状態更新処理部１８２に対してジョブの終了通知
を実行する（ステップＳ４０５）。このように、簡単な
処理により、ジョブの実行に伴い記憶資源統括アカウン
トテーブル１４１の内容を更新することができる。

【００２６】図５は、ジョブ属性定義テーブル１２３の
構成内容を示している。ここではジョブ毎に、消費予定
メモリ容量、消費予定ディスク容量及びスキップリミッ
トを定義している。図５において、ジョブ「ＪＯＢ−
Ａ」の消費予定ディスク容量は、固定的に使用される５
０ＭＢに、入力データサイズの２．２倍を加えて算出
（５０＋２．２×入力データサイズ（ＭＢ））される。

【００２７】図６はジョブ管理テーブル１７１の構成内
容を示している。図６において、第１エントリのジョブ
「Ａ０１」は、消費予定メモリ容量及び消費予定ディス
ク容量を確保できるデータ処理ホストが現状存在しない
ために、起動がスキップされていることを示している。
この例では、スキップカウンタがスキップリミットに達
しているため、ジョブディスパッチャ１８１は、これ以
上ジョブ「Ａ０１」の起動をスキップせず、ジョブ「Ａ
０１」の実行に必要な消費予定メモリ容量及び消費予定
ディスク容量が、データ処理ホストのいずれかに確保で
きるまで他のジョブの起動要求は行わない。

【００２８】図７はノード記憶資源定義テーブル１３３
の構成内容を示している。ここでは、データ処理サーバ
毎に、スワップ容量を含めた保有メモリ容量、及び保有
ディスク容量を定義している。図８は記憶資源アカウン
トテーブル２３１の構成内容を示している。本例では、
当該データ処理ホスト上で実行されている各ジョブの消
費予定メモリ容量及び消費予定ディスク容量が格納され
ている。

【００２９】図９は記憶資源統括アカウントテーブル１
４１の構成内容を示している。この例では、データ処理
サーバ毎に、ジョブの消費予定メモリ容量合計及び消費
予定ディスク容量合計を格納している。以上のように、
データ処理サーバ２０１を備えたシステムにおいても、
予め各ジョブの使用予定資源をジョブ属性定義テーブル
１２３及びデータ処理サーバ２０１に定義しておくこと
により、計算機上で実行されている全てのジョブがその
ライフタイムにわたって消費する資源を管理できるよう
になり、計算機資源が各ジョブの実行に伴って不足する
事態は生じない。

【００３０】図１０は図３の構成を発展させた本発明の
他の具体例を示すブロック図である。図１０において
は、管理エージェント１０１及びデータ処理サーバ２０
１で共有できる情報が、データベースサーバ３０１で管
理されるシステム構成が示されている。データベースサ
ーバ３０１上における情報の共有は、ＮＦＳ（網ファイ
ルシステム：Network File/System）等によるファイル
の共有、ＳＱＬ（構造化照会言語：Structured Query L
anguage ）等を使用したＤＢＭＳ（データベース管理シ
ステム： Data Base Management System）等によるもの
である。

【００３１】図１０の分散計算機システムの構成につい
て説明すると、図１のジョブ制御ノードに相当する管理
エージェント１０１、複数のデータ処理サーバ２０１、
及び管理エージェント１０１とデータ処理サーバ２０１
に接続されるデータベースサーバ３０１を備えて構成さ
れている。ここでは、三者を独立した形で構成している
が、データベースサーバ３０１が管理エージェント１０
１又はデータ処理サーバ２０１を兼ねた構成にすること
もできる。

【００３２】管理エージェント１０１は、図２のジョブ
実行要求管理部１６に相当するジョブ実行受付処理部１
６１と図２のジョブ配分処理部１８に相当するジョブデ
ィスパッチャ１８１を備えて構成されている。また、デ
ータ処理サーバ２０１は、図１のジョブ実行制御部２１
に相当するジョブ起動処理部２１１、及びジョブシェル
２１２を備えて構成されている。また、データベースサ
ーバ３０１は、図２のジョブ実行要求キュー管理表１７
に相当するジョブ管理テーブル３１１、図１のジョブ消
費予定資源定義表１２に相当するジョブ属性定義テーブ
ル３１２、図１の実行ノード保有資源管理表１３に相当
するノード記憶資源定義テーブル３１３、及び図１の予
測消費資源統括管理表１４に相当する記憶資源統括アカ
ウントテーブル３１４を備えて構成されている。

【００３３】管理エージェント１０１のジョブ実行受付
処理部１６１は、ユーザからのジョブ実行要求を受け付
け、データベースサーバ３０１内のジョブ管理テーブル
３１１にジョブ実行要求のエントリを追加する。ジョブ
ディスパッチャ１８１は予め定義された周期で起動し、
ジョブ管理テーブル３１１からジョブ実行要求を取り出
し、ジョブ属性定義テーブル３１２に定義されたジョブ
の予測消費資源情報、ノード記憶資源定義テーブル３１
３に定義された各データ処理サーバの保有記憶資源情
報、及び記憶資源統括アカウントテーブル３１４で管理
されている各データ処理サーバの記憶資源消費情報の各
々に基づいて、ジョブを実行するデータ処理サーバを決
定する。更に、ジョブディスパッチャ１８１は、ジョブ
属性定義テーブル３１２に定義される情報に基づいて算
出したジョブの記憶資源アカウント値をパラメータとし
て、ジョブ起動処理部２１１へジョブの起動要求を送出
する。この要求に従って、ジョブ起動処理部２１１はジ
ョブシェル２１２を起動させる。このジョブシェル２１
２の処理について、以下に説明する。

【００３４】図１１はジョブシェル２１２の処理を示す
フローチャートである。まず、ジョブディスパッチャ１
８１からジョブ起動処理部２１１へジョブ起動要求のパ
ラメータとして渡された記憶資源アカウント値を取得す
る（ステップＳ６０１）。次に、この記憶資源アカウン
ト値を記憶資源統括アカウントテーブル３１４に加算す
る（ステップＳ６０２）。更に、起動させたジョブを実
行し（ステップＳ６０３）、このジョブの実行が終了し
た後、記憶資源統括アカウントテーブル３１４の記憶資
源アカウント値を減算する（ステップＳ６０４）。つい
で、ジョブ管理テーブル３１１にジョブの終了ステータ
スを反映させる（ステップ６０５）。図１１の処理によ
り、ジョブの実行に伴い記憶資源統括アカウントテーブ
ル３１４の内容を更新することができる。

【００３５】以上のように、図１０の構成によれば、管
理エージェント１０１及びデータ処理サーバ２０１で共
有できる情報がデータベースサーバ３０１で管理される
システムにおいても、図３の場合と同様に、予め各ジョ
ブの使用予定資源をジョブ属性定義テーブル３１２に定
義し、これを用いて適正配分を行うことにより、ジョブ
の起動に際して該ジョブを実行するために必要な計算機
上の資源をジョブのライフタイムにわたって予測消費資
源として仮想的に確保でき、計算機上で実行されている
全てのジョブがそのライフタイムにわたって消費する資
源を管理できるようになり、計算機資源が各ジョブの実
行に伴って不足する事態は生じない。

【００３６】

【発明の効果】以上説明した通り、本発明によれば、計
算機システムにおいて、実行するジョブの消費予定資源
を予めジョブ属性として定義しておくことにより、ジョ
ブの起動時に、ノード上に必要とされる将来の消費予定
資源が、ノードが有している資源を超えないようなジョ
ブの配分が行え、ジョブ実行ノードの稼働停止の発生を
著しく低減した分散計算機システムを実現することがで
きる。

【図面の簡単な説明】

【図１】本発明による分散計算機システムのジョブ配分
処理部分を示すブロック図である。

【図２】図１のジョブ配分制御部の詳細を示すブロック
図である。

【図３】本発明の第１の具体例の構成を示すブロック図
である。

【図４】図３のジョブシェルの処理を説明するフローチ
ャートである。

【図５】ジョブ属性定義テーブル１２３の構成例図であ
る。

【図６】ジョブ管理テーブル１７１の構成例図である。

【図７】ノード記憶資源定義テーブル１３３の構成例図
である。

【図８】記憶資源アカウントテーブル２３１の構成例図
である。

【図９】記憶資源統括アカウントテーブル１４１の構成
例図である。

【図１０】本発明の第２の具体例の構成を示すブロック
図である。

【図１１】図１０のジョブシェルの処理を説明するフロ
ーチャートである。

【符号の説明】

１ジョブ制御ノード２ジョブ実行ノード１１ジョブ配分制御部１２ジョブ消費予定資源定義表１３実行ノード保有資源管理表１４予測消費資源統括管理表１５予測消費資源収集部１６ジョブ実行要求管理部１７ジョブ実行要求キュー管理表１８ジョブ配分処理部２１ジョブ実行制御部２２ジョブ消費予定資源定義表２３予測消費資源管理表２４予測消費資源管理部１０１管理エージェント１２３、３１２ジョブ属性定義テーブル１３３、３１３ノード記憶資源定義テーブル１４１、３１４記憶資源統括アカウントテーブル１８１ジョブディスパッチャ２０１データ処理サーバ２１１ジョブ起動処理部２１２ジョブシェル３０１データベースサーバ

───────────────────────────────────────────────────── フロントページの続き (72)発明者田中紀夫茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】複数の計算機から構成された分散計算機
システムにおいて、実行対象のジョブの消費予定資源を
予め定義するジョブ消費予定資源定義手段と、前記ジョ
ブの実行時に、そのジョブを実行するノード上で必要と
される将来の消費予定資源が前記ノードの有する資源を
超えない様にジョブの配分を行うジョブ配分手段とを具
備することを特徴とする分散計算機システム。
【請求項２】前記ジョブ配分手段は、前記ジョブ消費
予定資源定義手段で定義されたジョブの消費予定資源と
予測消費資源統括管理手段で管理されている前記ノード
上の予測消費資源との和がノード保有資源定義手段で定
義された前記ノード上の保有資源を越えないようにジョ
ブを配分することを特徴とする請求項１記載の分散計算
機システム。
【請求項３】前記ジョブ配分手段は、前記ジョブ配分
に加え、前記ジョブ消費予定資源定義手段で定義された
ジョブの消費予定資源と予測消費資源統括管理手段で管
理されている前記ノード上の予測消費資源との和に対す
る前記ノード上の予測消費資源の比率が最小になり、か
つ前記和がノード保有資源定義手段で定義された前記ノ
ード上の保有資源を越えないようにジョブを配分するこ
とを特徴とする請求項２記載の分散計算機システム。
【請求項４】前記ジョブ配分手段は、スキップされた
ジョブの起動回数が予め設定した値を越える時、前記ス
キップされたジョブを優先的に実行させることを特徴と
する請求項１記載の分散計算機システム。
【請求項５】前記ノードに代えて、データベースサー
バを用いることを特徴とする請求項１記載の分散計算機
システム。
【請求項６】前記ノード又は前記データ処理サーバ
は、ジョブ実行要求に応じて消費予定資源値又は記憶資
源アカウント値を取得し、この値を予測消費資源管理手
段又は記憶資源アカウントテーブルに加算してジョブを
起動し、その実行後に前記予測消費資源管理手段から消
費予定資源値を減算又は前記記憶資源アカウントテーブ
ルから前記記憶資源アカウント値を減算する手段を具備
することを特徴とする請求項１又は請求項５記載の分散
計算機システム。