JPH06274432A - 分散計算機システム管理方式およびその管理方法 - Google Patents

Abstract

(57)【要約】 【目的】 この発明は、分散計算機環境において、分散
システム資源の有効活用と障害対策の向上を計る。 【構成】 ネットワークで結合された複数の計算機のク
ライアント・サーバ方式によるシステム管理方式であっ
て、クライアントからのサーバへの接続要求を受け取る
手段を備えているプログラム実行管理手段と、それを介
して接続要求を受け取る分散システム管理制御手段と、
分散システム資源情報データベースとを備え、かつ、前
記分散システム管理制御手段は、前記データベースの情
報を用いて最適なサーバを持つ計算機を選択するサーバ
選択手段と、その選択結果をプログラム実行管理手段に
通知する手段を備えており、前記プログラム実行管理手
段は前記のサーバを持つ計算機にサーバプログラム起動
を含む接続準備を要求する手段を備えている、分散計算
機システム管理方式。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は分散計算機環境におい
て、分散システム資源の有効活用と障害対策の技術に関
するものである。

【０００２】

【従来の技術】分散システムでの計算資源情報サービス
（ネーミングサービス）の従来技術としては、サンマイ
クロシステムズのＮＩＳ（Ｎｅｔｗｏｒｋ Ｉｎｆｏｒ
ｍａｔｉｏｎ Ｓｅｒｖｉｃｅ）がある。これはユーザ
の登録情報、計算機のアドレス情報、およびネットワー
クの構成情報などの静的な管理情報を一元的に管理する
システムである（ＵＮＩＸ Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎ Ｎｏｔｅｓ ３６，ＵＮＩＸ ＭＡＧＡＺＩＮＥ
（１９９１．６），ｐ６１−７１．と、ＵＮＩＸＣｏｍ
ｍｕｎｉｃａｔｉｏｎ Ｎｏｔｅｓ ３７，ＵＮＩＸ
ＭＡＧＡＺＩＮＥ（１９９１．７），ｐ６９−８
１．）。

【０００３】ヒューレットパッカードのＨＰ Ｏｐｅｎ
Ｖｉｅｗや、サンマイクロシステムズのＳｕｎＮｅｔ
Ｍａｎａｇｅｒに代表されるネットワーク監視システム
は、ネットワークのトラフィック情報のような動的情報
を収集する仕組みを提供している。ヒューレットパッカ
ードのロケーションブローカは、ＲＰＣ（Ｒｅｍｏｔｅ
Ｐｒｏｃｅｄｕｒｅ Ｃｏｎｔｒｏｌ）を用いたクラ
イアント／サーバ型アプリケーションにおいて、サーバ
の位置をネットワークワイドに管理するネームサービス
である（分散コンピューティングの最前線、日経エレク
トロニス、ｎｏ．５０２（１９９０．６）、ｐ１３７−
１３８）。

【０００４】負荷分散の従来技術としては、ヒューレッ
ドパッカードのタスクブローカがある。処理の依頼があ
った時には、要求元のクライアントマシンからネットワ
ーク内の全てのサーバマシンに計算機稼働状態の問い合
わせを行う方式を用いている（分散コンピューティング
の最前線、日経エレクトロニクス、ｎｏ．５０２（１９
９０．６）、ｐ１４５−１４６）。

【０００５】統合的な分散システム管理技術としてＯＳ
Ｆ（Ｏｐｅｎ ＳｏｆｔｗａｒｅＦｏｕｎｄａｔｉｏ
ｎ) のＤＣＥ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｍｐｕｔ
ｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔ）がある（分散コンピ
ューティング環境ＤＣＥの全貌、Ｃｏｍｐｕｔｅｒ Ｔ
ｏｄａｙ、ｎｏ．４４（１９９１．７），ｐ１７−４
５）。

【０００６】

【発明が解決しようとする課題】分散システムを管理す
るためには、分散した計算資源情報を管理するネーミン
グサービス、分散システム全体を効率的に利用する負荷
分散、および障害発生に備えてのシステムの多重化、な
どの要素技術が必要である。また、複雑な分散システム
構成をユーザに意識させず、あたかも１台のコンピュー
タであるかのように見せかけるためには、これら要素技
術の統合が必要である。

【０００７】ネーミングサービスの従来技術であるサン
マイクロシステムズのＮＩＳ（Ｎｅｔｗｏｒｋ Ｉｎｆ
ｏｒｍａｔｉｏｎ Ｓｅｒｖｉｃｅ）はユーザの登録情
報、計算機のアドレス情報、およびネットワークの構成
情報などの静的な管理情報を管理するシステムに止ま
る。負荷分散や障害対策迄考えると、各計算機やネット
ワークの稼働状況などの動的な情報も必要であるが、こ
のような情報は管理していない。

【０００８】ヒューレットパッカードのＨＰ Ｏｐｅｎ
Ｖｉｅｗや、サンマイクロシステムズのＳｕｎＮｅｔ
Ｍａｎａｇｅｒに代表されるネットワーク監視システム
は、このような動的情報を収集する仕組みを提供してい
るが、収集する情報はネットワークの稼働状況に関する
ものが多く、より重要な各計算機の稼働状況（ＣＰＵの
負荷、メモリの使用状況、ディスクの使用状況、プロセ
スの実行状況など）を示す情報については標準仕様では
収集していない。

【０００９】ヒューレットパッカードのロケーションブ
ローカでは、ユーザ（クライアント）はサーバの位置を
意識する必要はないが、サーバの選択時に分散システム
の負荷分散を十分に考慮していない。

【００１０】負荷分散の従来技術であるタスクブローカ
はバッチ処理型のプログラム実行の負荷分散を目的にし
たものであり、ユーザとのインタラクティブな対話操作
の多いクライアント／サーバ型システム向きではない。
また処理の依頼があった時には、要求元のクライアント
マシンから分散システム内の全てのサーバマシンに計算
機稼働状態の問い合わせを行う必要がある。

【００１１】統合的な分散システム管理技術であるＤＣ
Ｅ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｍｐｕｔｉｎｇ Ｅ
ｎｖｉｒｏｎｍｅｎｔ）は、通信手段やネーミングサー
ビス、およびセキュリティサービスなどの基本的な分散
システム管理の要素技術を統合したシステムであるが、
これだけでは負荷分散や障害対策まで含めた管理を行う
ことはできない。

【００１２】

【課題を解決するための手段】第１の発明は、ネットワ
ークで結合された複数の計算機のクライアント・サーバ
方式によるシステム管理方式であって、前記計算機に設
置されクライアントからのサーバへの接続要求を受け取
る手段を備えているプログラム実行管理手段と、前記プ
ログラム実行管理手段を介して前記クライアントからの
接続要求を受け取る分散システム管理制御手段と、分散
システム資源情報データベースとを備え、かつ、前記分
散システム管理制御手段は、分散システム資源情報デー
タベースの情報を用いて最適なサーバを持つ計算機を選
択するサーバ選択手段とそのサーバ選択手段の選択結果
をプログラム実行管理手段に通知する手段を備えてお
り、前記プログラム実行管理手段は前記のサーバを持つ
計算機にサーバプログラム起動を含む接続準備を要求す
る手段を備えている分散計算機システム管理方式であ
る。

【００１３】第２の発明は、前記分散システム管理制御
手段は、分散システム全体のクライアントとサーバの接
続状況を登録する障害管理テーブルを備え、前記プログ
ラム実行管理手段は、自己の管理する計算機に関する障
害管理テーブルを備えていることとした上記記載の分散
計算機システム管理方式である。

【００１４】第３の発明は、前記分散システム管理制御
手段を分散システム内に複数備え、プログラム実行管理
手段は、起動時に分散システム内の全分散システム管理
制御手段に対し接続要求を発行し、かつ、所定の順位で
１つの分散システム管理制御手段とその分散システム管
理制御手段の障害時の予備となる他の１つの分散システ
ム管理制御手段を決定する手段を備え、前記２つの分散
システム管理制御手段は、プログラム実行管理手段が管
理するプログラム情報の複製をそれぞれ持っていること
とした上記記載の分散計算機システム管理方式である。

【００１５】第４の発明は、前記分散システム資源情報
データベースを分散システム内に複数備え、マスターと
なる分散資源情報データベースに対して残りの１つ以上
の分散システム資源情報データベースを予備とし、マス
ターの分散システム資源情報データベースの複製を予備
に持たせ、データ更新要求があるとマスターの分散シス
テム資源情報データベースを更新し、その後に、予備の
分散システム資源情報データベースに要求を送り予備の
分散システム資源情報データベースを更新し、分散シス
テム資源情報データベースにはデータ更新がある度に更
新されるＩＤ番号を付与し、マスターの分散システム資
源情報データベースに障害が発生した場合は、予備の分
散システム資源情報データベースの中で最新のＩＤ番号
を持ち、かつ、データ更新要求に最初に応答したものを
新たなマスターの分散システム資源情報データベースに
選ぶことにより分散システム資源情報データベースのサ
ービス処理を継続することとした分散計算機システム管
理方法である。

【００１６】

【作用および実施例】ＵＮＩＸ上でＣ言語を用いて、プ
ログラム実行管理手段、分散システム管理制御手段、お
よび分散システム資源情報データベースを実施した例を
示す。構成モジュール間の通信にはサンマイクロシステ
ムズのＯＮＣ／ＲＰＣバージョン４を用いた。また、管
理制御対象はＸウィンドウを含むクライアント／サーバ
型プログラムである。ＸウィンドウシステムはＵＮＩＸ
標準のウィンドウシステムとして様々な機種に採用され
ており、既存アプリケーションプログラムのほとんどは
本システムで利用できる。

【００１７】分散システム管理制御手段が分散した計算
資源を管理する仕組みを図１に示す。分散システム管理
制御手段の機能は、情報収集系（図中網かけ部）とシス
テム制御系（図中斜線部）に分けられる。情報収集系が
収集するネットワークの状態情報などを用いて、システ
ム制御系が効率的な計算機環境をユーザに提供する。従
来は、ユーザがサーバの存在する計算機を指定して接続
したり、障害発生時に別計算機のサーバに切替えたりし
ていた。しかし、分散システム管理制御手段の管理下で
は、ユーザはサーバの位置や障害発生を全く意識せずに
システムを利用することができる。

【００１８】次に情報収集系について説明する。計算資
源情報には、ユーザ情報や計算機配置情報などのシステ
ム構築時に予め定める静的な情報と、計算機の負荷やデ
ィスクの使用状況などの時々刻々と変化する動的な情報
がある。既存の計算資源情報サービスは静的な情報を扱
うものがほとんであるが、ここでは動的な情報も含めた
計算資源情報を分散システム資源情報データベースで一
元的に管理し、負荷分散や自動障害回復などの分散シス
テム制御まで統合的に行うことを考えた。

【００１９】動的情報の収集には、標準ネットワーク管
理プロトコルＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ
Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）を用いた
ネットワーク監視システムを使用した。図１に示すよう
に、各計算機に配置したエージェントが集めた情報を、
ネットワーク管理ステーションが収集、表示する機構に
なっている。エージェントが集める情報は管理情報ベー
ス（ＭＩＢ， Ｍａｎａｇｅｍｅｎｔ Ｉｎｆｏｒｍａ
ｔｉｏｎ Ｂａｓｅ）として標準的に定義されている。
ただし、負荷分散や自動障害回復などの分散システム制
御まで考えると、標準的なＭＩＢだけでは不十分なた
め、計算機の利用状況やディスクの使用状況、およびプ
ログラムの稼働状況などの情報をＭＩＢに拡張定義し
た。

【００２０】このようにしてネットワーク監視システム
が集めた分散システム全体の動的情報は図１に示したよ
うに、分散システム資源情報データベースに定期的に書
き込まれる。データ参照を主目的とする既存の計算資源
情報サービスでは、動的情報収集系からの頻繁なデータ
更新に対応できないが、ここではこの点を改良したクラ
イアント・サーバ方式の分散システム資源情報データベ
ースをＵＮＩＸ標準のデータベースシステムｄｂｍを用
いて作成した。分散システム資源情報データベースが置
かれているマシンにはデータの直接操作を行う分散シス
テム資源情報サーバが存在し、クライアントからのデー
タの参照・追加・変更・削除などの要求を処理する。

【００２１】次に、システム制御系について説明する。
分散システム管理制御手段管理下の各計算機には、各計
算機上のプログラム起動管理や障害対策を行うプログラ
ム実行管理手段を配置する。プログラム実行管理手段は
ユーザやアプリケーションプログラムから見ると、分散
システム管理制御手段へのインターフェイスになってい
る。つまり、ユーザやアプリケーションプログラムは自
分の計算機にあるプログラム実行管理手段との通信方法
さえ知っていれば、分散システム管理制御手段が管理す
る分散システム全体の計算資源と制御機能を利用するこ
とができる。

【００２２】ユーザプログラム（クライアント）がサー
バへの接続を要求した場合のシステム制御系の動作を図
２を用いて説明する。計算機Ａ上のクライアントがサー
バへの接続をプログラム実行管理手段に要求すると
（１）、クライアントからの接続要求は、プログラム実
行管理手段を介して計算機Ｂにある分散システム管理制
御手段インターフェイスに伝えられる（２）。分散シス
テム管理制御手段内では、アクセス権認証手段がサーバ
に対するアクセス権の認証を行った後（３）、サーバ選
択手段がその時点での分散システム資源情報データベー
スの情報を用いて最適なサーバを持つ計算機を選択する
（４）。さらに、障害対策手段がサーバの障害発生に備
えて後述する障害管理テーブルへの登録を行い（５）、
クライアント側のプログラム実行管理手段にサーバの選
択結果を通知する（６）。クライアント側のプログラム
実行管理手段は、選択された計算機Ｃにあるサーバ側の
プログラム実行管理手段にサーバプログラム起動などの
接続準備を要求し（７）、準備が整ってから（８）
（９）、クライアントに接続先を通知する（１０）。こ
の結果、クライアントはサーバと接続し処理を開始する
（１１）。以下では、分散システム管理制御手段内の各
モジュールを構成する技術の要点について説明する。

【００２３】まず、計算資源へのアクセス管理について
説明する。アクセス権認証手段は、分散システム管理制
御手段が管理するサーバプログラムなどの計算資源に対
するアクセス管理用のデータベースと、その操作を行う
インタフェースから構成される。アクセス管理用データ
ベースは、計算資源とそれにアクセスできるグループの
組を記述したアクセス情報データベースと、ユーザとユ
ーザが属するセキュリティグループの組を記述したユー
ザ情報データベースの、２つから構成される。ユーザプ
ログラム（クライアント）からサーバプログラムへの接
続要求が来ると、まずユーザ情報データベースを参照し
てユーザが所属するセキュリティグループを調べる。次
にアクセス情報データベースを参照すると、前記セキュ
リティグループがアクセスできるサーバプログラムを持
つ計算機が選択できる。このようにして、ユーザが利用
できる計算資源を認証した上で、選ばれた複数候補の中
からサーバ選択が行われる。なお、アクセス管理用デー
タベースは分散システム資源情報データベースの中に含
まれている。

【００２４】サーバ選択のアルゴリズムについて説明す
る。サーバ選択手段は、選択対象となるサーバを持つ計
算機毎に以下に示す経験式を用いて評価値（Ｅ）を求
め、最も評価値の大きい計算機を選択する。この経験式
の計算に用いる諸データは、情報収集系により分散シス
テム資源情報データベースに集められている。 Ｅ＝ｋ１・Ｂｌｏａｄ／Ａｍｉｐｓ＋ｋ２・Ｃｆｍｅｍ
＋ｋ３・Ｄａｃｔｉｖｅ ここで、 Ａｍｉｐｓ： 計算機の代表的処理速度（ＭＩＰＳ
値） Ｂｌｏａｄ： 過去１分間のｃｐｕのロードアベレー
ジ Ｃｆｍｅｍ： 主記憶中のフリーメモリの量 Ｄａｃｔｉｖｅ：サーバが起動されているかどうか（１
ｏｒ０） ｋ１，ｋ２，ｋ３：係数。

【００２５】障害対策について説明する。管理下のプロ
グラムの障害発生に備えて、分散システム管理制御手段
は分散システム全体のクライアントとサーバの接続状況
一覧表（障害管理テーブル）を分散システム資源情報デ
ータベースに持っている。また、プログラム実行管理手
段は自分が管理する計算機だけに関する部分的な障害管
理テーブルを持っている。これらの管理テーブルの操作
により、分散システム内でクライアントとサーバの接続
管理を行なうのが障害対策手段である。

【００２６】障害対策では、障害管理テーブルからの該
当エントリの削除、障害履歴リストへの登録、および新
たなサーバのスケジュール、の３つの作業を行う。この
動作を図３に示す。管理下のプログラムの障害を検知す
ると（１）、サーバ側のプログラム実行管理手段は分散
システム管理制御手段インターフェイスに障害発生を通
知し（２）、自分の持つ障害管理テーブルからエントリ
を削除する（３）。分散システム管理制御手段内では、
障害対策手段が分散システム資源情報データベース内の
障害管理テーブルから関連するエントリを削除し
（４）、さらにサーバの再スケジュール時に使用する障
害履歴リストにエントリを登録する（５）。クライアン
ト側では、サーバの応答が無いことから障害を検知し
（６）、これをクライアント側のプログラム実行管理手
段に伝え（７）、障害管理テーブルのエントリを削除し
（８）、サーバへの再接続を要求する（９）（１０）。
障害発生時に新たなサーバと再接続するかどうかは、接
続を要求するクライアント側で選択する。これ以降の処
理は通常のサーバ選択と同じである。

【００２７】次に分散システム管理制御手段の多重化と
障害対策について説明する。信頼性や処理の局所化によ
る応答性の向上を狙い、分散システム管理制御手段を多
重化した。ここでは、その機構について述べる。一箇所
の分散システム管理制御手段に処理が集中すると、そこ
がボトルネックとなりシステム全体の効率が低下する。
これを解決するため、複数配置した分散システム管理制
御手段が各計算機のプログラム実行管理手段からの要求
を分担して処理する構成とした。

【００２８】これは図４に示すようにして実現した。プ
ログラム実行管理手段は、起動時に分散システム内の全
分散システム管理制御手段に対し接続要求を発行する。
これに早く応答した順に、自分の世話役となる分散シス
テム管理制御手段（以下バインダーと称する）と、バイ
ンダー障害時の予備系となる分散システム管理制御手段
（以下セーフティと称する）を決定する。この決め方は
全く任意なので、ある分散システム管理制御手段が異な
るプログラム実行管理手段に対しバインダーとセーフテ
ィの双方の役割を兼ねることもある。バインダーとセー
フティは担当するプログラム実行管理手段が管理するプ
ログラム情報の複製を持っているので、バインダー障害
時でもセーフティに切替えれば、プログラム実行管理手
段からの要求を矛盾なく処理することができる。

【００２９】最後に分散システム資源情報データベース
の多重化と障害対策について説明する。耐故障性確保の
ため多重化した各分散システム資源情報データベース
は、状況に応じてマスターとスレーブの２種類の動作を
行う。マスターとなる分散システム資源情報データベー
スは一管理下の分散システムに一つだけ存在し、マスタ
ーの分散システム資源情報データベースだけが更新でき
る。スレーブとなる分散システム資源情報データベース
はは最低１つ以上存在し、スレーブの分散システム資源
情報データベースは参照はできるがマスター以外からの
更新はできない。データ更新要求があると、マスターは
自分のデータベースを更新した後に、全てのスレーブに
要求を送りスレーブの持つ複製データベースを更新す
る。

【００３０】多重化で問題になる分散システム資源情報
データベースの一貫性を保持するため、各データベース
にはデータ変更がある度に更新される識別番号（以下Ｉ
Ｄと称する）がついている。マスターはデータの更新を
行うときに、スレーブのデータベースが持つＩＤを調
べ、マスターのＩＤと一致した時だけ更新処理を行う。
一致しない場合は、複製間のデータに矛盾が生じないよ
うに、マスターのデータベース全体をスレーブにコピー
する。

【００３１】マスターに障害が発生した場合の自動障害
回復の動作を図５に示す。最初図５に示す計算機Ａでマ
スターが動作している。マスターの障害発生はマスター
となる分散システム資源情報データベースに要求を発行
するクライアントにより検知される。要求を発行したク
ライアントはマスターの応答がないと、障害が発生した
と判断し（１）、他のスレーブを探すため同報通信を行
う（２）。応答のあったスレーブのうち、最新のＩＤ番
号を持ち、かつクライアントからの同報通信に一早く応
答した計算機Ｂのスレーブを新たなマスターに選び
（３）、これにデータの更新要求を出す（４）。最後に
計算機Ｂ上の新たなマスターは残りのスレーブに更新さ
れたデータを複製し（５）、分散システム資源情報デー
タベースのサービス処理を継続する。

【００３２】

【発明の効果】この発明ではプログラム実行管理手段
と、分散システム資源情報データベースの情報を用いて
最適なサーバを持つ計算機を選択するサーバ選択手段を
備えた分散システム管理制御手段により、サーバの位置
を意識せずにプログラムを実行することができ、更に、
サーバの選択時にシステムの負荷分散を考慮することが
可能となった。

【００３３】また、分散システム管理制御手段が、分散
システム全体のクライアントとサーバの接続状況を登録
する障害管理テーブルを備えていると同時に、プログラ
ム実行管理手段が自己の管理する計算機に関する障害管
理テーブルを備えていることにより、障害発生時にも自
動的に障害を検知し、別サーバを選択して切替えること
ができるので、ユーザは障害の発生を意識することなく
作業を進めることが可能となった。

【００３４】プログラム実行管理手段が、１つの分散シ
ステム管理制御手段と、その分散システム管理制御手段
の障害時の予備となる他の１つの分散システム管理制御
手段を決定する手段を備えていることにより、分散シス
テム管理制御手段の障害時にも、個々のプログラム実行
に対して遅滞なく処理を継続することが可能となった。

【００３５】また、分散システム資源情報データベース
も、１つの分散システム資源情報データベースと、その
分散システム資源情報データベース障害時の予備となる
他の１つ以上の分散システム資源情報データベースを備
えていることにより、分散システム資源情報データベー
スの障害時にも、予備の分散システム資源情報データベ
ースに切替えて分散システム資源情報のサービスを自動
的に継続することができ、個々のプログラム実行に対し
て遅滞なく処理を継続することが可能となった。

【図面の簡単な説明】

【図１】本システムの全体構成を示す。

【図２】分散システム管理制御手段の管理下で、クライ
アントからサーバへの接続要求を処理する動作を示す。

【図３】分散システム管理制御手段の管理下で、サーバ
の障害発生時にサーバの自動切替えを行う障害対策の動
作を示す。

【図４】分散システム管理制御手段の多重化方法を示
す。

【図５】分散システム資源情報データベースの自動障害
回復方法を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡原 弘明 東京都千代田区丸の内一丁目１番２号 日 本鋼管株式会社内 (72)発明者 中村 一成 東京都千代田区丸の内一丁目１番２号 日 本鋼管株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ネットワークで結合された複数の計算機
   のクライアント・サーバ方式によるシステム管理方式で
   あって、前記計算機に設置されクライアントからのサー
   バへの接続要求を受け取る手段を備えているプログラム
   実行管理手段と、前記プログラム実行管理手段を介して
   前記クライアントからの接続要求を受け取る分散システ
   ム管理制御手段と、分散システム資源情報データベース
   とを備え、かつ、前記分散システム管理制御手段は、分
   散システム資源情報データベースの情報を用いて最適な
   サーバを持つ計算機を選択するサーバ選択手段とそのサ
   ーバ選択手段の選択結果をプログラム実行管理手段に通
   知する手段を備えており、前記プログラム実行管理手段
   は前記のサーバを持つ計算機にサーバプログラム起動を
   含む接続準備を要求する手段を備えている分散計算機シ
   ステム管理方式。
2. 【請求項２】 前記分散システム管理制御手段は、分散
   システム全体のクライアントとサーバの接続状況を登録
   する障害管理テーブルを備え、前記プログラム実行管理
   手段は、自己の管理する計算機に関する障害管理テーブ
   ルを備えていることを特徴とする請求項１記載の分散計
   算機システム管理方式。
3. 【請求項３】 前記分散システム管理制御手段を分散シ
   ステム内に複数備え、プログラム実行管理手段は、起動
   時に分散システム内の全分散システム管理制御手段に対
   し接続要求を発行し、かつ、所定の順位で１つの分散シ
   ステム管理制御手段とその分散システム管理制御手段の
   障害時の予備となる他の１つの分散システム管理制御手
   段を決定する手段を備え、前記２つの分散システム管理
   制御手段は、プログラム実行管理手段が管理するプログ
   ラム情報の複製をそれぞれ持っていることを特徴とする
   請求項１記載の分散計算機システム管理方式。
4. 【請求項４】 前記分散システム資源情報データベース
   を分散システム内に複数備え、マスターとなる分散資源
   情報データベースに対して残りの１つ以上の分散システ
   ム資源情報データベースを予備とし、マスターの分散シ
   ステム資源情報データベースの複製を予備に持たせ、デ
   ータ更新要求があるとマスターの分散システム資源情報
   データベースを更新し、その後に、予備の分散システム
   資源情報データベースに要求を送り予備の分散システム
   資源情報データベースを更新し、分散システム資源情報
   データベースにはデータ更新がある度に更新されるＩＤ
   番号を付与し、マスターの分散システム資源情報データ
   ベースに障害が発生した場合は、予備の分散システム資
   源情報データベースの中で最新のＩＤ番号を持ち、か
   つ、データ更新要求に最初に応答したものを新たなマス
   ターの分散システム資源情報データベースに選ぶことに
   より分散システム資源情報データベースのサービス処理
   を継続することを特徴とする分散計算機システム管理方
   法。