JPH09330302A - 計算機システムの性能モニタリング方法およびシステム - Google Patents

Abstract

(57)【要約】 【課題】監視対象の計算機の負荷を増やさないで、その
性能データを複数の計算機からネットワークを介してモ
ニタ可能にする。 【解決手段】並列計算機１の各ノード２上で起動された
採取プロセス４が性能データを採取し、特定のノード上
で起動された収集プロセス３がこれらの性能データを集
めて、モニタ用計算機１１上の受信プロセス１５へ送信
する。受信プロセス１５は、同じかまたは異なるモニタ
用計算機１１上にすでに起動された表示プロセス１６や
蓄積プロセス１７があれば、それらにその性能データを
分配する。表示プロセス１６は表示装置１２にその性能
データに含まれた複数の項目別性能データの一部を表示
する。蓄積プロセス１７は記憶装置１３へその性能デー
タを全て蓄積していく。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の計算機をネ
ットワークで接続した計算機システムにおける性能デー
タの採取ならびにその表示をおこなう性能モニタリング
方法、そのための計算機システムおよびプログラム記憶
媒体に係り、特に並列計算機あるいは分散システムに好
適な性能モニタリング方法に関する。

【０００２】

【従来の技術】並列計算機や分散システムでは、それら
を構成するノードと呼ばれる計算機が複数個協調して並
列に稼働するため、それらのノードの動作は、ノード間
通信に例示されるように、他のノードの動作に依存す
る。したがって、逐次型計算機に比較してその動作は非
常に複雑なものとなる。

【０００３】このような並列計算機を有効に使用し十分
な性能を引き出すためには、ノード単体の動作のみなら
ず、ノード間の動作の因果関係や負荷のバランスなども
含めた複雑な稼働状況を正確に把握し、それらの情報を
実行中のプログラムのチューニングに役立てていくこと
が必要となる。

【０００４】計算機の稼働状況の把握を支援する従来技
術としては、主に次の２通りの方法が用いられてきた。
第１は、Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ社が販売して
いるＰｅｒｆＶｉｅｗなどで用いられている方法で、分
散システムの各ノード毎にＣＰＵの稼働状況やメモリの
使用状況、ネットワークの通信頻度などといったそのノ
ードの稼働状況に関する性能データを計測し、磁気ディ
スク記憶装置などの、そのノードに含まれた記憶装置に
蓄積する。各ノードに蓄積された性能データを、その分
散システムに接続された一つの計算機内に集積し、グラ
フ表示などによって視覚的に理解できるよう表示する。

【０００５】第２は、ＩＢＭ社のＶｉｓｕａｌｉｚａｔ
ｉｏｎ Ｔｏｏｌに代表される方法で、並列計算機の各
ノード上に性能データを採取するプロセスを起動し、ネ
ットワークを介してその並列計算機に接続された制御用
計算機上に起動された表示プロセスが、各ノード上のプ
ロセスからリアルタイムに性能データを受信し、表示を
行う。たとえば、米国Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂ
ｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐ．発行
の、“ＩＢＭ Ｐａｒａｌｌｅｌ Ｅｎｖｉｒｏｎｍｅ
ｎｔ ｆｏｒ ＡＩＸ Ｏｐｅｒａｔｉｏｎ ａｎｄ
Ｕｓｅ Ｖｅｒｓｉｏｎ ２．１．０，”ｐｐ．２６３
−２６５，１９９５（資料番号ＧＣ２３−３８９１−０
０）参照。

【０００６】

【発明が解決しようとする課題】一般に並列計算機ある
いは分散システムは複数の利用者により共有して使用さ
れるようになっている。したがって、このような計算機
の性能データをネットワークを介してリアルタイムに複
数の利用者がモニタリングできることが望ましい。

【０００７】しかし、第１の方法では、各ノード毎に性
能データを記憶装置に蓄積することができるが、性能デ
ータの測定を一度終えてからデータの解析ならびに表示
を行うため、リアルタイムに稼働状況の把握をすること
ができない。

【０００８】第２の方法では、各ノード上のプロセスか
らリアルタイムに性能データを受信し表示することがで
きるが、上記参考文献は、複数の利用者が同じ監視対象
の計算機の性能データをモニタリングする方法を具体的
には示していない。

【０００９】複数の利用者が同じモニタリング対象の計
算機の性能データのモニタリングを行う場合、利用者の
数が増加するに従ってそのモニタリング対象の計算機に
対する、そのモニタリングのための負荷が増大しないこ
とがさらに望ましい。

【００１０】従って本発明の目的は、性能測定の対象と
なる計算機の負荷の増大を抑えつつ、リアルタイムに性
能データを複数の利用者がモニタリングするのに適した
計算機性能モニタリング方法、そのための計算機システ
ムおよびプログラム記憶媒体を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、監視対象の計算機により性能データを
繰り返し採取し、稼働状況モニタ用の計算機にネットワ
ークを通じて送信する。このモニタ用の計算機に受信プ
ロセスを起動し、このプロセスは、送信された性能デー
タを受信し、その計算機と同じかまたは異なる複数の計
算機上に起動された一つまたは複数の利用プロセスにそ
の受信した性能データを分配する。測定された性能デー
タは、複数の測定項目に対する複数の性能データを含
む。それらの利用プロセスは、例えば、複数の表示プロ
セスあるいは複数の蓄積プロセスである。

【００１２】いずれかの表示プロセスが上記受信プロセ
スにより転送された性能データを受信したときには、そ
の表示プロセスは、転送された性能データの内、一部の
測定項目に対する性能データを、その表示プロセスが起
動されている計算機に接続された表示装置上に表示す
る。いずれかの蓄積プロセスが上記受信プロセスにより
転送された性能データを受信したときには、その蓄積プ
ロセスは、転送された性能データを全て、その蓄積プロ
セスが起動されている計算機に接続された記憶装置に記
憶する。

【００１３】本発明の一つのより望ましい動作態様で
は、監視対象の計算機が並列計算機である場合には、そ
の並列計算機の各ノード上に起動した採取プロセスが採
取した性能データを、上記ネットワークに接続された、
並列計算機内の所定の一つのノード上に起動された収集
プロセスにより収集し、上記受信プロセスに転送する。

【００１４】

【発明の実施の形態】以下、本発明に係る性能モニタリ
ング方法を図面に示したいくつかの実施の形態を参照し
てさらに詳細に説明する。なお、以下においては、同じ
参照番号は同じものもしくは類似のものを表わすものと
する。また、第２の実施の形態以降では、第１の実施の
形態との相違点を主に説明する。

【００１５】＜発明の実施の形態１＞図１２において、
並列計算機１は、それぞれ少なくとも一つのプロセッサ
２Ａとメモリ２Ｂなどで構成される複数のノード２と、
それらのノード間を接続する内部ネットワーク５とから
なる。各ノードのメモリ２Ｂは、そのノードのプロセッ
サ２Ａが実行するプログラムおよびデータを保持する。
各ノードあるいは一部のノードはさらに磁気記憶装置等
の周辺装置を有するが、ここでは簡単化のために図示し
ていない。並列計算機１の特定の１個のノードは外部ネ
ットワーク２１と接続されており、外部ネットワーク２
１には複数の計算機１１が接続され、上記一つのノード
およびこれらの計算機はこのネットワーク２１を介して
相互に通信可能になっている。並列計算機１が監視対象
の計算機であり、外部ネットワーク２１に接続された二
つの計算機１１がモニタリングに使用される計算機の例
である。ネットワーク２１に接続された他の計算機は、
簡単化のために図示されていない。各計算機１１は、プ
ロセッサ１１Ａやメモリ１１Ｂにより構成され、その計
算機１１には、ディスプレイ装置とキーボードなどを含
む入出力装置１２と磁気ディスク記憶装置などの記憶装
置１３が接続されている。各プロセッサは、適当なＯ
Ｓ、たとえば、Ｘ／Ｏｐｅｎ Ｃｏｍｐａｎｙ Ｌｉｍ
ｉｔｅｄにより開発され、ライセンスされているＵＮＩ
Ｘにより制御される。

【００１６】図１には、本実施の形態におけるモニタリ
ングシステムを構成する５種類のプロセスとそれらの間
の関連を示す。これらのプロセスは、適当なプログラム
記録媒体に記録された５つのプログラムが、並列計算機
１に組み込まれて、それぞれプロセスとして実行された
ものである。並列計算機１の各ノード２には採取プロセ
ス４がおかれる。この採取プロセス４はそれぞれのノー
ド２の性能データを一定の時間間隔で繰り返し採取する
機能を持つ。収集プロセス３は並列計算機１の複数のノ
ード２のうち、外部ネットワーク２１に接続されている
特定のノード上におかれ、各ノード上の採取プロセス４
が採取した各ノードの性能データを収集し、いずれか一
つのモニタ用の計算機１１へ送信する。

【００１７】一方、この一つのモニタ用計算機１１には
受信プロセス１５、表示プロセス１６そして蓄積プロセ
ス１７が起動される。受信プロセス１５は複数のモニタ
用計算機の内の１つのみに起動され、収集プロセス３と
１対１でデータの送受信を行う。表示プロセス１６なら
びに蓄積プロセス１７は、一人または複数の利用者によ
って必要な数だけ起動され、受信プロセス１５から性能
データの分配を受ける。表示プロセス１６は、その性能
データ内の一部の項目別性能データを入出力装置１２内
のディスプレイ装置上に表示する。蓄積プロセスは、そ
の性能データの全体を記憶装置１３へ蓄積したりする。
この表示プロセス１６および蓄積プロセス１７は、必ず
しも受信プロセス１５の起動されたモニタ用計算機１１
上で起動される必要はなく、そのモニタ用の計算機とネ
ットワーク２１で接続されている他の計算機上でもそれ
らのプロセスを起動することもできる。また、いずれか
一つのモニタ用計算機１１上に複数の表示プロセス１６
を起動することもできる。同様にその計算機上に複数の
蓄積プロセス１７を起動することも可能である。

【００１８】次に、本モニタリングシステムの各プロセ
スがどのように連携をとりながら動作するかを、図６
（ａ），（ｂ）のフローチャートならびに図２から図５
に示された上記５つのプロセスの内部構成図を用いて説
明する。

【００１９】まず並列計算機１上の、外部ネットワーク
２１に接続された上記特定のノード２上に収集プロセス
３を起動する（ステップ５２１（図６（ａ）））。通常
の運用では、この収集プロセス３の起動はシステム管理
者が並列計算機１に対して収集プロセス起動コマンドを
投入することによって行う。収集プロセス３は、起動さ
れると、まず初期化処理を実行する。たとえば、ノード
数、各ノードの属性や性能データを取得するノードの数
など、並列計算機１の構成が記述された構成定義ファイ
ル２０８（図３）を読み込む。本実施の形態では、全て
のノードが性能データを取得すると仮定する。各ノード
の属性には、そのノードのアドレス、磁気ディスク記憶
装置など周辺機器がそのノードに付属しているか否かの
周辺装置付属状況などの情報が含まれる。初期化処理が
終わったら、この収集プロセス３はいずれか一つのモニ
タ用計算機１１上に起動されるであろう受信プロセス１
５からの接続要求を待つ。

【００２０】次いで、いずれか一つのモニタ用計算機１
１上に受信プロセス１５を起動する（ステップ５４
１）。通常の運用では、受信プロセス１５の起動は、シ
ステム管理者がモニタ用計算機１１から受信プロセス起
動コマンドを投入することによって行う。この受信プロ
セス１５は並列計算機１に対してネットワークにより接
続された任意の計算機上に起動することが可能である。
しかし、本プロセスは複数の利用者が異なる計算機上で
起動した複数の表示プロセスから接続される可能性があ
るため、並列計算機の管理用ワークステーションなど複
数の利用者からのアクセスが可能な特定の計算機上で起
動するのが一般的である。システム管理者はこの受信プ
ロセス１５の起動コマンドの引数として、収集プロセス
３へ接続要求を出す際に必要となる並列計算機１のＩＰ
アドレス情報（あるいはホスト名）、性能データ採取の
時間間隔などのパラメータを入力する。

【００２１】起動された受信プロセス１５は、図４の接
続処理ルーチン３０５により、収集プロセス３に対して
接続要求を行う（ステップ５４２）。本接続要求は、Ｕ
ＮＩＸにおけるｃｏｎｎｅｃｔシステムコールで実装す
ることができる。この時、接続要求を出す相手である収
集プロセス３の識別情報として、起動の際に引数として
与えられた並列計算機のＩＰアドレス情報を用いる。接
続要求を受け取った収集プロセス３では、接続処理ルー
チン２０２が、受信プロセス１５内の接続処理ルーチン
３０５（図４）のとの接続処理を行い、これにより収集
プロセス３が受信プロセス１５との間でデータの送受信
を行うのを可能にする（ステップ５２２）。

【００２２】接続処理の完了後、収集プロセス３は先に
構成定義ファイル２０８から読み込んだ並列計算機１の
構成定義情報を受信プロセス１５へ送信する（ステップ
５２３）。さて、本システムでは、システムを構成する
プロセス間でメッセージを授受することにより、要求の
伝達やデータの送受信を行う。本実施の形態では、メッ
セージは可変長のバイト列であり、先頭１バイトはメッ
セージの種類を表す識別子を格納する識別子フィールド
であり、それに続くデータフィールドにデータを格納す
る。メッセージは、データフィールドを伴わず、識別子
フィールドのみから成る場合もある。上記ステップ５２
３での、上記構成定義情報の伝達のためには、収集プロ
セス３において、内部処理ルーチン２０７（図３）が受
信プロセス１５に対応して設けられた入出力バッファ２
０３上にその構成定義情報を含むメッセージを構成す
る。すなわち、識別子フィールドに本メッセージが構成
定義情報を含むことを示す１バイトの識別子を格納し、
データフィールドに、上記監視用の計算機１１のＩＰア
ドレスを格納する。このように構成されたメッセージを
ＵＮＩＸのｓｅｎｄシステムコールを用いて受信プロセ
ス１５へネットワーク２１を介して送る。

【００２３】受信プロセス１５では、収集プロセス３か
らこのメッセージ受信すると、入力解析ルーチン３０６
（図４）にてその識別子からメッセージ内容が並列計算
機１の構成定義情報であることを検知する。さらに、構
成定義情報に含まれたノード数から、性能データの転送
に必要な入出力バッファ３０１，３０２のサイズを算出
する。算出されたサイズは後にそれらの入出力バッファ
が確保されるときに使用される。各入出力バッファ３０
１または３０２は、後に起動される表示プロセス１６あ
るいは蓄積プロセス１７の一つに対応して確保される。
これらの入出力バッファのサイズは、１時間ステップに
一つの採取プロセス４により採取される性能データの長
さを並列計算機内のノード数倍した長さ以上確保すれば
よい。次いで、受信プロセス１５は、収集プロセス３に
対して各ノードの採取プロセス４の起動を要求する（ス
テップ５４３）。具体的には、上記計算機構成定義情報
の授受と同様に、採取プロセス４は、起動要求であるこ
とを示す要求識別子を含んだメッセージを収集プロセス
３へ送信し、それを受信した収集プロセス３が入力解析
ルーチン２０５でその識別子から要求の内容を識別す
る。

【００２４】受信プロセス１５から採取プロセス４の起
動を要求された収集プロセス３は、先に受信した構成定
義情報内のノードアドレスを使用して、各ノード２上に
採取プロセス４を起動する（ステップ５２４）。起動に
はＵＮＩＸのリモートシェル機能を用いる。採取プロセ
ス４は起動されると（ステップ５０１）、ＵＮＩＸのｃ
ｏｎｎｅｃｔシステムコールを用いて接続処理ルーチン
１００（図２）により収集プロセス３との接続処理を実
行するなどの初期処理を行い、収集プロセス３からモニ
タリング開始が要求されるのを待つ。このようにして採
取プロセス４の起動および採取プロセスによる収集プロ
セス３との接続処理が終了すると、収集プロセス３は受
信プロセス１５に対して起動処理終了を通知する。それ
を受けた受信プロセス１５は収集プロセス３に対してモ
ニタリング開始を要求する（ステップ５４４）。この
時、受信プロセスがモニタリング開始要求のために送信
するメッセージには、要求の内容を示す識別子の他、性
能データ採取時間間隔についての情報が含まれる。

【００２５】モニタリング開始要求を受けた収集プロセ
ス３は、該当する採取プロセス４へ開始要求メッセージ
を転送する（ステップ５２５）。採取プロセス４が起動
されると、カウンタ制御／読み出しルーチン１０４がｓ
ｅｌｅｃｔシステムコールを発行し、採取プロセス４は
メッセージ到着待ち状態になる。採取プロセス４は、ｓ
ｅｌｅｃｔシステムコールに対するリターンの値によ
り、メッセージ到着を検出すると、この採取プロセス４
の処理は入力解析ルーチン１０２に移る。入力解析ルー
チン１０２ではｒｅｃｅｉｖｅシステムコールを発行し
てメッセージを入出力バッファ１０１に読み込む。メッ
セージの先頭の識別子がモニタリング開始要求識別子で
あることを確認し、メッセージに含まれる性能データ採
取時間間隔を取り出し、これを戻り値として使用してカ
ウンタ制御／読み出しルーチン１０４に戻る。こうして
採取要求を受けた採取プロセス４は、要求に含まれてい
る採取時間間隔を読みとり、カウンタ制御／読み出しル
ーチン１０４は、この採取時間間隔をクロック１０７に
セットし、クロック１０７はセットされた時間間隔ごと
にカウンタ制御／読み出しルーチン１０４に割り込みを
発生する。

【００２６】カウンタ制御／読み出しルーチン１０４
は、クロックからの割り込みを受けると、その都度、Ｕ
ＮＩＸの性能データ採取のためのシステムコールである
ｒｓｔａｔなどの関数を発行してＯＳ１０５から性能デ
ータを採取する（ステップ５０２）。性能データは複数
の項目別性能データからなり、採取可能な項目別性能デ
ータの数と種類は、上記関数の仕様によって予め決まっ
ている。通常、単位時間内でのＣＰＵ利用率、メモリ利
用率、磁気ディスク記憶装置アクセス回数、ネットワー
クによる通信回数（すなわち、送信回数と受信回数）な
どの項目別性能データを得ることができる。ＯＳは、こ
れらの性能データを、カーネル内のソフトウエアカウン
タ１０６、またはそのノード内のハードウエアカウンタ
１０８より読み出し、ｒｓｔａｔの出力引数として返
す。

【００２７】このようにして性能データを採取した採取
プロセス４のカウンタ制御、読み出しルーチン１０４
は、その性能データを入出力バッファ１０１に格納し、
出力制御ルーチン１０３に制御を移す。出力制御ルーチ
ン１０３は、ｓｅｎｄシステムコールを発行し、それに
より入出力バッファ１０１の内容を内部ネットワーク５
を介して収集プロセス３へ送信する（ステップ５０
３）。収集プロセス３では、いずれかの採取プロセス４
からの性能データを含むメッセージの到着を、内部処理
ルーチン２０７（図３）がＯＳのシステムコールである
ｓｅｌｅｃｔ関数を用いて監視する。メッセージの到着
を確認すると、内部処理ルーチン２０７は、入力解析ル
ーチン２０５を起動する。入力解析ルーチン２０５は、
ｒｅｃｅｉｖｅシステムコールを発行して、そのメッセ
ージ内の性能データを入出力バッファ２０１へ読み込
む。入力解析ルーチン２０５は、その性能データの読み
込みが終了すると、送信元の採取プロセスを記憶し、全
ての採取プロセス４から性能データが送信されてきたか
を確認し、処理を内部処理ルーチン２０７に戻す。

【００２８】この時、性能データをまだ送信してきてな
い採取プロセス４がある場合は、内部処理ルーチン２０
７はｓｅｌｅｃｔシステムコールを発行して性能データ
を含むメッセージ到着の監視を続ける。全ての採取プロ
セス４からの性能データが到着した場合は、内部処理ル
ーチン２０７はそれらの採取プロセス４からの性能デー
タを、それぞれの採取プロセスに対応して設けられた入
出力バッファ２０１から、受信プロセス１５に対する入
出力バッファ２０３へコピーし、さらに、それらのコピ
ーされた各ノードに関する性能データを一つのメッセー
ジに組み立てる。メッセージは、識別子に続いて、各採
取プロセスから送られた性能データを連ねた性能データ
からなる。次いで内部処理ルーチン２０７は、出力制御
ルーチン２０６を起動する。出力制御ルーチン２０６
は、ＵＮＩＸのｓｅｎｄシステムコールを発行し、この
性能データを含むメッセージを受信プロセス１５に送信
する（ステップ５２６）。

【００２９】受信プロセス１５では、内部処理ルーチン
３０８がＵＮＩＸのｓｅｌｅｃｔシステムコールを発行
し、収集プロセス３からのメッセージ到着を待つ。収集
プロセス３からのメッセージの到着を検出すると、内部
処理ルーチン３０８は、入力解析ルーチン３０６に処理
を移す。入力解析ルーチン３０６は、ＵＮＩＸのｒｅｃ
ｅｉｖｅシステムコールを発行して、そのメッセージ内
の性能データを収集プロセス３に対応して設けられた入
出力バッファ３０４へ読み込む（ステップ５４５）。性
能データを受信した後、受信プロセス１５は、表示プロ
セス１６または蓄積プロセス１７が接続されているかを
確認する。表示プロセスが１つも接続されていない場合
には、以下の性能データの転送処理は行わない。少なく
とも一つの表示プロセス１６が接続されていた場合に
は、受信プロセス１５は入出力バッファ３０４に到着し
たメッセージをその表示プロセス１６に対して１対１に
設けられた入出力バッファ３０１にコピーし、それによ
りそのメッセージをその入出力バッファ３０１に接続さ
れた表示プロセス１６に分配する。もし複数の表示プロ
セス１６が接続されている入出力バッファ３０１がある
ときには、全ての表示プロセス１６にその性能データを
全く同じ方法で分配する。蓄積プロセス１７が接続され
ている場合には、その蓄積プロセスに接続して設けられ
た入出力バッファ３０１を利用する。本分配処理の詳細
に関しては後述する。

【００３０】このようにして、採取プロセス４、収集プ
ロセス３、受信プロセス１５がシステム管理者によって
起動された後、本システムの使用者は表示プロセス１６
あるいは蓄積プロセス１７を起動すれば、これらのプロ
セスを使用して性能データをモニタリングをすることが
可能となる。この場合、図示された他のモニタ用の計算
機１１は、並列計算機１の一人の利用者が使用する机上
の計算機でもよい。こうして、システム管理者が管理す
る計算機１１からもあるいはそれから隔たった、利用者
が管理する個人用の汎用の計算機１１からも並列計算機
１の性能データをモニタ可能になる。なお、本明細書で
はこのように、性能データのモニタリング専用でない汎
用の計算機でも性能データのモニタリングに使用される
計算機をモニタ用の計算機と呼んでいる。

【００３１】本実施の形態では、受信プロセスを任意の
計算機に起動可能にするとともに、性能データを使用す
る表示プロセスあるいは蓄積プロセスも任意の計算機に
起動可能になっている。さらに、個々の表示プロセスが
要求する項目別性能データに依らないで、予め定めた複
数の項目別性能データを採取し、表示プロセスはその中
から項目別性能データを選択して利用する。これらの予
め定められた複数の項目が十分多ければ、利用者が他の
項目別性能データを要求した場合でも、通常は上の方法
によっても利用者の要求を満たすことができる。

【００３２】さらに、本実施の形態では、蓄積プロセス
では利用者が後で利用する項目別性能データを選択でき
るように、採取された全ての項目別性能データを記憶装
置に保持するようになっている。このためにも、利用者
の要求する項目別性能データが何であるかに依らないで
予め定めた一定数の項目別性能データを採取している。

【００３３】さらに、収集プロセス、採取プロセスと受
信プロセスは、表示プロセスあるいは蓄積プロセスの起
動とは独立に起動され、その後の表示プロセスあるいは
蓄積プロセスの起動に応じて採取した性能データをそれ
らのプロセスに分配している。これにより、起動された
表示プロセスの有無あるいはその数が変化しても、受信
プロセスと収集プロセス、採取プロセスは同じ処理を実
行すればよいことになる。

【００３４】表示プロセス１６の動作は以下の通りであ
る。表示プロセス１６はモニタリングシステムの使用者
が自分の使用するモニタ用計算機１１上で起動する（ス
テップ５６１（図６（ｂ）））。この時、使用者は受信
プロセス１５が起動された計算機のＩＰアドレスをあら
かじめ確認しておき、その表示プロセス１６の起動時の
引数として指定する。

【００３５】複数の利用者が本モニタリングシステムを
利用する場合には、通常は、利用者毎に異なるモニタ用
計算機を用いる。例えば、二人の利用者が、図１に示さ
れる２台のモニタ用計算機１１のそれぞれを用いる。本
実施の形態では、同一の利用者が同じ計算機１１上に複
数の表示プロセスを起動することができる。少なくとも
一つの表示プロセス（第１種の表示プロセス）は、後に
例示するように、その表示プロセスに対して定まった項
目別性能データを、その表示プロセスにより定められた
図形もしくはグラフでもって表示するように構成されて
いる。その他の表示プロセス（第２種の表示プロセス）
は利用者が選んだ項目別性能データを、その表示プロセ
スに対してあらかじめ定められたグラフにより表示する
ように構成される。後者の種類の表示プロセスとして、
それぞれ異なるグラフに対応して準備された複数の表示
プロセスが同一のモニタ用の計算機上に起動可能に構成
されている。さらにいずれの種類の表示プロセスも、起
動された後、利用者の指示により受信プロセスに性能デ
ータの転送を要求するように構成されている。このよう
に、表示可能なグラフごとに表示プロセスを起動するよ
うに表示プロセスを構成してあるので、各表示プロセス
の構造が簡単である。

【００３６】以上の結果、本実施の形態では性能データ
を同じ計算機上に表示するには、利用者は最小限一つの
表示プロセスを起動する必要があるが、一般には利用者
は複数の項目別性能データの表示を希望するので、同一
の利用者が同一の計算機上に複数の第２種の表示プロセ
スを起動することになる。その際、どのグラフで性能デ
ータを表示するかに応じて、起動すべき第２種の表示プ
ロセスを選択し、その選択された第２種の表示プロセス
を起動後に、その表示プロセスで表示すべき項目別性能
データを指示するようになっている。

【００３７】起動された表示プロセス１６では、制御ル
ーチン４０３が表示画面の初期化や受信プロセス１５へ
接続するための初期化処理を行った後、接続処理ルーチ
ン４０６に処理を移して受信プロセス１５へ接続要求を
発行する（ステップ５６２）。

【００３８】接続要求を受け取った受信プロセス１５の
接続処理ルーチン３０３は、その表示プロセス用に入出
力バッファ３０１ならびに要求フラグ３０２を生成し、
上記表示プロセスに対して接続処理を行う（ステップ５
４６）。上記受信プロセスに対する接続処理が終了し、
そのプロセスに対してデータの送受信が可能となった
ら、受信プロセス１５は今接続した表示プロセス１６に
対して、受信プロセス１５が先に収集プロセス３から受
信した、並列計算機１の構成定義情報を送信する。

【００３９】構成定義情報を受信した表示プロセス１６
は、その情報を参照して性能データを蓄積するための送
受信バッファ４０４の確保や全ノードの性能データを表
示するためのグラフのレイアウトの計算などを行った上
で、ウィンドウを表示装置上に表示する（ステップ５６
３）。図７は、表示プロセス（第１種の表示プロセス）
により予め定められた複数の項目別性能データを表示す
るウィンドウの例である。二つの直方体および一組の矢
印（６０１，６０２，６０３）によって一つのノードの
稼働状況を表す。このような図形を複数のノードに対応
して複数個配置することによって並列計算機全体の稼働
状況を表す。２つの直方体６０１，６０２の高さはそれ
ぞれ一つのノードでのＣＰＵ利用率とメモリ利用率に対
応し、一組の矢印６０３の長さはネットワーク２１への
そのノードからの送信回数と送受信回数に対応する。表
示ウィンドウ６１０は、表示エリア６２０と制御エリア
６３０から構成され、使用者は制御エリア６３０に配置
されたボタン６４０，６５０などのオブジェクトを利用
して表示プロセスの制御を行う。ボタン６４０を操作す
ることによりデータ表示が開始され、ボタン６５０を操
作することにより表示が停止される。

【００４０】図８は１画面に利用者が選択した１種類の
項目別性能データを表示する他の表示プロセス（第２種
の表示プロセス）により表示されるウィンドウの例であ
る。表示エリア６２０には棒グラフが表示される。グラ
フの横軸１７１１は異なるノードに対応し、縦軸１７１
２に一つの項目別性能データがマッピングされる。利用
者は、制御エリア６３０に与えられた性能データのリス
ト１７０４から、棒グラフの縦軸にマッピングしたい性
能データを選択する。ボタン６４０，６５０は図７の場
合と同様である。図７あるいは図８のいずれの表示プロ
セスの場合でも、使用者が表示ウィンドウ６１０または
１７００内のボタン６４０の操作によりデータ表示の開
始を指示すると、表示プロセス１６は受信プロセス１５
に対して性能データの転送要求メッセージを送信する
（ステップ５６４）。

【００４１】前述のように、受信プロセス１５は、内部
処理ルーチン３０８においてｓｅｌｅｃｔシステムコー
ルを発行し、入出力バッファ３０１および３０４へのメ
ッセージ到着待ちの状態にある。表示プロセス１６から
のデータ転送要求メッセージの到着によりｓｅｌｅｃｔ
システムコールはリターンし、内部処理ルーチン３０８
は、このメッセージの到着を検出すると、入力解析ルー
チン３０６に処理を移す。入力解析ルーチン３０６はｒ
ｅｃｅｉｖｅシステムコールを発行して要求メッセージ
を当該表示プロセスと接続された入出力バッファ３０１
に読み込む。次いで、出力制御ルーチン３０７は要求メ
ッセージの識別子をチェックし、メッセージがデータ転
送要求であることを判定して、その入出力バッファ３０
１に付随する要求フラグ３０２をセットする。なお、同
じ使用者または異なる使用者によって複数の表示プロセ
ス１６または蓄積プロセス１７が起動された場合には、
受信プロセス１５は上記の処理を繰り返し、それら全て
のプロセスと接続操作を行う。

【００４２】このように表示プロセス１６が受信プロセ
ス１５に接続され、使用者の画面操作によって表示が開
始された後の装置動作について説明する。前述の手順に
より採取プロセス４から収集プロセス３を経由して受信
プロセス１５へ性能データの転送が行われる（ステップ
５０４，５２７，５４８）。このとき、受信プロセス１
５は内部処理ルーチン３０８においてｓｅｌｅｃｔシス
テムコールを発行し、入出力バッファ３０１，３０５へ
のメッセージ到着待ち状態にある。収集プロセス３から
の性能データを含むメッセージの到着を契機としてｓｅ
ｌｅｃｔシステムコールは内部処理ルーチン３０８にリ
ターンし、さらに内部処理ルーチン３０８は入力解析ル
ーチン３０６に制御を移す。入力解析ルーチン３０６は
ｒｅｃｅｉｖｅシステムコールを発行して到着したメッ
セージを入出力バッファ３０４に読み込み、メッセージ
の識別子をチェックしてこれが性能データを含むメッセ
ージであることを確認して内部処理ルーチン３０８に処
理を戻す。内部処理ルーチン３０８は表示プロセス１６
と接続された入出力バッファ３０１に付随する要求フラ
グ３０２を順次確認する（ステップ５４７）。

【００４３】もしいずれかの入出力バッファ３０１に付
随する要求フラグ３０２がセットされていれば性能デー
タを含むメッセージを入出力バッファ３０４からその一
つの入出力バッファ３０１にメモリコピーし、出力制御
ルーチン３０７を起動する。出力制御ルーチン３０７は
ｓｅｎｄシステムコールを発行して入出力バッファに格
納された上記メッセージをその入出力バッファ３０１に
接続された表示プロセスへ転送し、その入出力バッファ
３０１に付随する要求フラグ３０２をクリアする（ステ
ップ５４９）。この処理を全ての接続されている表示プ
ロセス１６に対して設けられている全ての要求フラグ３
０２について繰り返すことにより、受信プロセス１５は
全ての表示プロセス１６に対して性能データを分配す
る。蓄積プロセスが入出力バッファ３０１に接続されて
いる場合も全く同様である。このように複数の表示プロ
セス１６に対して性能データを分配する処理を、モニタ
用計算機１１上にある受信プロセス１５が行うため、起
動された表示プロセス１６の数が増えた場合でも並列計
算機１上にある採取プロセス４や収集プロセス３にはそ
の影響はなく、監視対象の並列計算機の負荷が増加しな
い。

【００４４】受信プロセス１５から性能データの転送を
受けた表示プロセス１６は、受信した全てのデータのう
ち表示に必要な項目別性能データを参照して表示画面を
作成し、入出力装置１２に描画する（ステップ５６
６）。表示に必要なデータとは、図７のウィンドウを持
つ表示プロセスの場合には、ＣＰＵ利用率、メモリ利用
率、通信回数という、その表示プロセスで定められた３
つの項目別性能データであり、図８のウィンドウを持つ
表示プロセスの場合には、その表示プロセスに対して利
用者が指示した一つの項目別性能データである。

【００４５】表示プロセス１６は、処理５６４から処理
５６６までの表示動作を繰り返すことによって、次々に
送られてくる性能データを表示していく。すなわち、表
示プロセス１６の制御ルーチン４０３は、データ転送要
求を受信プロセス１５に送信する（ステップ５６４）。
そのときの具体的な動作は後に説明するとおりである。
制御ルーチン４０３は、その後、利用者のウィンドウ操
作あるいは受信プロセスからの性能データを含むメッセ
ージの到着のいずれかを検出するための待ち状態にな
る。性能データを含むメッセージが到着すると、制御ル
ーチン４０３はｒｅｃｅｉｖｅシステムコールを発行し
てメッセージを送受信バッファ４０４に読み込む（ステ
ップ５６５）、処理を入力解析ルーチン４０１に移す。
入力解析ルーチン４０１は、受信プロセス１５から送ら
れたメッセージの識別子が、性能データを含むメッセー
ジの識別子であることを確認する。次いで描画処理ルー
チン４０２を起動し、描画処理ルーチン４０２は、ウィ
ンドウ上のグラフの高さを性能データに応じて変化させ
る（ステップ５６６）。描画が終了すると処理は制御ル
ーチン４０３に戻り、制御ルーチン４０３は、次の時間
ステップの性能データに対するデータ転送要求メッセー
ジを送受信バッファ４０４に作成し、ｓｅｎｄシステム
コールを発行してこのメッセージを受信プロセス１５に
送信する（ステップ５６４）。送信後、制御ルーチン４
０３は再び上記待ち状態に戻る。

【００４６】一方、表示の停止は、各時間ステップに対
する性能データの描画の後に送信している性能データ転
送要求メッセージの送信を中止することにより実現され
る。使用者が表示ウインド６１０内のボタン６０５を操
作すると、制御ルーチン４０３は上記待ち状態から抜け
て入力解析ルーチン４０１に制御を移す。入力解析ルー
チン４０１がその要求を解析し、押されたボタンが停止
ボタン６５０であることを制御ルーチン４０３に伝え
る。制御ルーチン４０３は、この状態が検出されると、
その後、受信プロセス１５に対して性能データ転送要求
メッセージの送信を行わない。データ転送要求が行われ
ない表示プロセス１６は対応する要求フラグ３０２をセ
ットしない。したがって、受信プロセス１５はそのよう
な表示プロセス１６には性能データを送信しない。した
がって、その表示プロセス１６の表示は停止する。

【００４７】表示プロセス１６の終了処理は、表示ウイ
ンド６１０のメニュー操作により実行される。停止処理
の場合と同様に、終了処理の場合も利用者のウィンドウ
操作を制御ルーチン４０３が検出して上記待ち状態から
抜け、入力解析ルーチン４０１に処理を移す。入力解析
ルーチン４０１はメニューから停止が選ばれたことを検
出し、制御ルーチン４０３に伝える。制御ルーチン４０
３は送受信バッファ４０４に終了通知メッセージを形成
し、ｓｅｎｄシステムコールによりこれを受信プロセス
１５に送出する（ステップ５６７）。

【００４８】終了通知メッセージを受けた受信プロセス
１５は、その表示プロセス１６との接続状態を解消し、
割り当てていた入出力バッファならびに要求フラグを解
放する（ステップ５５０）。接続が解消されたら、表示
プロセス１６は終了処理（ステップ５６８）を行ったう
えで終了する（ステップ５６９）。全ての表示プロセス
１６との接続が解消されたら、システム管理者は、受信
プロセス１５の終了処理を開始することが可能となる。
受信プロセス１５の終了処理を開始するには、受信プロ
セス１５が起動されている計算機１１を制御するＯＳが
提供する割り込み機能を利用して受信プロセス１５に対
して割り込み信号を入力する。割り込み信号を受け取っ
た受信プロセス１５は収集プロセス３に対して終了要求
を発行する（ステップ５５１）。終了要求を受けた収集
プロセス３は、全ての採取プロセス４に対して終了要求
を発行し（ステップ５２８）、それを受けた採取プロセ
ス４は終了処理を行う（ステップ５０５）。全ての採取
プロセス４に対する接続が解消されたら、収集プロセス
３は受信プロセス１５との接続を解消する。その後、収
集プロセス３および受信プロセス１５は、各々独立に終
了処理を行い、本モニタリングシステム内の全てのプロ
セスが終了する（ステップ５２９，５５２）。

【００４９】次に、蓄積プロセス１７が記憶装置１３に
性能データを蓄積し、その蓄積したデータを表示プロセ
ス１６で表示する方法について説明する。図５に示す蓄
積プロセス１７は、表示プロセス１６と同様に、使用者
によって起動される。蓄積プロセス１７が起動される
と、接続処理ルーチン４５５が受信プロセス１５へ接続
要求を発行し、表示プロセス１６が実行したのと同様の
手順で受信プロセス１５と接続し、その蓄積プロセス１
７の動作を使用者に制御させるための制御ウィンドウ
（図示せず）を表示する。制御ウィンドウは、表示プロ
セス１６の表示ウィンドウ、たとえば６１０（図７）と
同様であるが、表示エリア６２０はなく、制御エリア６
３０のみで構成される。制御エリア６３０で使用者が制
御できるのは、蓄積するデータ項目の選択、蓄積するフ
ァイル名の指定、蓄積の開始ならびに終了である。制御
エリア上の操作で蓄積するデータ項目ならびに蓄積する
ファイル名を設定した後、データ蓄積開始の操作を行う
と、蓄積プロセス１７は表示プロセス１６と同様に性能
データの受信を行う。入力解析ルーチン４５１は、受信
プロセス１５から送られたメッセージの識別子が、性能
データを含むメッセージの識別子であることを確認す
る。この性能データは送受信バッファ４５２に格納さ
れ、その後、この性能データは、データ整形ルーチン４
５３で蓄積用のデータ形式に整形され、出力ルーチン４
５４によって磁気ディスク記憶装置などの記憶装置１３
へ蓄積される。

【００５０】蓄積するファイル１００４の形式は、図９
（ｄ）に示すように、まず最初に並列計算機のノード総
数、前述した各ノードの属性、データを採取したノード
一覧などといった並列計算機の構成定義情報を格納す
る。その情報の後に、複数のブロックが記憶される。各
ブロックは、複数のノードの一つと、複数の時間ステッ
プの一つに対応する。各ブロックは、複数のデータレコ
ードからなり、各データレコードは、同じ時間ステップ
に同じノードから取得された、異なる測定項目に対する
性能データを含む。ブロックの最初と最後には、それぞ
れ図９（ａ）のヘッダレコード１００１および図９
（ｂ）のブロック終了レコード１００３が置かれ、ブロ
ックの境界を示す。ヘッダレコードには、ブロック全体
の長さを示すブロック長やそのブロックに属する複数の
データレコードを生成したノードの番号およびそれらの
データレコードに含まれる性能データが取得された時間
ステップを表す時刻情報等が含まれている。さらに、全
てのレコードの先頭にはレコードの種類を示すタイプコ
ードおよびそのレコードの長さを示すレコード長があ
る。ブロックの並ぶ順は、まず、特定のノードと特定の
時間ステップに対応する一つのブロックが記憶され、次
に同じ時間ステップに対する他のノードに対する他の複
数のノードが記憶される。同じ時間ステップに対する全
てのノードに対する複数のブロックが蓄積された後に、
後続の複数の時間ステップに対する複数のブロックが並
ぶ。

【００５１】このようにして蓄積プロセス１７により蓄
積されたデータは、いずれかの表示プロセス１６で表示
することが可能となる。この表示に使用する表示プロセ
スは、すでに起動され、図７または図８に示す表示ウイ
ンドウに性能データを表示している表示プロセスでもよ
く、まだ起動されていない表示プロセスを使用してもよ
い。以下では、すでに起動され、性能データの表示に使
用されている表示プロセスを使用する場合について説明
する。

【００５２】図１０のフローチャートは表示プロセス１
６が蓄積データを読み込んで表示を行う手順を示したも
のである。まず、利用者が事前に入出力装置１２から表
示をする蓄積データが格納されたファイル名を入力する
（ブロック１１０１）。その後、利用者が表示プロセス
１６に対して蓄積データ表示モードへの切り替えの要求
を入力すると、表示プロセス１６は蓄積データ表示モー
ドへ切り替える（ステップ１１０２）。この時、表示プ
ロセス１６は、受信プロセスへのデータ転送要求の送信
を停止し、入力先切替ルーチン４０５（図５）がデータ
入力先を受信プロセス１５から記憶装置１３上の指定し
たファイルへ切り替える。

【００５３】表示プロセス１６はこのファイルをオープ
ンすると（ステップ１１０４）、表示プロセス１６はフ
ァイルの先頭にある並列計算機の構成定義情報を読み込
む（ステップ１１０５）。この時、それまで使用してい
た構成定義情報をバッファ（図示せず）へ退避し、ファ
イルから読み込んだ構成定義情報をもとにグラフのレイ
アウト等を計算し直し、そのグラフを表示画面に表示す
る。次に、ファイルを最後まで読んでブロック数を数
え、先に読み込んだ構成定義情報のノード数でこのブロ
ック数を割ることにより、蓄積されている複数のブロッ
クが測定された時間ステップ数を計算する（ステップ１
１０６）。そして、蓄積データ表示機能の制御画面を表
示する（ステップ１１０７）。

【００５４】図１１は制御画面の一例である。ファイル
名表示欄９０２には、現在読み込みを行っているファイ
ル名が表示され、データ数表示欄９０３には処理ブロッ
ク１１０６で計算した蓄積データの時間ステップ数が表
示される。表示範囲入力欄９０４，９０５，９０６に
は、それぞれ表示する時間ステップ範囲の最初、最後お
よび何時間ステップおきにデータを表示するかという読
み飛ばす時間ステップ数を入力する。スライダ９０７
は、現在何番目の時間ステップのデータを表示している
かを示すもので、この位置を動かすことによって、表示
データを変更することが可能である。ボタン９０８，９
０９，９１０，９１１は、それぞれ一つ前の時間ステッ
プへのコマ送り、連続表示の停止、連続表示の開始、一
つ先の時間ステップへのコマ送りを指定するためのボタ
ンである。

【００５５】ステップ１１０９で、このような制御画面
９０１により、利用者が表示時刻、すなわち表示すべき
データの時間ステップを指定すると、表示プロセス１６
はファイルの内容を読み込んで、該当する時間ステップ
のデータを検索する（ステップ１１１０）。そして、そ
のデータを表示装置へ描画する（ステップ１１１１）。
また、ステップ１１０９で、制御画面９０１のボタン９
１０を押して連続表示を開始させると、表示範囲入力欄
９０５で指定された表示範囲の最後の時間ステップに到
達するか、表示ボタン９０９により連続表示の停止が指
定されるまで（ステップ１１１２）、現在読み込んでい
るデータの次から１時間ステップ分のデータを読み込み
（ステップ１１１３）、表示することを繰り返す（ステ
ップ１１１４）。表示を繰り返す時間間隔は、ファイル
に蓄積しているヘッダレコード１００１内の時刻情報か
ら算出する方法や、あらかじめ指定する方法などが考え
られるが、いずれにしても図５における表示プロセス１
６内のクロック生成ルーチン４０７によって時刻を計測
し、指定時間が経過したら描画処理を行う。

【００５６】マウス等の入力装置より、蓄積データ表示
機能の終了が利用者により指示されると（ステップ１１
０８）、終了処理を実行し、それにより、入力先切替ル
ーチン４０５が受信プロセスへと入力先を切り替え、こ
の表示プロセス１６は、通常のデータ表示モードへ戻る
（ステップ１１１５）。この時、表示プロセス１６はフ
ァイルから読み込まれた構成定義情報を破棄し、バッフ
ァへ退避させておいた以前の構成定義情報を復活させ、
表示エリア上のグラフを蓄積データ表示モードに切り替
える以前のリアルタイム表示の状態に戻す。これによ
り、蓄積プロセス１７と表示プロセス１６を起動してお
くことにより、現在のデータをリアルタイムで表示して
いる最中に、過去のデータを表示し直すことが可能にな
る。また、事前に蓄積しておいたデータを用いて、並列
計算機の稼働状況を事後解析することも可能となる。な
お、蓄積プロセス１７はそれぞれのモニタ用の計算機１
１上に並行して起動し、それぞれの蓄積プロセスにより
それぞれが起動された計算機に含まれた記憶装置１３に
性能データを並行して蓄積することができる。

【００５７】さらに、蓄積プロセス１７は受信プロセス
１５から見ると表示プロセス１６と特に区別されるもの
ではないため、１つの受信プロセス１５に対して複数の
表示プロセス１６が起動可能であるということは、複数
の蓄積プロセス１７の起動が可能であることを意味す
る。したがって、複数の使用者がそれぞれ互いに異なる
蓄積プロセス１７を同時に起動することによりデータ蓄
積機能を同時に利用することが可能となり、しかもそれ
らの蓄積プロセスの起動により並列計算機の負荷が増大
することはない。

【００５８】＜発明の実施の形態２＞本発明は、上記実
施の形態で使用した並列計算機とは異なるものにも適用
可能である。上記実施の形態では、並列計算機の内の特
定のノードのみが外部ネットワークに接続されていた。
しかし、すでに開発されている並列計算機の中には、複
数の特定のノードがこの外部ネットワークに接続されて
いるものもある。そのような並列計算機においては、そ
れらの特定のノードの各々に、収集プロセスを配置し、
並列計算機内に性能データの収集および受信プロセスへ
の転送をそれらの複数の収集プロセスにより分割して実
行させることができる。

【００５９】すなわち、受信プロセスと各特定のノード
に起動された収集プロセスとの間の通信を使用して、そ
の収集プロセスがその特定のノードを含む一部の複数の
ノードの性能データの収集を指示し、それらのノードが
採取した性能データをその収集プロセスが収集し、上記
受信プロセスに転送する。このことを各特定のノードに
起動された収集プロセスが行う互いに並行に行う。こう
することにより、先の実施の形態における、全てのノー
ドが採取した複数の性能データを収集する特定の一つの
ノードの負荷よりは、この実施の形態２における各特定
のノードの負荷が減少する。このような並列計算機にお
いても、複数のユーザが、この並列計算機に性能データ
をモニタしようとする場合でも、並列計算機の負荷が増
大することはない。

【００６０】＜発明の実施の形態３＞すでに開発されて
いる他の並列計算機では、それぞれが複数のノードを含
むような複数のパーティションに分割されている。この
場合には、各パーティションごとに、その中の複数のノ
ードによりいずれかの一つジョブを並列に実行させるこ
とができる。もちろん各パーティションで複数のジョブ
を実行させることも可能である。しかし、一人の利用者
が一つのパーティションを占有して使用するのに適して
いる。このような計算機システムではそれぞれのパーテ
ィションごとに稼動状況をモニタリングすることが有効
である。

【００６１】例えば、図１３では、並列計算機１が二つ
のパーティション１、パーティション２（１００Ａ，１
００Ｂ）に分割されている。各パーティションに含まれ
た複数のノードの内、予め定められた一つのノードが外
部ネットワーク２１に接続されている。この場合、採取
プロセス４を各ノード上で起動し、かつ収集プロセス３
を各パーティションの、外部ネットワーク２１に接続さ
れた特定のノード２上に起動する。パーティション１の
性能データを監視するために、第１の受信プロセス１５
Ａを第１のモニタ用計算機１１上に起動し、第１のパー
ティションの特定のノードに起動された、収集プロセス
３と交信させる。さらに表示プロセス１６Ａあるいは蓄
積プロセス１７Ａをそのモニタ用計算機上１１に起動
し、上記第１の受信プロセスと１５Ａに接続する。実施
の形態１の場合と同様にして、表示プロセス１６Ａある
いは蓄積プロセス１７Ａはこの受信プロセス１５Ａから
パーティション１の性能データの分配を受ける。さらに
他の図示しない表示プロセスあるいは蓄積プロセスを他
の図示しない計算機に起動された場合、その表示プロセ
スあるいは蓄積プロセスもこの第１の受信プロセスを介
して性能データの分配を受ける。

【００６２】同様にして他のパーティション２に関して
も第２の受信プロセス１５Ｂ、表示プロセス１６Ｂある
いは蓄積プロセス１７Ｂあるいはさらに他の図示しない
表示プロセスあるいは蓄積プロセスを起動する。この実
施の形態においては、各パーティションごとに性能デー
タを他のパーティションとは独立に採取することができ
る。さらに、同じパーティションの性能データをモニタ
する表示プロセスと蓄積プロセスの両方が同じモニタ用
の計算機に上に起動された場合にもあるいは同じパーテ
ィションの性能データをモニタする複数の表示プロセス
を異なるモニタ用のｐ計算機上に起動した場合にも、並
列計算機の負荷は増えない。

【００６３】＜発明の実施の形態４＞実施の形態２の最
も極端な場合は、並列計算機の全てのノードが外部ネッ
トワークに接続されている場合である。この場合には、
各ノードに上記採取プロセスと収集プロセスの機能を兼
ねたプロセスを起動し、上記受信プロセスが、各ノード
のこのプロセスと交信してそのノードの性能データを受
信させればよい。この場合には、各ノードに性能データ
の採取のための同じプロセスが起動されるので、実施の
形態１に比べて、異なるノード間で性能モニタのための
負荷の偏りが少ない。

【００６４】＜発明の実施の形態５＞本発明は、外部ネ
ットワークで結合された複数の計算機からなる分散型の
計算機システムに対しても同様に適用が可能である。こ
の場合には、この分散型のシステムに属する複数の計算
機の各々に、採取プロセスを配置し、それらの計算機の
内の一つ、たとえば、ネットワークを管理する計算機に
収集プロセスを配し、さらに、それらの計算機の内の、
監視対象となる複数の計算機のうちの一つに受信プロセ
スを配し、それらの監視対象となる複数の計算機の一部
あるいはそれらの監視対象となる複数の計算機とは異な
るいずれか一つの計算機に表示プロセスあるいは蓄積プ
ロセスを配置すればよい。なお、受信プロセスを監視対
象となる複数の計算機とは異なるものに起動することも
可能である。この結果、各採取プロセスと上記収集プロ
セスの間の通信あるいは収集プロセスと受信プロセスの
間の通信は外部ネットワークを介して行われる点で、実
施の形態１と異なる。しかし、複数の表示プロセスある
いは蓄積プロセスにこの受信プロセスから性能データを
分配できることは実施の形態１と同じである。

【００６５】＜変形例＞本発明は以上に示した実施の形
態に限定されるものではなく、以下に例示する複数の変
形例を含めいろいろの変形例を含むものである。 （１）並列計算機内部の高速通信手順の利用 実施の形態では、並列計算機内部の通信、すなわち採取
プロセス４と収集プロセス３との間の性能データの受け
渡しにＴＣＰ／ＩＰによる通信を用いるとして説明を行
った。しかし、並列計算機によっては、内部ネットワー
クが複数のデータを異なるパスを経由して並列に転送可
能なものを使用するものが多い。そのような内部ネット
ワークを介したノード間の通信には、ＴＣＰ／ＩＰより
も軽量、高速な内部通信手順を利用しているものも多
い。そのような計算機においては、上記実施の形態１，
２，３のごとく、その計算機内の一つもしくは一部の複
数のノードに起動された収集プロセスに他のノードで採
取された性能データを転送する方法を採用した場合に
は、そのノード間通信には、並列計算機固有の高速内部
通信プロトコルを使用することが性能データの転送の高
速化の点で有効である。

【００６６】この場合、図３に示す収集プロセス３で
は、入力解析ルーチン２０５ならびに出力制御ルーチン
２０６に代えて、内部通信に対応した入力解析ルーチン
および出力制御ルーチンの組、ならびに外部通信に対応
した入力解析ルーチンと出力制御ルーチンの組とがが用
意され、内部通信と外部通信のいずれを行うかにより、
これらの組の一方が使用される。入出力バッファ２０１
は前者により使用され、入出力バッファ２０３は後者に
より使用される。例えば、採取プロセス４から高速内部
通信手順によって入出力バッファ２０１に送られてきた
データは、採取プロセス４用の、高速内部通信に対応し
た入力解析ルーチンによって受信され、一度、内部処理
ルーチン２０７へ渡される。内部処理ルーチン２０７は
受信プロセス１５と通信するための、外部ネットワーク
通信に対応した出力制御ルーチン２０６を呼び出し、デ
ータを引き渡す。その出力制御ルーチン２０６はＴＣＰ
／ＩＰなどの、モニタ用計算機１１と通信が可能なプロ
トコルによって受信プロセス１５へデータを送信する。
本変形により、並列計算機の全てのノードがＴＣＰ／Ｉ
Ｐなどといった比較的負荷の重い通信プロトコルを使用
する場合より、並列計算機１にかかる、モニタリングに
よる負荷を減らすことが可能となる。

【００６７】（２）採取する項目の受信プロセスからの
指定 実施の形態１では、採取プロセスが採取する項目別性能
データは予め決まっていたが、受信プロセスからこれら
の項目を指定させてもよい。このためには、システム管
理者が受信プロセスを起動するときに、その受信プロセ
スを起動する計算機１１にこれらのデータを指定する情
報を入力させればよい。

【００６８】（３）受信プロセスでの一部の項目別性能
データの選択 上記実施の形態１では、採取プロセスにて採取された複
数の項目別性能データ（例えばＣＰＵ利用率、メモリ利
用率、磁気ディスク記憶装置アクセス回数、通信回数）
が、収集プロセス３、受信プロセス１５を経由してつね
に表示プロセス１６にまで転送された。これに対し、受
信プロセス１５にて表示に必要な項目のみを選択して表
示プロセス１６に転送させると、転送されるデータ量を
低減できる。これを実現するためには、表示プロセス１
６が利用者によって起動され、受信プロセス１５に対し
て接続が確立した（ステップ５６２（図６（ｂ）））直
後に、表示プロセス１６から受信プロセス１５に対して
表示すべき性能データの通知を行う。受信プロセス１５
はどの表示プロセスがどの項目別性能データを必要とす
るかを記憶する。受信プロセス１５において内部処理ル
ーチン３０８が性能データを入出力バッファ３０４か
ら、いずれかの表示プロセスに接続された入出力バッフ
ァ３０１へメモリコピーする際に、受信した性能データ
全体をコピーするのではなく、必要と記憶された項目別
性能データのみを選択してコピーする。

【００６９】（４）項目別性能データの選択的採取 実施の形態１では、表示プロセスまたは蓄積プロセスの
起動とは独立に、性能データの収集を受信プロセスから
収集プロセスに要求した。しかし、いずれかの表示プロ
セスまたは蓄積プロセスが起動されてから、この要求を
発行するように受信プロセスを構成することもできる。
その際、利用者が要求する項目別性能データを表示プロ
セスあるいは蓄積プロセスから受信プロセスに通知さ
せ、受信プロセスにより起動されたそれらのプロセスが
通知した項目別性能データを採取することを監視対象の
計算機に要求させることもできる。この方法を採ると、
新たに表示プロセスあるいは蓄積プロセスが起動された
場合に、その新たに起動されたプロセスが要求する項目
別性能データが追加して採取されるように、受信プロセ
スが採取を要求する項目別性能データを更新することが
望ましい。こうすることにより、必要最小限の項目別性
能データのみを採取することになるので、採取する性能
データの量が少なくなる。

【００７０】（５）複数の時間ステップでの採取された
データの一括転送 実施の形態１は、データを採取する時間ステップ毎に採
取プロセス４から表示プロセス１６までデータを送信す
るものであったが、変形例として採取プロセス４におい
て複数の時間ステップの性能データを蓄積しておき、そ
れらをまとめて１回のデータ送信で送り出す方式が考え
られる。以下その変形例について説明する。図２におい
て、採取プロセス４の出力制御ルーチン１０３は、カウ
ンタ制御／読み出しルーチン１０４からデータを受け取
ると、入出力バッファ１０１中のその時点での最後尾へ
格納し、入出力バッファ１０１へ格納したレコード数を
記憶しておく。入出力バッファ１０１内のレコード数が
所定値に達したら、出力制御ルーチン１０３はそれまで
格納したデータをまとめて一つのデータとして収集プロ
セス３へ送信する。収集プロセス３ならびに受信プロセ
ス１５については、前述の実施の形態１と同様の動作を
する。このデータを最終的に受信した表示プロセス１６
は、図５において、内部のクロック４０７を参照して、
一定時間毎に送受信バッファ４０４内のデータから一時
刻分のデータを読み出し、表示を行う。送受信バッファ
４０４内のデータを全て処理し終えたら、表示プロセス
１６は受信プロセス１５へデータ要求を送信する。な
お、蓄積プロセス１７に関しては、動作に変更はなく、
前述の実施の形態１の通りデータを蓄積する。これによ
り、採取したデータの転送回数を少なくすることが可能
となり、通信負荷を減少することが可能となる。

【００７１】

【発明の効果】本発明によれば、監視対象の計算機から
採取された性能データを利用するモニタ用のプロセス
（表示プロセスあるいは蓄積プロセス）の数が増大して
も、監視対象の計算機自体の負荷はほとんど増加するこ
とがない。

【図面の簡単な説明】

【図１】本発明による並列計算機性能モニタリングシス
テムの全体構成図。

【図２】並列計算機性能モニタリングシステムにおける
採取プロセスのモジュール関連図。

【図３】並列計算機性能モニタリングシステムにおける
収集プロセスのモジュール関連図。

【図４】並列計算機性能モニタリングシステムにおける
受信プロセスのモジュール関連図。

【図５】並列計算機性能モニタリングシステムにおける
表示プロセス／蓄積プロセスのモジュール関連図。

【図６】（ａ）は、図１のシステムで採用される並列計
算機性能モニタリング方法の処理手順の一部を示すフロ
ーチャート。（ｂ）は、図１のシステムで採用される並
列計算機性能モニタリング方法の処理手順の他の一部を
示すフローチャート。

【図７】性能データの表示画面の一例を示す図。

【図８】性能データの表示画面の他の例を示す図。

【図９】（ａ）は、蓄積プロセスが記憶装置へ蓄積する
ブロックのヘッダレコードの形式の例を示す図。（ｂ）
は、蓄積プロセスが記憶装置へ蓄積するブロックの通常
のデータレコードの形式の例を示す図。（ｃ）は、蓄積
プロセスが記憶装置へ蓄積するブロックのブロック終了
レコードの形式の例を示す図。（ｄ）は、蓄積プロセス
が記憶装置へ蓄積するファイルの形式の例を示す図。

【図１０】蓄積されたデータの再表示処理手順を示すフ
ローチャート。

【図１１】蓄積されたログデータの表示機能を制御する
ための制御画面の一例を示す図。

【図１２】本発明による性能モニタリング方法を適用す
る並列計算機の全体構成図。

【図１３】本発明による性能モニタリング方法を適用す
る他の並列計算機の全体構成図。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成９年４月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】図１のシステムで採用される並列計算機性能モ
ニタリング方法の処理手順を示すフローチャート。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐川 暢俊 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 太田 忠 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 山賀 晋 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (26)

【特許請求の範囲】
1. 【請求項１】監視対象の計算機システムを含む複数の計
   算機と、それらを接続するための計算機接続ネットワー
   クとを有する計算機ネットワークにおいて、 上記監視対象の計算機システムによりその計算機システ
   ムの性能データを複数のタイミングで繰り返し採取する
   ごとに、上記監視対象の計算機システムが採取した性能
   データを、上記複数の計算機の内の、上記監視対象の計
   算機システム以外の一つの計算機上に起動された受信プ
   ロセスにより、上記監視対象の計算機システムから上記
   計算機接続ネットワークを介して受信し、 上記複数の計算機の内の、上記一つの計算機と等しいか
   または異なる、上記監視対象の計算機システム以外の複
   数の計算機上に起動された、性能データを利用するため
   の複数の利用プロセスの各々に、上記受信した性能デー
   タを上記受信プロセスにより転送するステップを有する
   計算機性能モニタリング方法。
2. 【請求項２】上記複数の利用プロセスは、それらの利用
   プロセスが起動されている上記複数の計算機に接続され
   た表示装置に性能データを表示するための複数の表示プ
   ロセスを有する請求項１記載の計算機性能モニタリング
   方法。
3. 【請求項３】上記性能データは、複数の項目別の性能デ
   ータを含み、 上記方法は、各表示プロセスに分配された性能データに
   含まれた複数の項目別性能データの内の一部の項目別性
   能データを、その表示プロセスが起動されている計算機
   に接続された表示装置に、その表示プロセスにより表示
   するステップをさらに有する請求項２記載の計算機性能
   モニタリング方法。
4. 【請求項４】各表示プロセスから送出された、性能デー
   タの転送要求を上記受信プロセスにより受信するステッ
   プをさらに有し、 上記受信プロセスから各表示プロセスへの性能データの
   上記転送するステップは、その表示プロセスから送出さ
   れた上記転送要求に応答して実行される請求項３記載の
   計算機性能モニタリング方法。
5. 【請求項５】各表示プロセスへの性能データを転送する
   ステップは、 上記受信プロセスが、性能データを上記監視対象の計算
   機システムから受信するごとに、性能データの転送要求
   をその受信プロセスにすでに送出した表示プロセスがあ
   るか否かを判別し、 性能データの転送要求をすでに送出した一つの表示プロ
   セスが検出されたときに、その受信した性能データをそ
   の検出された表示プロセスに転送し、 性能データの転送要求をすでに送出した複数の表示プロ
   セスが検出されたときに、その受信した性能データをそ
   れらの検出された複数の表示プロセスの各々に転送する
   ステップからなる請求項４記載の計算機性能モニタリン
   グ方法。
6. 【請求項６】上記複数の表示プロセスの一つにより表示
   される一部の項目別性能データは、その表示プロセスの
   利用者が選択した項目別性能データである請求項４記載
   の計算機性能モニタリング方法。
7. 【請求項７】上記複数の表示プロセスの一つにより表示
   される一部の項目別性能データは、その表示プロセスに
   対して予め定められた項目別性能データである請求項４
   記載の計算機性能モニタリング方法。
8. 【請求項８】上記複数の表示プロセスの一つにより表示
   される一部の項目別性能データは、その表示プロセスの
   利用者が選択した項目別性能データである請求項３記載
   の計算機性能モニタリング方法。
9. 【請求項９】上記複数の表示プロセスの一つにより表示
   される一部の項目別性能データは、その表示プロセスに
   対して予め定められた項目別性能データである請求項３
   記載の計算機性能モニタリング方法。
10. 【請求項１０】各表示プロセスに性能データを転送する
    ステップは、 一部の項目別性能データの転送を要求する、各表示プロ
    セスから送出された転送要求を上記受信プロセスにより
    受信し、 その転送要求の送出の後に性能データを上記監視対象の
    計算機システムから上記受信プロセスが受信するごと
    に、その受信された性能データに含まれた複数の項目別
    性能データの内、上記転送要求により要求された上記一
    部の項目別性能データをその受信プロセスにより選択
    し、 選択された一部の項目別性能データをその表示プロセス
    に上記受信プロセスにより転送するステップを有する請
    求項２記載の計算機性能モニタリング方法。
11. 【請求項１１】上記受信プロセスから上記監視対象の計
    算機システムに性能データの転送要求を送出するステッ
    プをさらに有し、 上記受信するステップは、上記転送要求の送出後に、上
    記監視対象の計算機システムにから送出される性能デー
    タを受信するステップからなる請求項２記載の計算機性
    能モニタリング方法。
12. 【請求項１２】上記性能データの転送要求を送出するス
    テップは、上記複数の表示プロセスのいずれかが起動さ
    れているか否かに依らないで実行される請求項１１記載
    の計算機性能モニタリング方法。
13. 【請求項１３】上記性能データの転送要求を送出するス
    テップは、上記複数の表示プロセスのいずれかが起動さ
    れた後に実行される請求項１１記載の計算機性能モニタ
    リング方法。
14. 【請求項１４】上記複数の表示プロセスのいずれかが起
    動される前に、採取すべき複数の項目別性能データを上
    記監視対象の計算機システムに上記受信プロセスより通
    知するステップをさらに有する請求項２記載の計算機性
    能モニタリング方法。
15. 【請求項１５】採取すべき複数の項目別性能データを決
    定するための情報を操作者により上記受信プロセスが起
    動された上記一つの計算機に入力するステップをさらに
    有し、 上記通知するステップは、上記入力された情報に依存し
    て実行される請求項１４記載の計算機性能モニタリング
    方法。
16. 【請求項１６】上記複数の表示プロセスの一つが最初に
    起動されたときに、その受信プロセスが送出する、転送
    すべき複数の項目別性能データを指定する転送要求を、
    上記受信プロセスにより受信し、 その転送要求が指定する上記複数の項目別性能データの
    採取を上記監視対象の計算機システムに上記受信プロセ
    スより要求するステップをさらに有する請求項２記載の
    計算機性能モニタリング方法。
17. 【請求項１７】上記受信するステップは、上記監視対象
    の計算機システムが、それぞれ少なくとも一つのプロセ
    ッサを含む複数のノードを含み、少なくとも一つのノー
    ドが上記計算機接続ネットワークに接続されている場合
    に、上記一つのノードから性能データを受信するステッ
    プを有し、 ここで、各ノード上に起動された採取プロセスが、その
    ノードの性能データを採取し、上記一つのノードの上に
    起動された収集プロセスが該複数のノードのそれぞれに
    起動された採取プロセスが採取した性能データを収集す
    るように、上記監視対象の計算機システムがプログラム
    されている請求項１記載の計算機性能モニタリング方
    法。
18. 【請求項１８】上記監視対象の計算機システムは、上記
    複数のノードを接続するための、上記計算機接続ネット
    ワークと異なる内部ネットワークをさらに有し、 上記収集プロセスから、各ノード上に起動された上記採
    取プロセスから、そのノードで採取した性能データの上
    記収集プロセスへの転送は、上記内部ネットワークを介
    して行われる請求項１７記載の計算機性能モニタリング
    方法。
19. 【請求項１９】上記各ノードの上記採取プロセスから、
    そのノードで採取した性能データを上記収集プロセスへ
    転送することは、上記内部ネットワークを介して、か
    つ、その監視対象の計算機システム用に定められた内部
    通信手順に従って行われ、 上記内部通信手順は、上記複数の計算機を相互に接続す
    る上記計算機接続ネットワーク用に定められた通信手順
    とは異なる請求項１８記載の計算機性能モニタリング方
    法。
20. 【請求項２０】上記受信するステップは、上記複数のノ
    ードがそれぞれ複数のノードを含む複数のパーティショ
    ンに区分され、各パーティションに含まれた複数のノー
    ドの内の少なくとも一つが上記計算機接続ネットワーク
    に接続されている場合に、上記複数のパーティションの
    一つに含まれた一つのノードから、その一つのパーティ
    ションに含まれた複数のノードの性能データをまとめて
    受信するステップからなり、 ここで、各パーティションに属する複数のノードの各々
    上に起動された採取プロセスが、そのノードの性能デー
    タを採取し、各パーティションの上記一つのノードの上
    に起動された収集プロセスが、そのパーティションに属
    する該複数のノードのそれぞれに起動された採取プロセ
    スが採取した性能データを収集するように、上記監視対
    象の計算機システムがプログラムされている請求項１７
    記載の計算機性能モニタリング方法。
21. 【請求項２１】上記複数のパーティションの他の一つの
    性能データを受信するための他の受信プロセスを、上記
    複数の計算機の内のいずれか一つに起動し、 上記他のパーティションの性能データを表示するための
    他の複数の表示プロセスの各々を上記複数の計算機の内
    の一つに起動し、 上記他のパーティションの性能データを上記他の受信プ
    ロセスにより受信し、 上記他のパーティションの上記性能データを、上記他の
    受信プロセスにより、上記複数の他の表示プロセスの各
    々に転送するステップをさらに有する請求項２０記載の
    計算機性能モニタリング方法。
22. 【請求項２２】上記受信するステップは、上記監視対象
    の計算機システムが、上記計算機接続ネットワークで接
    続された上記複数の計算機から選択された複数の計算機
    からなる分散計算機システムであり、上記複数のノード
    の各々は、上記複数の選択された計算機の一つを含む場
    合に、上記複数の選択された計算機の一つから、上記複
    数の選択された計算機のそれぞれに対する複数の性能デ
    ータをまとめて受信するステップからなり、 上記分散計算機システムは、上記採取プロセスが、上記
    選択された複数の計算機の各々上に起動され、上記収集
    プロセスが、上記複数の選択された計算機の内の上記一
    つの計算機上に起動され、上記収集プロセスが、上記複
    数の選択された計算機の上に起動された上記採取プロセ
    スが採取したその計算機の性能データを収集するように
    プログラムされている請求項１記載の計算機性能モニタ
    リング方法。
23. 【請求項２３】上記受信ステップは、上記監視対象の計
    算機システムは複数のノードを含む計算機システムであ
    り、各ノードが上記計算機接続ネットワークに接続され
    ている場合に、上記受信するステップは、各ノードから
    そのノードの性能データを受信するステップを有し、 上記監視対象の計算機システムが、各ノード上に起動さ
    れた採取プロセスが、そのノードの性能データを採取す
    るようにプログラムされている請求項１記載の計算機性
    能モニタリング方法。
24. 【請求項２４】上記監視対象の計算機システムは、相互
    に接続された複数のプロセッサを含み、上記複数のプロ
    セッサの少なくとも一つが上記計算機接続ネットワーク
    に接続されている場合に、上記受信するステップは、上
    記複数のプロセッサのそれぞれの性能データをまとめ
    て、それらのプロセッサの内の上記一つから受信するス
    テップを有し、 上記複数のプロセッサの各々上に起動された採取プロセ
    スにより、そのプロセッサの性能データを採取し、上記
    各プロセッサの上記採取プロセスが採取した性能データ
    を、上記一つのプロセッサ上に起動された収集プロセス
    により収集するように、上記計算機システムがプログラ
    ムされている請求項１記載の計算機性能モニタリング方
    法。
25. 【請求項２５】上記複数の利用プロセスは、それらの利
    用プロセスが起動されている上記複数の計算機に接続さ
    れた記憶装置に性能データを記憶するための複数の蓄積
    プロセスを有する請求項１記載の計算機性能モニタリン
    グ方法。
26. 【請求項２６】監視対象の計算機システムを計算機接続
    ネットワークを介して監視するための計算機モニタリン
    グシステムであって、 上記計算機接続ネットワークに接続された一つの計算機
    と、 該一つの計算機上で起動された受信プロセスとを有し、 上記受信プロセスは、上記監視対象の計算機システムに
    よりその計算機システムの性能データを異なるタイミン
    グで繰り返し採取するごとに、採取された性能データを
    上記監視対象の計算機システムから受信し、受信した性
    能データを性能データを表示するための第１，第２の表
    示プロセスの各々に転送するようにプログラムされ、 上記第１の表示プロセスは、上記一つの計算機と等しい
    かまたは異なる、上記計算機接続ネットワークに接続さ
    れた第１の計算機上に起動され、 上記第２の表示プロセスは、上記第１の計算機と異な
    る、上記計算機接続ネットワークに接続された第２の計
    算機上に起動されているもの。