JPH03218539A - 並列計算機システムにおけるデバッグ方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、並列計算機システムに係わり、特に各プロセ
ッサエレメント用に書かれたユーザープログラムの並列
処理に固有のバグを取り除くデバッグ処理制御方法とそ
のためのシステムに関する。

〔従来技術〕

計算機速度の向上のために、複数のプロセッサエレメン
トを同時に動かす、並列計算機システムが考案されてい
る。

従来の並列計算機システムには、全てのプロセッサ・エ
レメントが共有のメモリに接続され、そのメモリを介し
てデータを受け渡しするタイプのものと，各プロセッサ
・エレメントがローカルメモリを有し，ネットワークを
介して他のプロセッサ・エレメントに直接データを転送
するタイプのものとがある。前者では、データの受け渡
し時の共有メモリセクセス順序を制御するために同期制
御がなされ、後者では、他のプロセッサ・エレメントか
らのデータの送信をそのデータの受信の順序を制御する
ために、データ送受信の制御がなされる。

並列計算機システムに対するユーザインタフェイスとし
て、フォートラン（ＦＯＲＴＲＡＮ）のような従来の言
語が流用されたり、又は、専用言語が用意されている。

これらの言語を用いてプログラムをコーディングする場
合、並列処理に固有のバグがプログラムに入りこむこと
がある。並列処理に固有のバグには、共有するメモリを
アクセスする時に必要な順序付けのための同期制御の不
正（抜けも含む）による同一アドレスへの複数プロセッ
サからの定義・使用によるものや、分散メモリに対して
プログラムを書き換える時に入りこむデータ送受信の不
正（抜けも含む）やアルゴリズムの誤りがある。

特に、同期制御がさ九ずに並列処理が行なわれるときは
、各処理の実行順序は保証されず、実行するたびに実行
順序が異なり，再現性が保証されない。

このような並列計算機のデバッグ方法として確立した手
法があるわけではないが、これらのバグを取り除くため
にデバッグ方法も幾つか考えられている。製品として世
に出ているものに，ＳＥＱＥＮＴ　ＣＯＭＰＵＴＥＲ　
ＳＹＳＥＭＳ社の”Ｐｄｂｘ　ＰａｒａｌｌｅｌＤｅｂ
ｕｇｇｅｒ”があり、製品パンフレット“ＰｄｂｘＰａ
ｒａｌｌｅｌ　Ｄｅｂｕｇｇｅｒ　ｆｏｒ　Ｂａｌａｎ
ｃｅ　ＣｏｍｐｕｔｅｒＳｙｓｔｅＩＩＩｓ”に解説が
記されている。この製品は並列実行時にＰｓｓｔ／Ｗａ
ｉｔの同期制御についてトレースを出力することにより
並列動作状況を認識させる手段を用意している。また，
プロセッサの実行を途中で中断させる機能を持っている
。　同期制御の不正によるバグを含むプログラムに対し
て、安定した再現性のある状態でデバッグするためには
、並列に処理を行わず、逐次に実行して、その時のデー
タの状態から同期制御の不良を検出することが望ましい
。

デバッグ時に処理を逐次的に実行する方法はＪＰ−１−
１０６２３４に開示されている。しかしここでは，一度
全処理を並列に実行させ，そのときのトレースデータを
利用して、逐次に実行すべき処理の順序を決めている。

〔発明が解決しようとする課題〕

この従来技術では、逐次実行する前に並列に実行する必
要がある。また、一般に，並列計算機システム用のプロ
グラムでは、データの送受信や同期制御の実行文がユー
ザープログラムに記述されているため、記述されている
ため、複数のこれらのプログラムを逐次実行させると一
つのプログラムの実行中に送られることの無いデータを
待ち続けて、計算を進めることができないというデータ
待ち状態になり，そのプログラムの実行が進行しなくな
るという問題がある。すなわち、正常なプログラムであ
るにもかかわらずプログラムの実行が進まなくなる。

本発明の目的は、上記問題点を解決し，並列に実行させ
るためにプロセッサごとに記述したプログラムを、より
簡単な方法で逐次に実行させる方法を提供することにあ
る。

本発明の他の目的は、このようなプログラムを正常なデ
ータ送受信や同期制御によりデータ待ち状態に陥ること
なく，逐次に実行させる方法を提供することにある。

また、本発明の他の目的は、通常実行用ライブラリとデ
バッグ実行用ライブラリを準備し、ユーザープログラム
のメインプログラムを修正することなく，デバッグ処理
を行なうことができるデバッグ処理制御方法とそのため
のシステムを提供することにある。

〔課題を解決するための手段〕

上記目的達成のため、本発明では、次の方法により並列
処理用プログラムを逐次に実行する。

本実施例の動作の概要をまず述べる。ホスト計算機用ユ
ーザープログラムの中で呼び出されるデバッグ処理制御
ルーチンが、以下のような処理を実行する： （１）初期化として、起動可能状態とされた全プロセッ
サエレメントが、ホスト計算機により参照される起動テ
ーブルまたはキューに登録される。

（２）起動可能なプロセッサエレメントのうち任意の１
台のプロセッサエレメントが起動され、そのプロセッサ
エレメントが、「データ待ち状態」か「処理終了状態』
になるまで対応するプログラムを実行し、その状態と再
開アドレスをホスト計算機に渡して停止する。

（３）実行可能なプロセッサエレメントが無くなるまで
、（２）の処理を繰り返す間に同時に実行されるべきプ
ロセッサエレメントを１台ずつ動かす。

（４）（２）の起動可能なプロセッサエレメントのうち
起動をかける１台を選択するのに，起動テーブルまたは
キューの初期設定を様々に変えて、本来並列に実行すべ
き処理に対してプロセッサエレメントの起動順序を変化
させる。

〔作用〕

処理（１）により、ホスト計算機のデバック処理制御ル
ーチンにより、全プロセッサエレメントが起動可能な状
態として取り扱える状態にされる。

処理（２）と（３）により、実際にプロセッサエレメン
トが１台ずつ動かすことができる。「データ待ち状態」
となったプロセッサエレメントが停止してホスト計算機
に再開アドレススとともにその状態を通知し、通知を受
け取ったホスト計算機が他のプロセッサに起動をかける
。このように、分散メモリに必要なデータの送受信や共
有メモリアクセスの順序付けに必要は同期制御を含むプ
ロセッサエレメントごとのサブプログラムが、分散メモ
リに必要なデータの送受信や共有メモリアクセスの順序
付けに必要な同期制御で指定された順序を守りながら１
台ずつのプロセッサエレメントで実行されることが可能
となる。また，「データ待ち状態」で再開アドレスを渡
したプロセッサエレメントを起動テーブルまたはキュー
に登録し、他のプロセッサエレメントを実行したことに
よりデータが到着し、当該プロセッサエレメントを実行
することが可能となった場合には，そのプロセッサエレ
メント以下起動をかけることができる。

処理（４）により、ユーザープログラムに記述されたデ
ータ送受信や同期制御に従う範囲で，本来並列に実行す
べきプロセスの順番を様々に変化させることができる。

これにより、並列実行時に起こり得る様々な実行順序を
１台のプロセッサエレメントのみが稼動している状態で
実現させることができ、従来の１台のプロセッサエレメ
ントにおけるデバッグと類似の対話的に処理を一時中断
したり、データの出力を行うといった手法を使うことも
可能となる。

これらの機能により、各々の状況のトレースデータから
、並列に実行すると結果不正となる計算や、同期制御の
誤り（Ｓｅｎｄ／Ｒｅｃｉｅｖｅの抜けや，対応関係の
不一致）を検出することが可能となり、並列処理の異常
終了や結果不正の原因であるユーザープログラムのバグ
の除去を容易にすることができる。

以下、実施例の詳細を述べる。

〔実施例〕

以下、本発明の一実施例によるデバッグ処理制御システ
ムをローカル記憶を有する分散型並列計算機を対象とし
て添付図面を参照しつつ説明する。

第２図は、デバッグ処理制御システムを含む並列計算機
システムの概要を示す。

ホスト計算機１０は主記憶１２．Ｉ／ＯＰｒｏｃｅｓｓ
ｏｒ　１　４、インストラクションプロセッサ１６を有
する。主記憶には、実行プロセッサキュ−１２−１、終
了判定キュー１２−２、ｍａｉｎＰｒｏｇｒａｍ　１　
３　−　１　．通常処理用とデバッグ処理の２つのライ
ブラリ１３−２．１３−３が格納されている。Ｉ／Ｏデ
バイス１７はＩ／Ｏプロセッサ１４に接続されている。

アレイコントローラ２２は，インストラクションプロセ
ッサ１６に接続されている。ホスト計算機１０がアレイ
コントローラ２２を通してｎ＋１個のプロセッサエレメ
ント２４−０〜２４−ｎを制御する。各プロセッサレエ
メントはローカル記憶を有し、プロセッサ番号が割当て
られている。

各プロセッサエレメントはネットワーク２８を介して互
いにデータの送受信を行なう。各プロセッサエレメント
は他のプロセッサエレメントのローカル記憶２６−Ｏ〜
２６−ｎをアクセスすることはできないが、プロセッサ
エレメント群とホスト計算機を接続するアレイコントロ
ーラ２２を介してホスト計算機１０にある主記憶２１を
自由にアクセスすることができる。

第３図はこのような並列計算機システムに対するユーザ
プログラムのメインプログラムの一例を示す。メインプ
ログラム１３−１がホスト計算機によって実行されると
き、メインプログラム１３−１のなかの文３１により各
プロセッサエレメントにサブプログラムを主記憶１２か
らロードするためのロードルーチン３３がロードモジュ
ール名称即ち“ＳＵＢＩ”を引数として呼び出される。

次に，文３２により、プロセッサエレメント用サブプロ
グラムの入り口名“ＳＵＢ　１”を引数として、プロセ
ッサエレメントに起動をかけるための通常処理制御ルー
チン３４が呼び出される。

本発明では，第８図に示すように，通常処理時に全プロ
セッサエレメントを一斉に起動させるための通常処理制
御ルーチンを含むライブラリ１３−３と、デバッグ処理
に各プロセッサエレメントを順番に起動させるためのデ
バッグ処理制御ルーチンを含むライブラリ１３−２が用
意されている。

２つのライブラリ１３−２と１３−３は、両制御ルーチ
ン除いて同じである。両ルーチンには同じ入口名が与え
られており、メインソースプログラム１５−１がコンパ
イルされた後、処理目的に従ってライブラリ１３−２ｏ
ｒ １３−３がコンパイルされたメインプログラム１５−２
にリンクされる。従ってデバッグ処理用にメインソース
プログラム１５−１が修正された後、コンパイルされラ
イブラリ１３−２をリンクされることは必要ない。また
、デバッグ処理終了後再びメインソースプログラム１５
−１が元に戻され、コンパイルされ，ライブラリ１３−
３とリンクされる必要もない。ユーザーは処理目的によ
ってライブラリを選択し，コンパイルメインプロダラム
とリンクすれば良い。これにより，デバッグ処理等を容
易に短時間で行なうことができる。

第１図は、デバッグ処理制御ルーチン３４の処理の概要
を示す。ここで用いている実行プロセッサキュー１２−
１の構成を第４図に示す。実行プロセッサキュー１２−
１の各要素は実行されるべきプロセッサの番号を示すプ
ロセッサ番号４１、そのプロセッサで実行されるすべき
サブプログラムの実行開始アドレス４２、及び次のキュ
ー要素を示すためのポインタ４３を含む。

第１図のデバッグ処理制御ルーチン３４の概要を、第５
図のサブプログラムを各プロセッサエレメントが実行す
る場合を例にとって説明する。

Ｆｉｇ．３のメインプログラムが実行され、文３１でロ
ードルーチン３３が実行され各サブプログラムが主記憶
にから対応するプロセッサエレメントのローカル記憶２
６−ｉ　（ｉ＝ｏ，ｎ）にロードされる。

文５３はデータの送信のための送信処理ルーチンの呼び
出しを表す。文５３において、第１引数の“Ｎ　＋　１
　”はデータの送り先プロセッサエレメントのプロセッ
サ番号を示し、第２引数の“Ｎ＋１″は送信データを区
別するための識別子を表し，第３引数の゛′Ｒ″は送信
データを示す。文５４はデータの受信のための受信処理
ルーチンの呼び出しを表す。文５４において、第１引数
のＪ’　Ｎ　７７は、受信データを区別するための識別
子を表し、第２引数の“ｐ　Ｉ＋は受信データを示す。

この受信ルーチンが呼び出されたときに、データ“Ｐ”
が届いていない場合は、プロセッサエレメントは何もし
ないでデータ“Ｐ　ｌｊの到着を待つデータ待ち状態と
なる。文５６は，計算結果を出力するためのダンプルー
チンの呼び出しを表し、第１引数１（　Ｎ　ｌｊはプロ
セッサ番号を、第２引数“Ａ　”は出力配列を、第３引
数”Ｎ−１”と第４引数ＩＮ　３　１Ｆは出力配列の要
素と個数を表す。

第５図のサブルーチン５０の仮引数ｊ（Ａ”とｉｔ　Ｎ
　Ｉ＋は、５１の宣言によりホスト計算機の主記憶にあ
ることが分かる。６Ｎ″はプロセッサ番号を表している
。プロセッサ番号の小さい順又は大きい順に優先順位を
割当てた時、このサブプログラム５０が各プロセッサエ
レメントにより実行される場合を，第６ＡとＢ図を参照
して説明する。

メインプログラム１３−１中の文３２が実行され，デバ
ッグ処理制御ルーチン３４が呼び出される。

デバッグ処理制御ルーチン３４では、まずステップ１で
、ホスト計算１！１１０はサブプログラム５０の入り口
アドレスを実行開始アドレスとして実行プロセッサキュ
ー１２−１に全プロセッサエレメントのステータスを登
録する。プロセッサ番号の昇順の時には第６Ａ図の６１
、降順の時には第６Ｂ図の６５のようになる。終了判定
キュー１２−２には、データ送受信時のデッドロック状
態を検出するために、適当な時期例えばスタート時にお
ける実行プロセッサキュー１２−１の状態が保存される
。キュー１２−２は終了状態にないプロセッサエレメン
トの各々が，データの待ちのデッドロック状態か、通常
の実行状態かを、判定するために使用される。従って，
終了判定キュー１２−２も実行プロセッサキュー１２−
１と同様に第４図示すような形式をしている。

ステップ２で実行プロセッサキュー１２−１に登録され
ているプロセッサエレメントの中から任意の１台が選ば
れ、これに対応するキュー要素がキューから削除され、
このプロセッサエレメントに起動をかける。

昇順の時はまずプロセッサ番号Ｏのプロセッサエレメン
トが選択され、これに起動をかけると文５４でデータ待
ちとなる。一方降順の時は、まずプロセッサ番号Ｎのプ
ロセッサエレメントが選択され起動される、実行プロセ
ッサキューからはプロセッサＮに対するキュー要素が削
除される。

ステップ１の初期化と、ステップ２の選び方により、各
プロセッサエレメント間の実行順序を変えることができ
る。この例のように単純にプロセッサ番号の昇順や降順
に実行プロセッサキューの要素を並べても良いし、ラン
ダムに並べたり、ある固有のプロセッサを先頭にするこ
ともできる。

起動をかけられたプロセッサエレメントは、実行状況の
把握に必要な送受信データに関するデータや選択された
ローカルメモリにある変数や配列の値をトレースデータ
として出力しながら、データ待ちか終了となるまで実行
する。

プロセッサエレメントに起動をかけたら、ステップ３で
このプロセッサエレメントが「実行終了」か「データ待
ち」となった後、再実行アドレスが返されるまで待つ。

「実行終了」が返されたら、制御ステップ４を経由して
ステップ５に進む。ステップ５では実行プロセッサキュ
ー１２−１が空であればデバッグ処理を終了し、まだ実
行プロセッサキュー１２−１にプロセッサエレメントが
登録されていれば、ステップ９で終了判定キュー１２−
２を更新した後制御はステップ２に戻る。

一方「データ待ち』が返された時は，制御ステップ４を
介してステップ６に進む。ステップ６では当該プロセッ
サエレメントのプロセッサ番号は開始アドレスとともに
実行プロセッサキュー１２−１の最後に登録される６ したがって、昇順の場合にはステップ６で文５４のアト
レスが実行プロセッサキューの最後に登録され，実行プ
ロセッサキューは第６Ａ図の６２のようになる。

一方、ｌＩｉＪｉ＠の時はまず、プロセッサＮが処理を
実行するが、文５４でデータ待ちとなり，ステップ６で
実行プロセッサキューは第６Ｂ図の６６のようになる。

その後、ステップ７が実行される。

ステップ７と後続のステップ８でデバッグ処理の終了判
定が行なわれる。実行プロセスキュー１２−２に登録さ
れたプロセッサエレメントが終了判定キュー１２−２に
登録されたプロセッサエレメントと等しく、かつ、プロ
セッサエレメントごとに、両キューの開始アドレスが等
しければ、プロセッサエレメントが全て「データ待ち」
のため実行できるものがないという、デッドロック状態
になったことを示している。この場合にはこれらのプロ
セッサエレメントがデッドロック状態にあることを示す
データをＩ／Ｏデバイス１７に出力する。また，実行プ
ロセッサキュー１２−１と終了判定キュー１２−２のプ
ロセッサエレメントが異なるときは、全プロセッサエレ
メントの実行可能性が否定されたわけではないので，制
御はステップ９を介してステップ２に戻り，次のプロセ
ッサエレメントを起動させる。プロセソサエレメントの
開始アドレスが異なっていたり又はステップ５で実行プ
ロセッサキューが空でない場合には、ステップ９が実行
される。ステップ９では実行プロセッサキューの内容が
終了判定キューに登録される。また、昇順の例では終了
判定キュー１２−２は６２の状態に更新されて、制御は
ステップ２に戻り、次にプロセッサ１を起動する。プロ
セッサ１が実行されるときには、既にプロセッサ０が文
５３によりプロセッサｌが受信すべきデータを送信して
いるため、文５４でデータ待ちとはならずに、最後まで
処理を進め実行終了となる。従ってプロセッサ１は登録
されず、実行プロセッサキュー１２−１は第６Ａ図の６
３のようになるうこのようにしてデバッグ処理を進める
と、プロセッサＯをキュー１２−１に残してデバッグ処
理は終了する。

降順の場合には、プロセッサＮの終了後のステップ２で
プロセッサＮ−１が起動される。この時も，並列実行状
況を把握するために、前述したようなトレースデータを
出力する。この場合は、文５４で受信されるべきデータ
は送信されていないため、全プロセッサエレメントを一
巡し、実行プロセッサキュー１２−１は第６Ｂ図の６７
のようになる。二巡目において、プロセッサＮを文５４
から開始すると、一巡目のプロセッサＮ−１の文５３に
より既に受信データが送信されているため、最後まで実
行し、終了する。

従って実行プロセッサキュー１２−１は第６Ｂ図の６８
のようになる。このように、二巡目では次々にプロセッ
サエレメントにより受信データが受信され、最後にはプ
ロセッサＯのみが実行プロセッサキュー１２−１に残る
。

プロセッサ番号の昇順に行なっても、降順に行なっても
、終了したとき実抑プロセッサキュー１２−１が空でな
い状態で，プロセッサ０がデータ待ちのままであること
が分かる。これは明らかにソースプログラムにバグがあ
ることを示し、他のプロセッサエレメントがデータを送
信するか，プロセッサ０の場合はデータ受信がないよう
にするか，いずれかの方法で誤りを修正しなければなら
ないことがわかる。

また，ホスト計算機１０の主記憶１２にあり、各プロセ
ッサエレメントにより定義され、参照されている配列Ａ
に関するトレースデータを文５６の実行時に採取すると
、昇順の場合には第７Ａ図の７０のようになり、降順の
場合には第７Ｂ図の７１のようになる。

昇順の場合には、第７Ａ図７０に示すとおり、たとえば
，プロセッサ２で参照される配列Ａ（１）はプロセッサ
１により定義された値である。このように、直前に起動
されたプロセッサにより定義された値が用いられている
。しかし、降順に実行すると，第７Ｂ図７１に示すとお
り、各プロセッサエレメントは，サブプログラム“ＳＵ
ＢＩ”が実行される直前の配列Ａの値を参照している。

全てのプロセッサエレメントが配列Ａの参照を終えたの
ち、各プロセッサエレメントは、配列Ａの値を定義して
いる。この結果、データ送受信による順を守っても、昇
順の場合と，降順の場合とでは計算結果が異なる。各プ
ロセッサエレメントを並列に動かして毎回計算結果が異
なるのは、主記憶の配列Ａの定義参照順序が不定である
ことが原因であることが分かる。従って主記憶の配列Ａ
の定義参照順序を固定する同期制御を挿入して、ソース
プログラムを修正する必要があることを検出できる。

〔発明の効果〕

本発明によれば、以上の実施例では、ローカルメモリを
有するプロセッサ・エレメントからなる並列計算機につ
いて述べたが、共有メモリを介して接続されるプロセッ
サ・エレメントからなる並列計算機においては、上記実
施例における「データ送受信」のかわりに「同期制御」
を含む処理の不良を同様にして検出できる。

並列に動く複数のプロセッサエレメントに対して、プロ
セッサエレメントごとに提供される、デ一夕送受信や同
期制御を含むサブプログラムにバグがある場合、ソース
プログラムを再コンパイルすることなく、デバッグ処理
制御ルーチンをコンパイルソースプログラムにリンクす
るだけで、データ送受信や同期制御によって指定された
順序を守る範囲でプロセッサエレメントを１台ずつ、様
々な順序で実行させることができる。これにより，様々
な実行順序におけるトレースデータを採取して解析する
と，実行順序によって計算結果が異なるデータ送受信も
れや同期漏れなどの不良や，デッドロック状態の原因を
検出することができる３尚、上記のように、実行プロセ
スキューにプロセッサ要素を登録する順番については種
々の方法が考えられる。基本的にはユーザーの任意であ
るが、デハッグの目的やデバッグ対象プログラムに合わ
せて次のようなアルゴリズムが考えられる。

プロセス実行順序なランダムである場合には、実行開始
時間に関して乱数を発生させて、実行順序を決定する方
法がある。一方，デバッグ処理時間を短くする必要があ
るときは、データ送信を多く含むプロセスが優先して実
行されるように実行順序を決定することが望ましい。

また本実施例では終了判定キューが使用されているが，
そのキューを使用しなくとも各プロセノサエレメントに
より対応するサブプログラムが実行され終了したことが
検出されれば良い。例えば，対応するサブプログラムの
実行を終了したプロセッサエレメントのプロセッサ番号
を単に記憶するだけでも良い。この場合、上記例のよう
にプロセッサエレメントが残ったときは、再度当該プロ
セッサエレメントを起動させ，その結果が前回と同じで
あれば、終了と判定すれば良い。

更に、本実施例では、実行プロセッサキューが使用され
ているが，単なるテーブルを使用することができる事も
明らかである。この場合には、第９図に示されるように
、ｍａｉｎ　ｍｅｍｏｒｙ　ｕｎｉｔ　１　２内に実行
プロセッサテーブル１２−５、終了判定テーブル１２−
６、及びアドレス発生器１２−７を用意される。テーブ
ル１２−５の各要素は各プロセッサエレメントに対応し
、対応するプロセッサエレメントが実行待ちかどうかを
示すフラグと再開アドレスを格納する。アドレス発生器
１２−７が、各テーブルの要素を上述のように指定し、
その実行結果に従ってフラグと再開アドレスを更新する
ように，アドレスを発生すれば良い。

【図面の簡単な説明】

第１図は本発明の一実施例のデバッグ処理制御方法を説
明するためのフローチャート、第２図は本発明が適用さ
れる並列計算機システムの構成図、第３図はホスト計算
機用ユーザプログラムを示す，第４図は実行プロセッサ
キューの構成図、第５図は各プロセッサエレメントにロ
ードされるサブプログラムを示す。第６Ａと６Ｂ図は第
３図のユーザプログラムが実行された時の実行プロセッ
サキューの状態を示した図、第７Ａと７Ｂ図は第３図の
ユーザプログラムが実行された時の実行順序と主記憶ア
クセスを示した図、第８図はユーザプログラムのメイン
プログラムをコンパイルしリンクするときの様子を説明
するための図。第９図はキューの代りにテーブルを使用
する場合の実施例の構成を示す図である。

Claims (1)

1. 【特許請求の範囲】 １、並列計算機システムにおいて、該システム様の複数
   のプログラムを逐次に実行するためのプログラム実行方
   法であって、以下のステップからなるもの。 （ａ）複数のプロセッサの識別子を実行待ちキューに予
   め決められた順番に登録すること、 （ｂ）前記キューに登録された識別子の順番に従って１
   台ずつプロセッサをして対応するプログラムを実行させ
   ることと、 （ｃ）いずれかのプロセッサでいずれかのプログラムを
   実行の結果、そのプログラムが実行終了状態となったと
   きはそのプロセッサの識別子を上記待ちキューからはず
   し、そのプログラムの実行中に他のプロセッサから与え
   られるべきデータに対して、データ待ち状態となったと
   き、そのプログラムの実行を中止し、そのプロセッサの
   識別子を実行待ちキューの最後の要素とし、 （ｄ）該ステップ（ｂ）と（ｃ）を繰り返す。 ２、該ステップ（ｄ）は、該実行待ちキュー内の識別子
   が変化しなくなるまで、該ステップ（ｂ）と（ｃ）を繰
   り返すステップからなる第１項のプログラム実行方法。 ３、該実行キューに残された識別子をバグを有するプロ
   グラムを実行したプロセッサの識別子として出力するス
   テップをさらに有する第２項のプログラム実行方法。 ４、請求項１において前記順番は任意に決定されている
   プログラム実行方法。 ５、請求項４において前記順番は各プログラムに含まれ
   るデータ送信処理の回数に従って決定されるプログラム
   実行方法。 ６、請求項４において前記順番は各プログラムの実行時
   刻に基づいて乱数を発生させて順番を決定するプログラ
   ム実行方法。 ７、請求項１において前記実行待ちキューから順番に選
   んだプロセッサをして、前記データ待ち状態あるいは処
   理終了状態のいずれかの状態になるまで、対応するプロ
   グラムを実行させるプログラム実行方法。 ８、請求項１において前記実行させるステップは以下の
   ステップを含むプログラム実行方法。 前記実行プロセッサが前記データ待ち状態となったとき
   、前記実行待ちキューに前記プロセッサの識別子と再開
   アドレスを前記最後の要素として登録すること、 前記プロセッサによる対応するプログラムの実行前後で
   各プロセッサに対応する前記実行待ちキューの各要素の
   内容に変化が無いとき実行可能なプロセッサがないと判
   断すること。 ９、請求項１において前記バグを含むプログラムを決定
   するステップは以下のステップを含む前記プログラム中
   のバグを発生する文を決定すること。 １０、並列計算機システムにおけるデバッグ方法であっ
   て以下のステップからなるもの。（ａ）複数のプロセッ
   サの識別子を実行待ちキューに予め決められた第１の順
   番に登録すること、 （ｂ）前記キューに登録された識別子の順番に従って１
   台ずつプロセッサをして対応するプログラムを実行させ
   ることと、 （ｃ）いずれかのプロセッサでいずれかのプログラムを
   実行の結果、そのプログラムが実行終了状態となったと
   きはそのプロセッサの識別子を上記実行待ちキューから
   はずし、そのプログラムの実行中に他のプロセッサから
   与えらるべきデータに対して、データ待ち状態となった
   とき、そのプログラムの実行を中止し、そのプロセッサ
   の識別子を実行待ちキューの最後の要素とし、 （ｄ）該ステップ（ｂ）と（ｃ）を繰り返す。 該ステップ（ｄ）は、該実行待ちキュー内 の識別子が変化しなくなるまで、該ステップ（ｂ）と（
   ｃ）を繰り返し、送受信データや同期制御のデータや、
   配列や変数の値をトレースデータとして出力させること
   と、 （ｅ）前記実行させるステップの終了後、前記複数のプ
   ロセッサの識別子を前記実行待ちキューに予め決められ
   た第２の順番に登録することと、 （ｅ）前記キューに登録された識別子の順番に従って１
   台ずつプロセッサをして対応するプログラムを実行させ
   ることと、 （ｇ）いずれかのプロセッサでいずれかのプログラムを
   実行の結果、そのプログラムが実行終了状態となったと
   きはそのプロセッサの識別子を上記実行待ちキューから
   はずし、そのプログラムの実行中に他のプロセッサから
   与えられるべきデータに対して、データ待ち状態となっ
   たとき、そのプログラムの実行を中止し、そのプロセッ
   サの識別子を実行待ちキューの最後の要素とし、 （ｈ）該ステップ（ｅ）と（ｆ）を繰り返す。 該ステップ（ｈ）は、該実行待ちキュー内 の識別子が変化しなくなるまで、該ステップ（ｅ）と（
   ｆ）を繰り返し、送受信データや同期制御のデータや、
   配列や変数の値をトレースデータとして出力させること
   と、 １１、請求項１０において前記第１と第２の順番は任意
   に決定されているプログラム実行方法。 １２、請求項１１において前記第１と第２の順番は各プ
   ログラムに含まれるデータ送信処理の回数に従って決定
   されるプログラム実行方法。 １３、請求項１１において前記第１と第２の順番は各プ
   ログラムの実行時刻に基づいて乱数を発生させて順番を
   決定することを特徴とするプログラム実行方法。 １４、請求項１０において前記プロセッサをして、前記
   データ待ち状態あるいは処理終了状態のいずれかの状態
   になるまで、対応するプログラムを実行させるプログラ
   ム実行方法。 １５、請求項１０において前記実行させるステップは以
   下のステップを含むプログラム実行方法。 前記プログラムが前記データ待ち状態となったとき、前
   記実行待ちキューに前記プロセッサの識別子と再開アド
   レスを前記最後の要素として登録すること、 前記プロセッサによる対応するプログラムの実行前後で
   各プロセッサに対応する前記実行待ちキューの各要素の
   内容に変化が無いとき実行可能なプロセッサがないと判
   断すること。 １６、請求項９において前記バグを含むプログラムを決
   定するステップは以下のステップを含む。 バグを発生する文を決定すること。 １７、並列計算機システムにおいて、以下のステップを
   含むデバッグ処理を制御する方法。 実行待ちテーブルの各要素のフラグと実行開始アドレス
   をセットすることと、前記実行待ちテーブルの各要素は
   複数のプロセッサのうちの１つに対応し、対応するプロ
   セッサの前記フラグと、前記実行開始アドレスを格納し
   、前記フラグは対応するプロセッサが実行待ち状態にあ
   るかどうかを示し データ待ち状態となったプロセッサの前記実行開始アド
   レスを更新しながら、実行可能なプロセッサに対応する
   フラグが前記実行待ちテーブルにセットされていなくな
   るまで、予め決められた順番に従って前記実行待ちテー
   ブルの要素を参照して１台ずつプロセッサをして対応す
   るプログラムを前記実行開始アドレスから実行させるこ
   とと、 前記フラグがセットされている前記実行待ちテーブルの
   要素からバグを有するプログラムを決定すること。 １８、請求項１７において前記順番は任意に決定されて
   いるプログラム実行方法。 １９、請求項１８において各プログラムに含まれるデー
   タ送信処理の回数に従って決定されるプログラム実行方
   法。 ２０、請求項１８において各プログラムの実行時刻に基
   づいて乱数を発生させて順番を決定するプログラム実行
   方法。 ２１、請求項１７において前記実行させるステップは以
   下のステップを含む。前記プログラムを実行するプロセ
   ッサは、データ待ち状態あるいは処理終了状態のいずれ
   かの状態になるまでプログラムを実行するプログラム実
   行方法。 ２２、請求項１７において前記実行させるステップは以
   下のステップを含むプログラム実行方法。 あるプロセッサによる対応するプログラムの実行前後で
   各プロセッサに対応するテーブル要素の内容に変化が無
   いとき実行可能なプロセッサがないと判断すること。 ２３、請求項１７において前記実行させるステップは以
   下のステップからなる。 実行待ちテーブルの各要素のフラグと実行開始アドレス
   をセットすることと、 データ待ち状態となったプロセッサの前記実行開始アド
   レスを更新しながら、実行可能なプロセッサに対応する
   フラグが前記実行待ちテーブルにセットされていなくな
   るまで、予め決められた異なる順番に従って前記実行待
   ちテーブルの要素を参照して１台ずつプロセッサをして
   対応するプログラムを前記実行開始アドレスから実行さ
   せることと、 前記予め決められた順番にプログラムを実行させるステ
   ップと前記予め決められた異なる順番にプログラムを実
   行させるステップの実行中にそれぞれ第１と第２のトレ
   ースデータを出力させることと、 前記第１と第２のトレースデータからバグを有するプロ
   グラムを決定すること。 ２４、請求項１７において前記バグを含むプログラムを
   決定するステップはバグを発生する文を決定するステッ
   プを含むもの。 ２３デバッグ処理の作業性を改善する方法は以下のステ
   ップを含む通常処理制御ルーチンとデバッグ処理制御ル
   ーチンをそれぞれ含む第１と第２のライブラリを提供す
   ることと、前記両方のルーチンは同じルーチン名を有し
   、前記第１と第２のライブラリは通常処理制御ルーチン
   とデバッグ処理制御ルーチンを除いて同じであり、 メインプログラムをコンパイルすることと、通常処理時
   にコンパイルされたメインプログラムに前記第１のライ
   ブラリをリンクし、デバッグ処理時に前記第２のライブ
   ラリをリンクすることと、 前記、リンクされたメインプログラムを実行すること。