JPH1091601A - クラスタ結合並列計算機 - Google Patents

Abstract

(57)【要約】 【課題】 クラスタ結合並列計算機において、クラスタ
間結合網が書き込みデータブロックの転送完了を要求元
に生成することにより、性能を向上させる。 【解決手段】 入力ポートからのデータブロックは、ブ
ロック分解部４１０〜４１ｎ−１で、データ部とコマン
ド部とに分解される。データ部は、入力バッファ部４２
０〜４２ｎ−１に一時格納される。コマンド部が書き込
みであると、リプライブロック生成部４７０でリプライ
ブロック部が作成され、入力バッファ部４２ｎに格納さ
れる。クロスバ制御部４７０では、コマンド部を元に、
ｎ＋１ウェイセレクタ４４０〜４４ｎ−１の切り替えを
制御し、入力バッファ部４２０〜４２ｎ−１からのデー
タ部、または、リプライブロック部を出力ポート４５０
〜４５ｎ−１に出力させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は並列計算機に関し、
特に、クラスタ間結合網を介して結合されたクラスタ結
合並列計算機に関する。

【０００２】

【従来の技術】クラスタ結合並列計算機は、複数個のク
ラスタと、それらを結合するクラスタ間相互結合網とか
ら構成されている。クラスタとは、複数個のプロセッサ
と、主記憶装置と、リモートアクセス制御装置と、それ
らを接続するクラスタ内相互結合網とより構成される並
列計算機ノードのことを言う。たとえば、「特開平７−
３９５４５号公報」にクラスタ結合の並列計算機の構成
が示されている。以下、この従来技術について説明す
る。

【０００３】クラスタ間のデータ転送とは、あるクラス
タ内の主記憶装置から、一方のクラスタ内の主記憶装置
へのデータ転送である。そのデータ転送を指示するのは
クラスタ内のプロセッサであり、そのデータ転送命令を
発行するプロセッサが属しているクラスタのことをロー
カルクラスタ、そのデータの転送先クラスタのことをリ
モートクラスタと呼ぶ。

【０００４】データ転送はロード転送タイプとストア転
送タイプの２種類ある。ロード転送とは、データ転送の
方向がリモートクラスタからローカルクラスタ、すなわ
ち、リモートクラスタ内の主記憶内に格納されているデ
ータを読み出し、これをローカルクラスタへ転送した
後、ローカルクラスタ内の主記憶へ書き込む転送であ
る。ストア転送は、ロード転送の逆でローカルクラスタ
からリモートクラスタへの転送となる。

【０００５】ロード転送の場合、ローカルクラスタから
リモートクラスタへ、リモートクラスタ内主記憶の読み
出しアドレスを送出する。このアドレス送出のことをロ
ードリクエストと呼ぶ。ロードリクエスト到着後、リモ
ートクラスタにおいて、そのアドレスで示された番地か
らリモート主記憶装置の格納データの読み出し処理を行
い、このデータをローカルクラスタへ送出する。このデ
ータ送出のことをロードリプライと呼ぶ。ロードリプラ
イがローカルクラスタへ送出され、そのデータがローカ
ルクラスタの主記憶へ書き込まれる。最後に、このデー
タ転送命令を発行したプロセッサに対し、データ転送の
完了通知が行われる。

【０００６】ストア転送の場合、まず、ローカルクラス
タ内の主記憶装置から読み出し処理が行われた後、その
データと、リモートクラスタ内で主記憶へデータを書き
込み処理をするための書き込みアドレスとが送出され
る。この書き込みアドレスとデータを１つの転送単位と
見なし、ストアリクエストと呼ぶ。リモートクラスタで
書き込み処理が完了したならば、その完了通知をローカ
ルクラスタ内のデータ転送命令を発行したプロセッサへ
送出する必要がある。その完了通知のことをストアリプ
ライと呼ぶ。

【０００７】また、ロードリクエスト、ロードリプラ
イ、ストアリクエスト、ストアリプライがクラスタ間ネ
ットワークを転送される場合、それら１つ１つの転送単
位のことを総称してブロックと呼ぶ。したがって、ブロ
ック転送とはこれら４つのいずれかのリクエスト、リプ
ライ転送を意味する。

【０００８】クラスタ間のブロック転送は、プロセッサ
が直接に処理を実行するのではなく、クラスタ内のリモ
ートアクセス制御装置が代行する。すなわち、プロセッ
サはデータ転送命令を発行したならば、このデータ転送
要求を、クラスタ内のリモートアクセス制御装置に通知
する。プロセッサが発行するデータ転送命令のフォーマ
ットは、ロード転送かストア転送なのかの区別を示すコ
ード、ローカルクラスタ内主記憶に対する書き込み・読
み出し先頭アドレス、リモートクラスタ内主記憶に対す
る読み出し・書き込みアドレス、転送長の４つのフィー
ルドより構成される。これら全フィールドの値はリモー
トアクセス制御装置へ転送される。

【０００９】リモートアクセス制御装置がこの要求を受
理すると、ロード転送ならばロードリクエストブロック
を生成した後、リモートクラスタへ送出する。ストア転
送ならば自クラスタ内主記憶に対しデータ読み出し処理
を行った後、この読み出しデータとリモートクラスタで
の書き込みアドレスを一緒にしてストアリクエストブロ
ックを生成した後、リモートクラスタへ送出する。

【００１０】リモートクラスタ内のリモートアクセス制
御装置はローカルクラスタより転送された上記ロードリ
クエストを受理すると、ブロック内に格納されているア
ドレスにしたがい、リモートクラスタ内主記憶からの読
み出し処理を行い、読み出しデータをロードリプライブ
ロックとして生成し、これをローカルクラスタへ送出す
る。ストアリクエストであれば、ブロック内に格納され
ているアドレスにしたがい、ブロック内のデータをリモ
ートクラスタ内主記憶へ書き込み処理を行う。書き込み
処理完了後、完了通知をストアリプライとして生成し、
ローカルクラスタへ送出する。

【００１１】ロードリプライがローカルクラスタへ転送
されると、リモートアクセス制御装置は、ブロック内に
格納されているデータをローカルクラスタ内主記憶へ書
き込む。なお、この時の書き込みアドレスはローカルク
ラスタ内リモートアクセス制御装置で保持している。書
き込み処理終了後、リモートアクセス制御装置は、デー
タ転送命令を発行したプロセッサに対し完了報告通知を
行う。ストアリプライがローカルクラスタへ転送される
と、リモートアクセス制御装置は、データ転送命令を発
行したプロセッサに対し完了報告通知を行う。

【００１２】一般に、クラスタ内の複数個のプロセッサ
と主記憶装置を接続する結合網は、比較的速いアクセス
タイムと高いメモリスループットが得られるように密に
結合されるよう構成される。一方、複数個のクラスタを
接続する結合網は、実装技術および回路技術等の制約よ
り、比較的遅いアクセスタイムと低い通信スループット
で結合される。したがって、クラスタ間のデータ転送は
クラスタ内主記憶アクセスに対し、データ転送性能が低
く、これがクラスタ構成の並列計算機の性能のネックに
なっている。

【００１３】

【発明が解決しようとする課題】クラスタ間データ転送
の処理時間は一般的に遅い。すなわち、プロセッサがデ
ータ転送命令を発行し、クラスタ間を渡るデータ転送が
処理され、データ転送完了後に完了通知をプロセッサに
通知するまでの時間、このクラスタ間データ転送命令の
処理時間が非常に大きい。その理由は、クラスタ間の物
理的距離の遠さによるデータ転送遅延時間と、リモート
アクセス先クラスタ内でのクラスタ内アクセスとの競合
による遅延時間があるからである。したがって、クラス
タ転送データ転送の処理時間の長大化により、クラスタ
型並列計算機の性能低下を引き起こすという問題があ
る。

【００１４】本発明の目的は、データ転送完了通知まで
の時間を短縮し、性能を向上させることである。

【００１５】

【課題を解決するための手段】本発明の第１のクラスタ
結合並列計算機は、複数個のプロセッサと主記憶装置と
クラスタ内相互結合網とを有する複数のクラスタをクラ
スタ間相互結合網により結合するクラスタ結合並列計算
機であって、前記クラスタ間相互結合網が、ストアデー
タに対するリプライを生成する機能を備える。

【００１６】本発明の第２のクラスタ結合並列計算機
は、第１のクラスタ結合並列計算機であって、前記クラ
スタ間相互結合網が、（ａ）前記クラスタからのデータ
ブロックをコマンド部とデータ部に分解するブロック分
解手段と、（ｂ）前記データ部を出力ポートに対して切
り替え・転送するクロスバ手段と、（ｃ）前記コマンド
部を元に複数個の前記データブロックの競合調停を行
い、前記クロスバ手段の制御を行うクロスバ制御手段
と、（ｄ）前記コマンド部が書き込みである場合に、要
求元に対するリプライブロック部を生成するリプライブ
ロック生成手段と、を備える。

【００１７】本発明の第３のクラスタ結合並列計算機
は、第２のクラスタ結合並列計算機であって、前記クロ
スバ手段が、（ａ）前記データ部を一時的に蓄える複数
の入力バッファ手段と、（ｂ）前記入力バッファ部から
のデータ部、あるいは前記リプライブロック部を出力ポ
ートに対して選択・転送するセレクタ部と、を備える。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図２は本発明のクラスタ結
合並列計算機のシステム構成を示すブロック図である。
図２を参照すると、本発明のクラスタ結合並列計算機
は、ｎ個のクラスタ１００〜１０ｎ−１とこれらを結合
するクラスタ間相互結合網１１０とから構成される。各
クラスタ１００〜１０ｎ−１はクラスタ間相互結合網１
１０に対し１ポート分用意され、このポートとクラスタ
間相互結合網１１０とはリンクで結合される。したがっ
て、クラスタ間相互結合網１１０はクラスタの個数をｎ
とするならば、ｎ入力、ｎ出力のネットワーク構成とな
る。

【００１９】クラスタ間のリクエストの通信は全て、ク
ラスタ間相互結合網１１０を経由することになる。クラ
スタ間相互結合網１１０は、同一のクラスタへリクエス
ト要求をする複数個のリクエストが同時に到着した場合
に、これの競合を調停し、リクエストを入力側から出力
側へ転送する機能を有している。

【００２０】図３は図２のクラスタの構成を示すブロッ
ク図である。図３を参照すると、各クラスタ１００〜１
０ｎ−１は、ｍ個のプロセッサ２００〜２０ｍ−１と主
記憶装置２１０とリモートアクセス制御装置２３０とこ
れらを結合するクラスタ内相互結合網２２０とから構成
される。ｎ個のクラスタで各クラスタにｍ個のプロセッ
サを有するならば、並列計算機全体でｎ×ｍ個のプロセ
ッサを持っていることになる。主記憶装置２１０をアク
セスすることができるのは、自クラスタ内のプロセッサ
と、他クラスタのプロセッサ両方である。自クラスタ内
のプロセッサが自クラスタ内の主記憶装置をアクセスす
ることをローカルアクセス、他クラスタの主記憶装置を
アクセスすることをリモートアクセスと言う。

【００２１】クラスタ内相互結合網２２０は、１ポート
分がリモートアクセス制御装置を介するクラスタ間相互
結合網１１０へのアクセスパスとして用意されている。
クラスタ内相互結合網２２０は、自クラスタ内の複数個
のプロセッサから送られるローカルアクセスと、クラス
タ間相互結合網１１０より送られるリモートアクセスに
対して、リクエストの競合調停を行い、各リクエストを
所望の主記憶装置、プロセッサ、クラスタ間相互結合網
に転送する機能を有している。

【００２２】したがって、他クラスタの主記憶装置へリ
モートアクセスを行う場合には、リクエストの経路は、
自プロセッサを起点として、自クラスタ内相互結合網、
クラスタ間相互結合網を経由し、他クラスタの相互結合
網を経て、他クラスタの主記憶装置へ至ることになる。
アクセス後のリプライは、上記パスの逆向きにアクセス
が経由されることになる。

【００２３】図１は、図３のクラスタ間相互結合網１１
０の構成を示すブロック図である。本例では相互結合網
１１０の基本構成としてフルクロスバスイッチを用いて
いる。クラスタ間相互結合網１１０の構成としては、多
くのネットワーク構成が本発明に適応できるが、たとえ
ばクラスタ１００からクラスタ１０１１へのリクエスト
と、それとは別のクラスタ１０２からクラスタ１０３へ
のリクエストとが同時に到達した時に、競合（ブロッキ
ング）が発生しないネットワーク構成が望ましい。フル
クロスバは全くブロッキングが生じないネットワークで
ある。フルクロスバスイッチ構成のクラスタ間相互結合
網１１０は、ｎ入力ｎ出力であり、各々クラスタに接続
される。図１を参照すると、クラスタ間相互結合網１１
０は、入力ポート４００〜４０ｎ−１にそれぞれ接続さ
れるブロック分解部４１０〜４１ｎ−１と、クロスバス
イッチ部４８０と、クロスバ制御部４６０と、リプライ
ブロック生成部４７０とから構成される。また、クロス
バスイッチ部４８０は、入力バッファ部４２０〜４２ｎ
−１と、リプライブロック生成部４７０からのリプライ
ブロックを格納する入力バッファ部４２ｎと、入力バッ
ファ部４２０〜４２ｎからのブロックを選択し、それぞ
れ出力ポート４５０〜４５ｎ−１に出力するｎ＋１ウェ
イのセレクタ４４０〜４４ｎ−１と、とから構成され
る。

【００２４】各入力バッファ部４２０〜４２ｎ−１は出
力ポート個数分のバッファより構成される。このような
バッファ構成のクロスバスイッチのことをクロスポイン
ト型クロスバスイッチと呼ぶ。本実施例においては、出
力ポート数はｎ個であるので、各入力バッファはｎ個の
バッファより構成される。したがって、入力ポート数が
ｎ個であるので、バッファ数は総計ｎ×ｎ個となる。４
３ｘｙの入力バッファは入力ポートｘの出力ポートｙ対
応のバッファである。

【００２５】図４は各種別のブロック部の構成を示すブ
ロック図である。このブロック単位にクラスタ間をクラ
スタ間相互結合網１１０を介して転送される。各ブロッ
クは複数個のラインより構成される。ブロックを構成す
るラインのうち、先頭のライン（コマンドラインと呼
ぶ）のみ各ブロック種別とも共通に付加されている。

【００２６】コマンドライン３００、コマンドライン３
１０、コマンドライン３２０、コマンドライン３３０
は、ＶＡＬＩＤフィールド３５０、行き先クラスタ番号
フィールド３５１、ブロック種別フィールド３５２、デ
ータ転送長フィールド３５３とから構成される。ＶＡＬ
ＩＤＥフィールド３５０は、このブロックが有効である
か否かを示しており、有効であれば“１”値が、無効、
すなわち、ブロック転送されないアイドル状態の時は
“０”値が入っている。行き先クラスタ番号フィールド
３５１には、このブロックの行き先クラスタ番号が入っ
ており、クラスタ間相互結合網１１０は、このフィール
ドを見てこのブロックのルーティングを行う。ブロック
種別フィールド３５２には、このブロックの「ロードリ
クエスト」、「ロードリプライ」、「ストアリクエス
ト」、「ストアリプライ」を区別する識別子が入ってい
る。データ転送長フィールド３５３には、転送するデー
タの転送長がバイト単位で入っている。ロードリクエス
ト、ストアリプライの場合は転送するデータは無いが、
このフィールドの値は転送先クラスタにおいて転送すべ
きデータ転送長が入っている。

【００２７】ロードリクエストはコマンドライン３２０
とアドレスライン３２１の２つのラインとにより構成さ
れる。アドレスライン３２１には、リモートクラスタで
リモートクラスタ内主記憶から読み出しを行う時の先頭
アドレスが入っている。ロードリプライはコマンドライ
ン３３０とデータライン３３１〜３３ｎとにより構成さ
れる。データライン３３１〜３３ｎはリモートクラスタ
から読み出されたデータが入っている。ストアリクエス
トはコマンドライン３００とアドレスライン３０１、お
よびデータライン３０２〜３０ｎ＋１とにより構成され
る。アドレスライン３０１には、リモートクラスタでリ
モートクラスタ内主記憶へ書き込みを行う時に先頭アド
レスが入っている。データライン３０２〜３０ｎ＋１に
はリモートクラスタの主記憶へ書き込むデータが入って
いる。ストアリプライはコマンドライン３１０のみから
構成される。

【００２８】次に本発明の動作について図面を参照して
説明する。入力ポート４００〜４０ｎ−１より有効なブ
ロックが到着すると、これはそれぞれブロック分解部４
１０〜４１ｎ−１に送られる。ブロック分解部４１０〜
４１ｎ−１はブロックを構成するコマンドラインのコピ
ーを生成し、これをクロスバ制御部４６０に送出する。
また、コマンドラインを含む全ラインは、そのままクロ
スバスイッチ部４８０の入力バッファ部４２０〜４２ｎ
−１に送出される。入力バッファ部４２０〜４２ｎ−１
は、各々、さらに出力ポート４５０〜４５ｎ−１に対応
して、出力ポート数分の複数個の入力バッファより構成
されており、入力バッファ部４２０〜４２ｎ−１に到着
したブロックは、行き先のクラスタ番号、すなわち、出
力ポート番号に対応する入力バッファに格納される。

【００２９】クロスバ制御部４６０においては、ブロッ
ク分解部４１０〜４１ｎ−１よりコマンドラインが受け
取られると、コマンドラインを構成する行き先クラスタ
番号フィールドが選び出される。このフィールドにはｎ
個の出力ポートのうち、どの出力ポートに通過すべきか
が書かれている。

【００３０】クロスバ制御部４６０は同一の出力ポート
に対し、同時に通過要求を出している複数個のブロック
のうち、ポートの優先度に従い選択を行う。選択された
入力ポート番号は、その出力ポート対応のｎ＋１ウェイ
セレクタのセレクト信号として送られ、選択されたブロ
ックはｎ＋１ウェイセレクタ４４０〜４４ｎ−１を通過
し、出力ポート４５０〜４５ｎ−１に達する。選択され
なかったブロックは、入力バッファ４２０〜４２ｎ−１
に一時的に格納され、次のタイミングで再度クロスバ制
御部に対し通過要求が出される。

【００３１】ブロックが先頭のラインから、終端のライ
ンまでｎ＋１ウェイセレクタ４４０〜４４ｎ−１を通過
するには、ライン数分の時間が必要になる。この制御も
クロスバ制御部４６０が行い、これは通過するブロック
のコマンドラインに記述されているブロック長をもとに
通過ライン数を算出して実施する。クロスバ制御部４６
０は、故意にあるポートのブロック通過を遅らせること
がないように、公平なポート優先度の制御を行う。クロ
スバ制御部４６０は各出力ポート４５０〜４５ｎ−１へ
の接続要求に対し、独立かつ同時に競合調停制御可能な
構成をとる。たとえば、あるタイミングにおいて、入力
ポート４００からのリクエストが出力ポート４５１の通
過要求し、入力ポート４０１１からのリクエストが出力
ポート４５０の通過要求を同時に出したとしても、クロ
スバ制御部４６０はこの２つのを同時に通過させる。し
たがって、各ｎ＋１ウェイセレクタ４４０〜４４ｎ−１
も独立に同時動作可能な構成となっている。

【００３２】任意の入力ポート４００〜４０ｎ−１から
入力したブロックの順番で、出力ポート４５０〜４５ｎ
−１へ出力されるとは限らないことがある。すなわち、
入力バッファ部４２０〜４２ｎ−１が出力ポートに応じ
て複数個のバッファより構成されるため、異なる出力ポ
ート行き先の２つのブロックにおいて、先に到着したブ
ロックがポート競合により待たされたならば、後から到
着したブロックが、これを追い越して（異なる）出力ポ
ートへ出力されることもある。したがって、１つのプロ
セッサに着目した時、このプロセッサが発行した命令の
順番にデータ転送がされるかは、それらのデータ転送命
令が同一のリモートクラスタへの転送ならば、データ転
送順は保証されるが、異なるリモートクラスタへの転送
ならば、データ転送順は保証されるとは限らない。すな
わち、データ転送完了確認は、最後のデータ転送を確認
しても、それ以前に発行されたデータ転送の終了を確認
はできず、個々のデータ転送の完了確認を行う必要があ
る。また、データ転送の完了とは、完了後の確認を取っ
た後に、自プロセッサ、およびローカルクラスタ内他プ
ロセッサ、および、リモートクラスタ内他プロセッサの
いずれからもデータ転送を行っても、そのデータ転送は
完了したデータ転送の後にアクセスされるということで
ある。したがって、データ転送の完了が決定付けられる
位置は、クラスタ間相互結合網内１１０のｎ＋１ウェイ
セレクタ４４０〜４４ｎ−１通過の位置であり、それ以
前の箇所でデータ転送の完了か否かの判断はできない。

【００３３】また、クロスバ制御部４６０は上記に示し
た競合調停制御の他に、以下の処理も行う。クロスバ制
御部４６０は、ｎ＋１ウェイセレクタ４４０〜４４ｎ−
１を通過するブロックがストアリクエストならば、リプ
ライブロック生成部４７０にこの旨を通知する。リプラ
イブロック生成部４７０は、クロスバ制御部４６０から
ストアリクエスト通過の通知を受けると、ストアリプラ
イブロックを生成する。これを生成後、ストアリプライ
ブロックを入力バッファ４２ｎへ送出する。ストアリプ
ライはｎ＋１ウェイセレクタ４４０〜４４ｎ−１を経由
して、ストアリクエストを発行したクラスタへ転送され
る。

【００３４】リモート側クラスタのリモートアクセス制
御装置２３０は、ローカルクラスタより受け取ったブロ
ックがストアリクエストならば、主記憶装置２１０に書
き込みを行う。ただし、書き込み処理完了後には、スト
アリプライをローカルクラスタに返却しない。なぜなら
ば、クラスタ間相互結合網１１０が既にストアリプライ
を返却しているからである。

【００３５】

【発明の効果】以上説明したように本発明の効果は、ク
ラスタ間のストア転送処理の処理時間が短縮されること
である。その理由は、ストア処理の完了通知が、リモー
トクラスタでの書き込み完了後に、リモートクラスタか
ら返却されるのではなく、ストアリクエストがクラスタ
間相互結合網を通過した時点で、ストアリプライが生成
され、この相互結合網より返却されるので、完了通知を
速く通知することが可能であるからである。

【図面の簡単な説明】

【図１】図３のクラスタ間相互結合網の構成を示すブロ
ック図である。

【図２】クラスタ結合並列計算機のシステム構成を示す
ブロック図である。

【図３】図２のクラスタの構成を示すブロック図であ
る。

【図４】各リクエスト種別のブロック部の構成を示す説
明図である。

【符号の説明】

１００〜１０ｎ−１ クラスタ １１０ クラスタ間相互結合網 ２００〜２０ｍ−１ プロセッサ ２２０ クラスタ内相互結合網 ２１０ 主記憶装置 ２３０ リモートアクセス制御装置 ３０２〜３０ｎ＋１ データライン ３００ コマンドライン ３０１、３２１ アドレスライン ３１０ コマンドライン ３２０ コマンドライン ３３０ コマンドライン ３３１〜３３ｎ データライン ３５０ ＶＡＬＩＤフィールド ３５１ 行き先クラスタ番号フィールド ３５２ ブロック種別フィールド ３５３ データ転送長フィールド ４００〜４０ｎ−１ 入力ポート ４１０〜４１ｎ−１ ブロック分解部 ４２０〜４２ｎ 入力バッファ ４４０〜４４ｎ−１ ｎ＋１ウェイセレクタ ４５０〜４５ｎ−１ 出力ポート ４６０ クロスバ制御部 ４７０ リプライブロック生成部 ４８０ クロスバスイッチ部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数個のプロセッサと主記憶装置とクラ
   スタ内相互結合網とを有する複数のクラスタをクラスタ
   間相互結合網により結合するクラスタ結合並列計算機に
   おいて、前記クラスタ間相互結合網が、ストアデータに
   対するリプライを生成することを特徴とするクラスタ結
   合並列計算機。
2. 【請求項２】 前記クラスタ間相互結合網が、（ａ）前
   記クラスタからのデータブロックをコマンド部とデータ
   部に分解するブロック分解手段と、（ｂ）前記データ部
   を出力ポートに対して切り替え・転送するクロスバ手段
   と、（ｃ）前記コマンド部を元に複数個の前記データブ
   ロックの競合調停を行い、前記クロスバ手段の制御を行
   うクロスバ制御手段と、（ｄ）前記コマンド部が書き込
   みである場合に、要求元に対する転送完了のリプライブ
   ロック部を生成するリプライブロック生成手段と、を有
   することを特徴とする請求項１記載のクラスタ結合並列
   計算機。
3. 【請求項３】 前記クロスバ手段が、（ａ）前記データ
   部を一時的に蓄える複数の入力バッファ手段と、（ｂ）
   前記入力バッファ部からのデータ部、あるいは前記リプ
   ライブロック部を出力ポートに対して選択・転送するセ
   レクタ部と、を有することを特徴とする請求項２記載の
   クラスタ結合計算機。