JPH0581216A - 並列プロセツサ - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】並列処理を実行するプロセッサの台数を減らす
ことなく、並列処理の管理機能や入出力機能を実現する
並列プロセッサと、その実装方法を提供する。 【構成】２のべき乗＋１個のポートを持つクロスバスイ
ッチ１０１を設け、そのクロスバスイッチに２のべき乗
個となるようにプロセッサ１０３群を配置する。また各
クロスバスイッチ１０１の残りに並列処理の管理機能や
入出力機能を実行するプロセッサ１０４、１０５、１０
６を配置し、又各プロセッサとクロスバスイッチ１０１
の接続には乗り換えスイッチ１０２を設ける。これによ
り並列処理の実行は２のべき乗個のプロセッサで実行
し、並列処理の管理機能や入出力機能はそれ以外のプロ
セッサでその処理とは独立に実行できるようにした。並
列プロセッサの実装では、ある１つの次元のクロスバス
イッチ、そのクロスバスイッチに接続するプロセッサ
群、および、そのプロセッサ群の中の１個のプロセッサ
に接続する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列プロセッサにおける
プロセッサの結合方式に関わり、特に並列処理の高速化
に好適な並列プロセッサの構成と、その実装方法に関す
る。

【０００２】

【従来の技術】従来、並列処理プログラムを実行する複
数のプロセッサ（以下、実行プロセッサと呼ぶ）と、プ
ロセッサ間のデータ転送を可能にするネットワークによ
り構成される並列プロセッサは、たとえば特開昭６３−
１２４１６２号（以下、第１の従来例と呼ぶ）に示され
ている。この並列プロセッサにおいては縦２のｍ乗行と
横２のｎ乗列（ｍ，ｎは正の整数）からなる２次元アレ
イ状に実行プロセッサを配置し、このアレイの各行（Ｘ
方向）、各列（Ｙ方向）ごとにクロスバスイッチを設け
る。各実行プロセッサはＸ／Ｙ方向のそれぞれの１つの
クロスバスイッチに結合される。このため各実行プロセ
ッサには１つのＸ方向のクロスバスイッチと１つのＹ方
向のクロスバスイッチを結合するために２つの入出力ポ
ート（以下、単にポートと呼ぶ）を有している。以下、
このような各次元ごとに設けたクロスバスイッチネット
ワークを部分クロスバネットワークと呼ぶ。

【０００３】一方ＮＣＵＢＥ社のＮＣＵＢＥ（以下、第
２の従来例と呼ぶ）ではハイパキューブ構成のネットワ
ークに入出力プロセッサを結合している（例えば、「３
２ビットマイクロプロセッサの全容 企業戦略・技術・
市場動向」２３６、２３８ページ、日経マグローヒル社
発行、１９８６年１２月）。これを実現するために各ノ
ードプロセッサでは、ハイパキューブの次元数分に１つ
加えた数のポートを持っている。ハイパキューブの次元
数のポートには各ノードプロセッサを結合し、残りの１
つには入出力プロセッサを結合する。即ち各ノードプロ
セッサは、補助プロセッサと接続するための専用のポー
トを有している。

【０００４】また従来、部分クロスバネットワークを構
成する並列プロセッサの実装については、例えばザ・セ
カンド・シンポジューム・オン・ザ・フロンティア・オ
ブ・マッシブリィ・パラレル・コンピューテーション
（１９８８年１０月）第４６３ページから第４６６ペー
ジ（The 2nd Syposium on the Frontiers of Massively
Parallel Computation,October 10-12 ,1988,pp463-46
6）、および電子情報通信学会技術研究報告、ＣＰＳＹ
８９−４５〜５８、１９８９年３月、第３９ページから
第４４ページ（それぞれ第３、第４の従来例と呼ぶ）に
示されている。

【０００５】第３の従来例では２次元の部分クロスバネ
ットワークで構成された並列プロセッサを、ローカルク
ロスバネットワークと呼ばれる１つのクロスバスイッチ
とそれに接続されるプロセッサ群を１つのウェハに実装
する。またグローバルクロスバネットワークと呼ばれる
もう１つのクロスバスイッチは前記ウェハとは別に、専
用のＬＳＩに実装する。このウェハと専用のＬＳＩを複
数個、組み合せて並列プロセッサを構成する。

【０００６】第４の従来例では３次元の部分クロスバネ
ットワークで構成された並列プロセッサを、１つの面に
対応するＸ方向とＹ方向のクロスバスイッチ群とそれに
接続されるプロセッサ群を１つの筐体に実装する。また
Ｚ方向のクロスバスイッチ群は専用の筐体に実装する。
これらの筐体を複数個、組み合せて並列プロセッサを構
成する。

【０００７】

【発明が解決しようとする課題】各実行プロセッサをＸ
方向とＹ方向のクロスバスイッチに結合した上記第１の
従来技術ではプロセッサの結合方式についてのみ開示さ
れている。しかし並列処理を実行するためにはプロセッ
サ群への処理分配などの管理機能や入出力機能も不可欠
であるが、これを行なう補助プロセッサについては言及
していない。また、この補助プロセッサを上記プロセッ
サ群へ接続するためのネットワークを示していない。上
記第２の従来例技術のように各実行プロセッサと補助プ
ロセッサを直結したのでは、各実行プロセッサに新規に
１つのポートを設け必要があり、かつ、そのポートでの
メッセージ転送制御回路が複雑とならざるを得ない。ま
た、この従来技術では補助プロセッサと各実行プロセッ
サを接続するネットワークを別に設けているが、この別
のネットワークは実行プロセッサの台数の増大とともに
複雑化せざるを得ない。

【０００８】また第３、４の従来技術による並列プロセ
ッサの実装においては、プロセッサの実装とは別に、ク
ロスバスイッチ群を実装するための専用のＬＳＩ、筐体
などが必要である。これによればプロセッサ台数が多く
なると、プロセッサとクロスバスイッチを接続するため
のインタフェースが一ヶ所に集中し、そのインタフェー
スが多くなる。このためクロスバスイッチ群を実装する
専用のＬＳＩ、筐体などの物理ピン数を越えることにな
り、そのインタフェースが接続できない場合がある。

【０００９】本発明の第１の目的は補助プロセッサを実
行プロセッサに接続する比較的構造の簡単なネットワー
クを有する並列プロセッサを提供することにある。

【００１０】本発明の第２の目的はプロセッサとネット
ワークを接続するためのインタフェースを一ヶ所に集中
させない並列プロセッサの実装方法を提供することにあ
る。

【００１１】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明では並列処理の管理機能や入出力機能
を実行するための補助プロセッサを、任意の実行プロセ
ッサ間でデータ転送を行なう部分クロスバネットワーク
に接続する。各次元のクロスバスイッチとして２のべき
乗個のポートに１個のポートを追加したポート数（２の
べき乗＋１個）のポートを持つ部分クロスバスイッチを
用いる。各次元が２のべき乗個となるようにｎ次元直方
体に実行プロセッサ群を配置し、それらのクロスバスイ
ッチに乗換えスイッチを介して、また各クロスバスイッ
チの残りの１ポートのいずれかに並列処理の管理機能や
入出力機能を実行する補助プロセッサを乗換えスイッチ
を介して接続する。

【００１２】上記第２の目的を達成するために、本発明
では、ある１つの次元のクロスバスイッチ、そのクロス
バスイッチに接続するプロセッサ群、および、そのプロ
セッサ群の中の１個のプロセッサに接続する、かつ、上
記とは別の次元の全てのクロスバスイッチを、１つの実
装単位とする。

【００１３】

【作用】並列処理は、従来通り、各次元が２のべき乗個
となるようにｎ次元直方体に配置した実行プロセッサ群
で実行できる。並列処理を実行する実行プロセッサから
は、プロセッサ間データ転送と同様にして補助プロセッ
サに対して通信が可能である。これにより各実行プロセ
ッサにポートを追加することなく、また補助プロセッサ
を結合するためのネットワークの追加はごくわずかであ
る。このため並列プロセッサの実装規模を小さくでき
る。

【００１４】並列プロセッサの実装においては、クロス
バスイッチ群を実装するための専用のＬＳＩ、筐体など
は必要なく、この実装単位だけの組合せで可能である。
これによりプロセッサとネットワークを接続するインタ
フェースを一ヶ所に集中させることなく実装できる。

【００１５】

【実施例】以下、本発明の一実施例を図を用いて説明す
る。図１に並列プロセッサのシステム構成を示す。本並
列プロセッサにおいては行方向または列方向のクロスバ
スイッチ１０１（行方向クロスバスイッチを１０１ｘ、
列方向クロスバスイッチを１０１ｙと呼び、これらを区
別しない場合には単に１０１と呼ぶ）、行方向クロスバ
スイッチ１０１ｘと列方向クロスバスイッチ１０１ｙ間
の乗り換えを行なう複数の乗り換えスイッチ１０２、ｉ
行ｉ列に配列された並列処理を実行するプロセッサ（以
下、計算クラスタと呼ぶ）１０３、入出力機能を実行す
る入出力プロセッサ（以下、入出力クラスタと呼ぶ）１
０４、各計算クラスタ１０３で共有するデータや中間結
果などを保持する拡張記憶プロセッサ（以下、ＥＳクラ
スタと呼ぶ）１０５、並列処理の管理機能を実行するフ
ロントエンドプロセッサ（以下、ＦＥＰと呼ぶ）１０
６、一般的なユーザ環境を持つワークステーション（以
下、ＷＳと呼ぶ）１０７、ユーザファイルを管理するフ
ァイルサーバ（以下、ＦＳと呼ぶ）１０８、ユーザファ
イルを保持するディスク装置１０９、ＷＳ１０７などの
コンピュータ間の通信を高速に行なうローカルエリアネ
ットワーク（以下、ＬＡＮと呼ぶ）１１０により構成す
る。本実施例では、各クロスバスイッチ１０１は、２の
ｉ乗プラス１個のポートを有し、同じ構造を有し、さら
に計算クラスタ１０３は２のｉ乗行２のｉ乗列に配列さ
れるのが特徴である。

【００１６】図１では一例として計算クラスタ１０３の
台数を合計１６台とし、それを４×４の２次元アレイ状
に配置したものを示す。従って各クロスバスイッチは５
個のポートを有する。しかし本発明は任意の値のｉに対
して有効である。

【００１７】各計算クラスタ１０３は、行方向（以下、
Ｘ方向と呼ぶ）と列方向（Ｙ方向と呼ぶ）の各クロスバ
スイッチ１０１に乗換えスイッチ１０２を介して接続す
る。図１では入出力クラスタ１０４とＥＳクラスタ１０
５はそれぞれ２台づつあり、Ｘ方向のクロスバスイッチ
１０１ｘの残りの１つのポートに接続する。ＦＥＰ１０
６は計算クラスタ１０３を接続するＹ方向の各クロスバ
スイッチ１０１ｙの残りの１つのポートにブロードキャ
ストスイッチ１００により接続される。ただし入出力ク
ラスタ１０４とＥＳクラスタ１０５とが接続されたＹ方
向のクロスバスイッチ１０１ｙ（図の右端のもの）の残
りの１つのポート１０００は、このクロスバスイッチ１
００には接続されない。これはブロードキャストスイッ
チ１００のポートの数をクロスバスイッチ１０１と同じ
にしたため、このポート１０００を接続するためのポー
トが存在しないからである。ここでは、このブロードキ
ャストスイッチ１００はクロスバスイッチ１０１と同じ
構成である。各クロスバスイッチ１０１と各入出力クラ
スタ１０４、ＥＳクラスタ１０５の接続にもそれらの間
で乗り換えを行なう乗り換えスイッチ１０２を設ける。
結局、本実施例では、２次元空間のＸ座標が０、１、
２、３、Ｙ座標が０、１、２、３からなる点群に対応し
て計算クラスタ１０３が配置される。各Ｙ座標０〜３の
各点に対応して１つのＸ方向のクロスバスイッチが設け
られ、各Ｘ座標に対応して１つのＹ方向のクロスバスイ
ッチが設けらている。各入出力クラスタ１０４とＥＳク
ラスタ１０５がＸ＝４、Ｙ＝０〜３の座標点群に対応し
て設けられていることになる。以下、これらのクロスバ
スイッチおよび乗換えスイッチにより構成されるネット
ワークをクロスバネットワークと呼ぶ。

【００１８】本並列プロセッサは、ＷＳ１０７などで作
成された計算依頼をＬＡＮ１１０を介してＦＥＰ１０６
で受け付ける。ＦＥＰ１０６にＷＳ１０７の機能も持
ち、ＦＥＰ１０６で直接、計算依頼を作成することも可
能である。ＦＥＰ１０６では、その計算依頼をスプーリ
ングし、その計算依頼で指示されたプログラムの実行が
可能なクラスタにそれを割当るなどの処理を行なう。ま
た、これらのためにＦＥＰ１０６ではディスク装置１１
１を保持する。各計算クラスタ１０３で実行するプログ
ラムやデータにおいては、まずＦＥＰ１０６が各計算ク
ラスタ１０３に対してプログラムをロードするための情
報を配った後、各計算クラスタ１０３にプログラムの実
行開始を指示する。そして各計算クラスタ１０３がそれ
を受け取ると、計算クラスタ１０３内のオペレーティン
グシステムにより、クロスバネットワークを介して、い
ずれかの入出力プロセッサ１０４に依頼し、ＦＳ１０８
からその入出力プロセッサを介してプログラムやデータ
をロードする。ロードが終了すると、各計算クラスタ１
０３はプログラムの実行を開始する。

【００１９】各計算クラスタ１０３間でデータ転送が必
要な時はクロスバネットワークを介して行なう。たとえ
ば、計算クラスタＰ００からＰ３３へのデータ転送で
は、まずＰ００から送出されたメッセージはＰ００に接
続される乗り換えスイッチ１０２からＸ方向のクロスバ
スイッチ１０１ｘ（図１の最上段の１０１ｘ）へ送られ
る。そのＸ方向のクロスバスイッチ１０１ｘを通ったメ
ッセージは、Ｐ３０に接続される乗り換えスイッチ１０
２によりＹ方向のクロスバスイッチ１０１ｙ（図１の最
右側から２番目の１０１ｙ）に乗り換えられる。そし
て、Ｙ方向のクロスバスイッチ１０１ｙからＰ３３に接
続される乗り換えスイッチ１０２に送られ、Ｐ３３に届
く。また同様に計算クラスタ１０３が計算の途中で入出
力を必要とする時は入出力クラスタ１０４にクロスバネ
ットワークを介して依頼する。依頼された入出力クラス
タ１０４では依頼された内容に従い動作し、応答が必要
な場合は、その結果を依頼元の計算クラスタ１０３に返
す。またＥＳクラスタ１０５では、各計算クラスタ１０
３が起動される前にＦＥＰ１０６によりデータがロード
され、各計算クラスタ１０３は実行時にクロスバネット
ワークを介してそのデータをアクセスする。また計算ク
ラスタ１０３が実行時に計算結果などを直接書き込んで
もよい。

【００２０】図２に計算クラスタの構成を示す。計算ク
ラスタ１０３は、一般的なプロセッサにクロスバネット
ワークとのインタフェースを持つように構成されていれ
ばよく、たとえば複数の計算処理を実行するプロセッシ
ングユニット２０１、各計算クラスタ１０３間とのデー
タ転送を実行するネットワークインタフェースアダプタ
２０２、プログラムやデータを記憶するメモリ２０３、
計算クラスタ内のオペレーティングシステム（以下、Ｏ
Ｓ）のブートデバイスやページングおよびスワップデバ
イスなどとして用いるディスク装置２０５および、その
ディスク装置２０５との入出力インタフェースを持つ入
出力アダプタ２０４により構成される。ここでは計算ク
ラスタ１０３がマルチプロセッサ構成をとるようにプロ
セッシングユニット２０１が複数台あるが、１台であっ
てもよい。

【００２１】プロセッシングユニット２０１の処理にお
いて、計算クラスタ間のデータ転送要求、入出力要求、
拡張記憶へのアクセス、ＦＥＰへの通信などがある場合
は、ネットワークインタフェースアダプタ２０２へその
処理を依頼する。ネットワークインタフェースアダプタ
２０２ではこれらの要求を受け付けると、それに必要な
メッセージを組立て、クロスバネットワークへ送り出
す。またネットワークインタフェースアダプタ２０２で
はクロスバネットワークから送られてくるメッセージを
受け付け、それに対応した処理を行なう。その処理はた
とえばプロセッシングユニット２０１にメッセージを渡
すために割込みをかける、メッセージで指定された転送
データをメモリ２０３に書き込むなどである。

【００２２】図３に入出力クラスタの構成を示す。入出
力クラスタ１０４は、計算クラスタ１０３と同じように
ネットワークインタフェースアダプタ２０２、メモリ２
０３、入出力アダプタ２０４、ディスク装置２０５を持
ち、さらに入出力を制御する入出力制御プロセッサ３０
１、ＬＡＮ１１０のインタフェースを持つＬＡＮアダプ
タ３０２により構成する。

【００２３】入出力クラスタ１０４では、計算クラスタ
１０３からの入出力要求メッセージをネットワークイン
タフェースアダプタ２０２で受け付けると、そのメッセ
ージを入出力制御プロセッサ３０１に渡す。入出力制御
プロセッサ３０１ではそのメッセージに従い、入出力ア
ダプタ２０４、ＬＡＮアダプタ３０２を介してディスク
２０５に対して入出力動作を実行する。入出力動作後、
計算クラスタ１０３への応答が必要な場合はネットワー
クインタフェースアダプタ２０２にその処理を依頼す
る。また、この処理以外にも入出力クラスタ１０４では
ファイルサーバの機能も有する。

【００２４】図４にＥＳクラスタの構成を示す。ＥＳク
ラスタ１０５はＥＳ制御プロセッサ４０１、ネットワー
クインタフェースアダプタ２０２、メモリ２０３、およ
び拡張記憶（ＥＳ）４０２により構成される。

【００２５】ＥＳ制御プロセッサ４０１は、後述するロ
ック要求メッセージ、ＥＳ読出し要求メッセージなどの
処理を行なう。また計算クラスタ１０３への応答がある
場合は、ネットワークインタフェースアダプタ２０２へ
その処理を依頼する。ネットワークインタフェースアダ
プタ２０２では要求を受け付けると、それに必要なメッ
セージを組立て、クロスバネットワークへ送り出す。ま
たネットワークインタフェースアダプタ２０２ではクロ
スバネットワークから送られてくるメッセージを受け付
け、それに対応した処理を行なう。その処理はたとえば
ＥＳ制御プロセッサ４０１にメッセージを渡すために割
込みをかける、メッセージで指定されたＥＳ書き込みデ
ータをＥＳ４０２に書き込むなどである。またメモリ２
０３はＥＳ制御プロセッサ４０１で実行するプログラム
やデータなどを格納するものである。このＥＳ制御プロ
セッサ４０１は、一般的なマイクロプロセッサとメモリ
制御ユニットで構成されてもよい。

【００２６】次にメッセージの転送について説明する。
図５に計算クラスタ間データ転送のメッセージフォーマ
ットを示す。このメッセージは、メッセージを受け取る
クラスタを表わす受信クラスタ番号５０１、ネットワー
クの転送方法を表わす転送制御５０２、メッセージの種
別、受信クラスタ内での処理方法を表わすデータ転送コ
マンド５０３、受信クラスタに転送データ５０７が届い
たことを知らせるためのデータ識別子アドレス５０４、
受信クラスタに転送データ５０７が届いた時にその転送
データ５０７をメモリ２０３に書き込むための転送デー
タ受信アドレス５０５、転送データ５０７の長さを示す
転送データ長５０６および転送データ５０７により構成
される。

【００２７】各プロセッシングユニット２０１で実行さ
れているプログラムがメッセージを転送する時には、プ
ロセッシングユニット２０１はメッセージの各フィール
ドに設定する値をネットワークインタフェースアダプタ
２０２に渡し、さらにメッセージ生成および送出の開始
を指示する。ここで受信クラスタ番号５０１は図６に示
すようにＸ方向／Ｙ方向のクロスバスイッチのポートを
決定するＸ系クロスバ番号とＹ系クロスバ番号で構成さ
れる。また各計算クラスタ間のデータ転送における送受
信クラスタ番号は、プログラムあるいはシステムからは
一般に順序付けられた番号にした方が、指定しやすい。
たとえば１６台の計算クラスタ構成の場合は０から１５
の番号が付けらる。しかし実際のハードウェアで使用す
るクラスタ番号は異なる。これは１６台の計算クラスタ
構成の場合、計算クラスタを指定するには４ビットであ
れば十分であるが、２のべき乗＋１個のポートを持つク
ロスバスイッチを用いたことにより、ハードウェアとし
てはＸ系クロスバ番号／Ｙ系クロスバ番号にそれぞれ３
ビットづつで合計６ビットが必要になる。これによると
各計算クラスタは順序付けられた番号にならない。この
ため図１２に示すような計算クラスタの番号変換を行な
う必要がある。この変換は、たとえば計算クラスタ内の
ネットワークインタフェースアダプタ２０２で実現す
る。またＦＥＰ１０６、入出力クラスタ１０４の番号変
換についても同図に示すように同様に実現される。

【００２８】計算クラスタより送出されたメッセージ
は、クロスバスイッチ１０１および乗り換えスイッチ１
０２がメッセージ内の受信クラスタ番号５０１および転
送制御５０２を用いてルーティングを行ない、目的の受
信クラスタに到着する。ここで転送制御５０２は図７に
示すようにそのメッセージを全てのクラスタに転送する
か否かを示すブロードキャスト制御とメッセージを転送
する時にＸ方向あるいはＹ方向のどちらからを先に送出
するかを決定する転送順序制御により構成される。この
転送順序制御はクロスバネットワーク内のルーティング
をたとえば、Ｘ方向からＹ方向に限る固定ルーティング
とし、必ずその方向の転送だけになれば必要ないが、各
クラスタからＦＥＰ１０６へのデータ転送のように構成
次第で、Ｙ方向からＸ方向へメッセージを転送すること
が必要になるため転送順序制御を設けている。

【００２９】メッセージが届いた受信クラスタでは、ネ
ットワークインタフェースアダプタ２０２がそのメッセ
ージのデータ転送コマンド５０３をみて、転送データ５
０７を転送データ受信アドレス５０５に従いメモリ２０
３に書き込む。また受信した転送データ５０７をメモリ
２０３に書き込んだことを知らせるために、データ識別
子アドレス５０４に従いメモリ２０３にその情報を書き
込む。受信クラスタ内のプロセッシングユニット２０１
はデータ識別子アドレスによりメモリ２０３を監視し、
転送データ５０７が届いたことを知る。

【００３０】次にブロードキャストのメッセージ転送に
ついて説明する。各乗換えスイッチ１０２では対応する
計算クラスタ１０３から転送されてきたメッセージ内の
ブロードキャスト制御がブロードキャストを示している
ことを知ると、まず、そのスイッチに接続されたＸ方向
クロスバスイッチ１０１ｘにそのメッセージを転送す
る。上記Ｘ方向クロスバスイッチ１０１ｘでは、それに
接続される全ての乗換えスイッチ１０２に対して、転送
可能であることを確認してからそのメッセージを転送す
る。Ｘ方向クロスバスイッチ１０１ｘからブロードキャ
ストのメッセージが転送されてきた乗換えスイッチ１０
２の各々では、次にそのスイッチに接続されたＹ方向ク
ロスバスイッチ１０１ｙにそのメッセージを転送する。
以下同様にＹ方向クロスバスイッチ１０１ｙから乗換え
スイッチ１０２にブロードキャストのメッセージを転送
する。この乗換えスイッチ１０２では、このメッセージ
をそれに接続される計算クラスタ１０３に転送する。こ
のようにしてブロードキャストのメッセージ転送を実行
する。

【００３１】次にＦＥＰ１０６と計算クラスタ１０３と
のメッセージ転送について説明する。図１では、ＦＥＰ
１０６と各計算クラスタ１０３とのメッセージ転送を効
率よく行うためにブロードキャストスイッチ１００を１
つ新たに設けている。これによりブロードキャストスイ
ッチ１００と一群のＹ方向のクロスバスイッチ１０１ｙ
を経由するだけで、ＦＥＰ１０６といずれの計算クラス
タ１０３との間でメッセージ転送が可能である。

【００３２】たとえば図１のシステム構成における計算
クラスタ１０３のＰ００からＦＥＰ１０６へのメッセー
ジ転送では、計算クラスタ１０３間のメッセージ転送と
同様にしてネットワークインタフェースアダプタ２０２
からメッセージが送出される。このときのメッセージ内
の受信クラスタ番号は、図１２のクラスタ番号変換表で
示すようにＦＥＰ１０６を示すＸ系クロスバ番号＝４、
Ｙ系クロスバ番号＝４に変換されている。またメッセー
ジ内の転送順序制御は、図１０に示すようにＹ方向クロ
スバスイッチからＸ方向クロスバスイッチへメッセージ
を転送するように、１に設定されている。計算クラスタ
内のネットワークインタフェースアダプタ２０２から送
出されたメッセージは、まずＰ００に接続される乗換え
スイッチ１０２に送出される。その乗換えスイッチ１０
２では、メッセージ内の転送順序制御により、それに接
続されるＹ方向のクロスバスイッチ１０１ｙに転送す
る。そのＹ方向のクロスバスイッチ１０１ｙでは、図８
で示すルーティング情報（詳細については後述する）に
従い、メッセージ内の受信クラスタ番号のＹ系クロスバ
番号に一致するポート番号８０４のポートにそのメッセ
ージを送出する。この場合、このポートにはブロードキ
ャストスイッチ１００が接続されている。ブロードキャ
ストスイッチ１００では、メッセージ内の受信クラスタ
番号のＸ系クロスバ番号に一致するポート番号８０４の
ポートにそのメッセージを送出することにより、ＦＥＰ
１０６へのメッセージ転送が行なわれる。

【００３３】ＦＥＰ１０６から計算クラスタ１０３のＰ
００へのへのメッセージ転送では、計算クラスタ１０３
間のメッセージ転送と同様にしてネットワークインタフ
ェースアダプタ２０２からメッセージが送出される。こ
のときのメッセージ内の受信クラスタ番号は、図１２の
クラスタ番号変換表で示すように計算クラスタ１０３の
Ｐ００を示すＸ系クロスバ番号＝０、Ｙ系クロスバ番号
＝０に変換されている。またメッセージ内の転送順序制
御は、図１０に示すようにＸ方向クロスバスイッチから
Ｙ方向クロスバスイッチへメッセージを転送するよう
に、０に設定されている。ＦＥＰ１０６のネットワーク
インタフェースアダプタ２０２から送出されたメッセー
ジは、まずブロードキャストスイッチ１００に送出され
る。そのブロードキャストスイッチ１００では、図８で
示すルーティング情報（詳細については後述する）に従
い、メッセージ内の受信クラスタ番号のＸ系クロスバ番
号に一致するポート番号８０４のポートにそのメッセー
ジを送出する。この場合、このポートにはＹ方向のクロ
スバスイッチ１０１ｙが接続されている。そのＹ方向の
クロスバスイッチ１０１ｙでは、メッセージ内の受信ク
ラスタ番号のＹ系クロスバ番号に一致するポート番号８
０４のポートにそのメッセージを送出する。このポート
には、Ｐ００に接続される乗換えスイッチ１０２が接続
されており、これにより計算クラスタ１０３のＰ００へ
のメッセージ転送が行なわれる。

【００３４】ＦＥＰ１１０６から全計算クラスタ１０３
へのブロードキャスト転送では、計算クラスタ１０３間
のメッセージ転送と同様にしてネットワークインタフェ
ースアダプタ２０２からメッセージが送出される。この
ときのメッセージ内の受信クラスタ番号は何であっても
よい。またメッセージ内の転送順序制御は、図１０に示
すようにＸ方向クロスバスイッチからＹ方向クロスバス
イッチへメッセージを転送するように０に設定されてい
る。さらにメッセージ内のブロードキャスト制御がブロ
ードキャストを示している。ＦＥＰ１０６のネットワー
クインタフェースアダプタ２０２から送出されたメッセ
ージは、まずブロードキャストスイッチ１００に送出さ
れる。そのブロードキャストスイッチ１００では、ブロ
ードキャストが指定されているため、全ポートに送出可
能であることを確認して、そのメッセージを送出する。
各々のＹ方向のクロスバスイッチ１０１ｙでは、ブロー
ドキャストのメッセージが転送されてくると、それに接
続される全ての乗換えスイッチ１０２に対して、メッセ
ージが転送可能であることを確認して各乗換えスイッチ
１０２に転送する。

【００３５】このようにＦＥＰ１１０６から全計算クラ
スタ１０３へのブロードキャストでは、計算クラスタ間
のそれとは異なり、Ｘ方向のクロスバスイッチ１０１ｘ
を介することなく、ブロードキャストスイッチ１００と
一群のＹ方向のクロスバスイッチ１０１ｙを経由するだ
けで、全ての計算クラスタ１０３にメッセージをブロー
ドキャスト転送が可能である。また各計算クラスタ１０
３からＦＥＰ１０６にメッセージを転送する場合にも、
ブロードキャストスイッチ１００を使うことによりＸ方
向のクロスバスイッチ１０１ｘを介さずに転送できるの
で、ネットワーク内で実行されている他の計算クラスタ
間のメッセージ転送の妨げを少なくできる。もしＦＥＰ
１０６がたとえば図１の右上端の入出力プロセッサ１０
４の位置にあった場合には、各計算クラスタ１０３から
送出された複数のメッセージがそのＦＥＰ１０６が接続
されるＸ方向のクロスバスイッチ１０１ｘに集中するこ
とになり、そのＸ方向のクロスバスイッチ１０１ｘを使
用する他のメッセージ転送が妨げられるが、本実施例で
は、このような問題はない。

【００３６】次にこのネットワークを構成するハードウ
ェアの実現方法について説明する。図８にメッセージの
転送に必要なルーティング情報を示す。このルーティン
グ情報はシステムが立ち上がった時に予め設定される。
各クラスタ１０３、１０４、１０５およびＦＥＰ１０６
には各クラスタの自クラスタ番号８０１を持つ。この番
号８０１は送信クラスタが応答を必要とする時など、メ
ッセージにそれを追加する。受信クラスタではそれに対
応するメッセージを送り返す時、その番号が受信クラス
タ番号として使用される。また各乗り換えスイッチ１０
２にもそれに接続される各クラスタの自クラスタ番号８
０２を持つ。この番号８０２はメッセージ内の受信クラ
スタ番号５０１と比較される。乗り換えスイッチ１０２
は、その結果によりクラスタやクロスバスイッチにメッ
セージを渡す。各クロスバスイッチ１０１には各クロス
バスイッチ１０１がＸ方向／Ｙ方向かの次元を示すクロ
スバスイッチ次元情報８０３および、各クロスバスイッ
チ１０１のそれぞれのポートがどこに接続されているか
を示すポート番号８０４を持つ。クロスバスイッチ次元
情報８０３はクロスバスイッチ１０１内のルーティング
において、メッセージ内の受信クラスタ番号５０１のＸ
系クロスバ番号／Ｙ系クロスバ番号のどちらを切り出す
かを決定する。またポート番号８０４は受信クラスタ番
号５０１から切り出されたＸ／Ｙ系クロスバ番号と比較
され、一致するポートへメッセージを送出するために使
用される。

【００３７】図９に乗り換えスイッチの構成を示す。乗
り換えスイッチ１０２は、乗り換えスイッチ１０２に接
続されるクラスタ、クロスバスイッチから送出されるメ
ッセージを一時保持するファーストーイン・ファースト
ーアウト・メモリ（以下、ＦＩＦＯ）９０１、ＦＩＦＯ
９０１に保持されたメッセージを取り出し、そのメッセ
ージの受信クラスタ番号５０１と転送制御５０２により
転送先を決定するルーティング制御９０２および各ルー
ティング制御９０２からの要求に対して優先順位を決定
し、各ポートにメッセージを送出するメッセージ送出制
御９０３を各ポート対応に設け、それらと自クラスタ番
号８０２により構成する。

【００３８】ＦＩＦＯ９０１は読み出しと書き込み動作
が非同期に行なえる。これには市販されているＦＩＦＯ
用ＬＳＩを用いてもよい。ルーティング制御９０２はＦ
ＩＦＯ読み出し制御９２１と転送先決定回路９２２によ
り構成する。ＦＩＦＯ読み出し制御９２１では、ＦＩＦ
Ｏ９０１から出力されるＥＭＰＴＹ信号９１１が０であ
ることを確認して、リードストローブ９１２を送出し、
ＦＩＦＯ９０１に保持されたメッセージを読みだす。こ
のＥＭＰＴＹ信号９１１はＦＩＦＯ９０１に１個もデー
タが入ってない時は１で、それ以外は０である。

【００３９】転送先決定回路９２２では、図１０に示す
ように、読みだされたメッセージ内の受信クラスタ番号
５０１のＸ系クロスバ番号、Ｙ系クロスバ番号がそれぞ
れ各乗り換えスイッチ１０２に保持されている自クラス
タ番号８０２のＸ系クロスバ番号、Ｙ系クロスバ番号と
比較される。この比較結果に基づきメッセージ内の転送
制御５０２の転送順序制御の内容によりＸ方向から先に
送出するか，あるいはＹ方向から先に送出するかを決定
する。この転送先決定回路９２２の動作は、たとえば転
送順序制御がＸ方向からＹ方向への転送が指定されてい
る、即ち転送順序制御が０であると、Ｘ系クロスバ番号
の比較結果が０、即ち不一致で、かつＹ系クロスバ番号
の比較結果が０の場合Ｘ系クロスバスイッチに転送、Ｘ
系クロスバ番号の比較結果が０で、かつＹ系クロスバ番
号の比較結果が１、即ち一致の場合Ｘ系クロスバスイッ
チに転送、Ｘ系クロスバ番号の比較結果が１で、かつＹ
系クロスバ番号の比較結果が０の場合Ｙ系クロスバスイ
ッチに転送、Ｘ系クロスバ番号の比較結果が１で、かつ
Ｙ系クロスバ番号の比較結果が１の場合クラスタに転送
することを示す。そして転送先決定回路９２２では決定
した転送先に、それに対応する信号９２３によりメッセ
ージ送出制御９０３に送出することを指示する。

【００４０】メッセージ送出制御９０３はプライオリテ
ィ制御９３１とセレクタ９３２により構成される。プラ
イオリティ制御９３１では、各ルーティング制御からの
信号９２３を受け取り、それらの間で送出する優先順位
を決め、それに対して送出を行なう。送出の制御は、メ
ッセージ送出制御９０３が送出先に乗り換えスイッチと
同様に設けられているＦＩＦＯから出力されるＦＵＬＬ
信号９０４が０であることを確認して、ライトストロー
ブ９０５を送出し、送出先のＦＩＦＯにメッセージを書
き込む。このＦＵＬＬ信号９０４は送出先ＦＩＦＯが一
杯で１個のデータも受け取れない時は１で、それ以外は
０である。またプライオリティ制御９３１では一回の送
出でメッセージの転送が終わらない場合、送り出すごと
に信号９３３により対応するＦＩＦＯ読み出し制御９２
１に対してＦＩＦＯ９０１から次のデータを読みだすこ
とを指示する。

【００４１】次にこの乗換えスイッチ１０２におけるブ
ロードキャストのメッセージ転送の動作について説明す
る。ここではブロードキャストは、前述したように送出
元計算クラスタ１０３、乗換えスイッチ１０２、Ｘ方向
クロスバスイッチ１０１ｘ、乗換えスイッチ１０２、Ｙ
方向クロスバスイッチ１０１ｙ、乗換えスイッチ１０
２、全計算クラスタ１０３の順番でメッセージの転送が
行なわれる。

【００４２】まず計算クラスタ１０３から送出されたメ
ッセージは、乗換えスイッチ１０２に送出される。そし
て乗換えスイッチ１０２のルーティング制御９０２が、
メッセージ内のブロードキャスト制御によりブロードキ
ャストが指定されているかを判定する。ブロードキャス
トが指定されていると、ルーティング制御９０２は出力
ポート番号レジスタ９２４に保持されているポート番号
に従い、そのブロードキャストのメッセージをＸ方向の
クロスバスイッチ１０１ｘが接続されるポートに出力す
る。

【００４３】ここで出力ポート番号レジスタ９２４の内
容は、ブロードキャストのメッセージをどこのポートに
出力するかを示す情報である。この場合の出力ポート番
号レジスタ９２４の内容は、計算クラスタからブロード
キャストのメッセージを受け取るルーティング制御９０
２はＸ方向クロスバスイッチ１０１ｘに出力するよう
に、Ｘ方向クロスバスイッチ１０１ｘからブロードキャ
ストのメッセージを受け取るルーティング制御９０２は
Ｙ方向クロスバスイッチ１０１ｙに出力するように、Ｙ
方向クロスバスイッチ１０１ｙからブロードキャストの
メッセージを受け取るルーティング制御９０２は計算ク
ラスタに出力するように設定されている。また同様にＸ
方向のクロスバスイッチ１０１ｘから送出されたブロー
ドキャストのメッセージは、乗換えスイッチ１０２のル
ーティング制御９０２が判定を行ない、ブロードキャス
トが指定されているとルーティング制御９０２は出力ポ
ート番号レジスタ９２４に保持されているポート番号に
従い、Ｙ方向のクロスバスイッチ１０１ｙが接続される
ポートに出力する。また同様にＹ方向のクロスバスイッ
チ１０１ｙから送出されたブロードキャストのメッセー
ジは、乗換えスイッチ１０２のルーティング制御９０２
が判定を行ない、ブロードキャストが指定されていると
ルーティング制御９０２は出力ポート番号レジスタ９２
４に保持されているポート番号に従い、計算クラスタが
接続されるポートに出力する。ブロードキャストのメッ
セージ転送では、この動作以外は他の転送制御と同じで
ある。図１１にクロスバスイッチの構成を示す。クロス
バスイッチ１０１は、それに接続される乗り換えスイッ
チ１０２などから送出されるメッセージを一時保持し、
それを要求に応じて取り出しを行なうメッセージ受信制
御１１０１および、そのメッセージの受信クラスタ番号
５０１と転送制御５０２により自ポートへ出力するかを
決定し、各メッセージ受信制御１１０１からの要求の優
先順位を決定し、各ポートにメッセージを送出するメッ
セージ送出制御１１０２を各ポート対応に設け、構成す
る。

【００４４】メッセージ受信制御１１０１はメッセージ
を一時保持するＦＩＦＯ９０１およびＦＩＦＯ９０１に
保持されたメッセージをレジスタ１１１１に取り出すＦ
ＩＦＯ読み出し制御１１１０により構成する。ＦＩＦＯ
読み出し制御１１１０は、乗り換えスイッチのそれと同
様にＦＩＦＯ９０１から出力されるＥＭＰＴＹ信号１１
１２が０であることを確認して、リードストローブ１１
１３を送出し、ＦＩＦＯ９０１に保持されたメッセージ
を読みだし、レジスタ１１１１に保持する。このＥＭＰ
ＴＹ信号１１１２はＦＩＦＯ９０１に１個もデータが入
ってない時は１で、それ以外は０である。そしてメッセ
ージ受信制御１１０１は、ＦＩＦＯ９０１からメッセー
ジをレジスタ１１１１に取り出したことを、信号１１２
２によりメッセージ送出制御１１０２に知らせる。

【００４５】メッセージ送出制御１１０２は、信号１１
２２により各メッセージ受信制御１１０１から読みださ
れたメッセージ内の受信クラスタ番号５０１内のＸ系ク
ロスバ番号／Ｙ系クロスバ番号のどちらを切り出すか
を、クロスバスイッチ次元情報８０３により決定する。
そして、その受信クラスタ番号５０１から切り出された
Ｘ／Ｙ系クロスバ番号とポート番号８０４とを一致回路
１１２０で比較する。その比較結果が一致すれば、その
ポートへメッセージを送出することを決定する。また一
致しなければ何も動作はしない。このメッセージの送出
では、送出が決定した各メッセージ受信制御１１０１間
の送出順序がプライオリティ制御１１２１により決めら
れる。またプライオリティ制御１１２１が送出先に乗り
換えスイッチと同様に設けられているＦＩＦＯから出力
されるＦＵＬＬ信号９０５が０であることを確認して、
ライトストローブ９０５を送出し、送出先のＦＩＦＯに
メッセージを書き込む。このＦＵＬＬ信号９０４は送出
先ＦＩＦＯが一杯で１個のデータも受け取れない時は１
で、それ以外は０である。プライオリティ制御１１２１
は送出先のＦＩＦＯにメッセージを書き込んだことを信
号１１２３により、メッセージ受信制御１１０１に知ら
せる。メッセージ受信制御１１０１は、この信号１１２
３により次のメッセージを読みだす。またプライオリテ
ィ制御１１２１では一回の送出でメッセージの転送が終
わらない場合、送り出すごとに信号１１２４により対応
するＦＩＦＯ読み出し制御１１１０に対してＦＩＦＯ９
０１から次のデータを読みだすことを指示する。

【００４６】次にこのクロスバスイッチ１０１における
ブロードキャストのメッセージ転送の動作について説明
する。ＦＩＦＯ読出し制御１１１０がメッセージ内のブ
ロードキャスト制御を判定し、ブロードキャストのメッ
セージ転送であることを認識すると、ＦＩＦＯ９０１か
らメッセージをレジスタ１１１１に取り出したことを、
信号１１２２により全てのメッセージ送出制御１１０２
に知らせる。それぞれのメッセージ送出制御１１０２で
は、上記と同じ動作を行ない、送出先のＦＩＦＯにメッ
セージを書き込んだことを信号１１２３により、メッセ
ージ受信制御１１０１に知らせる。メッセージ受信制御
１１０１は、信号１１２３が全てのメッセージ送出制御
１１０２から送られてくるのを判別する。信号１１２３
が全てのメッセージ送出制御１１０２から送られてきた
ときに、次のメッセージを読みだす。全てから送られて
こないときは、全ての信号１１２３が送られてくるまで
次のメッセージを読みださない。またプライオリティ制
御１１２１では一回の送出でメッセージの転送が終わら
ない場合、送り出すごとに信号１１２４により対応する
ＦＩＦＯ読み出し制御１１１０に対してＦＩＦＯ９０１
から次のデータを読みだすことを指示する。

【００４７】次にＥＳクラスタのアクセスについて説明
する。図１３にＥＳのアドレス空間を示す。ＥＳは図１
のようにクロスバスイッチに接続され、分散配置されて
いる。各ソフトウェアからＥＳは各計算クラスタのメモ
リと独立した１つのアドレス空間にみえる。各ＥＳクラ
スタ１０５内のＥＳ４０２（図４）は、この１つの空間
内の１部の連続領域が割り当てられている。各ＥＳのデ
ータは計算クラスタのメモリに転送してから使用する。
計算クラスタから各ＥＳクラスタのアクセスは計算クラ
スタ間データ転送と同様にクロスバネットワークを介す
る。各計算クラスタから指定されるＥＳアドレスは、プ
ログラムからＥＳクラスタ間をまたがるアドレスとな
る。このため実際のアクセスでは、このアドレスを複数
ＥＳクラスタのうち１個を指定するＥＳクラスタ番号
と、１個のＥＳクラスタで保持できる最大容量のビット
数からなるＥＳクラスタ内アドレスに分けられる。この
ＥＳクラスタ番号は計算クラスタから指定されるＥＳア
ドレスの上位の数ビットから変換されて得られる。たと
えばＥＳアドレスが３２ビット幅で、各ＥＳクラスタ１
０５内のＥＳ４０２（図４）の最大容量が２５６Ｍバイ
ト（２²⁸）であると、ＥＳクラスタ番号に変換されるＥ
Ｓアドレスのビット数は上位４ビットである。図１４
に、この場合における図１の構成時の変換方法を示す。
この場合ＥＳクラスタ１０５は２台だけがクロスバネッ
トワークに接続されているため、ＥＳアドレスの上位４
ビットが（００００）₂の場合ではＥＳクラスタ番号の
Ｘ系クロスバ番号＝４、Ｙ系クロスバ番号＝２に、また
ＥＳアドレスの上位４ビットが（０００１）₂の場合で
はＥＳクラスタ番号のＸ系クロスバ番号＝４、Ｙ系クロ
スバ番号＝３に変換される。この変換は、たとえば計算
クラスタ１０３内のネットワークインタフェースアダプ
タ２０２（図２）で実現する。

【００４８】このネットワークインタフェースアダプタ
２０２のブロック図を２０図に示す。これはプロセッシ
ングユニット、メモリなどとのインタフェース制御を行
なうプロセッサバス制御回路２００１、プロセッサバス
制御回路２００１からの指示でメッセージをクロスバネ
ットワークに送出するメッセージ送出制御回路２００
２、およびクロスバネットワークから送られてきたメッ
セージを受信し、クラスタ内のプロセッシングユニット
２０１に割込みをかけたり、メッセージで指定された転
送データをメモリ２０３に書き込む処理などを制御する
メッセージ受信制御回路２００３により構成される。

【００４９】さらにメッセージ送出回路２００２は、メ
ッセージの送出を制御するメッセージ送出制御２２０
１、ハードウェアで生成するメッセージの転送データの
最大バイト数を保持する最大転送データ長レジスタ２２
０２（以下、ＭＴＵと呼ぶ）、プロセッシングユニット
から指定される転送データ長を保持する転送データ長レ
ジスタ２２０３（以下、ＬＥＮと呼ぶ）、プロセッシン
グユニットから指定されるＥＳアドレスを保持するＥＳ
アドレスレジスタ２２０４（以下、ＥＳＡと呼ぶ）、プ
ロセッシングユニットから指定される自クラスタ内のメ
モリをアクセスするためのメモリアドレスを保持する送
信メモリアドレスレジスタ２２０５（以下、ＭＳ−Ｓと
呼ぶ）、プロセッシングユニットから指定される受信側
クラスタ内のメモリをアクセスするためのメモリアドレ
スを保持する受信メモリアドレスレジスタ２２０６（以
下、ＭＳ−Ｒと呼ぶ）、プロセッシングユニットから指
定される受信クラスタ番号を保持するクラスタ番号レジ
スタ２２０７（以下、ＣＬＮと呼ぶ）、ＭＴＵ２２０２
とＬＥＮ２２０３を比較する比較器２２１１、ＬＥＮ２
２０３からＭＴＵ２２０２を減算する減算器２２１２、
ＥＳＡ２２０４の上位ビットからＥＳクラスタ番号に変
換する変換回路２２１３、ＥＳＡ２２０４とＭＴＵ２２
０２を加算する加算器２２１４、ＭＳ−Ｓ２２０４とＭ
ＴＵ２２０２を加算する加算器２２１５、ＭＳ−Ｒ２２
０４とＭＴＵ２２０２を加算する加算器２２１６、ＣＬ
Ｎ２２０７から受信クラスタ番号に変換する変換回路２
２１７、および、メッセージ送出制御の指示により上記
レジスタなどの内容を入力とし、メモリから転送データ
を読出し、メッセージを組立て、クロスバネットワーク
に送出する送信回路２２０８から構成される。

【００５０】この構成においてＥＳにデータを書き込む
ための計算クラスタ１０３のメッセージの送出処理につ
いて述べる。ＥＳを書き込むためにプロセッシングユニ
ットからは、ネットワークインタフェースアダプタに対
して、転送データ長がＬＥＮ２２０３に、ＥＳにデータ
を書き込むためのＥＳアドレスがＥＳＡ２２０４に、Ｅ
Ｓに書き込むデータを自クラスタ内のメモリから読みだ
すためのメモリ主記憶アドレスがＭＳ−Ｓ２２０５に、
およびＥＳに対するアクセス種別（書き込み要求）が設
定される。ただしアクセス種別についてはメッセージ送
出制御２２０１で保持される。またＥＳ書き込みに関係
のないレジスタ（この場合ではＭＳ−Ｒ２２０６、ＣＬ
Ｎ２２０７である）には何も設定されない。

【００５１】またＭＴＵ２２０２については、プロセッ
シングユニットから指定された転送データ長がとても長
い場合、それをそのままメッセージとして組み立ててし
まうと、クロスバネットワークでそのためのメッセージ
転送でパスが長い時間、占有されてしまい、他のメッセ
ージ転送に影響がでる。このためメッセージの最大転送
データ長を予め決めておき、それよりメッセージが長く
なる場合は、その最大転送データ長に従いメッセージを
分割して送出する。この最大転送データ長を保持するの
がＭＴＵ２２０２であり、この値はシステムが立ち上が
る時に設定されている。

【００５２】以下、メッセージ送出回路２００２の動作
手順を示す。

【００５３】（１）ＥＳ書き込み処理に必要なレジスタ
が設定されたことをメッセージ送出制御２２０１が認識
する。

【００５４】（２）比較器２２１１においてプロセッシ
ングユニットから指定された転送データ長ＬＥＮ２２０
３がハードウェアで生成するメッセージの最大転送デー
タ長ＭＴＵ２２０３以下であるかを判定し、その結果を
メッセージ送出制御２２０１に渡す。

【００５５】（３）メッセージ送出制御２２０１では、
プロセッシングユニットから指定された転送データ長が
ハードウェアで生成するメッセージの最大転送データ長
を越えている場合には、選択回路２２０９を制御し、転
送データ長をＭＴＵ２２０３を選択し、送信回路２２０
８に送る。またＥＳＡ２２０４の上位のあるビット幅分
は変換回路２２１３によりＥＳクラスタ番号に変換さ
れ、送信回路２２０８に送られる。ＥＳＡ２２０４の残
りのビットおよびＭＳ−Ｓ２２０５はそのまま送信回路
２２０８に送られる。

【００５６】（４）そしてメッセージ送出制御２２０１
は、送信回路２２０８に対してメッセージの送信を行な
うことを指示する。

【００５７】（５）送信回路２２０８では、ＭＳ−Ｓ２
２０６に従い、クラスタ内のメモリから転送データを転
送データ長分を読出し、それとメッセージ転送に必要な
情報を組み合わせてメッセージとしてクロスバネットワ
ークに送出する。

【００５８】（６）送信回路２２０８がメッセージの送
出を終えると、メッセージ送出制御２２０１に知らせ
る。

【００５９】（７）メッセージ送出制御２２０１では送
信回路２２０８からのメッセージの送出終了を知ると、
ＥＳＡ２２０４およびＭＳ−Ｓ２２０５の値にＭＴＵ２
２０２の値をそれぞれの加算器２２１４、２２１５にて
加算を行なう。この加算結果はそれぞれのＥＳＡ２２０
４およびＭＳ−Ｓ２２０５に設定する。

【００６０】（８）この後、減算器２２１２にてＬＥＮ
２２０３からＭＴＵ２２０２を減算し、その結果をＬＥ
Ｎ２２０３に設定する。

【００６１】（９）（２）から（８）までをＬＥＮ２２
０３で保持する値がＭＴＵ２２０２で保持する値以下に
なるまで繰り返す。

【００６２】（１０）ＬＥＮ２２０３で保持する値がＭ
ＴＵ２２０２で保持する値以下になると、メッセージ送
出制御２２０１では選択回路２２０９を制御し、転送デ
ータ長をＬＥＮ２２０３を選択し、送信回路に送り、
（２）から（８）までの処理を１回だけ行なうことによ
り、ＥＳにデータを書き込むための計算クラスタ１０３
のメッセージの送出処理を終える。

【００６３】ここでＥＳのアクセスが複数のＥＳクラス
タに渡る場合にでも、たとえばＥＳのアクセスを４Ｋバ
イト単位で、かつ４Ｋバイト境界とし、またハードウェ
アで生成するメッセージの最大転送データ長ＭＴＵ２２
０３を８Ｋバイトにすれば、このＥＳのアドレス加算の
結果を番号変換することにより、複数のＥＳクラスタに
渡っても、この構成で処理できる。

【００６４】また、このネットワークインタフェースア
ダプタ２０２は、計算クラスタ１０３、入出力クラスタ
１０４、ＥＳクラスタ１０５、ＦＥＰ１０６の中に構成
され、計算クラスタ間のデータ転送でも、ＭＴＵ２２０
１、ＬＥＮ２２０３、ＭＳ−Ｓ２２０４、ＭＳ−Ｒ２２
０６、ＣＬＮ２２０７などを用いてＥＳのアクセスと同
様に実現できる。

【００６５】図１５にＥＳアクセスのメッセージフォー
マットを示す。このメッセージには、大きく計算クラス
タ間での排他制御を行なうためのロック処理、読み出し
処理、および書き込み処理がある。これらのメッセージ
では計算クラスタ間データ転送メッセージと同様に受信
クラスタ番号、転送制御および、それぞれの処理に対応
したデータ転送コマンドが付けられる。

【００６６】ロック処理では、ＥＳ上にロック変数を定
義し、それにより計算クラスタ間で排他制御を行なう。
まず計算クラスタからのロック要求メッセージ（ａ）が
ＥＳクラスタ内のネットワークインタフェースアダプタ
２０２に届くと、そのメッセージをＥＳ制御プロセッサ
４０１に渡す。ＥＳ制御プロセッサ４０１では、そのメ
ッセージ内のＥＳアドレスに従い、ＥＳ４０２からＥＳ
データを読み出す。そして、そのＥＳデータとメッセー
ジ内の比較データとを比較し、等しければメッセージ内
の格納データをそのＥＳアドレスに格納する。等しくな
ければ格納はしない。この比較、格納する処理を行なう
間は、他のＥＳアクセスに関係する処理はネットワーク
インタフェースアダプタ２０２で行なわないようにす
る。またＥＳ制御プロセッサ４０１では、その比較結果
に従い条件コードを作成する。そしてロック応答メッセ
ージ（ｂ）を計算クラスタに送り返すためにネットワー
クインタフェースアダプタ２０２に必要な情報を設定
し、依頼する。ネットワークインタフェースアダプタ２
０２では、ロック応答メッセージ（ｂ）を組立て、ネッ
トワークにメッセージを送出する。計算クラスタに受信
されたロック応答メッセージ（ｂ）は、その中のプロセ
ッシングユニット２０１（図２）に渡され、その条件コ
ードの内容によりロック処理が行なわれたことを知る。

【００６７】またロックを解除するアンロック処理では
計算クラスタからアンロック要求メッセージ（ｃ）を送
出する。ＥＳクラスタでそのメッセージが届くと、ＥＳ
制御プロセッサ４０１にそのメッセージを渡すことな
く、ネットワークインタフェースアダプタ２０２がその
メッセージ内のＥＳアドレスに従い格納データを書き込
む。これによりアンロック処理は終了する。

【００６８】ＥＳの読み出し処理では、計算クラスタは
前述したＥＳアドレスの変換を行ない、読み出し要求メ
ッセージ（ｄ）を送出する。読み出し要求メッセージ
（ｄ）がいずれかのＥＳクラスタ内のネットワークイン
タフェースアダプタ２０２（図４）に届くと、そのメッ
セージをＥＳ制御プロセッサ４０１に渡す。ＥＳ制御プ
ロセッサ４０１ではそのメッセージを解釈し、ＥＳデー
タの読出しに必要な情報をネットワークインタフェース
アダプタ２０２に設定し、ＥＳデータ読み出し応答メッ
セージ（ｅ）の送出を依頼する。ネットワークインタフ
ェースアダプタ２０２では、ＥＳ制御プロセッサ４０１
から設定された情報に従い、読み出しデータ長分だけＥ
Ｓデータを読みだし、読み出し応答メッセージ（ｅ）を
作成し、ネットワークに送出する。読み出し応答メッセ
ージ（ｅ）を受け取った計算クラスタでは、ネットワー
クインタフェースアダプタ２０２（図２）がそのメッセ
ージ内の読み出しデータ格納アドレスに従いメモリ２０
３（図２）に書き込み、ＥＳ読み出しデータが届いたこ
とをプロセッシングユニット３０１（図２）に知らせ
る。

【００６９】ＥＳの書き込み処理では、計算クラスタは
前述したＥＳアドレスの変換を行ない、書き込み要求メ
ッセージ（ｆ）を送出する。そのメッセージを受信した
ＥＳクラスタ１０５内のネットワークインタフェースア
ダプタ２０２では、メッセージ内のＥＳアドレスに従
い、書き込みデータ長分だけＥＳ４０２に書き込みデー
タを書き込む。

【００７０】次に入出力について説明する。入出力クラ
スタは図１のようにＸ方向クロスバスイッチ１０１ｘと
Ｙ方向クロスバスイッチ１０１ｙに接続され、分散配置
されている。各入出力クラスタのアクセスは計算クラス
タ間データ転送と同様にクロスバネットワークを介して
メッセージ転送により行なわれる。入出力クラスタがＸ
方向クロスバスイッチ１０１ｘとＹ方向クロスバスイッ
チ１０１ｙに接続されている理由は、全計算クラスタ１
０３から各入出力クラスタ１０４に対してアクセスが可
能にするためである。もし仮にＸ方向のクロスバスイッ
チに接続されている計算クラスタが同じクロスバスイッ
チに接続されている入出力クラスタだけにしかアクセス
しないのであればＹ方向のクロスバスイッチはなくても
よい。

【００７１】計算クラスタ１０３から入出力を行う場合
は入出力命令により実行される。この入出力命令では、
入出力クラスタ番号、入出力装置番号あるいはファイル
名などが指定され、計算クラスのネットワークインタフ
ェースアダプタに渡される。このネットワークインタフ
ェースアダプタでは、計算クラスタ間データ転送メッセ
ージと同様に命令で指定された入出力クラスタ番号から
ハードウェアで使用する受信クラスタ番号に変換を行な
う。またメッセージのハードウェアヘッダとして転送制
御、転送データ長などを生成する。メッセージ内の転送
データは、入出力装置に書き込むためのデータや入出力
のプロトコルなどとして使用する情報であり、それとハ
ードウェアヘッダをメッセージとしてクロスバネットワ
ークに送出する。

【００７２】メッセージを受信した入出力クラスタのネ
ットワークインタフェースアダプタ２０２（図３）は入
出力クラスタの入出力制御プロセッサ３０２にその制御
を渡す。入出力制御プロセッサではメッセージの転送デ
ータの内容を解読し、入出力アダプタ２０４、ＬＡＮア
ダプタ３０２などを介してメッセージの転送データの内
容に対応して実際の入出力装置との間で処理を行なう。
この処理についてはＵＮＩＸオペレーティングシステム
などの処理と同様でよい。また入出力動作後、計算クラ
スタ１０３への応答が必要な場合は、入出力制御プロセ
ッサ３０２がネットワークインタフェースアダプタ２０
２にその処理を依頼する。

【００７３】次に本発明による並列プロセッサの実装に
ついて説明する。図１６に図１の構成時の実装を示す。
１６０１はまとめて実装する１つの単位であり、たとえ
ば筐体、パッケージ、ＬＳＩなどのいずれかに対応す
る。この実装単位１６０１は１個のＹ方向のクロスバス
イッチ１０１ｙとそれに接続されるそれぞれ４つの乗り
換えスイッチ１０２と計算クラスタ１０３、および１個
のＸ方向のクロスバスイッチ１０１ｘである。

【００７４】また入出力クラスタ１０４とＥＳクラスタ
１０５の実装については、実装単位１６０１内の計算ク
ラスタ１０３を入出力クラスタ１０４とＥＳクラスタ１
０５に置き換えて実装する。さらにＦＥＰ１０６とそれ
に接続する１個のブロードキャストスイッチ１００は、
上記とは別に実装する。

【００７５】この実装単位１６０１を４つと、その単位
１６０１内の計算クラスタ１０３を入出力クラスタ１０
４とＥＳクラスタ１０５に置き換えた単位を１つと、Ｆ
ＥＰ１０６とそれに接続する１個のブロードキャストス
イッチ１００の単位により、図１の構成の並列プロセッ
サが実現される。

【００７６】この実装ではネットワークの構成要素であ
るクロスバスイッチ１０１を分散実装が可能である。こ
れによりクロスバスイッチ群とクラスタ群間を接続する
インタフェースが１ヶ所に集中することがない。またク
ロスバスイッチ群とクラスタ群に分けて、それぞれを集
中実装した場合と比較し、乗り換えスイッチとクロスバ
スイッチとの接続するインタフェースにおいて、実装単
位間を接続するインタフェースの本数を減らすことがで
きる。たとえば実装単位１６０１が筐体であるならば筐
体間を渡るケーブルの本数を減らすことができる。また
クラスタの台数を拡張する場合にも、予めクロスバスイ
ッチ１０１のポート数を増やしておけば、その実装単位
１６０１で増設が可能である。さらにこの場合、実装単
位１６０１内でクラスタとクロスバスイッチのインタフ
ェースが閉じるため、その間のインタフェースは近距離
になり、実装単位を渡るインタフェースに比べ、高速な
クラスタ間データ転送が実現できる。この局所的に速い
クラスタ間データ転送を考慮し、並列処理のクラスタへ
の割当てなどを行なえば、並列処理全体の性能を向上す
ることも可能である。

【００７７】また乗り換えスイッチ、各クラスタ、クロ
スバスイッチ間を接続するインタフェースは高速に実現
可能な同期転送を用いることが考えられる。しかし、こ
の同期転送ではクラスタの最大台数時のインタフェース
によるディレイを考慮して設計を行なう必要があり、ま
たクラスタの台数を拡張するごとにクロックスキュー合
わせが必要になる。これを考えれば乗り換えスイッチ、
各クラスタ、クロスバスイッチ間を接続するインタフェ
ースは非同期転送にするのが好ましい。このため本実施
例では前述したように、各クラスタと乗り換えスイッチ
間、乗り換えスイッチとクロスバスイッチ間にＦＩＦＯ
を設け、非同期転送を実現する。

【００７８】ＦＩＦＯの動作は図１７に示すように、書
き込み動作ではＦＩＦＯから出力されるＦＵＬＬ信号が
０であることを確認して、ライトストローブとＦＩＦＯ
書き込みデータを送出し、ＦＩＦＯにそのデータを書き
込む。このＦＵＬＬ信号は送出先ＦＩＦＯが一杯で１個
のデータも受け取れない時は１で、それ以外は０であ
る。またＦＵＬＬ信号が１である時は、ＦＵＬＬ信号が
０になる、即ち読み出し動作が行なわれるまで書き込み
動作を抑止する。一方、読み出し動作ではＦＩＦＯから
出力されるＥＭＰＴＹ信号が０であることを確認して、
リードストローブを送出し、ＦＩＦＯに保持されたメッ
セージを読みだす。このＥＭＰＴＹ信号はＦＩＦＯに１
個もデータが入ってない時は１で、それ以外は０であ
る。またＥＭＰＴＹ信号が１である時は、ＥＭＰＴＹ信
号が０になる、即ち書き込み動作が行なわれるまで読み
出し動作を抑止する。また、これらの書き込み動作と読
み出し動作は上記の動作を守れば、非同期に行なうこと
ができる。

【００７９】これを用いれば各クラスタ、乗り換えスイ
ッチ、クロスバスイッチ間をそれぞれ独立に動作するこ
とが可能になる。これにより、たとえば乗り換えスイッ
チにエラーが生じ、その解析のためサービスプロセッサ
（以下、ＳＶＰ）がその乗り換えスイッチに対して乗り
換えスイッチ内のレジスタ群などをスキャンアウト動作
をしている時も、それに接続される各クロスバスイッチ
やクラスタは、そのスキャンアウト動作を知る必要がな
く、また、それにより停止する必要もなく通常動作を実
行できる。これは、各クロスバスイッチやクラスタの動
作が、乗り換えスイッチに対するデータ転送動作を非同
期転送であるＦＩＦＯの書き込み／読み出し動作を用い
ており、そのＦＩＦＯから出力されるＦＵＬＬ／ＥＭＰ
ＴＹ信号により、抑止できるためである。このように乗
り換えスイッチ、各クラスタ、クロスバスイッチ間を接
続するインタフェースを非同期転送にすることにより、
それらを分離して部分保守が可能になる。

【００８０】以上、本実施例では１６台の計算クラスタ
が２次元アレイ状に配置された場合について説明した
が、各クラスタの台数、その次元数を限定する必要はな
く同様な考え方で実施可能である。図１８に３次元アレ
イ状に配置された並列プロセッサの構成のイメージを示
す。ここで、１８０１は乗り換えスイッチ１０２と計算
クラスタ１０３を、１８０２は乗り換えスイッチ１０２
と入出力クラスタ１０４を、１８０３は乗り換えスイッ
チ１０２とＥＳクラスタ１０５を、１つにしてそれぞれ
図示している。この詳細な説明は省略するが、このよう
に容易に実現できることがわかる。

【００８１】またＦＥＰ１０６の接続においても新たな
クロスバスイッチ１００を設けるのではなく、図１９に
示すように図１の入出力クラスタ１０４、ＥＳクラスタ
１０５などの代わりに複数ある構成であってもよい。こ
の構成ではＦＥＰ１０６の負荷が重く、１台で処理しき
れない場合に、複数のＦＥＰ１０６を接続し、その負荷
を分散するのに有効である。

【００８２】なお以上の実施例においては、Ｘ方向のク
ロスバスイッチとＹ方向のクロスバスイッチとＦＥＰに
接続するクロスバネットワークを全て同一構造と仮定し
た。従って、それらのポートの数は全て同一とした。し
かし本発明はこれらに限られるのでなく、Ｘ方向のクロ
スバスイッチとＹ方向のクロスバスイッチに接続するプ
ロセッサの数は異なっていてもよく、従って、それらの
ポートの数は異なっていてもよい。またクロスバネット
ワークは、ＦＥＰから全あるいは各クラスタへの転送お
よび各クラスタからＦＥＰへの転送が行える必要最小限
の機能があればよい。

【００８３】

【発明の効果】本発明によれば、２のべき乗＋１個のポ
ートを持つクロスバスイッチを設け、そのクロスバスイ
ッチに２のべき乗個となるように実行プロセッサ群を配
置し、クロスバスイッチの残りの１ポートに並列処理の
管理機能や入出力機能を実行する補助プロセッサを配置
することができるので、各実行プロセッサにポートの追
加、補助プロセッサを結合するためのクロスバスイッチ
の追加は必要なくなり、並列プロセッサの実装規模を小
さくできる。さらに並列処理の実行は並列処理の管理機
能や入出力機能とは独立に実行でき、並列処理を実行す
るプロセッサの台数を減らすことなく２のべき乗台と
し、並列プロセッサを構成できる。

【００８４】また本発明では、ある１つの次元のクロス
バスイッチ、そのクロスバスイッチに接続するプロセッ
サ群、および、そのプロセッサ群の中の１個のプロセッ
サに接続する全ての、上記とは別の次元のクロスバスイ
ッチを、１つの実装単位とするため、並列プロセッサの
実装においては、クロスバスイッチ群を実装するための
専用のＬＳＩ、筐体などは必要なく、この実装単位だけ
の組合せで可能である。これによりプロセッサとネット
ワークを接続するインタフェースを一ヶ所に集中させる
ことなく実装できる。

【図面の簡単な説明】

【図１】本発明による２次元構成時の並列プロセッサの
一実施例を示すシステム構成図。

【図２】図１の構成に用いる計算クラスタの概略構成
図。

【図３】図１の構成に用いる入出力クラスタの概略構成
図。

【図４】図１の構成に用いる拡張記憶クラスタの概略構
成図。

【図５】本発明による計算クラスタ間データ転送メッセ
ージフォーマット図。

【図６】本発明によるデータ転送メッセージ内の受信ク
ラスタ番号を示す図。

【図７】本発明によるデータ転送メッセージ内の転送制
御を示す図。

【図８】図１の構成に用いるデータ転送のルーティング
情報を示す図。

【図９】図１の構成に用いる乗り換えスイッチの概略構
成図。

【図１０】図９の構成に用いる転送先決定回路を示す
図。

【図１１】図１の構成に用いるクロスバスイッチの概略
構成図。

【図１２】図１の構成に用いる計算クラスタ番号変換を
示す図。

【図１３】本発明による拡張記憶の空間を示す図。

【図１４】図１の構成に用いる拡張記憶クラスタ番号変
換を示す図。

【図１５】本発明による拡張記憶アクセスのメッセージ
フォーマット図。

【図１６】図１の構成における並列プロセッサの実装を
示す図。

【図１７】本発明で用いるＦＩＦＯのタイムチャート
図。

【図１８】本発明による３次元構成時の並列プロセッサ
の一実施例を示すシステム構成イメージ図。

【図１９】本発明によるフロントエンドを複数結合した
２次元構成時の並列プロセッサの一実施例を示すシステ
ム構成イメージ図。

【図２０】本発明によるネットワークインタフェースア
ダプタのブロック図。

【符号の説明】

１０１…クロスバスイッチ、１０２…乗り換えスイッ
チ、１０３…計算クラスタ、１０４…入出力クラスタ、
１０５…拡張記憶クラスタ、１０６…フロントエンド、
１０７…ワークステーション、１０８…ファイルサー
バ、１０９…ディスク装置、１１０…ローカルエリアネ
ットワーク（ＬＡＮ）、１１１…ディスク装置、２０１
…プロセッシングユニット、２０２…ネットワークイン
タフェースアダプタ、２０３…メモリ、２０４…入出力
アダプタ、２０５…ディスク装置、３０１…入出力制御
ユニット、３０２…ＬＡＮアダプタ、９０１…ファース
トインファーストアウトメモリ（ＦＩＦＯ）、９０４…
ＦＩＦＯから出力されるＦＵＬＬ信号、９１１…ＦＩＦ
Ｏから出力されるＥＭＰＴＹ信号、１６０１…まとめて
実装する１つの単位。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 濱中 直樹 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 千葉 寛之 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 樋口 達雄 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 首藤 信一 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 緒方 康洋 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 武内 茂雄 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 鳥羽 達 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (15)

【特許請求の範囲】
1. 【請求項１】それぞれ並列処理プログラムを実行する複
   数の実行プロセッサと、それらを補助するための複数の
   補助プロセッサと、それらの実行プロセッサとそれらの
   補助プロセッサを接続するネットワ−クからなる並列プ
   ロセッサにおいて、 そのネットワークは、 それぞれ、並列にデータを転送可能な複数の部分ネット
   ワークからなる複数群の部分ネットワークと、 互いに異なる部分ネットワークに属する複数の部分ネッ
   トワークにそれぞれ含まれる複数の入出力ポートをそれ
   ぞれ接続する複数の乗り換えスイッチとを有し、 該複数群の一つに属する部分ネットワークは、それぞれ
   ２のべき乗プラス１個の入出力ポートを有し、 他の群の部分ネットワークの各々は、その群により定め
   られた２のべき乗箇の入出力ポ−トを有し、 該複数の実行プロセッサは、該一つの群に属する複数の
   部分ネットワークの各々に含まれる２のべき乗個の入出
   力ポートの一つにそれぞれ接続された複数の乗り換えス
   イッチに接続され、 該複数の補助プロセッサは、該一つの群に属する複数の
   部分ネットワークの各々に含まれる該２のべき乗個の入
   出力ポート以外の一つの入出力ポートにそれぞれ接続さ
   れた複数の乗り換えスイッチに接続されている並列プロ
   セッサ。
2. 【請求項２】各部分ネットワークは、クロスバスイッチ
   からなる請求項１記載の並列プロセッサ。
3. 【請求項３】該複数の補助プロセッサは、複数の入出力
   プロセッサを含む請求項１記載の並列プロセッサ。
4. 【請求項４】該複数の補助プロセッサは、拡張記憶をそ
   れぞれ有する複数の拡張記憶プロセッサを含む請求項１
   記載の並列プロセッサ。
5. 【請求項５】該複数の補助プロセッサは、複数の入出力
   プロセッサと複数のフロントエンドプロセッサを含む請
   求項１記載の並列プロセッサ。
6. 【請求項６】該複数の補助プロセッサは、少なくとも一
   つのフロントエンドプロセッサを含む請求項１記載の並
   列プロセッサ。
7. 【請求項７】少なくとも１つのフロントエンドプロセッ
   サと、 該他の群の内の一つの群に属する複数の部分ネットワー
   クの各々に対応する入出力ポートおよび該フロントエン
   ドプロセッサに接続された入出力ポートを有する他の一
   つの部分ネットワークとを更に有し、 該他の一つの群に属する複数の部分ネットワークの各々
   は、該他の部分ネットワークの一つの入力ポートに接続
   された一つの入出力ポートを更に有する請求項１記載の
   並列プロセッサ。
8. 【請求項８】それぞれ並列処理プログラムを実行する複
   数の実行プロセッサと、それらを補助するための複数の
   補助プロセッサと、それらの実行プロセッサとそれらの
   補助プロセッサを接続するネットワ−クからなる並列プ
   ロセッサにおいて、 そのネットワ−クは、 それぞれ、２のｉ乗（ｉは、正の整数）箇の第１の座標
   軸の座標点群の１つに対応して設けられ、それぞれ２の
   ｊ乗（ｊは、正の整数）プラス１箇の入出力ポ−トを有
   する、２のｉ乗箇の第１種のクロスバスイッチと、 それぞれ、２のｊ乗箇プラス１箇の第２の座標軸の座標
   点群の１つに対応して設けられ、それぞれ少なくとも２
   のｉ乗箇の入出力ポ−トを有する、２のｊ乗箇プラス１
   箇の第２種のクロスバスイッチと、 それぞれ該第１の座標軸の座標点群と該第２の座標軸の
   座標点群との異なる組の１つに対応して配置され、それ
   ぞれ対応する組の第１の座標軸の座標点に対応する１つ
   の第１種のクロスバスイッチ内の１つの入出力ポ−ト
   と、該対応する組の第２の座標軸の座標点に対応する１
   つの第２種のクロスバスイッチ内の１つの入出力ポ−ト
   とに接続され、それらの間でデ−タの転送をする複数の
   乗り換えスイッチを有し、 該複数のプロセッサは、該複数の乗り換えスイッチのう
   ち、該第１の座標軸の座標点群と該第２の座標点群の内
   の連続する２のｊ乗箇の座標点との異なる組の１つに対
   応してそれぞれ配列された第２群の乗り換えスイッチの
   対応する１つにそれぞれ接続されている並列プロセッ
   サ。
9. 【請求項９】並列処理プログラムを並列に実行する、複
   数の実行プロセッサと、それらを補助するための複数の
   補助プロセッサと、それらの実行プロセッサとそれらの
   補助プロセッサを接続するネットワ−クからなる並列プ
   ロセッサにおいて、 そのネットワ−クは、 それぞれ、２のｉ乗（ｉは、正の整数）箇の第１の座標
   軸の座標点群と２のｋ乗（ｋは、正の整数）箇の第３の
   座標軸の座標点群との異なる組の１つにそれぞれ対応し
   て設けられ、それぞれ２のｊ乗（ｊは、正の整数）プラ
   ス１箇の入出力ポ−トを有する、２の（ｉプラスｋ）乗
   箇の第１種のクロスバスイッチと、 それぞれ、該第２の座標軸の座標点群と該第３の座標軸
   の座標点群との異なる組のそれぞれに対応して設けら
   れ、それぞれ少なくとも２のｉ乗箇の入出力ポ−トを有
   する、２のｊ乗箇プラス１掛ける２のｋ乗箇の第２種の
   クロスバスイッチと、 それぞれ、該第１の座標軸の座標点群と該第２の座標軸
   の座標点群との異なる組のそれぞれに対応して設けら
   れ、それぞれ少なくとも２のｋ乗箇の入出力ポ−トを有
   する、２のｉ乗掛ける（２のｊ乗プラス１）箇の第３種
   のクロスバスイッチと、 それぞれ該第１の座標軸の座標点群と該第２の座標軸の
   座標点群と該第３の座標軸の座標点群との異なる組の１
   つに対応して配置され、それぞれ対応する組の第１の座
   標軸の座標点に対応する１つの第１種のクロスバスイッ
   チ内の１つの入出力ポ−トと、該対応する組の第２の座
   標軸の座標点に対応する１つの第２種のクロスバスイッ
   チ内の１つの入出力ポ−トと、該対応する組の第３の座
   標軸の座標点に対応する１つの第３種のクロスバスイッ
   チ内の１つの入出力ポ−トとに接続され、それらの間で
   デ−タの転送をする複数の乗り換えスイッチを有し、 該複数のプロセッサは、該複数の乗り換えスイッチのう
   ち、該第１の座標軸の座標点群と該第２の座標点群の内
   の連続する２のｊ乗箇の座標点と該第３の座標軸の座標
   点群との異なる組の１つに対応してそれぞれ配列された
   第１群の乗り換えスイッチの対応する１つにそれぞれ接
   続され、 該複数の補助プロセッサの少なくとも一部の複数の補助
   プロセッサは、該複数の乗り換えスイッチのうち、該第
   １の座標軸の座標点群と該連続する複数の第２の座標軸
   の座標点以外の第２の座標点と該第３の座標軸の座標点
   群との異なる組の１つにそれぞれ対応する第２群の乗り
   換えスイッチの対応する１つに接続されている並列プロ
   セッサ。
10. 【請求項１０】各第１種のクロスバスイッチと各第２種
    のクロスバスイッチは、互いに同じ回路からなる、請求
    項８または９記載の並列プロセッサ。
11. 【請求項１１】それぞれｐ箇の第１の座標軸の座標点群
    の１つに対応して設けられ、それぞれｑ箇の入出力ポ−
    トを有する、ｐ箇の第１種のクロスバスイッチと、 それぞれｑ箇の第２の座標軸の座標点群の１つに対応し
    て設けられ、それぞれｐ箇の入出力ポ−トを有する、ｑ
    箇の第２種のクロスバスイッチと、 それぞれ第１から第３の入出力ポ−トを有し、それらの
    間でデ−タの転送をするｐ箇掛けるｑ箇の乗換えスイッ
    チからなり、 それぞれの乗換えスイッチは、該第１の座標軸の座標点
    群と該第２の座標軸の座標点群との異なる組の１つに対
    応して配列され、それぞれの第１の入出力ポ−トが対応
    する組の第１の座標軸の座標点群に対応する１つの第１
    種のクロスバスイッチ内の１つの入出力ポ−トに接続さ
    れ、それぞれの第２の入出力ポ−トが対応する組の第２
    の座標軸の座標点群に対応する１つの第２種のクロスバ
    スイッチ内の１つの入出力ポ−トに接続され、それぞれ
    の第３の入出力ポ−トはデ−タ処理装置が接続され、 該ｐ箇の第１種のクロスバスイッチと該ｑ箇の第２種の
    クロスバスイッチとｐ箇掛けるｑ箇の乗換えスイッチ
    は、相互に接続された実質的に同一構造の複数の実装単
    位上に構成され、 各実装単位は、 １つの第１種のクロスバスイッチと、 １つの第２種のクロスバスイッチと、 それぞれ該１つの第１種のクロスバスイッチのｐ箇の入
    出力ポ−トの対応する１つにその第１の入出力ポ−トに
    接続された、ｐ箇の乗換えスイッチと、 そのｐ箇の乗換えスイッチの内の１つの乗換えスイッチ
    の第２の入出力ポ−トが上記１つの第２種のクロスバス
    イッチの１つの入出力ポ−トに接続され、 該実装単位は、そのｐ箇の乗換えスイッチの内の残りの
    ｐ箇の乗換えスイッチの第２の入出力ポ−トがそれぞれ
    他の対応する１つの実装単位上の１つの第２種のクロス
    バスイッチの１つの入出力ポ−トに接続されているクロ
    スバネットワ−ク。
12. 【請求項１２】該ｐと該ｑはともに２のｉ乗プラス１
    （ｉは正の整数）である請求項１１記載のクロスバネッ
    トワ−ク。
13. 【請求項１３】各実装単位上に該複数の装置の１部の装
    置がそれぞれ、その上の該ｐ箇の乗換えスイッチのいず
    れか１つに含まれている第３の入出力ポ−トに接続され
    て、実装されている請求項１１記載の並列プロセッサ。
14. 【請求項１４】それぞれ並列処理プログラムを実行する
    複数の実行プロセッサと、それらの実行プロセッサを接
    続するネットワ−クからなる並列プロセッサにおいて、 少なくとも１つのフロントエンドプロセッサと、 そのネットワークは、 それぞれ、並列にデータを転送可能な複数の部分ネット
    ワークからなる複数群の部分ネットワークと、 互いに異なる部分ネットワークに属する複数の部分ネッ
    トワークにそれぞれ含まれる複数の入出力ポートをそれ
    ぞれ接続する複数の乗り換えスイッチとを有し、 該複数の実行プロセッサは、該一つの群に属する複数の
    部分ネットワークの各々に含まれる２のべき乗個の入出
    力ポートの一つにそれぞれ接続された複数の乗り換えス
    イッチに接続され、 該他の群の内の一つの群に属する複数の部分ネットワー
    クの各々に対応する入出力ポートおよび該フロントエン
    ドプロセッサに接続された入出力ポートを有する他の一
    つの部分ネットワークとを更に有し、 該他の一つの群に属する複数の部分ネットワークの各々
    は、該他の部分ネットワークの一つの入力ポートに接続
    された一つの入出力ポートを更に有する並列プロセッ
    サ。
15. 【請求項１５】各部分ネットワークは、クロスバスイッ
    チからなる請求項１４に記載の並列プロセッサ。