JPH0877127A - プロセッサ間データ転送方法及び並列計算機 - Google Patents
プロセッサ間データ転送方法及び並列計算機Info
- Publication number
- JPH0877127A JPH0877127A JP7179394A JP17939495A JPH0877127A JP H0877127 A JPH0877127 A JP H0877127A JP 7179394 A JP7179394 A JP 7179394A JP 17939495 A JP17939495 A JP 17939495A JP H0877127 A JPH0877127 A JP H0877127A
- Authority
- JP
- Japan
- Prior art keywords
- network
- message
- partial
- relay switch
- transferred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Abstract
ず、1対1転送、ブロードキャスト等のメッセージの転
送におけるデッドロックを回避することにある。 【構成】 プロセッサと中継スイッチ及びクロスバスイ
ッチ、ホスト計算機またはSVPで構成され、中継スイ
ッチ及びクロスバスイッチは、経路指示回路と経路情報
変更回路と、迂回指示回路及び一致判定回路(中継スイ
ッチ)を有し、例えば、PE01からメッセージをブロ
ードキャストする場合、メッセージ中の転送制御情報
と、ホスト計算機またはSVPにより中継スイッチ及び
クロスバスイッチに設定された経路情報により、ブロー
ドキャストメッセージをまず特定のクロスバスイッチ
(例えば、135)に転送し、そこからブロードキャス
トする。また、1対1転送メッセージの転送経路中の部
分ネットワークに故障がある場合には、まず、特定のク
ロスバスイッチに迂回転送し、そこから1対1転送す
る。
Description
ネットワークを介してメッセージ転送を行なうプロセッ
サ間データ転送方法及び並列計算機に係り、特に一つの
プロセッサから多数のプロセッサにデータを転送する放
送機能を有するプロセッサ間データ転送方法及び並列計
算機に関する。
してメッセージ転送を行なう並列計算機において、重要
なデータ転送機能にブロ−ドキャストがある。キューブ
型のネットワークを持ち、あるプロセッサから他のプロ
セッサへの転送経路が短かくデータを高速に転送できる
並列計算機において、ブロードキャスト機能を実現する
方法としては、例えば特開平1−267763に開示さ
れている方式がある。上記特開平1−267763に開
示されている方式は、n台のプロセッサをn=n1×n2
×n3×……×nnと因数分解し、これらの因数の各々を
1辺の格子点数とするn次元格子空間上にプロセッサを
並べ、その各辺をクロスバスイッチからなる部分ネット
ワークで結合してメッセージ転送経路を構成し、1つの
プロセッサから全プロセッサへデータを並列に転送する
ブロードキャスト機能を実現している。
て、ブロードキャストの他に、ある限定された範囲のプ
ロセッサの集まりであるプロセッサグループ内のプロセ
ッサにのみデータを転送する、部分ブロードキャスト機
能がある。部分ブロードキャスト機能を実現する方法と
しては、例えば、特開平5−28122に開示されてい
る方式がある。上記特開平5−28122に開示されて
いる方式は、部分ブロードキャストすべきプロセッサ群
により定まる転送制御情報(transmit con
trol information)をネットワークに
あらかじめ記憶し、ネットワーク途中の複数箇所(転送
制御点)に部分ブロードキャストメッセージが到達した
場合に、その転送制御情報に従ってそのメッセージを下
流に転送するか否かを制御して、転送不要な経路へのデ
ータ転送がなるべく生じないように部分ブロードキャス
トを実現している。
してワ−ムホ−ルルーティングを用いている。このルー
ティングは、先だってすべての経路を確保しない。ある
経路では、データの先頭からデータの終わりが通りぬけ
る間のみ経路を確保する。ある経路を確保できない場
合、先に確保した経路を確保したまま待たされることに
なる。ところが、上記に示したブロードキャストおよび
部分ブロードキャスト方式の実施例で用いられている、
クロスバスイッチからなる複数の部分ネットワークから
なるネットワークを介して複数のプロセッサ間でメッセ
ージ転送を行なう並列計算機では、複数のプロセッサか
ら同時にブロードキャストメッセージが転送されると、
転送経路をとりあうことにより、デッドロックが発生す
る。上記の実施例は、システム中の唯1つのプロセッサ
から全プロセッサへデータを並列に転送する方法である
ため、複数のプロセッサからブロードキャストが発生し
た場合にデッドロックが発生してしまう。これを解決す
る方法として、電子情報通信学会技術研究報告Vol.
93,No.320では、ブロードキャストを実行する
プロセッサをシステム中で唯1つに制限する方法が紹介
されている。
よび部分ブロードキャスト方式の実施例は、障害が発生
した場合には対処できない。クロスバスイッチからなる
複数の部分ネットワークからなるネットワークにおい
て、故障が発生した場合にデータを転送する方法として
は、例えば特開平3−209550に開示されている方
式がある。上記特開平3−209550に開示されてい
る方式では、各部分ネットワークがそれぞれ接続する部
分ネットワークの故障情報を持つことにより、故障した
部分ネットワークにメッセージが送られるのを防止す
る。また、各部分ネットワークの選択アルゴリズムにお
いて、(前段の)部分ネットワークに接続した入力ポー
トからのメッセージを同じ部分ネットワークを接続した
出力ポートに送ることがないため、ネットワーク上でメ
ッセージが無限ループに陥ることなく、メッセージを正
しく受信プロセッサに転送することができる。
技術研究報告Vol.93,No.320では、ブロー
ドキャストを実行するプロセッサをシステム中で唯1つ
に制限することで、デッドロックを回避している。この
場合、他のブロードキャストを実行したいプロセッサ
は、一旦ブロードキャストを実行するプロセッサにメッ
セージを送り、ブロードキャストの代行をしてもらう。
しかしながら、一旦プロセッサにブロードキャストメッ
セージを取り込むと転送オーバーヘッドが大きくなる。
また、唯1つのプロセッサにブロードキャストメッセー
ジを集めるために、そのプロセッサへメッセージが集中
し、性能が低下する恐れがある。また、ブロードキャス
ト用のプロセッサから最も離れたプロセッサからのブロ
ードキャストメッセージであってもブロードキャスト用
のプロセッサを経由して転送しなければならないために
転送距離が通常の倍になり、性能が低下してしまう。
各部分ネットワークがそれぞれ接続する部分ネットワー
クの故障情報を持つことにより、故障した部分ネットワ
ークにメッセージが送られるのを防止する。しかしなが
ら、部分ネットワーク故障時に、ブロードキャストと1
対1転送、ブロードキャストと部分ブロードキャスト、
複数のブロードキャストがほぼ同時に発生した場合には
故障経路を迂回することによりデッドロックが発生して
しまう。
ロードキャストメッセージ及び部分ブロードキャストメ
ッセージを転送する場合に、デッドロックを回避し、特
定プロセッサへのメッセージの集中を緩和するプロセッ
サ間データ転送方法及び並列計算機を提供することにあ
る。本発明の別の目的は、故障部分ネットワークを有す
るシステムにおいて、複数のプロセッサから1対1転送
メッセージ、ブロードキャストメッセージ及び部分ブロ
ードキャストメッセージを転送する場合に、特定プロセ
ッサへのメッセージの集中を緩和し、デッドロックを回
避するプロセッサ間データ転送方法及び並列計算機を提
供することにある。
め、本発明は、n次元(n≧2)の各次元毎に複数の部
分ネットワークを設け、各次元の部分ネットワークの交
点に該各次元の部分ネットワークに接続される中継スイ
ッチを配置し、該中継スイッチにプロセッサを接続し、
複数のメッセージを複数のプロセッサ間で並列に転送可
能にしたネットワークにおけるメッセージを転送先プロ
セッサに転送するプロセッサ間データ転送方法であっ
て、ブロードキャストメッセージを逐次化するための部
分ネットワークであるシリアライズネットワークの経路
情報を各部分ネットワーク及び各中継スイッチ中に予め
記憶し、送信元プロセッサから転送されるブロードキャ
ストメッセージを前記経路情報に従って部分ネットワー
ク及び中継スイッチを介してシリアライズネットワーク
に転送し、該シリアライズネットワークは該シリアライ
ズネットワークに接続された各中継スイッチを介して次
元の異なる各部分ネットワークにメッセージを転送し、
該各部分ネットワークに接続された中継スイッチを介し
て各プロセッサにメッセージをブロードキャストするよ
うにしている。また、前記部分ネットワークの故障情報
を関連する前記中継スイッチに予め記憶し、該関連する
中継スイッチに接続されたプロセッサが送信元プロセッ
サとして1対1メッセージを転送するとき、該中継スイ
ッチは前記故障情報に基づき該メッセージを前記シリア
ライズネットワークに転送するようにしている。また、
前記中継スイッチの故障情報を関連する前記部分ネット
ワークに予め記憶し、前記部分ネットワークは送信元プ
ロセッサから転送される1対1メッセージを前記故障情
報に基づき故障中継スイッチを介することなく転送する
ようにしている。また、前記経路情報は前記部分ネット
ワークに付された番号を含む情報であるようにしてい
る。また、前記部分ネットワークはクロスバスイッチで
あるようにしている。また、前記部分ネットワークは、
前記経路情報により転送先を決定する手段を有するよう
にしている。また、前記中継スイッチは、前記故障情報
により転送先を決定する手段を有するようにしている。
また、前記部分ネットワークは、前記故障情報により転
送先を決定する手段を有するようにしている。また、前
記中継スイッチは、該中継スイッチに接続されたプロセ
ッサの装置番号と前記経路情報を比較する手段を有する
ようにしている。また、前記転送先を決定する手段は、
該転送先としてシリアライズネットワークあるいはメッ
セージ中の転送先プロセッサのいずれかを選択する選択
手段を有するようにしている。また、前記シリアライズ
ネットワークに接続され、該シリアライズネットワーク
にメッセージを転送する中継スイッチは、該メッセージ
を同時に、該中継スイッチに接続された他の部分ネット
ワーク及び該中継スイッチに接続されたプロセッサに転
送し、該シリアライズネットワークは該中継スイッチか
ら転送されたメッセージを該中継スイッチには転送しな
いようにしている。また、ブロードキャストメッセージ
をシリアライズネットワークからブロードキャストする
場合には、該シリアライズネットワークに接続された全
ての中継スイッチにメッセージを転送し、ブロードキャ
ストメッセージをシリアライズネットワーク以外の部分
ネットワークからブロードキャストする場合には、該部
分ネットワークへブロードキャストメッセージを転送し
た中継スイッチ以外の全ての中継スイッチにメッセージ
を転送するようにしている。またさらに、n次元(n≧
2)の各次元毎に複数の部分ネットワークを設け、各次
元の部分ネットワークの交点に該各次元の部分ネットワ
ークに接続される中継スイッチを配置し、該中継スイッ
チにプロセッサを接続し、複数のメッセージを複数のプ
ロセッサ間で並列に転送可能にしたネットワークにおい
て、該複数のプロセッサから選択された一群のプロセッ
サに選択的に部分ブロードキャストメッセージを転送す
るプロセッサ間データ転送方法であって、前記部分ブロ
ードキャストメッセージ内に前記一群のプロセッサを指
定する範囲情報を設定し、部分ブロードキャストメッセ
ージを逐次化するための部分ネットワークであるシリア
ライズネットワークの経路情報を各部分ネットワーク及
び各中継スイッチ中に予め記憶し、送信元プロセッサか
ら転送される部分ブロードキャストメッセージを前記経
路情報に従って部分ネットワーク及び中継スイッチを介
してシリアライズネットワークに転送し、該シリアライ
ズネットワークは、該シリアライズネットワークに接続
され、前記範囲情報の条件を満たす中継スイッチを介し
て次元の異なる部分ネットワークにメッセージを転送
し、該部分ネットワークは前記範囲情報の条件を満たす
中継スイッチを介してプロセッサにメッセージを転送す
るようにしている。また、前記経路情報は前記部分ネッ
トワークに付された番号を含む情報であるようにしてい
る。また、前記部分ネットワークはクロスバスイッチで
あるようにしている。
用を有している。送信元プロセッサにおいてブロードキ
ャストメッセージおよび部分ブロードキャストメッセー
ジが発生すると、部分ネットワークは、あらかじめ記憶
された転送制御情報に従ってシリアライズネットワーク
にそのメッセージを転送する。また、送信元プロセッサ
において1対1転送が発生した場合に、その転送経路中
に故障部分ネットワークがあると、部分ネットワークは
あらかじめ記憶された故障情報に従ってシリアライズネ
ットワークにそのメッセージを転送する。そして、シリ
アライズネットワークはメッセージ中の転送制御情報に
よりメッセージを該当するプロセッサに転送する。これ
によって、デッドロックを回避し、かつ特定プロセッサ
の転送オーバーヘッドを削減し、かつ特定プロセッサへ
のメッセージの集中を緩和するブロードキャストおよび
部分ブロードキャストを実現することができる。さら
に、部分ネットワーク中に故障がある場合にも、デッド
ロックを回避し、かつ特定プロセッサへのメッセージの
集中を緩和するプロセッサ間データ転送を実現すること
ができる。
る。本実施例では、複数ブロードキャストが発生した場
合に、ブロードキャストのシリアライズを特定の部分ネ
ットワークで行うこと、さらに部分ネットワークのうち
のいずれか1箇所が故障している場合に、複数ブロード
キャストのシリアライズおよび、1対1転送の迂回を特
定の部分ネットワークで行うことを考える。複数の故障
にも対処できる場合もあるが、ここでは、故障を1箇所
に限定することにより、動作を保証する。また本実施例
では、特定PEへのメッセージ転送(1対1転送)と、
全PEへのメッセージ転送(ブロードキャスト)が可能
になっている。
を示したものである。図1において100〜115は並
列計算機を構成するプロセッサ(以下PEと略する)で
ある。132〜135はX方向のクロスバスイッチ(以
下X−XBと略する)、136〜139はY方向のクロ
スバスイッチ(以下Y−XBと略する)であり、それぞ
れ上記部分ネットワークに対応するものである。以下で
は、これらのクロスバスイッチを区別しない場合は、単
にXBと呼ぶことがある。116〜131は各X−XB
と各Y−XBの交点に設けられた中継スイッチ(以下E
Xと略する)である。XB、EXをまとめてハイパクロ
スバネットワークと呼ぶ。140はホスト計算機または
サービスプロセッサ(SVP)である。
が、内部にデータおよびプログラムを格納するメモリ
と、データを用いてプログラムを実行するCPUで構成
され、それぞれ独立に動作可能である。各PEは2次元
座標空間の1つの格子点のX座標、Y座標をそのPE番
号として与えられている。各X−XBは同一のY座標を
有するPEに対して設けられ、そのY座標iをつけてX
i−XBと呼ぶ。各Y−XBは同一のX座標を有するP
Eに対して設けられ、そのX座標jをつけてYj−XB
と呼ぶ。各EXは1つのPEに対応して設けられ、以下
では対応するPEと同じ番号をつける。ここでは、X方
向の4本のXB、Y方向の4本のXBを持つ並列計算機
を例にとったが、実際はX方向m本のXB、Y方向n本
のXBでもよい。また、2次元構成の並列計算機を例に
とったが、n次元構成でもよい。ホスト計算機またはS
VP140は、各プロセッサ100〜115へプログラ
ムとデータをロードし、また、プログラムの終了後、各
プロセッサで得られた結果のデータを読み出す。また、
ブロードキャストを逐次化し、また故障時の1対1転送
を迂回するための部分ネットワーク(以下、シリアライ
ズネットワークと呼ぶ)の経路情報(以下、シリアライ
ズネットワーク番号と呼ぶ)をあらかじめセットする。
るシリアライズネットワークはいずれのクロスバスイッ
チでもよい。いずれかのX系クロスバスイッチ(Xi−
XB)が故障している場合、シリアライズネットワーク
は、Xi−XBと同次元かつ異なるクロスバスイッチ
(Xj−XB(i≠j))であればいずれでもよい。例
えば、クロスバスイッチ134(X2−XB)が故障し
ている場合、シリアライズネットワークは、クロスバス
イッチ135(X3−XB)とする。逆に、Y系クロス
バスイッチが故障している場合は、Y系クロスバスイッ
チの一つをシリアライズネットワークとする。中継スイ
ッチが故障している場合、シリアライズネットワーク
は、その故障中継スイッチが接続していないクロスバス
イッチであればいずれでもよい。また、本実施例では、
メッセージの転送には、固定ルーティングを用い、すべ
てのメッセージに対して故障XB(シリアライズネット
ワーク)のある次元方向にまず転送したのち、他次元に
転送する。例えば、X系XBが故障している場合、通常
ルーティングのメッセージを、まずX方向に転送し、次
にY方向に転送する。反対に、Y系XBが故障している
場合は、メッセージをまずY方向に転送し、次にX方向
に転送する。本実施例では、例として2次元構成の場合
について述べるが、N次元構成の場合についても同様で
ある。例えば、i次元のクロスバスイッチが故障した場
合、シリアライズネットワークは故障XB以外のi次元
クロスバスイッチとし、メッセージの転送順序は、i次
元方向→i+1次元方向→i+2次元方向→…→i−1
次元方向とすればよい。
−XBから転送されたメッセージをY−XB、X−XB
またはPEに転送する回路である。EXは、EXに接続
するXBの故障情報により、到着したメッセージの転送
制御情報を付けかえる迂回指示回路610と、ホスト計
算機またはSVP140によりあらかじめ記憶されたシ
リアライズネットワークの番号と各EXが接続するPE
の番号を比較する一致判定回路611と、一致判定回路
611の出力信号により、シリアライズネットワークに
到着したメッセージの転送制御情報を付けかえる経路情
報変更回路601〜603と、転送されたメッセージ内
の経路情報とホスト計算機およびSVPによりあらかじ
め記憶されたシリアライズネットワークまでの経路情報
と一致判定回路611の出力により、そのメッセージの
転送先を決定する経路指示回路600を有する。本発明
では、EX内に迂回指示回路、一致判定回路、経路情報
変更回路および経路指示回路を有することが特徴である
各XBは、いずれかの入力ポートから入力された放送メ
ッセージを複数の出力ポートに並列に転送する回路であ
る。XBは、XBに接続するEXの故障情報により、転
送されたメッセージの出力ポートを変更する迂回指示回
路905と、メッセージの転送情報を付け変える経路情
報変更回路906〜909と、経路指示回路900を有
する。経路指示回路900は、シリアライズネットワー
クの情報を保持するレジスタ群1100と、そのXBが
シリアライズネットワークである場合に、複数のPEか
ら互いに並列に送出された複数のブロードキャストメッ
セージを順次送出するためのブロードキャスト逐次回路
1180を有する。本発明では、XB内に迂回指示回
路、経路情報変更回路および経路指示回路を有し、経路
指示回路中にブロードキャスト逐次回路を持つことが特
徴である。
の簡単な動作を示す。図2はネットワークが正常である
場合にPE01からブロードキャストを行なう様子を示
す。ここでは、シリアライズネットワークをXB135
とする。PE01から出力されたブロードキャストメッ
セージは各EXの一致判定回路の出力が0であるうち
は、経路指示回路中の選択回路においてシリアライズネ
ットワークへの経路が選択され、出力が1になると、す
なわちそのメッセージがシリアライズネットワークを通
過する場合、経路情報変更回路によりメッセージ中の経
路情報が変更され、ブロードキャストされる。ここで
は、ブロードキャストについてのみ説明したが、1対1
転送は従来の手順で行なえるため省略する。
BあるいはEXが故障した場合に、ブロードキャストを
行なう場合と1対1転送を行なう場合の経路を示す。こ
こでは、故障XBをXB134とし、ブロードキャスト
のシリアライズと1対1転送の迂回をXB135で行な
うことを考える。図3(a)のようにXB故障時にブロ
ードキャストする場合、シリアライズネットワークを故
障XBと同次元のXB135にすることで、故障がない
場合と同様にメッセージを転送できる。図3(b)のよ
うにXB故障時にPE21からPE23へ1対1転送を
行なう場合、PE21から出力された1対1転送メッセ
ージはEX21の迂回指示回路により迂回動作を指示さ
れ、各EXの一致指示回路の出力が0のうちは、経路指
示回路中の選択回路においてシリアライズネットワーク
への経路が選択され、出力が1になると、すなわちその
メッセージがシリアライズネットワークを通過すると、
経路情報変更回路によりメッセージ中の経路情報が変更
され、PE23へ転送される。
ストする場合、シリアライズネットワークを故障EXに
接続しないXB135にすることで、故障がない場合と
同様にメッセージを転送できる。図4BのようにEX故
障時にPE21からPE12へ1対1転送を行なう場
合、PE21から出力された1対1転送メッセージはX
B134中の迂回指示回路により迂回動作を指示され、
各EX内の一致指示回路の出力が0のうちは、経路指示
回路中の選択回路においてシリアライズネットワークへ
の経路が選択され、出力が1になると、すなわちそのメ
ッセージがシリアライズネットワークを通過すると、経
路情報変更回路によりメッセージ中の経路情報が変更さ
れ、PE12へ転送される。
シリアライズを、特定のクロスバスイッチが行うことが
特徴である。本実施例のもう一つの特徴は、いずれかの
XBが故障した場合に、ブロードキャストのシリアライ
ズと、故障により迂回が必要な1対1転送の迂回を、故
障XBと同次元にあるクロスバスイッチのうちの一つが
行うことである。また、いずれかのEXが故障した場合
には、ブロードキャストのシリアライズと、故障により
迂回が必要な1対1転送の迂回を故障EXに接続しない
XBが行うことも特徴である。
ッセージは、図5(a)に示すように送信PE番号、受
信PE番号、コントロール(CTL)ビット、データを
それぞれ保持するフィールドにより構成される。送信P
E番号はメッセージを送り出すPEの番号である。受信
PE番号はメッセージを受け取るPEの番号である。C
TLビットは、メッセージの持つ属性を示し、ブロード
キャストであることを示すビット(BCビット)、シリ
アライズネットワークに転送中であることを示すビット
(SBビット)を内部に持っている。ブロードキャスト
メッセージをシリアライズネットワークに転送中である
場合、図5(b)に示すようにBC=SB=1となる
が、受信PE番号は有意な値とならない。*はこのこと
を示す。ブロードキャストメッセージがシリアライズネ
ットワークから放送されている場合、図5(c)に示す
ようにBC=1、SB=0となるが、受信PE番号は有
意な値とならない。また、1対1転送で、転送経路途中
に故障XBがある場合、シリアライズネットワーク上で
迂回するため、図5(e)に示すようにBC=0、SB
=1となる。通常の1対1メッセージ、あるいは迂回に
より、シリアライズネットワークからメッセージが転送
されている場合、図5(d)に示すように送信PE番
号、受信PE番号は有意な値となるが、BC=0、SB
=0となる。
ジの制御について説明する。いずれのEXもハードウェ
ア構成は同じである。EXは、経路情報変更回路601
〜603と、入力バッファ604〜606と、経路指示
回路600と、出力ポート607〜609と、迂回指示
回路610と、一致判定回路611で構成される。一致
判定回路611は、レジスタ612およびレジスタ61
3と比較器614で構成される。レジスタ612および
613には、ホスト計算機またはSVP140によりそ
のEXが直接接続するPE番号とシリアライズネットワ
ーク番号があらかじめセットされる。比較器614は、
レジスタ612とレジスタ613の値を比較し、比較結
果を出力する。迂回指示回路610は、レジスタ615
とORゲート616で構成され、レジスタ615に設定
されたEXに接続するXBの故障情報により、そのメッ
セージの転送制御情報SBビットを0から1につけかえ
る。故障がない場合はメッセージ中の転送制御情報SB
ビットを変更しない。経路情報変更回路601〜603
は、ブロードキャストメッセージあるいは迂回すべきメ
ッセージが転送された場合、一致判定回路614の出力
信号614Sにより、そのメッセージの転送制御情報S
Bビットをつけかえる。入力バッファ604〜606
は、入力メッセージを一時的に保持する。経路指示回路
600は、入力バッファ内のブロードキャストメッセー
ジ中のCTLビットとあらかじめ設定されたシリアライ
ズネットワ−クの経路情報613Sにより、その送信先
を決定する。出力ポート607は、セレクタ617と出
力バッファ620で構成され、X−XB、Y−XBおよ
びPEへメッセージを送り出す。セレクタ617では、
経路指示回路600からの信号により送信すべきメッセ
ージが選択される。出力バッファ620は、選択された
メッセージを一時的に保持する。出力ポート608およ
び609も同様な構成である。
示す。経路指示回路600は、選択回路701〜703
と、アドレスデコーダ704〜706と、プライオリテ
ィ回路707〜709と、ANDゲート群710と、O
Rゲート群711で構成される。本発明では、従来技術
で実現できるアドレスデコーダ、プライオリティ回路お
よびORゲート群のほかに、選択回路701〜703と
ANDゲート群710を有するところが新規である。信
号M(PE)、M(X)、M(Y)はそれぞれのEXが
接続されたPE、X−XB、Y−YBから入力されたメ
ッセージの信号(受信PE番号、シリアライズビットS
B、ブロードキャストビットBC)を示す。また、出力
信号PX、XX、YXはそれぞれPE、X−XB、Y−
XBから入力されたメッセージをX−XBへ送信するこ
とを示す。同時に、出力信号PY、XY、YYはそれぞ
れPE、X−XB、Y−XBから入力されたメッセージ
をY−XBへ送信することを、出力信号PP、XP、Y
PはそれぞれPE、X−XB、Y−XBから入力された
メッセージをPEへ送信することを示す。
(図6参照)に入力されたメッセージM(PE)がシリ
アライズネットワークに向かうブロードキャストメッセ
ージ(BC=1、SB=1)、あるいは接続XBが故障
(BC=0、SB=1)している場合には、信号613
Sの出力であるシリアライズネットワーク番号を選択
し、通常の1対1転送(SB=0、BC=0)である場
合にはメッセージ中の受信PE番号を選択する。選択回
路702および703も選択回路701と同様である。
アドレスデコータ704〜706は選択回路701〜7
03により選択されたメッセージの経路情報をデコード
し、それぞれメッセージの送信先を決定し、ORゲート
群711に信号を出力する。プライオリティ回路707
〜709は、入力された3つのメッセージのうちのいず
れか1つを選択し、信号SX、SY、SPを出力する。
ここでは、到着順にメッセージを選ぶ。ORゲート群7
11は、ORゲート715〜723で構成され、AND
ゲート群710の出力信号と、アドレスデコーダ704
〜706の出力信号の論理和をとる。
論理積をとる。図8にANDゲート群710の内部構成
を示す。ANDゲート群710はANDゲート801〜
803と、ANDゲート804〜816と、あらかじめ
ホスト計算機またはSVP140によりルーティング順
序を示すビットを設定するレジスタ800で構成され
る。レジスタ800には、ルーティング順序がX→Yの
場合は1を、逆にY→Xの場合は0をセットする。
キャストメッセージ中の転送制御情報BCビットが1、
SBビットが0であるとき、即ちブロードキャストメッ
セージをシリアライズネットワークから放送する場合に
1となる。ANDゲート804〜816は、レジスタ8
00と、信号614Sにより、どの出力信号を1にする
かを決定する。
場合、本実施例の経路指示回路600は次のように動作
する。 (1)故障がない場合 ・1対1転送 PEでは、転送制御情報BCおよびSBはいずれも0に
なっている。選択回路701により、メッセージ中の受
信PE番号をアドレスデコーダ704でデコードして送
信先を決定し、ORゲート群711中のORゲート71
5、718、721のいずれかに信号1を出力する。他
のアドレスデコーダ705、706も同様に動作する。 ・ブロードキャスト PEでは、転送制御情報BCおよびSBが1になってい
る。各EX内の経路指示回路において a)SB=1の場合:選択回路701により、レジスタ
613(図6参照)に保持されているシリアライズネッ
トワーク番号をアドレスデコーダ704でデコードして
送信先を決定し、ORゲート群711中のORゲート7
15、718、721のいずれかに信号1を出力する。
他のアドレスデコーダ705、706も同様に動作す
る。 b)SB=0の場合:PEからメッセージが転送された
場合、選択回路701によりメッセージ中の受信PE番
号をアドレスデコーダ704でデコードして送信先を決
定し、ORゲート群711中のORゲート715に信号
1を出力する。X系XBからメッセージが転送された場
合、ORゲート群711中のORゲート719および7
22に信号1を出力する。Y系XBからメッセージが転
送された場合、ORゲート群711中のORゲート72
3に信号1を出力する。
いずれも0になっている。そのメッセージを転送するE
XにXBの故障情報が設定されている場合には、レジス
タ615の値により、迂回指示回路616(図6参照)
において、SBビットを0から1に付けかえる。 a)SB=1の場合:選択回路701により、レジスタ
613(図6)に保持されているシリアライズネットワ
ーク番号をアドレスデコーダ704でデコードして送信
先を決定し、ORゲート群711中のORゲート71
5、718、721のいずれかに信号1を出力する。他
のアドレスデコーダ705、706も同様に動作する。 b)SB=0の場合:選択回路701により、メッセー
ジ中の受信PE番号をアドレスデコーダ704でデコー
ドして送信先を決定し、ORゲート群711中のORゲ
ート715、718、721のいずれかに信号1を出力
する。他のアドレスデコーダ705、706も同様に動
作する。 ・ブロードキャスト 故障がない場合と同様に動作する。
(i=0、1、2または3)の構成を示す。Y方向クロ
スバスイッチも同様である。クロスバスイッチXi―X
Bは、経路指示回路900と、迂回指示回路905と、
経路情報変更回路906〜909と、スイッチ901〜
904で構成される。本実施例では、迂回指示回路と経
路情報変更回路を有することが新規である。経路指示回
路900は、入力されたメッセージをどのスイッチから
転送するかを決定する。スイッチ901〜904は、4
つの入力ポートのうちの1つを選択する。図の入出力信
号EX0〜EX3は、そのXBに接続されたEXi0〜
EXi3からの信号を示す。例えば、X0―XBの場
合、入出力信号EX0〜EX3はEX00〜EX03に
置き換えられる。また、Y0―XBの場合、入出力信号
EX0〜EX3はEX00〜EX30に置き換えられ
る。XBはクロスバスイッチであるため、入力EX0〜
EX3のいずれもが、そのままスイッチ901〜904
に接続され、いずれかの入力ポートから入力されたメッ
セージはそのままスイッチ901〜904に転送され
る。
0からの信号S0、S1、S2、S3と、ホスト計算機
およびSVP140からの信号により、故障したEXに
は信号を出力せずに、となりのEXに接続するポートに
信号を出力する。経路情報変更回路906は、迂回指示
回路905からの信号により、メッセージ中の転送制御
情報SBビットを付けかえる。経路情報変更回路907
〜909も経路情報変更回路906と同様な構成であ
る。図10に迂回指示回路905の構成を示す。迂回指
示回路905は、レジスタ1000と、ANDゲート1
001〜1004、1009〜1012と、ORゲート
1005〜1008で構成される。レジスタ1000に
は、ホスト計算機およびSVP140により、そのXB
に接続しているEXの故障情報があらかじめセットされ
る。例えば、そのXBの0番目の出力ポートに接続する
EXが故障している場合、レジスタ1000には100
0がセットされる。ANDゲート1001〜1004は
レジスタ1000内の出力したいポートに該当するビッ
トが1になっている場合(故障EXがある)に出力が1
になり、となりのポートに出力する。例えば、S0から
の出力信号が1である場合に、ポート0に接続するEX
が故障していると、レジスタ1000の1ビット目に1
がたっているため、ANDゲート1001の出力が1に
なり、その結果、ORゲート1006の出力が1とな
り、S1の出力が1になる。本実施例では、迂回先をと
なりのポートとしたが、故障箇所を1箇所に制限すれ
ば、いずれのポートを迂回先としてもよい。
す。経路指示回路900はレジスタ群1100と選択回
路1101〜1104と、アドレスデコーダ1105〜
1108と、ブロードキャスト逐次回路1180と、ア
ンドゲート1121〜1128と、プライオリティ回路
1109〜1112と、ORゲート群1114で構成さ
れる。レジスタ群1100は、レジスタ1115と、レ
ジスタ1116〜1119で構成される。レジスタ11
15には、そのXBがシリアライズネットワークである
場合に、ホスト計算機およびSVPの信号141によ
り、あらかじめ1がセットされる。また、レジスタ11
16〜1119には、ホスト計算機およびSVP140
により、あらかじめポート対応にシリアライズネットワ
ーク番号ijがセットされる。例えば、本実施例では、
シリアライズネットワークがXi−XB(i=3)であ
る場合、レジスタ1116には30、レジスタ1117
には31、レジスタ1118には32、レジスタ111
9には33がセットされる。選択回路1101〜110
4は、メッセージ中の転送制御情報SBビットが1(入
力メッセージがシリアライズネットワークに向かうブロ
ードキャスト、あるいは1対1転送の迂回動作)である
場合には、シリアライズネットワークの経路情報を選択
し、通常の1対1転送である場合にはメッセージ中の受
信PE番号を選択する。アドレスデコータ1105〜1
108は選択回路1101〜1104により選択された
メッセージの経路情報をデコードし、メッセージの送信
先を決定する。
された4つの信号21i、22i、23i、24iのう
ちいずれか一つを選択し、信号21o、22o、23
o、24oのいずれかに出力する。図20にブロードキ
ャスト逐次回路1180の構成を示す。1180は、プ
ライオリティ回路2001と、セレクタ2002〜20
05で構成される。プライオリティ回路20001は、
入力された4つの信号のうちのいずれか1つを選択し、
信号S0、S1、S2、S3のいずれか一つに出力す
る。ここでは到着順にメッセージを選択する。複数のブ
ロードキャストメッセージが同時に転送された場合に
は、ブロードキャスト逐次回路1180により、メッセ
ージを逐次にして転送する。プライオリティ回路110
9〜1112は、入力された4つのメッセージのうちの
いずれか1つを選択し、信号S0、S1、S2、S3を
出力する。ここでは、到着順にメッセージを選ぶ。AN
Dゲート1121〜1124では、ブロードキャストメ
ッセージ中の転送制御情報BCビットが1、SBビット
が0であるとき、即ち、ブロードキャストメッセージを
シリアライズネットワークからブロードキャストする場
合のみ出力が1となる。また、ANDゲート1125〜
1128では、レジスタ1115の値が1の場合のみ、
出力が1となる。ORゲート群1114は、ORゲート
1129〜1144で構成される。ORゲート群111
4は、アドレスデコーダの出力と、ANDゲート群の出
力によりいずれかのORゲートの出力を1にする。出力
信号D00、D10、D20、D30はそれぞれEX
0、EX1、EX2、EX3から入力されたメッセージ
をEX0へ送信することを示す。同時に、出力信号D0
1、D11、D21、D31はそれぞれEX0、EX
1、EX2、EX3から入力されたメッセージをEX1
へ送信することを、出力信号D02、D12、D22、
D32はそれぞれEX0、EX1、EX2、EX3から
入力されたメッセージをEX2へ送信することを、出力
信号D03、D13、D23、D33はそれぞれEX
0、EX1、EX2、EX3から入力されたメッセージ
をEX3へ送信することを示す。
路指示回路900は次のように動作をする。 (1)故障がない場合 ・1対1転送 PEでは、転送制御情報BCビットおよびSBビットは
いずれも0になっている。選択回路1101により、メ
ッセージ中の受信PE番号をアドレスデコーダ1104
でデコードして送信先を決定し、ORゲート群1114
中のORゲート1129、1133、1137、114
1のいずれかに信号1を出力する。他のアドレスデコー
ダ1106〜1108も同様に動作する。
ライズネットワーク番号を選択し、それをアドレスデコ
ーダ1105でデコードして送信先を決定し、ORゲー
ト1129、1133、1137、1141のいずれか
に信号1を出力する。このとき、ANDゲート群の出力
は0である。また、他のアドレスデコーダ1106〜1
108も同様に動作する。 b)SB=0かつレジスタ1115の値が1の場合:E
X0からメッセージが転送された場合、ANDゲート1
121の出力21iが1になり、ブロードキャスト逐次
回路1180に転送される。ブロードキャスト逐次回路
1180では、プライオリティ回路2001において信
号S0の出力が1になり、セレクタ2002から21o
に1を出力する。ANDゲート1125の出力が1であ
るため、ORゲート1129、1133、1137、1
141のすべてに信号1を出力する。つまり、EX0か
ら転送されたブロードキャストメッセージはEX0、E
X1、EX2、EX3に転送する。EX0以外からメッ
セージが転送された場合も同様に動作する。 c)SB=0かつレジスタ1115の値が0の場合:E
X0からメッセージが転送された場合、ANDゲート1
121の出力21iが1になり、ブロードキャスト逐次
回路1180に転送される。ブロードキャスト逐次回路
1180では、プライオリティ回路2001において信
号S0の出力が1になり、セレクタ2002から21o
に1を出力する。ANDゲート1125の出力は0であ
る。ORゲート1133、1137、1141に信号1
を出力する。ORゲート1129には出力されない。
タ1116に保持されているシリアライズネットワーク
番号をアドレスデコーダ1105でデコードして送信先
を決定し、ORゲート群1114中のORゲート112
9、1133、1137、1141のいずれかに信号1
を出力する。このとき、ANDゲート1121〜112
8の出力は0である。また、他のアドレスデコーダ11
06〜1108も同様に動作する。
より、メッセージ中の受信PE番号をアドレスデコーダ
1105でデコードして送信先を決定し、ORゲート群
1114中のORゲート1129、1133、113
7、1141のいずれかに信号1を出力する。このと
き、ANDゲート1121〜1128の出力は0であ
る。また、他のアドレスデコーダ1106〜1108も
同様に動作する。 ・ブロードキャスト 故障のない場合のブロードキャストと同様に動作する。
ージ転送について説明する。まず、ネットワークが正常
に動作している場合について説明する。 (1)ブロードキャストメッセージの転送 図12は、PE01からブロードキャストが発生した場
合のメッセージの流れを示す。ここで、シリアライズネ
ットワークをXB135(X3−XB)とし、XB13
5内のレジスタ1115に1をセットする。ここでは、
シリアライズネットワークがXB135であるため、E
X内のシリアライズネットワーク番号を保持するレジス
タ613にはPE番号のX座標を3にした値をセットす
る。例えば、EX00内のレジスタには30を、EX2
0内のレジスタには30を、EX01内のレジスタには
31をセットする。シリアライズネットワーク内の各ポ
−ト対応にあるシリアライズネットワーク番号を保持す
るレジスタ1116〜1119には、あらかじめそのポ
−トに接続するEX番号(30、31、32、33)を
セットする。また、シリアライズネットワーク以外のX
B内の各ポ−ト対応にあるレジスタ1116〜1119
にはXBに接続するEX内のレジスタ613に保持した
値をセットする。また、ネットワークは正常であるた
め、故障情報レジスタ615、および故障情報レジスタ
1000の値は0である。
れた各プロセッサは、EXおよびXBを介して、実行に
必要なメッセージを相互に転送しあい、それぞれ独立に
プログラムを実行する。メッセージは送信元プロセッサ
PE01によって、図5に示すフォーマットに従って組
み立てられる。メッセージの組み立ては、プログラムに
よって行なわれても良いし、専用に設けられたハードウ
ェアにより行なわれても構わない。このとき、ブロード
キャストメッセージであるため、メッセージの転送制御
情報BCビットは1、SBも1である。
1で構成されたブロードキャストメッセージは、まずE
X01に転送される。EX01内部の動作を図6、図7
および図8を用いて説明する。一致判定回路611で
は、ホスト計算機およびSVP140によりあらかじめ
セットしてある自PE番号01とシリアライズネットワ
ーク番号31を比較して、比較結果が一致しないため、
信号614Sの出力が0になっている。まず、メッセー
ジの転送制御情報SBビットが迂回指示回路610に転
送される。迂回指示回路610では、ネットワークが正
常であるため、SBビットは変更されない。次にメッセ
ージは経路情報変更回路603に転送される。経路情報
変更回路603では、信号614Sの出力が0、SBビ
ットが1であるためANDゲート623の出力が1にな
り、SBビットは変更されずに入力バッファ606に保
持される。このとき、BC=1、SB=1のままであ
る。次に、経路指示回路600内部の動作を説明する。
まず、選択回路701では、メッセージの転送制御情報
BC=1、SB=1であるため、信号613Sが選択さ
れ、シリアライズネットワーク番号31がアドレスデコ
ーダ704でデコードされ、ORゲート群711に1が
出力される。ANDゲート群710では、BC=SB=
1であるため、図8に示すようにANDゲート801の
出力は0である。よって、アドレスデコーダの出力結果
がORゲート群711に反映される。デコーダの出力信
号によりORゲート718の出力が1になり、プライオ
リティ回路708でSYに1が出力される。図6では信
号SYが1になったのをうけて、セレクタ618でブロ
ードキャストメッセージが選択され、XB137に転送
される。以上のようにして、EX01から出力されたメ
ッセージはXB137(Y1−XB)に転送される(図
12参照)。
よび図11を用いて説明する。経路指示回路900で
は、BC=SB=1であるため、選択回路1101によ
りシリアライズネットワーク番号が選択され、アドレス
デコーダ1105でデコードされ、ORゲート群111
4のうちのORゲート1141の出力が1になり、プラ
イオリティ回路1112から信号線S3に出力される。
ANDゲート1121〜1128の出力は0のままであ
る。S3から出力された信号は迂回指示回路905に転
送される。迂回指示回路905では図10に示すように
レジスタ1000には故障情報がセットされていないた
め、ANDゲート1012の出力が1になり、迂回は行
なわない。ブロードキャストメッセージは、迂回指示回
路905から出力された信号S3によりスイッチ904
でEX31に転送される。経路情報変更回路903では
故障がないため、SBビットの変更はない。
び図8を用いて説明する。一致判定回路611では、自
PE番号31とシリアライズネットワーク番号31が一
致しているため、信号614Sの出力が1になってい
る。まず、メッセージの転送制御情報が経路情報変更回
路602に転送される。経路情報変更回路602では、
信号614Sの出力が1、転送制御情報SBビットが1
であるためANDゲート623の出力が0になり、SB
ビットは1から0に変更されメッセージが入力バッファ
605に保持される。このとき、BC=1、SB=0で
ある。次に、経路指示回路600内部の動作を説明す
る。メッセージの転送制御情報BC=1、SB=0であ
るため、図8に示すANDゲート群710のうちのAN
Dゲート803およびANDゲート807の出力が1に
なり、ORゲート717の出力が1になる。その結果、
プライオリティ回路707からSXに1が出力される。
図6では信号SXが1になったのをうけて、セレクタ6
17でブロードキャストメッセージが選択され、XB1
35に転送される。
れたメッセージはXB135に転送される。XB135
はシリアライズネットワークである。XB135内部の
動作を図9、図10及び図11を用いて説明する。図1
1の経路指示回路900では、BC=1、SB=0であ
るため、ANDゲート1122の出力が1になる。ま
た、XB135はシリアライズネットワークであるた
め、レジスタ1115には1がセットされており、AN
Dゲート1126の出力も1になる。その結果、ORゲ
ート1130、1134、1138、1142の出力が
1になり、S0、S1、S2、S3の出力が1となる。
経路指示回路900からの信号は迂回指示回路905に
入力するが、故障情報が設定されていないため、変更な
くスイッチ901〜904に出力される。経路情報変更
回路では、転送制御情報の変更はない。このようにし
て、EX31から転送されたメッセージはすべてのスイ
ッチからEXX30、EX31、EX32、EX33に
転送され、ブロードキャストメッセージのシリアライズ
が可能になる。
に入力されたメッセージの動作はすべて同じであるた
め、以降EX31に入力されたメッセージについて説明
する。EX31内部の動作を図6、図7および図8を用
いて説明する。EX31に転送されたメッセージは経路
情報変更回路601に転送される。経路情報変更回路6
01では、SBビットが0であるため、SBビットを変
更せずに入力バッファ604に保持する。図7に示す経
路指示回路600では、BC=1、SB=0であるた
め、ANDゲート群710のうちのANDゲート80
2、809および813の出力が1になり(図8参
照)、ORゲート719およびOR722の出力が1に
なる。その結果、SYおよびSPに1が出力される。図
6のセレクタ618および619でブロードキャストメ
ッセージが選択され、XB137およびPE31に転送
される。
れたメッセージはXB137に転送される。XB137
内の動作を図9、図10及び図11を用いて説明する。
メッセージはまず経路指示回路900に転送される。経
路指示回路900(図11参照)では、BC=1、SB
=0であるため、ANDゲート1124の出力が1にな
る。ブロードキャスト逐次回路1180(図20)では
24oへの経路が選択される。XB137はシリアライ
ズネットワークではないため、レジスタ1115には0
がセットされており、ANDゲート1128からは信号
が出力されない。その結果、ORゲート1132、11
36、1140の出力が1になり、S0、S1、S2の
出力が1となる。S3には出力しない。ネットワークは
正常であるため、迂回指示回路905において信号の変
更はない。EX31からのメッセージは図9のスイッチ
901〜903からEX01、EX11、EX21に転
送される。EX31には転送しないことで、デッドロッ
クを回避する。
じであるため、ここではEX01内部の動作を図6、図
7および図8を用いて説明する。図6において、一致判
定回路611の出力614Sは0になっている。Y−X
Bから入力されたメッセージは経路情報変更回路602
に転送される。SBビットは0であるから、SBビット
の変更はなく、入力バッファ605に保持される。図7
に示す経路指示回路600では、BC=1、SB=0で
あるため、図8中のANDゲート710内のANDゲー
ト803および816の出力が1になり、図7のORゲ
ート723の出力が1になる。その結果、SPに1が出
力される。図6では、セレクタ619においてブロード
キャストメッセージが選択され、PE01に転送され
る。
ドキャストは、PE01→EX01→Y1−XB→EX
31→X3−XB→EX3i(i=0、1、2および
3)→Yi−XB、PE3i(i=0、1、2および
3)→EXi0(i=0、1および2)→PEij(i
=0、1および2、j=0、1、2および3)のように
転送される。
と、図11に示すXB内のアドレスデコーダ1105〜
1108により、メッセージ中の受信PE番号のPEへ
選択的に転送される。ネットワーク中に故障がなく、か
つブロードキャストメッセージでない場合にはメッセー
ジの転送制御情報BCビット、SBビットとも0であ
り、経路情報変更回路、迂回指示回路および一致判定回
路は動作しない。そのため、公知例と同等の方法でメッ
セージを転送でき、ここでは説明を省略する。
する。
合のメッセージの流れを示している。ここで、故障XB
はクロスバスイッチ134(X2−XB)であり、各E
X内の故障XB情報保持レジスタ615に故障XB情報
をセットする。例えば、故障XBに接続するEX20〜
EX23の故障XB情報保持レジスタには01をセット
し、その他のEX内の故障XB情報保持レジスタには、
00をセットする。また、故障XBはX系XBであるた
め、ルーティング順序はX→Yとし、図8中のレジスタ
800にはあらかじめ1をセットする。本実施例では、
システム中の部分ネットワークの故障を1箇所に限定し
ているため、EXに故障はなく、各XB内の故障EX情
報保持レジスタ1000の値は0である。シリアライズ
ネットワークは故障XBと同次元方向のXBであればい
ずれでもよいが、ここでは、XB135(X3−XB)
とし、XB135内部のレジスタ1115に1をセット
する。EX内部のレジスタ613、XB内部のレジスタ
1115〜1119にセットする値は図12と同じであ
る。本発明では、XBが故障している場合にはシリアラ
イズネットワークを故障XBと同次元にあるXBのうち
の一つに設定することが特徴である。図13において、
プロセッサの動作は故障のない場合のブロードキャスト
の場合と同様である。メッセージは送信元プロセッサP
E21によって、図5に示すフォーマットに従って組み
立てられる。このとき、ブロードキャストメッセージで
あるため、転送制御情報BCビットおよびSBビットは
1である。図13において、送信元プロセッサPE21
で構成されたブロードキャストメッセージは、以下のよ
うに転送される。 PE21→EX21→Y1−XB→EX31→X3−X
B→EX3i(i=0、1、2および3)→Yi−X
B、PE3i(i=0、1、2および3)→EXi0
(i=0、1、2)→PEij(i=0、1および2、
j=0、1、2および3) シリアライズネットワークを故障XBと同次元にあるX
Bのうちの一つに設定することで、ブロードキャストメ
ッセージを転送する場合の各EX及びXBの動作は、故
障のない場合のブロードキャストと同じになる。よっ
て、ここでは説明を省略する。
た場合のメッセージの流れを示している。ここで、故障
XBはXB134(X2−XB)であり、シリアライズ
ネットワークをXB135(X3−XB)とする。X
B、EX内の各レジスタにあらかじめセットする値は図
13と同様である。図14において、プロセッサの動作
はブロードキャストの場合と同様である。メッセージは
送信元プロセッサPE21によって、図5に示すフォー
マットに従って組み立てられる。このとき、1対1転送
のメッセージであるため、転送制御情報BCビットおよ
びSBビットはそれぞれ0である。図14において、送
信元プロセッサPE21で構成された1対1転送のメッ
セージは、まず、EX21に転送される。EX21内部
の動作を図6、図7および図8を用いて説明する。EX
21では、シリアライズネットワーク番号が一致しない
ため、一致判定回路611の出力614Sは0になって
いる。EX21に転送されたメッセージは迂回指示回路
610に転送される。迂回指示回路610では、レジス
タ615の値が01であるため、ORゲート616の出
力が1になり、メッセージ中のSBビットが0から1に
変更される。この時、BC=0、SB=1になる。本発
明では、迂回指示回路のレジスタに1が設定されている
場合に1対1転送メッセージ中の転送制御情報SBビッ
トを付け換えることが特徴である。次に、メッセージは
経路情報変更回路603に転送される。経路情報変更回
路603では、信号614Sの出力が0であるためSB
ビットの変更はなく、メッセージは入力バッファ606
に保持される。この時、BC=0、SB=1である。経
路指示回路600(図7参照)では、BC=0、SB=
1であるため、信号613Sが選択され、シリアライズ
ネットワーク番号31がアドレスデコーダ704でデコ
ードされ、SYに1が出力される。1対1転送メッセー
ジの場合、BC=0であるため、ANDゲート群710
からの出力はない。そして、図6のセレクタ619でメ
ッセージが選択され、XB137(Y1−XB)に転送
される。つまり、EX21に接続するXB134が故障
しているため、メッセージをXB134(X2−XB)
には転送せず、シリアライズネットワーク135に転送
して迂回動作する。
れたメッセージはXB137(Y1−XB)に転送され
る。XB137内の動作を図9、図10および図11を
用いて説明する。図9に示す経路指示回路900では、
BC=0、SB=1であるため、シリアライズネットワ
ーク番号31がアドレスデコーダでデコードされ、S3
に1が出力される。図10の迂回指示回路905では、
接続するEXの故障情報であるレジスタ1000の値が
0であるため、出力信号の変更はなくスイッチ904で
EX31に転送される。経路情報変更回路909では、
迂回指示回路905からの出力信号U3は0であるた
め、メッセージの転送制御情報SBビットの変更はな
い。
明する。一致判定回路611では比較器614が一致を
示しているためその出力614Sは1になっている。メ
ッセージはまず経路情報変更回路602に転送される。
経路情報変更回路602では、信号614Sの出力が
1、SB=1であるためANDゲート623の出力が1
になり、SBビットを1から0に置き換えたメッセージ
が選択され、入力バッファ605に保持される。このと
き、BC=0、SB=0となる。本発明では、メッセー
ジがシリアライズネットワークを通過する場合にメッセ
ージ中の転送制御情報SBビットを付け換えることも特
徴である。経路指示回路600(図7参照)では、BC
=0、SB=0であるため、選択回路703において受
信PE番号が選択され、アドレスデコーダ706でデコ
ードされ、SXに1が出力される。BC=0であるた
め、ANDゲート群710からの出力はない。そして、
図6のセレクタ618でメッセージが選択され、XB1
35(X3−XB)に転送される。このようにしてEX
31から出力されたメッセージはXB135に転送され
る。
である。XB135内の動作を図9、図10および図1
1を用いて説明する。図9においてメッセージはまず経
路指示回路900に転送される。経路指示回路(図11
参照)では、BC=0、SB=0であるため、選択回路
1102において受信PE番号がアドレスデコーダ11
06でデコードされ、S3に1が出力される。出力信号
は迂回指示回路905に転送される。迂回指示回路90
5(図10参照)では、レジスタ1000の値が0であ
るため、出力信号の変更はなく、スイッチ904により
EX33に転送される。経路情報変更回路909におい
て、迂回指示回路905からの出力信号U3が0である
ため、メッセージの転送制御情報の変更はない。
ついて図6を用いて説明する。一致判定回路611で
は、比較結果が一致するため、信号614Sの出力は1
になっている。メッセージはまず、経路情報変更回路6
01に転送される。経路情報変更回路601では、SB
=0であるため、転送制御情報が変更されずに、入力バ
ッファ604に保持される。経路指示回路600(図7
参照)では、BC=0、SB=0であるため、受信PE
番号がアドレスデコーダ705によりデコードされ、S
Yに1が出力される。そして、セレクタ618でメッセ
ージが選択され、XB139(Y3−XB)に転送され
る。
れたメッセージはXB139に転送される。XB139
内の動作を図9、図10および図11を用いて説明す
る。図9に示すようにメッセージはまず経路指示回路9
00に転送される。経路指示回路900(図11参照)
では、BC=0、SB=0であるため、受信PE番号が
アドレスデコーダ1108でデコードされ、S2に1が
出力される。迂回指示回路905(図10参照)では、
レジスタ1000の値が0であるため、出力信号の変更
はなく、スイッチ903でEX23に転送される。経路
情報変更回路909では、迂回指示回路905からの出
力信号U3が0であるため、メッセージの転送制御情報
の変更はない。
ついて図6を用いて説明する。一致判定回路611で
は、比較結果が一致しないため、信号614Sの出力は
0になっている。メッセージは、まず経路情報変更回路
602に転送される。経路情報変更回路602ではSB
=0であるため、転送制御情報は変更されることなく、
入力バッファ605に保持される。経路指示回路600
(図7参照)では、BC=0、SB=0であるため、受
信PE番号がアドレスデコーダ706でデコードされ、
SPに1が出力される。メッセージは、セレクタ619
で選択され、PE23に転送される。
への1対1転送は、 PE21→EX21→Y1−XB→EX31→X3−X
B→EX33→Y3−XB→EX23→PE23 のように転送される。また、通常の1対1転送メッセー
ジの場合、EX内のアドレスデコーダ704〜706
と、XB内のアドレスデコーダ1105〜1108にに
より、メッセージ中の経路情報である受信PE番号のP
Eへ選択的に転送される。本実施例では、XBが故障し
ている場合に、故障XBに接続するPE間の1対1通信
をシリアライズネットワークを経由して実現できる。さ
らに、シリアライズネットワークでのみ迂回を許可する
ことにより、ブロードキャストが同時に発生してもデッ
ドロックが発生しない。
明する。 (1)ブロードキャストメッセージの転送 図15は、PE21からブロードキャストが発生した場
合のメッセージの流れを示している。ここで、故障EX
をEX01のみに限定し、各XB内の故障情報保持レジ
スタ1000に故障EX情報をセットする。例えば、故
障EXに接続するXB132の故障情報保持レジスタに
は0100を、XB137の故障EX情報保持レジスタ
には、1000をセットし、他のXB内の故障情報保持
レジスタの値は、すべて0にセットする。本実施例で
は、システム中の部分ネットワークの故障を1箇所に限
定するため、XBには故障がなく、各EX内の故障情報
保持レジスタ800には、00をセットする。シリアラ
イズネットワークは故障EXに接続しないXBであれば
いずれでもよいが、ここでは、XB135(X3−X
B)とし、シリアライズネットワークを示すレジスタ1
115に1をセットする。EX、XB内のシリアライズ
ネットワーク番号保持レジスタにセットする値は図12
の場合と同様である。また、ルーティングの順序はEX
故障であるため変更する必要はなく、ここではX→Yと
し、図5のレジスタ800にあらかじめ1をセットす
る。ブロードキャストの場合、メッセージは、XBが故
障している場合と同様に転送される。但し、図15に示
す例では、故障EXに接続しているPEへはメッセージ
を転送しない構成になっている。以上から、EXが故障
している場合には、故障EXの接続しないXBをシリア
ライズネットワークとするため、故障を気にすることな
くブロードキャストを実現できる。
た場合のメッセージの流れを示している。ここで、故障
部分ネットワークは、EX22であり、シリアライズネ
ットワークは、EX22に接続するXB134、XB1
38以外のXBであればいずれでもよく、ここでは、X
B135(X3−XB)とする。故障情報を設定するレ
ジスタを除いて、XBおよびEX内の各レジスタにあら
かじめセットする値は図12と同様である。図16にお
いて、プロセッサの動作はブロードキャストの場合と同
様である。メッセージは送信元プロセッサPE21によ
って、図5に示すフォーマットに従って組み立てられ
る。このとき、1対1転送のメッセージであるため、B
C=0、SB=0である。図16において、送信元プロ
セッサPE21で構成された1対1転送のメッセージ
は、EX21に転送される。EX21内部の動作を図6
を用いて説明する。一致判定回路611では、自PE番
号21とシリアライズネットワーク番号31を比較し、
比較結果が一致しないため、信号614Sの出力は0に
なっている。まず、メッセージは迂回指示回路610に
転送される。迂回指示回路610では、レジスタ615
の値が00であるため、メッセージの転送制御情報の変
更はない。この時、BC=0、SB=0である。次に、
メッセージは経路情報変更回路603に転送される。経
路情報変更回路603では、信号614Sの出力が0で
あるためSBビットの変更はなく、メッセージは入力バ
ッファ606に保持される。経路指示回路600(図7
参照)では、BC=0、SB=0であるため、受信PE
番号が選択され、受信PE番号12がアドレスデコーダ
704でデコードされ、ORゲート群711のうちのO
Rゲート715に入力される。BC=0であるため、A
NDゲート群710(図8参照)からは出力されない。
そして、SXに1が出力される。出力された信号によ
り、セレクタ617でメッセージが選択されX−XBに
転送される。
れたメッセージはXB134(X2−XB)に転送され
る。XB134内の動作を図9、図10および図11を
用いて説明する。図9に示すようにメッセージはまず経
路指示回路900に転送される。経路指示回路900
(図11参照)では、BC=0、SB=0であるため、
受信PE番号12がアドレスデコーダ1106でデコー
ドされ、ORゲート群1114に転送され、S2に1が
出力される。XB134はシリアライズネットワークで
はないため、レジスタ1115には0が設定されてい
る。BC=0およびレジスタ1115の値からANDゲ
ート群1113からの出力はない。迂回指示回路905
(図10参照)では、レジスタ1000の値が0010
であるため、ANDゲート1003の出力が1になり、
S2の出力信号がS3に変更される。また、信号U3も
1になる。スイッチ904において出力信号S3により
メッセージが選択される。経路指示変更回路909で
は、U3が1であるため、メッセージの転送制御情報S
Bビットは0から1に変更される。このとき、BC=
0、SB=1になる。本発明では、EX故障時に、故障
EXに接続するXBの中の故障情報により、迂回指示回
路では故障EXの隣のEXにメッセージを転送し、かつ
経路情報変更回路ではメッセージの転送制御情報を付け
かえることが特徴である。本実施例では、EX故障時は
迂回指示回路において故障EXの隣のEXにメッセージ
を転送するが、隣接するEXでなくともよい。
び図8を用いて説明する。一致判定回路611では、比
較結果が一致しないため、信号614Sの出力は0にな
っている。メッセージは、まず経路情報変更回路601
に転送される。経路情報変更回路601では、信号61
4Sの出力が0であるため転送制御情報の変更はなく、
入力バッファ604に保持される。経路指示回路600
(図7参照)では、SB=1であるため、シリアライズ
ネットワーク番号33がアドレスデコーダ705でデコ
ードされ、ORゲート群711に入力される。ORゲー
ト群711では、ORゲート719の出力が1になり、
SYに1が出力される。そして、セレクタ618でメッ
セージが選択され、XB139(Y3−XB)に転送さ
れる。
れたメッセージはXB139(Y3−XB)に転送され
る。XB139内の動作を図9、図10および図11を
用いて説明する。図9に示すようにメッセージはまず経
路指示回路900に転送される。経路指示回路900
(図11参照)では、SB=1であるためシリアライズ
ネットワーク番号33がアドレスデコーダ1107でデ
コードされ、S3に1が出力される。迂回指示回路90
5(図10参照)では、レジスタ1000の値が000
0であるため、出力信号の変更はなく、スイッチ904
では信号S3によりEX33へのメッセージが選択され
る。経路指示変更回路909におけるメッセージの転送
制御情報SBビットの変更はない。このとき、BC=
0、SB=1である。
び図8を用いて説明する。一致判定回路611では、比
較結果が一致するため、信号614Sの出力は1になっ
ている。メッセージはまず経路情報変更回路602に転
送される。経路情報変更回路602では、信号614S
の出力が1、SB=1であるためANDゲート623の
出力が0になり、SBビットを0に置き換えたメッセー
ジが選択され、入力バッファ605に保持される。この
とき、BC=0、SB=0となる。経路指示回路600
(図7参照)では、BC=0、SB=0であるため、受
信PE番号12がアドレスデコーダ706でデコードさ
れ、SXに1が出力される。セレク617でメッセージ
が選択され、XB135(X3−XB)に転送される。
シリアライズネットワークに転送された後は、XB故障
時の1対1転送メッセージの動作と同じであるため、こ
こでは説明を省略する。
への1対1転送は、 PE21→EX21→X2−XB→EX23→Y3−X
B→EX33→X3−XB→EX32→Y2−XB→E
X12→PE12 のように転送される。また、通常の1対1転送メッセー
ジの場合、EX内のアドレスデコーダ704〜706
と、XB内のアドレスデコーダ1105〜1108によ
りメッセージ中の経路情報である受信PE番号のPEへ
選択的に転送される。
にも、故障している場合にも、ブロードキャストメッセ
ージの転送を行なう場合には特定のクロスバスイッチを
経由させることで、デッドロックを回避し、転送オーバ
ーヘッドを従来に比べて削減することができる。さら
に、XBが故障している場合には、故障XBと同次元に
あるXBの一つをシリアライズネットワークとし、故障
による1対1転送メッセージの迂回をシリアライズネッ
トワークにおいてのみ許可するため、逆順転送は1箇所
に限定され、複数データ転送発生時のデッドロックを回
避できる。さらに、EXが故障している場合も、故障E
Xの接続していないXBをシリアライズネットワークと
し、故障による1対1転送メッセージの迂回をシリアラ
イズネットワークにおいてのみ許可するため、逆順転送
は1箇所に限定され、複数データ転送発生時のデッドロ
ックを回避できる。ここでは、2次元構成の例を示した
が、n次元構成でも良い。この場合、転送順序を例えば
X次元→Y次元→Z次元→…→N次元のように固定し、
最初にメッセージを転送する次元のクロスバスイッチの
内の1つをシリアライズネットワークにすればよい。
ドキャストと部分ブロードキャストが混在する場合に、
これらのメッセージをクロスバスイッチでシリアライズ
し、デッドロックを回避することに特徴がある。ここで
は、従来例として、特開平5−28122に開示されて
いるブロードキャスト方法を考える。以下では、第1の
実施例と従来例との相違点にしぼって説明する。
ォーマットを示す。本実施例の実施例1と異なるところ
は、送信PE番号、CTL(コントロール)ビットの他
に、範囲情報として、MAX座標、MIN座標をもつこ
とである。MAX座標は、メッセージを転送するプロセ
ッサ群の座標の最大X座標XMAX、最大Y座標YMA
Xからなる。MIN座標も同様にXMIN、YMINか
らなる。また、CTL(コントロ−ル)ビットにBCビ
ットとSBビットの他に部分ブロードキャストであるこ
とを示すビット(PBビット)を持つところも実施例1
とは異なる。部分ブロードキャストメッセージをシリア
ライズネットワークに転送中である場合、図17(c)
に示すようにPB=SB=1、BC=0となるが、受信
PE番号は有意な値とはならない。*はそのことを示
す。部分ブロードキャストメッセージがシリアライズネ
ットワークから部分放送されている場合、図17(e)
に示すようにPB=1、BC=SB=0となるが、受信
PE番号は有意な値とならない。
路指示回路の構成を示す。実施例1と異なるところは、
経路指示回路内に、ORゲート1801〜1803が付
加されたことである。ORゲート1801〜1803
は、メッセージ中のPBビットあるいはBCビットが1
の場合に1を出力する。
路指示回路の構成を示す。第1の実施例と異なるところ
は、部分放送経路指示回路1901〜1904が付加さ
れたことである。部分放送経路指示回路1901〜19
04は、メッセージ中のPBビット、MAX座標、MI
N座標に従い、xi-0、xi-1、xi-2、xi-3
(x=21、22、23、24)に1を出力する。部分
放送経路指示回路1901の構成を図26に示す。部分
放送経路指示回路1901は、レジスタ2650〜26
53と、比較器2605〜2612と、ANDゲート2
601〜2604で構成される。EX0から入力された
メッセージは、ホスト計算機またはSVPによりセット
されるポート番号がXMAX座標とXMIN座標の範囲
内にある場合に、比較器2605〜2612の出力が1
になる。ANDゲート2601はメッセージ中のPBビ
ットが1であり、かつ比較器のペアの出力(例えば、2
605と2606)が1である場合のみ、出力が1にな
り、結果として21i-0〜21i-3の出力が1にな
る。他の部分放送指示回路の動作も同様である。例え
ば、PBが1、XMAXが2、XMINが0の場合、比
較結果より、ANDゲート2601〜2603の出力が
1になり、21i-0〜21i-2の出力が1になる。ま
た、ブロードキャスト逐次回路1180は、信号21i
〜24iおよび21o〜24oのそれぞれが1ビット幅
から4ビット幅に変更されている。プライオリティ回路
2001では4つの信号のうちいくつかを選択する。選
択方法は、まず到着順に行ない、かつブロードキャスト
メッセージの場合はs0〜s3のうちのいずれか1つの
みを選択し、部分ブロードキャストメッセージの場合、
出力ポートが重複しないかぎりいくつでも選択可能であ
る。
いて図21、図22、図23および図24を用いて説明
する。図21は、部分ブロードキャストを行うプロセッ
サ群の例を示す図である。各プロセッサ群は、その中の
PE間でのみ、メッセージが放送されるPEの集合であ
る。丸印はPEを例示し、その中の番号はPE番号を示
している。各プロセッサ群は、図21(a)に示すよう
に、2次元の矩形の領域A、B、Cに含まれるPEから
なってもよい。また、図21(b)、または図21
(c)に示すように一列のPEまたは一行のPEからな
っていてもよい。
分ブロードキャストが発生した場合のメッセージの流れ
を示している。シリアライズネットワークはいずれのク
ロスバスイッチでも構わないが、ここではXB135と
する。ホスト計算機およびSVPによりあらかじめEX
およびXB内のシリアライズネットワーク番号を保持す
るレジスタは実施例1の図12と同じ値をセットする。
プロセッサの動作は実施例1と同じであり、メッセージ
のフォーマットは図17(c)になる。すなわち、部分
ブロードキャストの場合、BC=0、PB=1、SB=
1である。図22において、送信元プロセッサPE01
からの部分ブロードキャストメッセージは、EX01に
転送され、EX01→Y0−XB→EX31のように、
シリアライズネットワークXB135に向かって実施例
1と同じように転送される。
8を用いて説明する。一致判定回路611では、比較結
果が一致するため、信号614Sの出力は1になってい
る。メッセージは経路情報変更回路602に転送され
る。経路情報変更回路602では、信号614Sの出力
が1、転送制御情報SBビットが1であるため、SBビ
ットを1から0に置き換えたメッセージが入力バッファ
に保持される。このとき、BC=0、PB=1、SB=
0となる。図18に示す経路指示回路600では、BC
=0、PB=1、SB=0であるため、ORゲート18
03の出力が1となり、ANDゲート群710に出力さ
れる。ANDゲート群710では、ANDゲートにより
信号807Sに1が出力され、ORゲート群711の一
つから1が出力され、その結果SXに1が出力される。
図6のセレクタ617により部分ブロードキャストメッ
セージが選択され、XB135に転送される。
れたメッセージはXB135(X3−XB)に転送され
る。XB135内の動作を図9および図19を用いて説
明する。図19の経路指示回路900では、PB=1で
あるため、部分放送経路指示回路1902から21i-
0、21i-1に1が出力される。ブロードキャスト逐
次回路1180では、セレクタ2002からの出力が選
択され21o-0、21o-1に1が出力される。さら
に、レジスタ1115の値は1であり、その結果、AN
Dゲート1125の出力が1になり、S0、S1の出力
が1になる。S2およびS3には出力しない。EX31
からのメッセージは、図9のスイッチ901および90
2からEX30およびEX31に転送される。EX32
およびEX33には転送されない。EX30およびEX
31に転送されたメッセージの動作は実施例1と同じで
あり、Y−XBおよびPEに同時に転送される。
31から出力されたメッセージはXB136(Y0−X
B)とXB137(Y1−XB)に転送される。XB1
36とXB137の動作は同じであるため、ここではX
B137について説明する。経路指示回路900では、
PB=1であるため、部分放送経路指示回路1904か
らs0およびs1に1が出力される。そして、EX31
からのメッセージは、図9のスイッチ901および90
2からEX01およびEX02に転送される。EX21
およびEX31には転送されない。
ロードキャストは、 PE01⇒Y0−XB⇒EX31⇒X3−XB⇒EX3
i(i=0および1)⇒Yi−XB(i=0および
1)、PEi0(i=0および1)⇒EXij(i=0
および1、j=0および1)⇒PEij(i=0および
1、j=0および1)のように転送される。また、1対
1転送メッセージの場合、EX内のアドレスデコーダ7
04〜706と、XB内のアドレスデコーダ1105〜
1108によりメッセージ中の受信PE番号のPEへと
選択的に転送される。
ャストが発生した場合のメッセージの流れを示してい
る。ここでは、システム中の1つのXBが故障した場合
を考え、XB133(X1−XB)が故障しているとす
る。シリアライズネットワークはいずれのXBでもかま
わないが、ここでは、XB135(X3−XB)とす
る。EXおよびXB内のシリアライズネットワーク番号
を保持するのレジスタには実施例1と同じ値をセットす
る。プロセッサの動作は実施例1と同じであり、メッセ
ージのフォーマットは図17(c)になる。すなわち、
部分ブロードキャストの場合、BC=0、PB=1、S
B=1である。故障XBとは異なるXBをシリアライズ
ネットワークとし、メッセージを転送するための構成お
よび動作は実施例1と同じであり、部分ブロードキャス
トを実現する場合に新たに必要な構成および動作は実施
例2(1)に示したものと同じであるため、部分ブロー
ドキャストは実施例1と実施例2の(1)との組合せに
より実現でき、ここでは詳細の説明の省略する。以上を
まとめると、PE11から領域A(図21(a))への
部分ブロードキャストは、 PE11→Y0−XB→EX31→X3−XB→EX3
i(i=0および1)→Yi−XB(i=0および
1)、PEi0(i=0および1)→EXij(i=0
および1、j=0および1)→PEij(i=0および
1、j=0および1)のように転送される。ここでは、
XBが故障している場合の部分ブロードキャストメッセ
ージについてのみ説明したが、故障XBに接続するEX
間のメッセージ転送も、実施例1とまったく同じように
実現できる。また、ブロードキャストメッセージの場
合、実施例1とまったく同じように転送される。また、
通常の1対1転送メッセージの場合、EX内のアドレス
デコーダ704〜706と、XB内のアドレスデコーダ
1105〜1108によりメッセージ中の受信PE番号
のPEへ選択的に転送される。
ら領域Aに対して部分ブロードキャストを行なう時のメ
ッセージの流れを示している。シリアライズネットワー
クは故障EXの接続するクロスバスイッチ以外であれば
いずれのクロスバスイッチでもかまわないが、ここで
は、クロスバスイッチ135(X3−XB)とする。E
XおよびXB内のシリアライズネットワーク番号と故障
情報を保持するレジスタには実施例1と同じ値をセット
する。EX故障の場合、プロセッサ、各EXおよび各X
Bの動作は実施例1と同じであり、メッセージのフォー
マットは図17(c)になる。すなわち、部分ブロード
キャストの場合、BC=0、PB=1、SB=1であ
る。また、部分ブロードキャストを実現するために必要
な機構と動作は実施例2の(1)と同じである。EX故
障の場合も実施例1と実施例2の(1)との組合せで実
現できるため、ここでは説明を省略する。以上をまとめ
ると、PE11からの部分ブロードキャストは、 PE11→Y0−XB→EX31→X3−XB→EX3
i(i=0および1)→Yi−XB(i=0および
1)、PEi0(i=0および1)→EX01、EX1
0、EX00→PE01、PE10、PE00 のように転送される。ここでは、部分ブロードキャスト
メッセージの転送について説明したが、ブロードキャス
トメッセージの場合も、実施例1とまったく同じように
転送される。また、故障EXを経由するメッセージ転送
は、実施例1とまったく同じようにクロスバスイッチを
迂回することにより実現できる。また、通常の1対1転
送メッセージの場合、EX内のアドレスデコーダ704
〜706と、XB内のアドレスデコーダ1105〜11
08によりメッセージ中の受信PE番号のPEへ選択的
に転送される。ここでは、2次元構成の例を示したが、
n次元構成でも良い。以上のように本実施例では、故障
のない場合はもちろん、部分ネットワークの1つ、つま
りXBおよびEXが故障した場合に、ブロードキャス
ト、部分ブロードキャスト、迂回すべき1対1メッセー
ジ転送および通常の1対1転送おこなっても、デッドロ
ックを発生させない。また、ネットワークをシリアライ
ズネットワークに垂直(列方向)に分割した場合には、
各列ごとに独立に部分ブロードキャストメッセージを転
送できる。また、メッセージ中にプロセッサ群の範囲情
報を設定するため動的にプロセッサ群の範囲を変更でき
る。
ドキャストメッセージを中継スイッチ(EX)でシリア
ライズし、デッドロックを回避することに特徴がある。
以下では、第1の実施例との相違に絞って説明する。
ところは、図7に示す経路指示回路内部にある、M(P
E)、M(X)、M(Y)に転送されたメッセージをど
の経路に転送するかを決定するANDゲート群710で
ある。また、本実施例では信号線814Sおよび816
Sがない。図25にANDゲート群710の詳細を示
す。図8と比べてもわかるように、EXでブロードキャ
ストメッセージをシリアライズする方がANDゲート群
を簡単に構成できる。ブロードキャストメッセージがシ
リアライズネットワークに到着し、転送制御情報SBビ
ットを0に置き換えるところまでは、実施例1と同様で
ある。シリアライズネットワークからブロードキャスト
メッセージが放送される場合、X−XB、Y−XB、P
Eに同時に転送されるところが、実施例1とは異なる。
本実施例におけるXBは、実施例1と同じ動作をする
が、実施例1の図11において、各ポート対応にセット
しなければならなかったシリアライズネットワーク番号
保持レジスタをXBに1つにしてよい。また、シリアラ
イズネットワークがXBでないため、レジスタ1115
はなくてもよい。このように、レジスタ群1110の数
を削減し、簡単にすることができる。各プロセッサ、E
X、XBの動作は第1の実施例と同じであるため、ここ
では説明を省略する。ここでは、2次元構成の例を示し
たが、n次元構成でも良い。以上のように本実施例で
は、部分ネットワークの一つであるEXを用いて、ブロ
ードキャストを行なう場合にデッドロックを発生させな
い。また、XBを用いてブロードキャストの逐次化を行
なう場合に比べ、回路を簡単にできる。
ドキャストメッセージおよび部分ブロードキャストメッ
セージを中継スイッチ(EX)でシリアライズし、デッ
ドロックを回避することに特徴がある。以下では、第2
の実施例との相違に絞って説明する。本実施例におい
て、第2の実施例と異なるところは、図18に示す経路
指示回路内部にある、M(PE)、M(X)、M(Y)
に転送されたメッセージをどの経路に転送するかを決定
するANDゲート群710である。また、本実施例では
信号線814Sおよび816Sがない。ANDゲート群
710の構成と動作は第3の実施例と同じであるため、
ここでは説明を省略する。図8と比べてもわかるよう
に、EXでブロードキャストメッセージをシリアライズ
する方がANDゲート群を簡単に構成できる。ブロード
キャストメッセージおよび部分ブロードキャストメッセ
ージがシリアライズネットワークに到着し、転送制御情
報SBビットを0に置き換えるところまでは、実施例2
と同様である。シリアライズネットワークからブロード
キャストメッセージが放送される場合、X−XB、Y−
XB、PEに同時に転送されるところが、実施例2とは
異なる。本実施例におけるXBは、実施例2と同じ動作
をするが、実施例2の図19において、各ポート対応に
セットしなければならなかったシリアライズネットワー
ク番号保持レジスタをXBに1つにしてよい。また、シ
リアライズネットワークがXBでないため、レジスタ1
115はなくてもよい。このように、レジスタ群111
0の数を削減し、簡単にすることができる。各プロセッ
サ、EX、XBの動作は実施例と同じであるため、ここ
では説明を省略する。ここでは、2次元構成の例を示し
たが、n次元構成でも良い。以上のように本実施例で
は、ブロードキャスト、部分ブロードキャストをおこな
っても、デッドロックを発生させない。また、実施例2
に比べ、回路を簡単にできる。
て、メッセージ中にシリアライズネットワークの番号を
ソフトウェアもしくはハードウェアで書き込み、シリア
ライズネットワークに到着した後、その番号を書き変え
ることによりブロードキャストの逐次化および故障時の
1対1転送の迂回を実現可能である。また、実施例2で
は部分ブロードキャストを行なう範囲をメッセージ中に
記述したが、クロスバスイッチ内のレジスタ群に設定す
ることにより、メッセージのフォーマットを図5のよう
に簡単にすることができる。また、本実施例ではハイパ
クロスバネットワークを例にとって説明したが、多数の
部分ネットワークで構成される、多段結合ネットワーク
やハイパキューブネットワークおよび格子結合ネットワ
ークにおいても実施例3と同様に実現可能である。これ
らのネットワークは、複数の中継スイッチ(EX)間を
結合して構成される。よって、実施例の3および4のよ
うな、ハイパクロスバネットワークの中継スイッチにお
いてブロードキャストメッセージを逐次化を行なう場合
と同様に実現でき、ここでは中継スイッチ内部の構成お
よび動作の説明は省略する。
クで構成されるシステムにおいて、特定の部分ネットワ
ーク(シリアライスライズネットワーク)によって、複
数のプロセッサからのブロードキャストおよび部分ブロ
ードキャストを逐次化することによってデッドロックを
回避し、特定プロセッサへのメッセージの集中を緩和す
ることができる。さらに、本発明によれば、故障部分ネ
ットワークを有するシステムにおいて、故障部分ネット
ワーク以外の部分ネットワークの一つを特定用途として
用い、複数のプロセッサからブロードキャストおよび部
分ブロードキャストは発生した場合には、シリアライス
ライズネットワークでそれらを逐次化し、かつ1対1転
送の転送経路中に故障部分ネットワークがある場合に、
シリアライスライズネットワークで迂回できるため、デ
ッドロックを回避し、特定プロセッサへのメッセージの
集中を緩和できる。
す図である。
トメッセージの流れの概略を示す図である。
チ故障時のメッセージの流れの概略を示すである。
故障時のブロードキャストメッセージの流れの概略を示
す図である。
故障時の1対1転送のメッセージの流れの概略を示す図
である。
ォーマットを示す図である。
構成を示す図である。
である。
図である。
成を示す図である。
図である。
図である。
ストメッセージの流れを示す図である。
ッチ故障時のブロードキャストメッセージの流れを示す
図である。
ッチ故障時の1対1転送メッセージの流れを示す図であ
る。
故障時のブロードキャストメッセージの流れを示す図で
ある。
故障時の1対1転送メッセージの流れを示す図である。
フォーマットを示す図である。
内の経路指示回路の内部構成を示す図である。
ッチ内の経路指示回路の内部構成を示す図である。
ある。
送範囲を示す図である。
キャストメッセージの流れを示す図である。
ッチ故障時の部分ブロードキャストメッセージの流れを
示す図である。
故障時の部分ブロードキャストメッセージの流れを示す
図である。
内部のANDゲート群の内部構成を示す図である。
成を示す図である。
Claims (30)
- 【請求項1】 n次元(n≧2)の各次元毎に複数の部
分ネットワークを設け、各次元の部分ネットワークの交
点に該各次元の部分ネットワークに接続される中継スイ
ッチを配置し、該中継スイッチにプロセッサを接続し、
複数のメッセージを複数のプロセッサ間で並列に転送可
能にしたネットワークにおけるメッセージを転送先プロ
セッサに転送するプロセッサ間データ転送方法であっ
て、 ブロードキャストメッセージを逐次化するための部分ネ
ットワークであるシリアライズネットワークの経路情報
を各部分ネットワーク及び各中継スイッチ中に予め記憶
し、 送信元プロセッサから転送されるブロードキャストメッ
セージを前記経路情報に従って部分ネットワーク及び中
継スイッチを介してシリアライズネットワークに転送
し、 該シリアライズネットワークは該シリアライズネットワ
ークに接続された各中継スイッチを介して次元の異なる
各部分ネットワークにメッセージを転送し、 該各部分ネットワークに接続された中継スイッチを介し
て各プロセッサにメッセージをブロードキャストするこ
とを特徴とするプロセッサ間データ転送方法。 - 【請求項2】 請求項1記載のプロセッサ間データ転送
方法において、 前記部分ネットワークの故障情報を関連する前記中継ス
イッチに予め記憶し、 該関連する中継スイッチに接続されたプロセッサが送信
元プロセッサとして1対1メッセージを転送するとき、
該中継スイッチは前記故障情報に基づき該メッセージを
前記シリアライズネットワークに転送することを特徴と
するプロセッサ間データ転送方法。 - 【請求項3】 請求項1記載のプロセッサ間データ転送
方法において、 前記中継スイッチの故障情報を関連する前記部分ネット
ワークに予め記憶し、 前記部分ネットワークは送信元プロセッサから転送され
る1対1メッセージを前記故障情報に基づき故障中継ス
イッチを介することなく転送することを特徴とするプロ
セッサ間データ転送方法。 - 【請求項4】 請求項1記載のプロセッサ間データ転送
方法において、 前記経路情報は前記部分ネットワークに付された番号を
含む情報であることを特徴とするプロセッサ間データ転
送方法。 - 【請求項5】 請求項1記載のプロセッサ間データ転送
方法において、 前記部分ネットワークはクロスバスイッチであることを
特徴とするプロセッサ間データ転送方法。 - 【請求項6】 請求項1記載のプロセッサ間データ転送
方法において、 前記部分ネットワークは、前記経路情報により転送先を
決定する手段を有することを特徴とするプロセッサ間デ
ータ転送方法。 - 【請求項7】 請求項2記載のプロセッサ間データ転送
方法において、 前記中継スイッチは、前記故障情報により転送先を決定
する手段を有することを特徴とするプロセッサ間データ
転送方法。 - 【請求項8】 請求項3記載のプロセッサ間データ転送
方法において、 前記部分ネットワークは、前記故障情報により転送先を
決定する手段を有することを特徴とするプロセッサ間デ
ータ転送方法。 - 【請求項9】 請求項1記載のプロセッサ間データ転送
方法において、 前記中継スイッチは、該中継スイッチに接続されたプロ
セッサの装置番号と前記経路情報を比較する手段を有す
ることを特徴とするプロセッサ間データ転送方法。 - 【請求項10】 請求項6記載のプロセッサ間データ転
送方法において、 前記転送先を決定する手段は、該転送先としてシリアラ
イズネットワークあるいはメッセージ中の転送先プロセ
ッサのいずれかを選択する選択手段を有することを特徴
とするプロセッサ間データ転送方法。 - 【請求項11】 請求項1記載のプロセッサ間データ転
送方法において、 前記シリアライズネットワークに接続され、該シリアラ
イズネットワークにメッセージを転送する中継スイッチ
は、該メッセージを同時に、該中継スイッチに接続され
た他の部分ネットワーク及び該中継スイッチに接続され
たプロセッサに転送し、該シリアライズネットワークは
該中継スイッチから転送されたメッセージを該中継スイ
ッチには転送しないようにすることを特徴とするプロセ
ッサ間データ転送方法。 - 【請求項12】 請求項1記載のプロセッサ間データ転
送方法において、 ブロードキャストメッセージをシリアライズネットワー
クからブロードキャストする場合には、該シリアライズ
ネットワークに接続された全ての中継スイッチにメッセ
ージを転送し、ブロードキャストメッセージをシリアラ
イズネットワーク以外の部分ネットワークからブロード
キャストする場合には、該部分ネットワークへブロード
キャストメッセージを転送した中継スイッチ以外の全て
の中継スイッチにメッセージを転送することを特徴とす
るプロセッサ間データ転送方法。 - 【請求項13】 n次元(n≧2)の各次元毎に複数の
部分ネットワークを設け、各次元の部分ネットワークの
交点に該各次元の部分ネットワークに接続される中継ス
イッチを配置し、該中継スイッチにプロセッサを接続
し、複数のメッセージを複数のプロセッサ間で並列に転
送可能にしたネットワークにおいて、該複数のプロセッ
サから選択された一群のプロセッサに選択的に部分ブロ
ードキャストメッセージを転送するプロセッサ間データ
転送方法であって、 前記部分ブロードキャストメッセージ内に前記一群のプ
ロセッサを指定する範囲情報を設定し、 部分ブロードキャストメッセージを逐次化するための部
分ネットワークであるシリアライズネットワークの経路
情報を各部分ネットワーク及び各中継スイッチ中に予め
記憶し、送信元プロセッサから転送される部分ブロード
キャストメッセージを前記経路情報に従って部分ネット
ワーク及び中継スイッチを介してシリアライズネットワ
ークに転送し、 該シリアライズネットワークは、該シリアライズネット
ワークに接続され、前記範囲情報の条件を満たす中継ス
イッチを介して次元の異なる部分ネットワークにメッセ
ージを転送し、該部分ネットワークは前記範囲情報の条
件を満たす中継スイッチを介してプロセッサにメッセー
ジを転送することを特徴とするプロセッサ間データ転送
方法。 - 【請求項14】 請求項13記載のプロセッサ間データ
転送方法において、 前記経路情報は前記部分ネットワークに付された番号を
含む情報であることを特徴とするプロセッサ間データ転
送方法。 - 【請求項15】 請求項13記載のプロセッサ間データ
転送方法において、 前記部分ネットワークはクロスバスイッチであることを
特徴とするプロセッサ間データ転送方法。 - 【請求項16】 n次元(n≧2)の各次元毎に複数の
部分ネットワークを設け、各次元の部分ネットワークの
交点に該各次元の部分ネットワークに接続される中継ス
イッチを配置し、該中継スイッチにプロセッサを接続
し、複数のメッセージを複数のプロセッサ間で並列に転
送可能にしたネットワークを備える並列計算機であっ
て、 前記各部分ネットワーク及び各中継スイッチは、ブロー
ドキャストメッセージを逐次化するための部分ネットワ
ークであるシリアライズネットワークの経路情報を予め
記憶し、 前記部分ネットワーク及び中継スイッチは、関連する送
信元プロセッサから転送されるブロードキャストメッセ
ージを前記経路情報に従って前記シリアライズネットワ
ークに転送し、 該シリアライズネットワークは該シリアライズネットワ
ークに接続された各中継スイッチを介して次元の異なる
各部分ネットワークにメッセージを転送し、 該各部分ネットワークは接続された中継スイッチを介し
て各プロセッサにメッセージをブロードキャストするこ
とを特徴とする並列計算機。 - 【請求項17】 請求項16記載の並列計算機におい
て、 故障した前記部分ネットワークに関連する前記中継スイ
ッチは前記部分ネットワークの故障情報を予め記憶し、
該関連する中継スイッチに接続されたプロセッサが送信
元プロセッサとして1対1メッセージを転送するとき、
該中継スイッチは前記故障情報に基づき該メッセージを
前記シリアライズネットワークに転送することを特徴と
する並列計算機。 - 【請求項18】 請求項16記載の並列計算機におい
て、 故障した前記中継スイッチに関連する前記部分ネットワ
ークは前記中継スイッチの故障情報を予め記憶し、 前記部分ネットワークは送信元プロセッサから転送され
る1対1メッセージを前記故障情報に基づき故障中継ス
イッチを介することなく転送することを特徴とする並列
計算機。 - 【請求項19】 請求項16記載の並列計算機におい
て、 前記経路情報は前記部分ネットワークに付された番号を
含む情報であることを特徴とする並列計算機。 - 【請求項20】 請求項16記載の並列計算機におい
て、 前記部分ネットワークはクロスバスイッチであることを
特徴とする並列計算機。 - 【請求項21】 請求項16記載の並列計算機におい
て、 前記部分ネットワークは、前記経路情報により転送先を
決定する手段を有することを特徴とする並列計算機。 - 【請求項22】 請求項17記載の並列計算機におい
て、 前記中継スイッチは、前記故障情報により転送先を決定
する手段を有することを特徴とする並列計算機。 - 【請求項23】 請求項18記載の並列計算機におい
て、 前記部分ネットワークは、前記故障情報により転送先を
決定する手段を有することを特徴とする並列計算機。 - 【請求項24】 請求項16記載の並列計算機におい
て、 前記中継スイッチは、該中継スイッチに接続されたプロ
セッサの装置番号と前記経路情報を比較する手段を有す
ることを特徴とする並列計算機。 - 【請求項25】 請求項21記載の並列計算機におい
て、 前記転送先を決定する手段は、該転送先としてシリアラ
イズネットワークあるいはメッセージ中の転送先プロセ
ッサのいずれかを選択する選択手段を有することを特徴
とする並列計算機。 - 【請求項26】 請求項16記載の並列計算機におい
て、 前記シリアライズネットワークに接続され、該シリアラ
イズネットワークにメッセージを転送する中継スイッチ
は、該メッセージを同時に、該中継スイッチに接続され
た他の部分ネットワーク及び該中継スイッチに接続され
たプロセッサに転送し、該シリアライズネットワークは
該中継スイッチから転送されたメッセージを該中継スイ
ッチには転送しないようにすることを特徴とする並列計
算機。 - 【請求項27】 請求項16記載の並列計算機におい
て、 ブロードキャストメッセージをシリアライズネットワー
クからブロードキャストする場合には、該シリアライズ
ネットワークに接続された全ての中継スイッチにメッセ
ージを転送し、ブロードキャストメッセージをシリアラ
イズネットワーク以外の部分ネットワークからブロード
キャストする場合には、該部分ネットワークへブロード
キャストメッセージを転送した中継スイッチ以外の全て
の中継スイッチにメッセージを転送することを特徴とす
る並列計算機。 - 【請求項28】 n次元(n≧2)の各次元毎に複数の
部分ネットワークを設け、各次元の部分ネットワークの
交点に該各次元の部分ネットワークに接続される中継ス
イッチを配置し、該中継スイッチにプロセッサを接続
し、複数のメッセージを複数のプロセッサ間で並列に転
送可能にしたネットワークにおいて、該複数のプロセッ
サから選択された一群のプロセッサに選択的に部分ブロ
ードキャストメッセージを転送する並列計算機であっ
て、 前記部分ブロードキャストメッセージ内に前記一群のプ
ロセッサを指定する範囲情報を設定し、 前記各部分ネットワーク及び各中継スイッチは、部分ブ
ロードキャストメッセージを逐次化するための部分ネッ
トワークであるシリアライズネットワークの経路情報を
予め記憶し、 前記部分ネットワーク及び中継スイッチは、関連する送
信元プロセッサから転送される部分ブロードキャストメ
ッセージを前記経路情報に従って前記シリアライズネッ
トワークに転送し、 該シリアライズネットワークは、該シリアライズネット
ワークに接続され、前記範囲情報の条件を満たす中継ス
イッチを介して次元の異なる部分ネットワークにメッセ
ージを転送し、該部分ネットワークは前記範囲情報の条
件を満たす中継スイッチを介してプロセッサにメッセー
ジを転送することを特徴とする特徴とする並列計算機。 - 【請求項29】 請求項28記載の並列計算機におい
て、 前記経路情報は前記部分ネットワークに付された番号を
含む情報であることを特徴とする並列計算機。 - 【請求項30】 請求項28記載の並列計算機におい
て、 前記部分ネットワークはクロスバスイッチであることを
特徴とする並列計算機。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17939495A JP3504033B2 (ja) | 1994-06-29 | 1995-06-22 | プロセッサ間データ転送方法及び並列計算機 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6-169995 | 1994-06-29 | ||
| JP16999594 | 1994-06-29 | ||
| JP17939495A JP3504033B2 (ja) | 1994-06-29 | 1995-06-22 | プロセッサ間データ転送方法及び並列計算機 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0877127A true JPH0877127A (ja) | 1996-03-22 |
| JP3504033B2 JP3504033B2 (ja) | 2004-03-08 |
Family
ID=26493148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17939495A Expired - Fee Related JP3504033B2 (ja) | 1994-06-29 | 1995-06-22 | プロセッサ間データ転送方法及び並列計算機 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3504033B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5774731A (en) * | 1995-03-22 | 1998-06-30 | Hitachi, Ltd. | Exclusive control method with each node controlling issue of an exclusive use request to a shared resource, a computer system therefor and a computer system with a circuit for detecting writing of an event flag into a shared main storage |
| US6985448B2 (en) | 2000-02-28 | 2006-01-10 | Nec Corporation | Data transfer system capable of avoiding double reception of same data |
| US20110035530A1 (en) * | 2009-08-10 | 2011-02-10 | Fujitsu Limited | Network system, information processing apparatus, and control method for network system |
-
1995
- 1995-06-22 JP JP17939495A patent/JP3504033B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6330604B1 (en) | 1994-03-24 | 2001-12-11 | Hitachi, Ltd. | Exclusive control method with each node controlling issue of an exclusive use request to a shared resource, a computer system therefor and a computer system with a circuit for detecting writing of an event flag into a shared main storage |
| US6502136B1 (en) | 1994-03-24 | 2002-12-31 | Hitachi, Ltd. | Exclusive control method with each node controlling issue of an exclusive use request to a shared resource, a computer system therefor and a computer system with a circuit for detecting writing of an event flag into a shared main storage |
| US5774731A (en) * | 1995-03-22 | 1998-06-30 | Hitachi, Ltd. | Exclusive control method with each node controlling issue of an exclusive use request to a shared resource, a computer system therefor and a computer system with a circuit for detecting writing of an event flag into a shared main storage |
| US6985448B2 (en) | 2000-02-28 | 2006-01-10 | Nec Corporation | Data transfer system capable of avoiding double reception of same data |
| US20110035530A1 (en) * | 2009-08-10 | 2011-02-10 | Fujitsu Limited | Network system, information processing apparatus, and control method for network system |
| US8589614B2 (en) * | 2009-08-10 | 2013-11-19 | Fujitsu Limited | Network system with crossbar switch and bypass route directly coupling crossbar interfaces |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3504033B2 (ja) | 2004-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3679813B2 (ja) | 並列計算機 | |
| JP2879567B2 (ja) | データ処理装置および通信システム | |
| US5822605A (en) | Parallel processor system with a broadcast message serializing circuit provided within a network | |
| US9384165B1 (en) | Configuring routing in mesh networks | |
| JP3894957B2 (ja) | 大きな網目状接続コストを伴う大容量データを管理するための、2次元または多次元プログラマブルセル構造を有するモジュール並びにdfpに対する内部バスシステム | |
| US4907232A (en) | Fault-tolerant parallel processing system | |
| US8050256B1 (en) | Configuring routing in mesh networks | |
| US8151088B1 (en) | Configuring routing in mesh networks | |
| JPH08185380A (ja) | 並列計算機 | |
| EP0197103B1 (en) | Load balancing for packet switching nodes | |
| US7644254B2 (en) | Routing data packets with hint bit for each six orthogonal directions in three dimensional torus computer system set to avoid nodes in problem list | |
| JPH02287668A (ja) | 再構成可能な信号プロセッサ | |
| JPH07210527A (ja) | クラスタ制御装置およびクラスタ接続多重処理システム | |
| JP3504033B2 (ja) | プロセッサ間データ転送方法及び並列計算機 | |
| US20060095593A1 (en) | Parallel processing mechanism for multi-processor systems | |
| JP2923491B2 (ja) | クラスタシステム | |
| JPH06266684A (ja) | プロセッサ間ルーティング方式 | |
| JP2960454B2 (ja) | 並列プロセッサのプロセッサ間データ転送装置 | |
| Yasuda et al. | Deadlock-free fault-tolerant routing in the multi-dimensional crossbar network and its implementation for the Hitachi SR2201 | |
| JPH07262155A (ja) | 並列計算機およびメッセージ放送方法 | |
| Peterson et al. | A high-speed message-driven communication architecture | |
| Siegel et al. | An introduction to the multistage cube family of interconnection networks | |
| JP2004062401A (ja) | 演算プロセッサおよび当該演算プロセッサを用いたカメラ装置 | |
| JPH07107680B2 (ja) | 並列プロセッサのプロセッサ間データ転送装置 | |
| JP3609908B2 (ja) | 計算機接続装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040318 |
|
| A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20040706 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |