JPH1166022A - クラスタシステム - Google Patents

Abstract

(57)【要約】 【課題】 プロセッサ間通信のレイテンシを小さくする
と共にプロセッサ間アクセスのルーティングを行うこと
が可能な技術を提供する。 【解決手段】 ローカルシステムまたはリモートシステ
ムのいずれのシステムにアクセスするかを示すルーティ
ングフィールドと、当該システムのコンピュータ内の通
常のアドレス空間にアクセスする為のリアルアドレスフ
ィールドとを有するアクセスアドレスを用いた命令を発
行するプロセッサと、リモートシステムにアクセスする
命令の処理要求を、当該命令のアクセスアドレスのルー
ティングフィールドで示されたリモートシステムに送信
するルーティングアダプタと、前記プロセッサが発行し
た命令のルーティングフィールドがリモートシステムに
アクセスすることを示している場合に、前記プロセッサ
が発行した命令の処理要求を前記ルーティングアダプタ
に渡すシステム接続機構とを備えるものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のプロセッサ
間でデータアクセス及びプロセッサ間通信を行うクラス
タシステムに関し、特に、複数のプロセッサ間でデータ
アクセス及びプロセッサ間通信を行う際のレイテンシを
抑えて大規模な構成とすることが可能なクラスタシステ
ムに適用して有効な技術に関するものである。

【０００２】

【従来の技術】複数のプロセッサを接続したクラスタシ
ステムでは、処理内容を複数のプロセッサに分配し、そ
の処理内容に応じてプロセッサ間通信や複数の磁気ディ
スク装置等の入出力装置とのデータアクセスを行って並
列処理を実行している。

【０００３】従来のクラスタシステムにおけるプロセッ
サ間通信としては、データをメッセージとして作成し、
通信機能を用いて宛先のプロセッサに送信することによ
りプロセッサ間でメッセージを送受信するメッセージパ
ッシングや、ｌｏａｄ／ｓｔｏｒｅ命令を用いて相手の
プロセッサのデータが格納されているアドレスに直接ア
クセスし、他のプロセッサのデータを読み書きする方法
がある。

【０００４】また、従来のクラスタシステムにおいてプ
ロセッサと磁気ディスク装置等の入出力装置との間のデ
ータアクセスを行う場合には、ＤＭＡ（Ｄｉｒｅｃｔ
Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）を用いてメモリを介して
データアクセスを行っている。

【０００５】

【発明が解決しようとする課題】従来のクラスタシステ
ムのメッセージパッシングでは、メッセージをプロセッ
サ間で送受信している為、メッセージの宛先を変更する
ことによりプロセッサ間アクセスのルーティングができ
るので大規模構成をとることが可能であるが、レイテン
シが大きくなるという問題がある。

【０００６】また、前記従来のクラスタシステムにおい
てｌｏａｄ／ｓｔｏｒｅ命令によりプロセッサ間通信を
行う場合では、相手のプロセッサのデータが格納されて
いるアドレスに直接アクセスする為、レイテンシは小さ
いが大規模構成がとれないという問題がある。

【０００７】更に、前記従来のクラスタシステムにおい
てプロセッサと磁気ディスク装置等の入出力装置と間の
データアクセスを行う場合には、ＤＭＡを用いてメモリ
を介してデータアクセスを行っており、プロセッサから
入出力装置へのアクセスをｌｏａｄ／ｓｔｏｒｅ命令で
直接行うことはできないという問題がある。

【０００８】本発明の目的は、上記問題を解決し、プロ
セッサ間通信のレイテンシを小さくすると共にプロセッ
サ間アクセスのルーティングを行うことが可能な技術を
提供することにある。

【０００９】

【課題を解決するための手段】本発明は、ネットワーク
を介して接続された複数のコンピュータ間で通信を行っ
て並列処理を実行するクラスタシステムにおいて、ロー
カルシステムやリモートシステムのコンピュータ内の装
置へのアクセスをｌｏａｄ／ｓｔｏｒｅ命令で行うもの
である。

【００１０】本発明のクラスタシステムにおいて、自シ
ステムであるローカルシステムまたは自システム以外の
システムであるリモートシステムのコンピュータ内の装
置や通常のアドレス空間へのアクセスが生じた場合、プ
ロセッサは、ローカルシステムまたはリモートシステム
のいずれのシステムにアクセスするかを示すルーティン
グフィールドと、当該システムのコンピュータ内の通常
のアドレス空間にアクセスする為のリアルアドレスフィ
ールドとを有するアクセスアドレスを用いた命令を発行
する。

【００１１】システム接続機構は、前記プロセッサが発
行した命令を受け取り、そのアクセスアドレスのルーテ
ィングフィールドを調べ、当該ルーティングフィールド
が有効でない場合には、そのアクセスアドレスのリアル
アドレスフィールドに示された、ローカルシステム内の
通常のアドレス空間へのアクセスを行う。

【００１２】また、システム接続機構は、前記プロセッ
サが発行した命令のアクセスアドレスのルーティングフ
ィールドを調べた結果、当該ルーティングフィールドが
有効であり、そのルーティングフィールドがローカルシ
ステム内の磁気ディスク装置等の入出力装置を示してい
る場合には、アクセスアドレスのリアルアドレスフィー
ルドに示されたローカルシステム内の入出力装置へのア
クセスを行う。

【００１３】更に、システム接続機構は、前記プロセッ
サが発行した命令のアクセスアドレスのルーティングフ
ィールドを調べた結果、当該ルーティングフィールドが
有効でリモートシステムのコンピュータへのアドレスを
示している場合には、前記プロセッサが発行した命令の
処理要求をルーティングアダプタに渡す。

【００１４】ルーティングアダプタは、リモートシステ
ムのコンピュータにアクセスする命令の処理要求を前記
システム接続機構から受け取り、当該命令のアクセスア
ドレスのルーティングフィールドで示されたリモートシ
ステムのコンピュータに当該命令の処理要求を送信す
る。

【００１５】当該命令の処理要求を受信したリモートシ
ステムのルーティングアダプタは、当該命令の処理要求
を当該リモートシステム内で実行し、当該命令が応答の
必要な命令である場合には、その応答を送信元のルーテ
ィングアダプタに送信する。

【００１６】以上の様に、本発明のクラスタシステムに
よれば、ルーティングフィールドとリアルアドレスフィ
ールドとを有するアクセスアドレスを用いた命令を使用
するので、プロセッサ間通信のレイテンシを小さくする
と共にプロセッサ間アクセスのルーティングを行うこと
が可能である。

【００１７】

【発明の実施の形態】以下に、ルーティングフィールド
とリアルアドレスフィールドとを有するアクセスアドレ
スを用いてローカルシステムのコンピュータ内の入出力
装置またはリモートシステムのコンピュータにアクセス
する一実施形態のクラスタシステムについて説明する。

【００１８】図１は、本実施形態のクラスタシステムの
概略構成を示す図である。図１に示す様に、コンピュー
タ１００は、システム接続機構１０１と、ローカルメモ
リ１０２と、監視プロセッサ１０３と、プロセッサバス
１１０と、プロセッサ１１１及び１１２と、システムバ
ス１２０と、コアＩ／Ｏアダプタ１３０と、シリアルＩ
／Ｆ１３１と、パラレルＩ／Ｆ１３２と、バスアダプタ
１４０と、Ｉ／Ｏバス１５０と、ルーティングアダプタ
１６０と、ＳＣＳＩアダプタ１７０と、磁気ディスク装
置１８０〜１８２とを有している。

【００１９】システム接続機構１０１はプロセッサ１１
１及び１１２を接続するプロセッサバス１１０、ローカ
ルメモリ１０２、監視プロセッサ１０３及びシステムバ
ス１２０を接続し、プロセッサ１１１または１１２が発
行した命令のルーティングフィールドがリモートシステ
ムにアクセスすることを示している場合に、当該命令の
処理要求をルーティングアダプタ１６０に渡す処理装置
である。ローカルメモリ１０２はコンピュータ１００の
中にあるメモリである。監視プロセッサ１０３はシステ
ム全体の動作状態の監視を行う処理装置である。

【００２０】プロセッサバス１１０はプロセッサ１１１
及びプロセッサ１１２を接続するバスである。プロセッ
サ１１１及び１１２はローカルシステムまたはリモート
システムのいずれのシステムにアクセスするかを示すル
ーティングフィールドと、当該システムのコンピュータ
１００内の通常のアドレス空間にアクセスする為のリア
ルアドレスフィールドとを有するアクセスアドレスを用
いた命令を発行する処理装置である。システムバス１２
０はコアＩ／Ｏアダプタ１３０と、バスアダプタ１４０
と、ルーティングアダプタ１６０とを接続するバスであ
る。

【００２１】コアＩ／Ｏアダプタ１３０はシリアルＩ／
Ｆ１３１やパラレルＩ／Ｆ１３２等の標準入出力インタ
フェースを接続するアダプタである。シリアルＩ／Ｆ１
３１はシリアルケーブルにより周辺装置を接続するイン
タフェースである。パラレルＩ／Ｆ１３２はパラレルケ
ーブルにより周辺装置を接続するインタフェースであ
る。

【００２２】バスアダプタ１４０はＩ／Ｏバス１５０を
システムに接続するアダプタである。Ｉ／Ｏバス１５０
は入出力装置を接続するＳＣＳＩアダプタ１７０（Ｓｍ
ａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒ
ｆａｃｅアダプタ）を接続するバスである。ルーティン
グアダプタ１６０はコンピュータ１００と、コンピュー
タ２００及びコンピュータ３００とを接続し、リモート
システムにアクセスする命令の処理要求及びそのレスポ
ンスを、当該命令のアクセスアドレスのルーティングフ
ィールドで示されたリモートシステムのコンピュータ２
００またはコンピュータ３００との間で送受信するアダ
プタである。

【００２３】ＳＣＳＩアダプタ１７０はＩ／Ｏバス１５
０接続されているアダプタである。磁気ディスク装置１
８０〜１８２はコンピュータ１００のデータを格納する
記憶装置である。

【００２４】ネットワーク５００はコンピュータ１０
０、２００及び３００を接続する通信回線である。

【００２５】尚、本実施形態のクラスタシステムにおい
てルーティングアダプタ１６０は、システムバス１２０
に接続されているが、Ｉ／Ｏバス１５０に接続されてい
ても良い。また、ネットワーク５００を介してコンピュ
ータ１００と接続されるコンピュータ２００、コンピュ
ータ３００の構成はコンピュータ１００と同様であるも
のとする。

【００２６】図２は、本実施形態のｌｏａｄ／ｓｔｏｒ
ｅ命令のアクセスアドレスのフォーマット例を示す図で
ある。図２に示す様に、アクセスアドレス８００は、ル
ーティングフィールド８１０と、リアルアドレスフィー
ルド８６０とを有している。

【００２７】ルーティングフィールド８１０はローカル
システムの入出力装置またはリモートシステムにアクセ
スする為のルーティング情報を格納するフィールドであ
る。リアルアドレスフィールド８６０は当該システムの
コンピュータ内の通常のアドレス空間にアクセスする為
のアドレス情報を格納するフィールドである。

【００２８】本実施形態のクラスタシステムにおいて６
４ビットのアドレスを用いてアクセスを行う場合には、
例えば図２に示す様に、上位２４ビットをルーティング
フィールド８１０とし、下位４０ビットをリアルアドレ
スフィールド８６０として使用する。

【００２９】図３は、本実施形態のルーティングフィー
ルド８１０のフォーマット例を示す図である。図３に示
す様に、ルーティングフィールド８１０は、制御フィー
ルド８２０と、システムＩＤ８３０と、レイヤＩＤ８４
０と、サブレイヤＩＤ８５０とを有している。

【００３０】制御フィールド８２０はルーティングフィ
ールド８１０が有効であるかどうか等の制御情報を格納
するフィールドである。システムＩＤ８３０はコンピュ
ータ１００、２００及び３００を識別するＩＤである。
レイヤＩＤ８４０は各コンピュータ内の特定の機能を実
現するグループを識別するＩＤである。サブレイヤＩＤ
８５０はレイヤＩＤ８４０で示されるグループ内の個々
の装置を識別するＩＤである。

【００３１】ルーティングフィールド８１０のビット６
０から６３は、制御フィールド８２０である。ビット６
３は、ルーティングフィールド８１０が有効であるかど
うかを示すビットで、ビット６３が‘１’の場合はルー
ティングフィールド８１０が有効であることを示し、ビ
ット６３が‘０’の場合はルーティングフィールド８１
０が無効であることを表している。

【００３２】ビット６２は、アクセスアドレス８００へ
のアクセスが自システムであるローカルシステムへのア
クセスであるかどうかを示すビットであり、ビット６２
が‘０’の場合はローカルシステムへのアクセスを示
し、ビット６２が‘１’の場合は自システム以外のロー
カルシステムへのアクセスであることを表している。

【００３３】ビット６０及び６１は、アクセスアドレス
８００へのアクセスのデータ転送の形態を示しており、
ビット６０及び６１が‘００’Ｂの場合にはユニキャス
トを示し、ビット６０及び６１が‘１１’Ｂの場合には
ブロードキャストを表している。尚、ここで‘００’Ｂ
や‘１１’Ｂは２進数を表しており、以下、バイナリデ
ータを示す場合には‘ ’Ｂと記載する。

【００３４】ビット５２から５９はシステムＩＤ８３０
を表しており、本実施形態のクラスタシステムでは、コ
ンピュータ１００、２００及び３００にそれぞれ１つの
システムＩＤ８３０を割り当てているが、１台に複数の
システムＩＤ８３０を割り当てても良い。但し、システ
ムＩＤ８３０の値の重複は許さないものとする。

【００３５】ビット４８から５１はレイヤＩＤ８４０を
表しており、各コンピュータ内で特定の機能を実現する
サブシステムを識別するＩＤを示している。ビット４７
から４０はサブレイヤＩＤ８５０を表しており、レイヤ
ＩＤ８４０の下位階層にあるＳＣＳＩアダプタ１７０や
磁気ディスク装置１８０〜１８２、若しくはＬＡＮ（Ｌ
ｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタ等を識
別するＩＤを示している。

【００３６】図４は、本実施形態のレイヤＩＤ８４０及
びサブレイヤＩＤ８５０の割り当て例を示す図である。
図４は、本実施形態のクラスタシステムのローカルメモ
リ１０２、バスアダプタ１４０及びコアＩ／Ｏアダプタ
１３０のレイヤＩＤ８４０及びサブレイヤＩＤ８５０の
割り当て例を示しており、ローカルメモリ１０２のレイ
ヤＩＤ８４０は‘００’Ｈ、サブレイヤＩＤ８５０は
‘００’Ｈである。ここで、‘００’Ｈは１６進数を表
しており、以下１６進データを示す場合には‘’Ｈと記
載する。

【００３７】また、バスアダプタ１４０のレイヤＩＤ８
４０は‘０１’Ｈ、サブレイヤＩＤ８５０は‘００’Ｈ
であり、コアＩ／Ｏアダプタ１３０のレイヤＩＤ８４０
は‘０Ｆ’Ｈ、サブレイヤＩＤ８５０は‘００’Ｈであ
る。

【００３８】図５は、本実施形態のルーティングフィー
ルド８１０の割り当て例を示す図である。図５は、コン
ピュータ１００、コンピュータ２００及びコンピュータ
３００のシステムＩＤ８３０並びにコンピュータ１００
内の各装置のレイヤＩＤ８４０及びサブレイヤＩＤ８５
０の割り当て例を表している。

【００３９】図５に示す様にコンピュータ１００のシス
テムＩＤ８３０は‘０１’Ｈ、コンピュータ２００のシ
ステムＩＤ８３０は‘０２’Ｈ、コンピュータ３００の
システムＩＤ８３０は‘０３’Ｈである。

【００４０】コンピュータ１００のローカルメモリ１０
２、コアＩ／Ｏアダプタ１３０及びバスアダプタ１４０
のレイヤＩＤ８４０及びサブレイヤＩＤ８５０は、図４
に示した通りである。ルーティングアダプタ１６０のレ
イヤＩＤ８４０は‘０２’Ｈ、サブレイヤＩＤ８５０は
‘００’Ｈである。

【００４１】バスアダプタ１４０に接続されているＳＣ
ＳＩアダプタ１７０のレイヤＩＤ８４０は、バスアダプ
タ１４０と同じ‘０１’Ｈである。ＳＣＳＩアダプタ１
７０がバスアダプタ１４０のＩ／Ｏバス１５０に接続さ
れている為、同一のレイヤＩＤ８４０になる。また、Ｓ
ＣＳＩアダプタ１７０のサブレイヤＩＤ８５０は、‘０
１’Ｈである。

【００４２】図６は、本実施形態のアクセスアドレス全
体のアドレスマップの一例を示す図である。図６に示す
様に、アドレスマップは、リアルアドレス空間９００
と、アクセス空間９１０と、ＳＣＳＩアダプタ空間９２
０と、ローカルブロードキャスト空間９３０と、アクセ
ス空間９４０と、ブロードキャスト空間９５０とを有し
ている。

【００４３】リアルアドレス空間９００はコンピュータ
１００で通常のアクセスを行う空間である。アクセス空
間９１０はコンピュータ１００内でルーティング情報を
用いたアクセスを行う空間である。ＳＣＳＩアダプタ空
間９２０はコンピュータ１００のＳＣＳＩアダプタ１７
０に接続された入出力装置へのアクセスを行う空間であ
る。

【００４４】ローカルブロードキャスト空間９３０はコ
ンピュータ１００内でブロードキャストを行う際に用い
る空間である。アクセス空間９４０はコンピュータ２０
０またはコンピュータ３００へのルーティング情報を用
いたアクセスを行う空間である。ブロードキャスト空間
９５０はシステム全体のブロードキャストを行う際に用
いる空間である。

【００４５】図６は、コンピュータ１００内から見たア
クセスアドレス全体のアドレスマップの一例を表してお
り、本実施形態のクラスタシステムではリアルアドレス
フィールド８６０は４０ビットである為、‘０’Ｈから
‘０ｆｆｆｆｆｆｆｆｆｆ’Ｈまでが通常のリアルアド
レス空間９００となっている。

【００４６】前記のリアルアドレス空間９００へのアク
セスは、ルーティングフィールド８１０が無効の場合ま
たはルーティングの機能を持たない装置に対して行われ
る。

【００４７】‘８０００００００００００００００’Ｈ
から‘ｂｆｆｆｆｆｆｆｆｆｆｆｆｆｆｆ’Ｈまでが、
コンピュータ１００内でルーティングフィールド８１０
を用いたアクセスを行う場合のアクセス空間９１０であ
る。このアクセス空間９１０には、ＳＣＳＩアダプタ空
間９２０やコンピュータ１００内のローカルブロードキ
ャスト空間９３０が存在する。

【００４８】‘ｃ０００００００００００００００’Ｈ
から以降は、コンピュータ１００以外へのアクセスを行
う為の空間である。‘ｃ００００００００００００００
０’Ｈから‘ｅｆｆｆｆｆｆｆｆｆｆｆｆｆｆｆ’Ｈま
でが、コンピュータ１００以外へのアクセス空間９４０
であり、‘ｆ０００００００００００００００’Ｈから
‘ｆｆｆｆｆｆｆｆｆｆｆｆｆｆｆｆ’Ｈまでがブロー
ドキャスト空間９５０である。

【００４９】図７は、本実施形態のＳＣＳＩアダプタ１
７０のアドレスマップ例を示す図である。図７に示す様
に、ＳＣＳＩアダプタ空間９２０は、ＳＣＳＩアダプタ
内部空間９２１と、アクセス空間９２２〜９２４とを有
している。

【００５０】ＳＣＳＩアダプタ内部空間９２１はＳＣＳ
Ｉアダプタ１７０のコントローラへアクセスを行う空間
である。アクセス空間９２２〜９２４は磁気ディスク装
置１８０〜１８２へのアクセスを行う空間である。

【００５１】図７は、コンピュータ１００のＳＣＳＩア
ダプタ１７０のアドレスマップ例を表しており、‘８０
１１０１００００００００００’Ｈから‘８０１１０１
００ｆｆｆｆｆｆｆｆ’Ｈが、ＳＣＳＩアダプタ１７０
内部のコントローラへアクセスするＳＣＳＩアダプタ内
部空間９２１である。

【００５２】‘８０１１０１０１００００００００’Ｈ
からは磁気ディスク装置１８０へのアクセス空間９２２
が割り当てられており、以下同様に磁気ディスク装置１
８１へのアクセス空間９２３及び磁気ディスク装置１８
２へのアクセス空間９２４が割り当てられている。

【００５３】尚、本実施形態のクラスタシステムでは、
４ＧＢの容量の磁気ディスクの場合を例にしているが、
磁気ディスク装置１８０〜１８２の容量に従って割り当
て空間を変更することができる。

【００５４】図８は、本実施形態のルーティングアダプ
タ１６０の概略構成を示す図である。図８に示す様に、
ルーティングアダプタ１６０は、ＤＭＡコントローラ１
６１と、バッファメモリ１６２と、プロセッサ１６３
と、ＲＯＭ１６４と、ネットワークコントローラ１６５
と、タイマ１６６とを有している。

【００５５】ＤＭＡコントローラ１６１はプロセッサ１
１１やローカルメモリ１０２との間でデータの送受信を
行うコントローラである。バッファメモリ１６２は送受
信データをバッファリングし、プロセッサ１６３が使用
する制御テーブル類等を格納する記憶装置である。プロ
セッサ１６３はルーティングアダプタ１６０全体の動作
を制御し、ＤＭＡコントローラ１６１やネットワークコ
ントローラ１６５からの割り込み制御やデータ送受信制
御を行う処理装置である。

【００５６】ＲＯＭ１６４はルーティングアダプタ１６
０の動作を制御する為の制御プログラムを格納しておく
記憶装置である。ネットワークコントローラ１６５はネ
ットワーク５００を介してデータの送受信を行うコント
ローラである。タイマ１６６はプロセッサ１６３に内蔵
されている計時装置である。

【００５７】図９は、本実施形態のネットワーク５００
上のフレームフォーマットの概要を示す図である。図９
に示す様に、フレームは、コマンドフィールド５５０
と、相手アクセスアドレスフィールド５６０と、送信元
アクセスアドレスフィールド５７０と、送信データフィ
ールド５８０と、エラー情報フィールド５９０とを有し
ている。

【００５８】コマンドフィールド５５０はフレームの指
示内容を示すフィールドである。相手アクセスアドレス
フィールド５６０は送信先のアクセスアドレス８００を
格納するフィールドである。送信元アクセスアドレスフ
ィールド５７０は送信元のアクセスアドレス８００を格
納するフィールドである。

【００５９】送信データフィールド５８０は送信するデ
ータを格納するフィールドである。エラー情報フィール
ド５９０はＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃ
ｙＣｈｅｃｋ）等のエラー検出及び訂正を行う為の情報
を格納するフィールドである。

【００６０】ネットワーク５００上に送出されるフレー
ムのコマンドフィールド５５０は１バイトからなり、ビ
ット５から７がコマンド内容を示し、ビット０から４が
データ長を示している。

【００６１】コマンドフィールド５５０のビット５から
７のコマンド内容は、‘１１１’Ｂである場合にはエラ
ー通知を示し、‘１０１’Ｂである場合は読み出し要求
に対するレスポンスを示し、‘１００’Ｂである場合は
読み出し要求を示し、‘０１０’Ｂである場合は書き込
み要求を表している。

【００６２】また、コマンドフィールド５５０のビット
０から４のデータ長は、送信データフィールド５８０の
長さを２のｎ乗で表した場合のｎを示しており、例えば
送信データフィールド５８０の長さが３２バイトの場合
には、コマンドフィールド５５０のビット０から４のデ
ータ長には「５」が格納される。

【００６３】相手アクセスアドレスフィールド５６０及
び送信元アクセスアドレスフィールド５７０には、それ
ぞれ送信先及び送信元のアクセスアドレス８００が格納
される。

【００６４】エラー情報フィールド５９０は４バイトで
あり、コマンドフィールド５５０から送信データフィー
ルド５８０までを対象としたＣＲＣ等のエラー検出／訂
正符号が格納される。

【００６５】尚、ネットワーク５００上に送出されたフ
レームが読み出し要求に対するレスポンスや書き込み要
求である場合には送信データフィールド５８０がある
が、読み出し要求である場合には送信データフィールド
５８０は無い。

【００６６】図１０は、本実施形態のｓｔｏｒｅ命令発
行時のシーケンスの概要を示す図である。図１０は、コ
ンピュータ１００からコンピュータ２００にデータを送
信する際の動作シーケンスを表しており、コンピュータ
１００のプロセッサ１１１は、コンピュータ２００に書
き込みを行うｓｔｏｒｅ命令を発行する。

【００６７】この時のｓｔｏｒｅ命令のアクセスアドレ
ス８００は、‘ｃ０２ｘｘｘｘｘｘｘｘｘｘｘｘｘ’Ｈ
であり、ｘｘｘｘには、両コンピュータ上で通信を行う
アプリケーション同士で予めネゴシエーションしたアド
レスを設定する。

【００６８】コンピュータ１００においてプロセッサ１
１１がｓｔｏｒｅ命令を発行すると、システム接続機構
１０１はプロセッサ１１１が発行したｓｔｏｒｅ命令を
受け取り、ｓｔｏｒｅ命令のアクセスアドレス８００の
判定を行う。

【００６９】まず、システム接続機構１０１は、ｓｔｏ
ｒｅ命令のアクセスアドレス８００のルーティングフィ
ールド８１０中のビット６３を参照し、ルーティングフ
ィールド８１０が有効であるかどうかを判定して、ルー
ティングフィールド８１０が無効である場合には、４０
ビットのリアルアドレスフィールド８６０に示されたア
ドレスにｓｔｏｒｅ動作を行う。

【００７０】また、システム接続機構１０１は、ｓｔｏ
ｒｅ命令のアクセスアドレス８００のルーティングフィ
ールド８１０が有効であるかどうかを判定した結果、ル
ーティングフィールド８１０が有効である場合には、次
にルーティングフィールド８１０中のビット６２を参照
し、リモートシステムへのアクセスであるかどうかを判
定する。尚、前記のルーティングフィールド８１０中の
ビット６２及びビット６３の判定を同時に行っても良
い。

【００７１】システム接続機構１０１は、プロセッサ１
１１が発行したｓｔｏｒｅ命令のルーティングフィール
ド８１０がリモートシステムにアクセスすることを示し
ている場合には、プロセッサ１１１が発行したｓｔｏｒ
ｅ命令の処理要求をルーティングアダプタ１６０に渡
す。

【００７２】すなわち、システム接続機構１０１は、ル
ーティングフィールド８１０がリモートシステムにアク
セスすることを示している場合には、ｓｔｏｒｅ命令の
アクセスアドレス８００とｓｔｏｒｅ命令により処理さ
れるデータをルーティングアダプタ１６０に渡す。

【００７３】ルーティングアダプタ１６０のＤＭＡコン
トローラ１６１は、システム接続機構１０１から渡され
たｓｔｏｒｅ命令のアクセスアドレス８００とそのデー
タをＤＭＡコントローラ１６１のＦＩＦＯ（Ｆｉｒｓｔ
Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに格納し、プロセ
ッサ１６３に割り込みを通知する。

【００７４】ルーティングアダプタ１６０のプロセッサ
１６３は、ｓｔｏｒｅ命令のアクセスアドレス８００を
含むページ（４ＫＢバウンダリに配置された４ＫＢの領
域）がバッファメモリ１６２にヒットしているかどうか
を判定する。

【００７５】ｓｔｏｒｅ命令のアクセスアドレス８００
を含むページがバッファメモリ１６２にヒットしている
場合には、ヒットしているバッファアドレスをＤＭＡコ
ントローラ１６１へ指示して、その領域を当該データの
送信バッファとして使用する。

【００７６】こうすることで、ヒットしていた領域中の
データをパージすることができる。この機能は、同一ア
クセスアドレス８００に対しての読み出し及び書き込み
をヒットした領域で行うことを可能にしている。

【００７７】また、ルーティングアダプタ１６０のプロ
セッサ１６３は、ｓｔｏｒｅ命令のアクセスアドレス８
００を含むページがバッファメモリ１６２にヒットして
いるかどうかを判定した結果、ｓｔｏｒｅ命令のアクセ
スアドレス８００を含むページがバッファメモリ１６２
にヒットしない場合には、バッファメモリ１６２に新た
に送信バッファを割り当て、その割り当てたバッファア
ドレスをＤＭＡコントローラ１６１へ指示する。

【００７８】ルーティングアダプタ１６０のプロセッサ
１６３から送信バッファのバッファアドレスの指示を受
けたＤＭＡコントローラ１６１は、指示されたバッファ
アドレスにデータを格納する。

【００７９】また、ルーティングアダプタ１６０は、ｓ
ｔｏｒｅ命令のアクセスアドレス８００と送信バッファ
のバッファアドレスの関係をＤＭＡコントローラ１６１
に登録し、一度アクセスがあったアクセスアドレス８０
０についてはプロセッサ１６３への割り込みを発生する
ことなく、データの読み書きを行うものとしても良い。

【００８０】ルーティングアダプタ１６０のＤＭＡコン
トローラ１６１は、ｓｔｏｒｅ命令で処理するデータの
終了を、プロセッサ１１１から送られたルーティングア
ダプタ１６０のＤＭＡコントローラ１６１自身へのｓｔ
ｏｒｅ命令により判定する。

【００８１】すなわち、ＤＭＡコントローラ１６１自身
へのアクセスアドレス８００は、‘８０１２００ｘｘｘ
ｘｘｘｘｘｘｘ’Ｈであり、プロセッサ１１１は、本ア
ドレスに対して送信バッファに格納した最終アドレスを
書き込むことにより、当該データの終了をＤＭＡコント
ローラ１６１に通知するので、ＤＭＡコントローラ１６
１は、ＤＭＡコントローラ１６１自身へのｓｔｏｒｅ命
令により当該データの終了を検出し、プロセッサ１６３
に割り込みを発生する。

【００８２】データの終了を示す割り込みをＤＭＡコン
トローラ１６１から受けたプロセッサ１６３は、図９に
示す様にネットワーク５００にデータを送信する為のヘ
ッダを作成し、データを格納した送信バッファのバッフ
ァアドレスをネットワークコントローラ１６５に通知す
る。

【００８３】プロセッサ１６３から送信バッファのバッ
ファアドレスを受け取ったネットワークコントローラ１
６５は、データをバッファメモリ１６２から読み出して
送信し、ｓｔｏｒｅ命令の処理要求をリモートシステム
に送る。

【００８４】図１１は、本実施形態のｓｔｏｒｅデータ
受信時のシーケンスの概要を示す図である。図１１は、
コンピュータ１００がコンピュータ２００またはコンピ
ュータ３００からｓｔｏｒｅ命令の処理要求を受信した
場合の動作シーケンスを表している。

【００８５】まず、コンピュータ１００のプロセッサ１
１１は、ルーティングアダプタ１６０がリモートシステ
ムからデータを受信したときにデータを受信したことを
示す受信通知をルーティングアダプタ１６０のプロセッ
サ１６３から受け取る場合には、予めルーティングアダ
プタ１６０のプロセッサ１６３に前記受信通知の送信を
指示しておく。

【００８６】コンピュータ１００のルーティングアダプ
タ１６０で書き込み要求を示すフレームを受信すると、
ルーティングアダプタ１６０のネットワークコントロー
ラ１６５は、受信したフレーム中のコマンドフィールド
５５０と相手アクセスアドレスフィールド５６０の内容
を判定する。

【００８７】相手アクセスアドレスフィールド５６０に
は当該フレームを送信する送信先のアクセスアドレス８
００が入っているので、ネットワークコントローラ１６
５は、その中のシステムＩＤ８３０がコンピュータ１０
０のシステムＩＤ８３０と等しいかを判定する。

【００８８】相手アクセスアドレスフィールド５６０の
アクセスアドレス８００中のシステムＩＤ８３０がコン
ピュータ１００のシステムＩＤ８３０と等しければ、コ
ンピュータ１００のルーティングアダプタ１６０は、Ｄ
ＭＡコントローラ１６１によりフレーム中のデータをロ
ーカルメモリ１０２に直接格納する。

【００８９】ＤＭＡコントローラ１６１によりローカル
メモリ１０２に全てのデータを格納しデータの受信が完
了したら、ネットワークコントローラ１６５は、プロセ
ッサ１６３にデータの受信が完了したことを示す割り込
みを通知する。

【００９０】ルーティングアダプタ１６０のプロセッサ
１６３は、当該アドレスに対する受信通知指示を予めプ
ロセッサ１１１から受けているかどうかを調べ、前記指
示を受けている場合には、プロセッサ１６３は、プロセ
ッサ１１１に受信完了を示す割り込みを通知し、前記指
示を受けていない場合には割り込みを通知せずに処理を
終了する。

【００９１】図１２は、本実施形態のｌｏａｄ命令の実
行及びそのレスポンスのシーケンスの概要を示す図であ
る。図１２は、コンピュータ１００からコンピュータ２
００のデータの送信を要求する際の動作シーケンスを表
しており、コンピュータ１００のプロセッサ１１１は、
コンピュータ２００にデータの読み出しを要求するｌｏ
ａｄ命令を発行する。

【００９２】コンピュータ１００のプロセッサ１１１が
ｌｏａｄ命令を発行すると、システム接続機構１０１
は、プロセッサ１１１が発行したｌｏａｄ命令を受け取
り、図１０に示したシーケンスと同様にしてｌｏａｄ命
令のアクセスアドレス８００の判定を行う。

【００９３】システム接続機構１０１は、ｌｏａｄ命令
のアクセスアドレス８００を判定した結果、アクセスア
ドレス８００がリモートシステムへのアクセスを示して
いる場合にはそのｌｏａｄ命令をルーティングアダプタ
１６０に渡す。

【００９４】コンピュータ１００のルーティングアダプ
タ１６０は、ｌｏａｄ命令を受信すると、当該ｌｏａｄ
命令のアクセスアドレス８００に対する読み出し要求を
コンピュータ２００のルーティングアダプタ１６０に送
信する。

【００９５】コンピュータ１００のルーティングアダプ
タ１６０は、続けて当該ｌｏａｄ命令のアクセスアドレ
ス８００を含むページ全体に対する読み出し要求をコン
ピュータ２００のルーティングアダプタ１６０に出す。
これは、当該ｌｏａｄ命令のアクセスアドレス８００に
連続するアドレス領域が、続けて読み出される可能性が
高いと考えて先行読み出しを行う為である。

【００９６】読み出しデータがコンピュータ２００のル
ーティングアダプタ１６０から戻ってくると、コンピュ
ータ１００のルーティングアダプタ１６０は、コンピュ
ータ２００から送られてきたデータをプロセッサ１１１
に返す。

【００９７】コンピュータ１００のプロセッサ１１１か
ら連続してｌｏａｄ命令が発行された場合には、ページ
全体を先行読み出ししているので、今度はｌｏａｄ命令
のアクセスアドレス８００がルーティングアダプタ１６
０内のバッファメモリ１６２にヒットし、データはバッ
ファメモリ１６２から読み出される。

【００９８】図１３は、本実施形態のフレームエラー発
生時のシーケンスの概要を示す図である。コンピュータ
１００のルーティングアダプタ１６０は、ルーティング
アダプタ１６０からの読み出し要求を出す際にタイマ１
６６をセットする。ネットワーク５００で読み出し要求
フレームが紛失した場合にはタイマ１６６がタイムアウ
トし、前記タイムアウトが発生するとコンピュータ１０
０のルーティングアダプタ１６０は、読み出し要求を再
送する。

【００９９】再送した読み出し要求を受信したコンピュ
ータ２００のルーティングアダプタ１６０は、コンピュ
ータ２００のローカルメモリ１０２からデータを読み出
し、データを送り返す。尚、タイムアウトが発生したと
きのリトライ回数は、プロセッサ１１１からの設定で可
変であるものとする。

【０１００】図１４は、本実施形態のｌｏａｄ命令でプ
ロセッサ１１１が長時間ストールするのを防ぐ為の機構
の概要を示す図である。本実施形態のクラスタシステム
においてコンピュータ１００からコンピュータ２００や
コンピュータ３００のデータを読み出す場合には、通
常、コンピュータ１００のプロセッサ１１１は、ビット
６２をリモートシステムに設定すると共にコンピュータ
２００またはコンピュータ３００のシステムＩＤ８３０
を設定したアクセスアドレス８００のｌｏａｄ命令を発
行する。

【０１０１】一方、ｌｏａｄ命令でプロセッサ１１１が
長時間ストールするのを防ぐ場合には、リモートシステ
ムにｌｏａｄ命令（以下ｌｏａｄ命令ｂと記載する）を
発行する前に、そのアクセスアドレス８００のビット６
２だけが異なる（ローカルシステムとしておく）ｌｏａ
ｄ命令（以下ｌｏａｄ命令ｂ’と記載する）を発行す
る。尚、ｌｏａｄ命令ｂ及びｌｏａｄ命令ｂ’のアクセ
スアドレス８００のビット６２以外の他のフィールドは
全て同じであるものとする。

【０１０２】システム接続機構１０１は、ｌｏａｄ命令
ｂ’のアクセスアドレス８００のルーティングフィール
ド８１０中のビット６２がローカルシステムへのアクセ
スを示しており、そのシステムＩＤ８３０がコンピュー
タ１００以外のリモートシステムを示している場合には
ｌｏａｄ命令ｂ’をルーティングアダプタ１６０に渡
す。

【０１０３】ｌｏａｄ命令ｂ’を受けたルーティングア
ダプタ１６０は、アクセスアドレス８００で示されるデ
ータがバッファメモリ１６２にヒットしているかを判定
し、ヒットしていたら‘ｆｆｆｆｆｆｆｆ’Ｈ、ヒット
していなかったら‘０’Ｈを返す。

【０１０４】プロセッサ１１１は、ルーティングアダプ
タ１６０から戻ってきたデータを判定して、アクセスア
ドレス８００で示されるデータがバッファメモリ１６２
にヒットしていたらｌｏａｄ命令ｂを続けて発行し、デ
ータの読み出しを行う。

【０１０５】データがヒットしていなかったら、アクセ
スアドレス８００のデータを受信したときに割り込みを
発生させる受信割り込み通知をルーティングアダプタ１
６０に依頼して、ｌｏａｄ命令ｂ’を発行したプロセス
をスリープさせて受信割り込み待ち状態にする。

【０１０６】リモートシステムからデータを受信したら
ルーティングアダプタ１６０は、プロセッサ１１１に割
り込みを通知して当該プロセスの処理を再開し、処理が
再開されたプロセスはｌｏａｄ命令ｂを発行する。

【０１０７】以上の様に、本実施形態のクラスタシステ
ムでは、リモートシステムのデータがバッファメモリ１
６２にヒットしていなかった場合には、当該ｌｏａｄ命
令を発行したプロセスをスリープさせて受信割り込み待
ち状態にするので、プロセッサ１１１は他のプロセスを
実行することが可能である。

【０１０８】尚、本実施形態のクラスタシステムにおけ
るネットワーク上のフレームのルーティングは、システ
ムＩＤ８３０を用いて行うものとする。本実施形態のク
ラスタシステムでは、システムＩＤ８３０に対応するシ
ステムは一意に決まるのでシステムＩＤ８３０を用いて
ルーティングを行うことが可能であり、一般的なＬＡＮ
スイッチの様に、通過するフレーム中に格納されている
システムＩＤ８３０をネットワーク５００に接続する通
信ポート毎に記憶しておけば良い。

【０１０９】従って、本実施形態のクラスタシステムの
ネットワーク５００を、図１５に示す様に多段接続した
構成とすることも可能である。

【０１１０】図１５は、本実施形態の多段ネットワーク
構成の一例を示す図である。図１５に示す様に、多段ネ
ットワーク構成のクラスタシステムは、磁気ディスク装
置２８０と、磁気ディスク装置３８０と、ディスクサブ
システム４００と、磁気ディスク装置４８０及び４８１
と、ネットワーク６００及び６０１と、ルータ７００と
を有している。

【０１１１】磁気ディスク装置２８０はコンピュータ２
００のデータを格納する記憶装置である。磁気ディスク
装置３８０はコンピュータ３００のデータを格納する記
憶装置である。ディスクサブシステム４００は磁気ディ
スク装置４８０及び４８１を管理するシステムである。

【０１１２】磁気ディスク装置４８０及び４８１はディ
スクサブシステム４００のデータを格納する記憶装置で
ある。ネットワーク６００及び６０１はコンピュータ１
００及びコンピュータ２００と、コンピュータ３００及
びディスクサブシステム４００とを接続する通信回線で
ある。ルータ７００はネットワーク６００とネットワー
ク６０１とを接続するインタネットワーク装置である。

【０１１３】図１５は、図１に示したネットワーク５０
０が多段になった場合のシステム構成の一例を表してお
り、コンピュータ１００には磁気ディスク装置１８０が
接続され、コンピュータ２００には磁気ディスク装置２
８０が接続され、コンピュータ３００には磁気ディスク
装置３８０が接続されており、ディスクサブシステム４
００に接続されている磁気ディスク装置４８０及び４８
１を各コンピュータ１００、コンピュータ２００及び３
００からアクセス可能である。

【０１１４】それぞれのコンピュータ１００、コンピュ
ータ２００及び３００に接続されている磁気ディスク装
置１８０、磁気ディスク装置２８０及び磁気ディスク装
置３８０に対してもディスクサブシステム４００に接続
されている磁気ディスク装置４８０及び４８１に対して
もｌｏａｄ／ｓｔｏｒｅ命令でアクセスが可能である。

【０１１５】以上説明した様に、本実施形態のクラスタ
システムによれば、ルーティングフィールドとリアルア
ドレスフィールドとを有するアクセスアドレスを用いた
命令を使用するので、プロセッサ間通信のレイテンシを
小さくすると共にプロセッサ間アクセスのルーティング
を行うことが可能である。

【０１１６】

【発明の効果】本発明によれば、ルーティングフィール
ドとリアルアドレスフィールドとを有するアクセスアド
レスを用いた命令を使用するので、プロセッサ間通信の
レイテンシを小さくすると共にプロセッサ間アクセスの
ルーティングを行うことが可能である。

【図面の簡単な説明】

【図１】本実施形態のクラスタシステムの概略構成を示
す図である。

【図２】本実施形態のｌｏａｄ／ｓｔｏｒｅ命令のアク
セスアドレスのフォーマット例を示す図である。

【図３】本実施形態のルーティングフィールド８１０の
フォーマット例を示す図である。

【図４】本実施形態のレイヤＩＤ８４０及びサブレイヤ
ＩＤ８５０の割り当て例を示す図である。

【図５】本実施形態のルーティングフィールド８１０の
割り当て例を示す図である。

【図６】本実施形態のアクセスアドレス全体のアドレス
マップの一例を示す図である。

【図７】本実施形態のＳＣＳＩアダプタ１７０のアドレ
スマップ例を示す図である。

【図８】本実施形態のルーティングアダプタ１６０の概
略構成を示す図である。

【図９】本実施形態のネットワーク５００上のフレーム
フォーマットの概要を示す図である。

【図１０】本実施形態のｓｔｏｒｅ命令発行時のシーケ
ンスの概要を示す図である。

【図１１】本実施形態のｓｔｏｒｅデータ受信時のシー
ケンスの概要を示す図である。

【図１２】本実施形態のｌｏａｄ命令の実行及びそのレ
スポンスのシーケンスの概要を示す図である。

【図１３】本実施形態のフレームエラー発生時のシーケ
ンスの概要を示す図である。

【図１４】本実施形態のｌｏａｄ命令でプロセッサ１１
１が長時間ストールするのを防ぐ為の機構の概要を示す
図である。

【図１５】本実施形態の多段ネットワーク構成の一例を
示す図である。

【符号の説明】

１００、２００及び３００…コンピュータ、１０１…シ
ステム接続機構、１０２…ローカルメモリ、１０３…監
視プロセッサ、１１０…プロセッサバス、１１１及び１
１２…プロセッサ、１２０…システムバス、１３０…コ
アＩ／Ｏアダプタ、１３１…シリアルＩ／Ｆ、１３２…
パラレルＩ／Ｆ、１４０…バスアダプタ、１５０…Ｉ／
Ｏバス、１６０…ルーティングアダプタ、１７０…ＳＣ
ＳＩアダプタ、１８０〜１８２…磁気ディスク装置、５
００…ネットワーク、８００…アクセスアドレス、８１
０…ルーティングフィールド、８６０…リアルアドレス
フィールド、８２０…制御フィールド、８３０…システ
ムＩＤ、８４０…レイヤＩＤ、８５０…サブレイヤＩ
Ｄ、９００…リアルアドレス空間、９１０…アクセス空
間、９２０…ＳＣＳＩアダプタ空間、９３０…ローカル
ブロードキャスト空間、９４０…アクセス空間、９５０
…ブロードキャスト空間、９２１…ＳＣＳＩアダプタ内
部空間、９２２〜９２４…アクセス空間、１６１…ＤＭ
Ａコントローラ、１６２…バッファメモリ、１６３…プ
ロセッサ、１６４…ＲＯＭ、１６５…ネットワークコン
トローラ、１６６…タイマ、５５０…コマンドフィール
ド、５６０…相手アクセスアドレスフィールド、５７０
…送信元アクセスアドレスフィールド、５８０…送信デ
ータフィールド、５９０…エラー情報フィールド、２８
０…磁気ディスク装置、３８０…磁気ディスク装置、４
００…ディスクサブシステム、４８０及び４８１…磁気
ディスク装置、６００及び６０１…ネットワーク、７０
０…ルータ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ネットワークを介して接続された複数の
   コンピュータ間で通信を行って並列処理を実行するクラ
   スタシステムにおいて、 ローカルシステムまたはリモートシステムのいずれのシ
   ステムにアクセスするかを示すルーティングフィールド
   と、当該システムのコンピュータ内の通常のアドレス空
   間にアクセスする為のリアルアドレスフィールドとを有
   するアクセスアドレスを用いた命令を発行するプロセッ
   サと、 リモートシステムのコンピュータにアクセスする命令の
   処理要求を、当該命令のアクセスアドレスのルーティン
   グフィールドで示されたリモートシステムのコンピュー
   タに送信するルーティングアダプタと、 前記プロセッサが発行した命令のルーティングフィール
   ドがリモートシステムにアクセスすることを示している
   場合に、前記プロセッサが発行した命令の処理要求を前
   記ルーティングアダプタに渡すシステム接続機構とを備
   えることを特徴とするクラスタシステム。
2. 【請求項２】 前記ルーティングアダプタは、リモート
   システムのコンピュータに送信する命令の処理要求がリ
   モートシステムのコンピュータ内の特定のアクセスアド
   レスの読み出しを行う命令である場合に、当該アクセス
   アドレスの読み出し要求をリモートシステムのコンピュ
   ータに送信すると共に、当該アクセスアドレスを含む特
   定のアドレス領域の先行読み出しを行う読み出し要求を
   送信することを特徴とする請求項１に記載されたクラス
   タシステム。
3. 【請求項３】 前記プロセッサは、リモートシステムの
   コンピュータに送信した命令の処理要求がリモートシス
   テムのコンピュータ内の特定のアクセスアドレスの読み
   出しを行う命令であり、当該アクセスアドレスのデータ
   がルーティングアダプタに準備できていない場合には、
   当該アクセスアドレスのデータを受信したときに割り込
   みを発生させる受信割り込みをルーティングアダプタに
   指示して当該命令を発行したプロセスを一時的に停止さ
   せることを特徴とする請求項１または請求項２のいずれ
   かに記載されたクラスタシステム。