JPH1165928A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【課題】 複数のプロセッサユニット及び複数のメモリ
ユニットを備えるマルチプロセッサシステムにおいて、
コヒーレントリード要求が複数個オーバラップして実行
される場合に、オーバラップ可能なコヒーレントリード
要求の数を限定することなく、コヒーレンシ報告の集計
を行う機構を提供する。 【解決手段】 複数のプロセッサユニットの間に、全て
のプロセッサユニットからのコヒーレンシ報告を集計
し、コヒーレントリード要求元プロセッサユニットに集
計結果を送付するコヒーレンシ報告集計ユニットを設け
る。 【効果】 複数のプロセッサユニット及び複数のメモリ
ユニットを備えるマルチプロセッサシステムにおいて、
コヒーレントリード要求が同時に複数個オーバラップし
て実行される場合に、オーバラップ可能なコヒーレント
リード要求の数を限定することなく、コヒーレンシ報告
の集計を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は計算機システム、特
に、複数のプロセッサを接続するマルチプロセッサシス
テムに関する。

【０００２】

【従来の技術】従来の多くの主記憶共有型マルチプロセ
ッサにおいては、数台のプロセッサユニットとメモリユ
ニットをバスで接続し、プロセッサユニット内のキャッ
シュ内容の一貫性を保証するために、スヌープキャッシ
ュ方式を採用するのが一般的である。こういった計算機
システムは、”Ｂｅｎ Ｃａｔａｎｚａｒｏ， ”Ｍｕ
ｌｔｉｐｒｏｃｅｓｓｏｒ Ｓｙｓｔｅｍ Ａｒｃｈｉ
ｔｅｃｔｕｒｅｓ”，Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍ
ｓ， １９９４”（参考文献１と呼ぶ）、あるいは、
“Ｄｏｎ Ａｎｄｅｒｓｏｎ／Ｔｏｍ Ｓｈａｎｌｅ
ｙ、”ＰＥＮＴＩＵＭ ＰＲＯＣＥＳＳＯＲ ＳＹＳＴ
ＥＭ ＡＲＣＨＩＴＥＣＴＵＲＥ Ｓｅｃｏｎｄ Ｅｄ
ｉｔｉｏｎ“，ＭＩＮＤＳＨＡＲＥ，ＩＮＣ．，１９９
５”（参考文献２と呼ぶ）などにその例を見ることがで
きる。これらの従来例においては、複数のプロセッサユ
ニットおよびメモリユニットは１本のバスで接続されて
いる。またプロセッサユニット間はコヒーレンシ報告バ
スで接続されており、コヒーレンシ報告バスは、１本の
共用通知線および１本のダーティ通知線から成る。動作
フローは以下の通りである。尚、他キャッシュの状態検
査を必要とするメモリアクセス要求をここではコヒーレ
ントリード要求と呼ぶ。またコヒーレントリード要求に
応答して各々のキャッシュが該当するキャッシュライン
の状態をコヒーレントリード要求元に返答することをこ
こではコヒーレンシ報告と呼ぶ。

【０００３】（１） いずれかのデータを要求するプロ
セッサユニットがコヒーレントリード要求をプロセッサ
ユニットおよび主記憶を接続するバスに送出する。

【０００４】（２） 各プロセッサユニットはバス上に
コヒーレントリード要求を観測した場合、プロセッサユ
ニット間を接続するコヒーレンシ報告バスに対して返答
を行う。各プロセッサユニットは、例えば当該データを
クリーン状態で保持していた場合は、共用通知線をアサ
ートする。例えば当該データをダーティで保持していた
場合は、ダーティ通知線をアサートする。要求元プロセ
ッサユニットでは、所定のサイクルに共用通知線および
ダーティ通知線を検査する。所定のサイクルとは、各従
来例によって異なり、参考文献１の例ではコヒーレント
リード要求をバス上に送付してから固定サイクル後、参
考文献２の例では、メモリからのデータリターンが返答
されるまでとなっている。もし共用通知線がアサートさ
れている場合は、少なくとも１つのプロセッサユニット
がデータを共用していると判断し、自キャッシュの次状
態を決定する。もしダーティ通知線がアサートされてい
る場合は、少なくとも１つのプロセッサユニットが最新
のデータを保持していると判断し、自キャッシュの次状
態およびデータ送付元を決定する。このように、複数の
プロセッサユニットからのコヒーレンシ報告を基に自キ
ャッシュの状態あるいは最新データの送付元を決定する
処理をここではコヒーレンシ報告の集計と呼ぶ。

【０００５】（３） メモリユニットがその要求が指定
するデータをコヒーレントリード要求元のプロセッサユ
ニットに送付する。

【０００６】（３’） いずれかのプロセッサユニット
が、その要求が指定するデータを更新済みであるときに
は、メモリユニットに代わってそのプロセッサユニット
がコヒーレントリード要求元のプロセッサユニットにデ
ータを送信する。

【０００７】このようにバスによるｗｉｒｅｄ論理を用
いて複数のプロセッサからの状態報告の集計を行う方式
をここではバス集計方式と呼ぶ。

【０００８】また特開平７−２８１９５６号公報（参考
文献３と呼ぶ）においては、コヒーレントリード要求が
同時に複数個オーバラップして実行される場合のコヒー
レンシ報告集計方式について開示している。この従来例
においては、複数のプロセッサユニットと１つのメモリ
ユニットが１本のバスで接続されており、各プロセッサ
ユニットとメモリユニットは別々のコヒーレンシ報告線
により接続されている。コヒーレントリード時の動作フ
ローは以下のようになる。

【０００９】（１） いずれかのデータを要求するプロ
セッサユニットがコヒーレントリード要求をプロセッサ
ユニットおよびメモリユニットを接続するバスに送出す
る。

【００１０】（２） 各プロセッサがメモリユニットに
対して、コヒーレンシ報告線を経由してコヒーレンシ報
告を送付する。メモリユニットにおいては、各プロセッ
サから送付されたコヒーレンシ報告を集計し、コヒーレ
ントリード要求元キャッシュの次状態を決定する。

【００１１】（３） メモリユニットがその要求が指定
するデータをコヒーレントリード要求元のプロセッサユ
ニットに送付する。これと同時にバス上に設けられた状
態報告線によりコヒーレントリード要求元プロセッサユ
ニットに対しキャッシュの次状態の通知を行う。

【００１２】（３’） いずれかのプロセッサユニット
が、その要求が指定するデータを更新済みであるときに
は、主記憶に代わってそのプロセッサユニットがコヒー
レントリード要求元のプロセッサユニットにデータを送
信する。

【００１３】このような方式をここではユニット集中集
計方式と呼ぶ。

【００１４】ところで、スヌープキャッシュ方式を実現
するにあたって上記従来例ではコヒーレントリード要求
を各プロセッサユニットおよびメモリユニットを接続す
るバスにより配布することを前提としている。これは少
数台のプロセッサを安価に接続するためには有効な手段
ではあるが、プロセッサユニット数、あるいは、主記憶
ユニット数が増加すると、バスのトラフィックが増加し
性能向上が困難となる。また、大規模なマルチプロセッ
サシステムを構成する際には、ドライブするべきユニッ
ト数が増加し、かつ、物理的な広がりが大きくなるため
動作周波数を向上させることが困難となる。そこで、特
開平９−１３８７８２号公報（参考文献４と呼ぶ）では
バスの代わりに、並列にアドレスおよびデータが転送可
能な相互結合網（具体的にはクロスバ網）を用いてスヌ
ープ処理を行う方法が開示されている。この従来例にお
いては、コヒーレントリード要求の配布方法については
開示しているが、コヒーレンシ報告の送付方法、およ
び、集計方法に関しては開示していない。

【００１５】

【発明が解決しようとする課題】上記従来例のうち、バ
ス集計方式に関しては、コヒーレンシ報告をバスで行う
ため、動作周波数を向上することが困難である。また、
コヒーレントリード要求が同時に複数個オーバラップし
て実行されるようなシステムにおいては、コヒーレンシ
報告の集計が完了するまで、次のコヒーレンシ報告を送
付することができないため、オーバラップ可能なコヒー
レントリード要求数が限定される。ユニット集中集計方
式に関しては、主記憶容量を複数個設けた場合、およ
び、スループットを高めるために主記憶制御ユニットが
複数個設けた場合に対応できない。

【００１６】さらにいずれの従来例においても、上記に
述べたクロスバ網などの相互結合網を利用したスヌープ
方式には適用することができない。

【００１７】本発明の目的は、複数のプロセッサユニッ
ト、および、複数のメモリユニットを備えるマルチプロ
セッサシステムにおいて、コヒーレントリード要求が同
時に複数個オーバラップして実行される場合に、オーバ
ラップ可能なコヒーレントリード要求の数を限定するこ
となく、コヒーレンシ報告の集計を行う機構を提供する
ことである。

【００１８】本発明のより具体的な目的は、並列にアド
レスおよびデータが転送可能な相互結合網を介して複数
のプロセッサユニット、および、複数のメモリユニット
が接続されるマルチプロセッサシステムにおいて、コヒ
ーレントリード要求が同時に複数個オーバラップして実
行される場合に、オーバラップ可能なコヒーレントリー
ド要求の数を限定することなく、コヒーレンシ報告の集
計を行う機構を提供することである。

【００１９】本発明の他のより具体的な目的は、プロセ
ッサユニットと上記コヒーレンシ報告の集計を行う機構
間のピン数をできるだけ少なく実現することである。

【００２０】

【課題を解決するための手段】本願発明の上記目的を達
成するために、複数のプロセッサユニットの間にコヒー
レンシ報告を転送するための第２の相互結合網を設け、
該第２の相互結合網は全てのプロセッサユニットからの
コヒーレンシ報告を集計し、コヒーレントリード要求元
プロセッサユニットに集計結果を送付する。

【００２１】本願発明の他の目的を達成するために、プ
ロセッサおよびメモリユニットを結合する第１の相互結
合網から、コヒーレンシ報告の集計に必要な情報をコヒ
ーレントリード発行時にコヒーレンシ報告集計を行う機
構が得る手段を設ける。

【００２２】

【発明の実施の形態】以下、本発明に係わるマルチプロ
セッサシステムを図面に示したいくつかの実施の形態を
参照してさらに詳細に説明する。なお、以下において
は、同じ参照番号は同じものもしくは類似のものを表わ
すものとする。また、発明の第２の実施の形態以降にお
いては、発明の第１の実施の形態との相違点を主に説明
するに止める。

【００２３】＜発明の実施の形態１＞ （１）装置の構成 図１は、本発明になるマルチプロセッサシステムの全体
構成で、２つのプロセッサボード１０−０〜１、２つの
メモリボード６０−０〜１、入出力装置等の周辺装置を
含むユニット（図示せず）、および、これらを接続する
ＳＣ（Ｓｙｓｔｅｍ Ｃｏｎｎｅｃｔｉｏｎ）ボード３
０から構成される。メモリボード６０−０〜１の各々
は、プログラムおよびデータを保持する主記憶６１、お
よび、主記憶制御回路７０を備え、主記憶６１は主記憶
制御回路７０によりＳＣボード３０と接続される。２つ
のメモリボード６０−０〜１は６４Ｂ単位にインタリー
ブされている。このインタリーブ単位はプロセッサボー
ド１０−０〜１内キャッシュ１２のラインサイズにより
定まる。プロセッサボード１０−０〜１の各々は、プロ
グラム命令を主記憶６１から順次読み出し、順次それら
の命令を実行するＣＰＵコア１１と、主記憶６１の一部
分の写しを格納するキャッシュ１２と、これを制御する
キャッシュ制御回路２０、とを備える。キャッシュ制御
回路２０は、キャッシュ１２のアクセスを制御するキャ
ッシュアクセス制御回路２１を備え、トランザクション
送信回路２２、および、トランザクション受信回路２３
により、ＳＣボード３０と接続される。ＳＣボード３０
は、プロセッサボード１０−０〜１間、あるいは、プロ
セッサボード１０−０〜１−メモリボード６０−０〜１
間でアドレスおよびデータを通信するためのクロスバユ
ニット４０、および、本発明で特徴的なユニットである
コヒーレンシ報告集計ユニット５０から構成される。ク
ロスバユニット４０とプロセッサボード１０−０〜１、
あるいは、メモリボード６０−０〜１は８Ｂ幅の１対１
の信号線Ｌ１００−０〜３およびＬ４００−０〜３で接
続される。また、コヒーレンシ報告集計ユニット５０と
プロセッサボード１０−０〜１も１対１の信号線Ｌ１０
１−０〜１、Ｌ５００−０〜１により接続される。この
信号線Ｌ１０１−０〜１、Ｌ５００−０〜１は後述する
コヒーレンシ報告、および、その制御線であり、片道
（３ビット＋若干の制御線）である。コヒーレンシ報告
集計ユニット５０とメモリボード６０−０〜１の各々は
後述するメモリデータ転送を制御する信号線Ｌ５０１−
０〜１により接続される。クロスバユニット４０とコヒ
ーレンシ報告集計ユニット５０は、集計機能に必要な信
号を伝達するための信号線Ｌ４５０、Ｌ５４０により接
続される。クロスバユニット４０は、スヌープ処理のた
めのマルチキャスト機能を持つ。クロスバユニット４０
内を通るアドレスおよびデータの１単位をここではＳＣ
トランザクション、あるいは、単にトランザクションと
呼ぶ。

【００２４】本実施の形態においては、クロスバユニッ
ト４０のポート０とコヒーレンシ報告集計ユニット５０
のポート０には、プロセッサボード１０−０が接続され
る。同様に、クロスバユニット４０のポート１とコヒー
レンシ報告集計ユニット５０のポート１には、プロセッ
サボード１０−１が接続される。メモリボード６０−
０、および、メモリボード６０−１は、クロスバユニッ
ト４０およびコヒーレンシ報告集計ユニット５０のポー
ト２、３にそれぞれ接続される。

【００２５】以下では、まずメモリアクセスの動作概要
を図９、および、図１０を用いて説明し、この動作フロ
ーの各々のステップの詳細動作を図１〜図８を用いて説
明する。

【００２６】（２）動作概要 以下では、ＣＰＵコア１１によるメモリロードあるいは
ストア命令実行時で、キャッシュ１２がミスした場合の
システム動作概要を説明する。尚、キャッシュ１２がヒ
ットした場合の動作は一般的なキャッシュを持つプロセ
ッサシステムと同様である。本実施の形態において、キ
ャッシュ１２はストアイン方式を採用する。またキャッ
シュラインの取り得る状態は、「ダーティ」、「クリー
ン」、「共有」、「無効」の４状態とする。これは一般
にＭＥＳＩプロトコルと呼ばれるものと同一である。
「ダーティ」、あるいは、「クリーン」の状態をあるキ
ャッシュラインが示している場合、このラインは他のキ
ャッシュ１２からはキャッシングされていないことが保
証される。「クリーン」あるいは「共有」の状態をある
キャッシュラインが示している場合、このライン内のデ
ータは主記憶６１上のデータと一致していることが保証
される。各キャッシュライン状態の遷移に関しては、例
えば参考文献２を参照されたい。但し、本実施の形態で
は次の点がこの参考文献記載のものと異なる。すなわ
ち、他プロセッサボード１０−０〜１からのコヒーレン
トリード要求に対して「ダーティ」状態でヒットした場
合、自キャッシュ１２の次状態を「共有」ではなく「無
効」にし、主記憶６１には書き戻さない。

【００２７】プロセッサボード１０−０においてキャッ
シュミスが発生した場合の動作概要を最新のデータが主
記憶中にある場合、および、プロセッサボード１０−１
内キャッシュ１２にある場合に分けて図９、および、図
１０を用いて説明する。

【００２８】まず図９を用いて最新のデータが主記憶中
にある場合（この場合を動作ケース１と呼ぶ）について
説明する。このケースにおいては、プロセッサボード１
０−０内のＣＰＵコア１１がロード命令を発行し、その
データがプロセッサボード１０−０およびプロセッサボ
ード１０−１のキャッシュ１２には存在しないことを仮
定する。まずプロセッサボード１０−０内のＣＰＵコア
１１はメモリロード要求をキャッシュアクセス制御回路
２１に対して送付する（ステップＡ）。キャッシュアク
セス制御回路２１がキャッシュミスと判断し（ステップ
Ｂ）、トランザクション送信回路２２がコヒーレントリ
ード要求としてデータリードトランザクションをクロス
バユニット４０に対して送付する（ステップＣ）。クロ
スバユニット４０ではこれを全プロセッサボード１０−
０〜１、および、指定されたメモリボード６０−０に対
してマルチキャストする（ステップＤ）。コヒーレント
リード要求を受け取ったプロセッサボード１０−０〜１
の各々は（ステップＥ）、内部のキャッシュ１２の状態
を検査し、検査結果をコヒーレンシ報告ＣＳＲ （Ｃｏ
ｈｒｅｎｃｙ Ｓｔａｔｕｓ Ｒｅｐｏｒｔ）としてコ
ヒーレンシ報告集計ユニット５０に送付する（ステップ
Ｆ）。コヒーレンシ報告集計ユニット５０は、全てのコ
ヒーレンシ報告を受け取った時点でこれを集計し、その
集計結果ＣＳＳ（Ｃｏｈｅｒｅｎｃｙ Ｓｔａｔｕｓ
Ｓｕｍｍａｒｙ）をコヒーレントリード要求元プロセッ
サボード１０−０へ送付する（ステップＨ）。またこれ
と同時にメモリボード６０−０に対してメモリデータの
転送許可通知を送付する（ステップＨ）。ステップＥ／
Ｆと並行して、コヒーレントリード要求を受け取ったメ
モリボード６０−０は、内部の主記憶６１をアクセスす
る。コヒーレンシ報告集計ユニット５０から転送許可通
知を受けたら、得られたデータをデータトランザクショ
ンとして、クロスバユニット４０へ送付する（ステップ
Ｉ）。クロスバユニット４０はデータトランザクション
をコヒーレントリード要求元のプロセッサボード１０−
０へ送付する（ステップＪ）。ＣＳＳおよびメモリデー
タを受け取ったプロセッサボード１０−０は、データお
よび状態をキャッシュ１２へ登録し、またデータをＣＰ
Ｕコア１１へ返答する（ステップＬ）。

【００２９】次に図１０を用いて最新のデータが他プロ
セッサボード１０−０〜１内キャッシュ１２にある場合
（この場合を動作ケース２と呼ぶ）について説明する。
このケースにおいては、プロセッサボード１０−０内の
ＣＰＵコア１１がストア命令を発行し、そのデータがプ
ロセッサボード１０−１のキャッシュ１２内に「ダーテ
ィ」で存在することを仮定する。まずプロセッサボード
１０−０内のＣＰＵコア１１はストア要求をキャッシュ
アクセス制御回路２１に対して送付する（ステップ
Ａ）。キャッシュアクセス制御回路２１がキャッシュミ
スと判断し（ステップＢ）、トランザクション送信回路
２２がコヒーレントリード要求としてデータリード−無
効トランザクションをクロスバユニット４０に対して送
付する（ステップＣ）。クロスバユニット４０ではこれ
を全プロセッサボード１０−０〜１、および、指定され
たメモリボード６０−０に対してマルチキャストする
（ステップＤ）。コヒーレントリード要求を受け取った
プロセッサボード１０−１（ステップＥ）において内部
のキャッシュ１２を検査した結果、最新のデータを保持
しているとキャッシュアクセス制御回路２１が判断した
場合、その結果をＣＳＲとしてコヒーレンシ報告集計ユ
ニット５０に送付する（ステップＦ）。さらに、キャッ
シュ１２から読み出した最新のデータをデータトランザ
クションとして、クロスバユニット４０へ送付する（ス
テップＧ）。クロスバユニット４０はデータトランザク
ションをコヒーレントリード要求元であるプロセッサボ
ード１０−０に送付する（ステップＪ）。プロセッサボ
ード１０−０におけるステップＥ／Ｆの動作は動作ケー
ス１の場合と同様である。全プロセッサボード１０−０
〜１からＣＳＲを受け取ったコヒーレンシ報告集計ユニ
ット５０は、ＣＳＲを集計し集計結果をＣＳＳとしてプ
ロセッサボード１０−０に送付する。さらに、コヒーレ
ンシ報告集計ユニット５０は、集計結果ＣＳＳにより主
記憶６１からのデータ転送が不要と判断できるため、デ
ータ転送抑止通知をメモリボード６０−０に対して送付
する（ステップＨ）。コヒーレントリード要求を受け取
ったメモリボード６０−０は、データ転送抑止通知が到
着しているため、データトランザクションをクロスバユ
ニット４０に送付することなく処理を完了する（ステッ
プＩ）。ＣＳＳおよびデータを受け取ったプロセッサボ
ード１０−０は動作ケース１と同様に、キャッシュ１２
に対してデータおよび状態を登録し、かつ、ＣＰＵコア
１１からのストアデータを格納する（ステップＬ）。

【００３０】キャッシュ１２内データの主記憶６１に対
する書き戻しは、キャッシュラインの置換時、あるい
は、命令による強制的なフラッシュにより行われる。こ
の動作に関しては、従来技術と差がないため、必要な回
路および説明を省略する。

【００３１】（３）動作の詳細 以下では、キャッシュミス時の動作の詳細を、図９にお
ける動作ケース１および図１０における動作ケース２に
関して説明する。文章中の各項番のうちアルファベット
部は、図９、あるいは、図１０の各ステップと対応して
いる。以下で特に動作ケースの指示がない動作内容につ
いては、共通の動作となる。

【００３２】（３−Ａ）キャッシュアクセス 図２を用いてキャッシュアクセス時の動作を説明する。
ＣＰＵコア１１内において実行中の命令がメモリアクセ
ス命令、すなわちデータロード命令、あるいは、データ
ストア命令であった場合、キャッシュ制御回路２０内の
キャッシュアクセス制御回路２１に対して、信号線Ｌ１
１０を経由してアドレスを、信号線Ｌ１１１を経由して
アクセス種類、および、トランザクション識別子ＴＸＩ
Ｄを送付する。ここで、アクセス種類とは命令ロード、
データロード、データストアの区別を指す。

【００３３】動作ケース１においては、ＣＰＵコア１１
はアクセス種類としてデータロードを信号線Ｌ１１１を
経由してキャッシュアクセス制御回路２１に送付する。

【００３４】動作ケース２においては、ＣＰＵコア１１
はアクセス種類としてデータストアを信号線Ｌ１１１を
経由してキャッシュアクセス制御回路２１に送付する。

【００３５】（３−Ｂ）キャッシュミス判定 図２を用いてキャッシュミス判定時の動作を説明する。
キャッシュアクセス制御回路２１においては、送付され
たアドレスを基にキャッシュ１２を信号線Ｌ２１２を経
由してアクセスし、キャッシュラインの状態を調べる。
もし、指定されたアドレスに対応するキャッシュライン
が存在しないか、存在してもその状態が有効でなかった
らキャッシュ１２がミスしたと判定し、信号線Ｌ２１４
を経由してアドレスを、信号線Ｌ２１５を経由してトラ
ンザクション種類を、信号線Ｌ２１３を経由してトラン
ザクション識別子ＴＸＩＤ、および、自ポート番号０を
トランザクション送信回路２２に送付する。トランザク
ション種類は、ＣＰＵコア１１から信号線Ｌ１１１経由
で送付されたアクセス種により定められ、命令ロードの
場合は命令リード、データロードの場合はデータリー
ド、データストアの場合はデータリード−無効化とな
る。キャッシュ１２の検査方法に関しては従来のキャッ
シュ制御方式と同様の技術であるため、ここでは説明を
省略する。

【００３６】動作ケース１においては、ＣＰＵコア１１
からのアクセス種がデータロードであるため、トランザ
クション種はデータリードとなる。

【００３７】動作ケース２においては、 ＰＵコアから
のアクセス種がデータロードであるため、トランザクシ
ョン種はデータリード−無効化となる。

【００３８】（３−Ｃ）ＳＣトランザクション発行 図３および図５を用いてＳＣトランザクションの発行動
作について説明する。キャッシュアクセス制御回路２１
から送付されたトランザクション種およびアドレスを基
にコヒーレントリード要求となるＳＣトランザクション
を生成し、ＳＣボード内クロスバユニット４０に対して
発行する。ＳＣトランザクションのフォーマットを図５
に示す。ＳＣトランザクションはデータ線Ｌ１００−０
〜３をヘッダサイクルＴ０、アドレスサイクルＴ１、デ
ータサイクルＴ２に分けて使用する。ヘッダサイクルＴ
０はクロスバユニット４０に対する指示を示しており、
配布モードを示すヘッダ種Ｔ３、配布先を示すヘッダポ
ート番号Ｔ４から成る。尚、ヘッダサイクルＴ０はクロ
スバユニット４０に対する指示を示しており、クロスバ
ユニット４０から各ボード１０−０〜１、６０−０〜１
に対しては出力されない。アドレスサイクルＴ１はプロ
セッサボード１０−０〜１、あるいは、メモリボード６
０−０〜１に対する指示を示しており、各フィールドの
意味としては、ＴＸ種Ｔ５は信号線Ｌ２１５を経由して
指示されたトランザクション種、アドレスＴ６は信号線
Ｌ２１４を経由して指示されたアドレス、ポート番号Ｔ
７およびＴＸＩＤ Ｔ８は信号線Ｌ２１３を経由して指
示されたものである。データサイクルＴ２中のデータは
メモリボード６０−０〜１からのデータリターン時、あ
るいはプロセッサボード１０−０〜１からのプロセッサ
ボード間転送時に送付されるべきデータを保持してお
り、６４Ｂデータを送付する際は、８サイクルを要す
る。ただし、本実施の形態ではクロスバユニット４０と
各ボードを接続する信号線Ｌ１００−０〜３、Ｌ４００
−０〜３の幅は片道８Ｂである。コヒーレントリード要
求を送付する場合は、データサイクルＴ２は不要であ
る。

【００３９】トランザクション送信回路２２では、信号
線Ｌ２１５を経由して指示されたトランザクション種を
用い、ヘッダ生成回路においてヘッダ種Ｔ３を生成す
る。これはトランザクション種に対して一意に定まるも
のであり、表１の関係がある。

【００４０】

【表１】

【００４１】トランザクション種がデータリード、ある
いは、データリード−無効化の場合、ヘッダポート番号
Ｔ４としてアクセスを行うメモリボード６０−０〜１の
ポート番号を生成する必要がある。これはメモリボード
６０−０〜１のインタリーブ方法、および、アクセスす
るアドレスにより定まる。本実施の形態においては６４
Ｂ毎にインタリーブしているため、アドレスの下位７ビ
ット目が０の場合ポート番号２を、アドレスの下位７ビ
ット目が１の場合、ポート番号３を示す。この変換は信
号線Ｌ２１４を経由してアドレスを受けた主記憶ポート
番号生成回路２２０により行われ、生成されたヘッダポ
ート番号Ｔ４はヘッダ生成回路２２１によりヘッダ種Ｔ
３とマージされ、信号線Ｌ２２１を経由してヘッダサイ
クルＴ０を保持するレジスタ２２６に格納される。

【００４２】アドレスサイクルＴ１を保持するレジスタ
２２５には、信号線Ｌ２１５を経由して通知されたトラ
ンザクション種、信号線Ｌ２１４を経由して通知された
アドレス、信号線Ｌ２１３を経由して通知されたポート
番号およびＴＸＩＤ、がマージされて格納される。

【００４３】ヘッダサイクルＴ０、アドレスサイクルＴ
１が揃ったところで、ヘッダサイクルＴ０、アドレスサ
イクルＴ１の順にセレクタ２２７は選択して信号線Ｌ１
００−ｉ（ｉ＝０，１）、ＳＣトランザクションとして
クロスバユニット４０に送出する。

【００４４】またコヒーレントリード要求のアドレスサ
イクルＴ１の送付時には、ＴＸＩＤＴ８、および、アド
レスＴ６をトランザクション受信回路２３へも信号線Ｌ
２２０を経由して送付する。トランザクション受信回路
２３では、受け取ったＴＸＩＤ Ｔ８、および、アドレ
スＴ６をリードデータキュー２３０のＴＸＩＤフィール
ド２３１、および、ＡＤＤＲフィールド２３１へそれぞ
れ格納する。

【００４５】動作ケース１においてトランザクション種
がデータリードであるため、ヘッダサイクルＴ０におけ
るヘッダ種Ｔ３はＭＭＣとなる。動作ケース２において
トランザクション種がデータリード−無効化であるた
め、ヘッダサイクルＴ０におけるヘッダ種Ｔ３は同様に
ＭＭＣとなる。またいずれの動作ケースにおいてもアク
セスするアドレスの下位７ビット目が０の場合を仮定
し、ヘッダサイクルＴ０におけるヘッダポート番号Ｔ４
は２となる。

【００４６】（３−Ｄ）マルチキャスト プロセッサボード１０−０からＳＣトランザクションを
受け取ったクロスバユニット４０は、これをヘッダサイ
クルＴ０の指示に従い、プロセッサボード１０−０〜
１、あるいは、メモリボード６０−０〜１へ送付する。
以下ではマルチキャスト時の動作について説明する。

【００４７】図６はクロスバユニット４０の内部構造を
示している。ＩＮＱ ４０１−０〜２はプロセッサボー
ド１０−０〜１、メモリボード６０−０〜１の各々から
送付されたＳＣトランザクションを一時的に格納するキ
ューである。図６においては、図面の都合上３ポートし
か図示していない。ＩＮＱＣＴＬ ４０２−０〜２はＩ
ＮＱ ４０１−０〜２内に存在するＳＣトランザクショ
ンのヘッダサイクルＴ０をデコードし、ヘッダ種Ｔ３が
１対１転送を指示している場合、出力ポート４０３−０
〜２のアービタＡＲＢ４０４−０〜２へ調停要求を送付
する。また、ヘッダ種Ｔ３がマルチキャスト転送を指示
している場合、本発明で特徴的なマルチキャストアービ
タＭＣＡＲＢ ４０６へ調停要求を送付する。 信号線
Ｌ４０２〜２はＩＮＱＣＴＬ ４０２−０〜２からの調
停要求を送付するのに使用される。ＭＣＡＲＢ ４０６
はマルチキャスト転送のためのアービタである。ＭＣＱ
４０８はＭＣＡＲＢ ４０６の調停結果を保持するキュ
ーであり、調停順序に応じてｉｎ−ｏｒｄｅｒで管理さ
れる。ＭＣＤＱ４０９はＭＣＡＲＢ ４０６の調停結果
により選択されたＳＣトランザクションのアドレスサイ
クルＴ１およびデータサイクルＴ２を保持するキューで
あり、ＭＣＱ４０８と連動して管理される。ＩＤ送付回
路４１０は、ＭＣＱ４０８の内容を基にコヒーレンシ報
告集計ユニット５０に対して、ＣＳＳを送付すべきポー
ト番号を送付する。ＡＲＢ４０４−０〜２は各ＩＮＱＣ
ＴＬ ４０２−０〜２、および、ＭＣＡＲＢ ４０６か
らの調停要求を調停する回路である。信号線Ｌ４０３〜
２およびＬ４０９はＩＮＱ ４０１−０〜２、および、
ＭＣＤＱ４０９からＳＣトランザクションのアドレスサ
イクルＴ１およびデータサイクルＴ２を送付するのに使
用される。

【００４８】以下で動作ケース１におけるコヒーレント
リード要求の送付動作について説明する。まず、プロセ
ッサボード１０−０が接続されている入力ポート４００
−０にＳＣトランザクションが到着し、ＩＮＱ４０１−
０へ格納される。ＩＮＱＣＴＬ４０２−０はＩＮＱ４０
１−０の先頭からＳＣトランザクションのヘッダサイク
ルＴ０を解釈する。この場合ヘッダサイクルＴ０はＭＭ
Ｃであり、ヘッダポート番号Ｔ４は指定すべきメモリボ
ード６０−０〜１の接続されているポート番号すなわち
「２」を示している。ヘッダ種Ｔ３がＭＭＣであること
を解釈すると、ＩＮＱＣＴＬ４０２−０は信号線Ｌ４０
２−０を経由して、調停要求、ヘッダ種Ｔ３、および、
ヘッダポート番号Ｔ４をＭＣＡＲＢ ４０６へ送付す
る。ＭＣＡＲＢ ４０６では、他ＩＮＱＣＴＬ ４０２
−１〜２からの調停要求との調停を行い、ＩＮＱＣＴＬ
４０２−０からの調停要求が勝利した場合、ＳＣトラン
ザクションの配付先、勝利したポート番号、ヘッダポー
ト番号Ｔ４、ＩＤ送付の有無をＭＣＱ４０８へ格納す
る。この場合ＳＣトランザクションの配付先はポート
０、ポート１、ポート２であり、勝利したポート番号は
０、ヘッダポート番号Ｔ４は２、ＩＤ送付の有無は１で
ある。ＩＤ送付の有無はヘッダ種Ｔ３がＭＭＣの時のみ
「１」であり、これ以外の場合「０」である。セレクタ
４０７はＭＣＡＲＢ４０６の調停結果を受け取り、調停
結果の示す入力ポート、すなわち、入力ポート４００−
０から信号線Ｌ４０３−０を経由して送付されたアドレ
スサイクルＴ１を選択し、ＭＣＤＱ４０９へ格納する。

【００４９】コヒーレンシ報告集計ユニット５０からの
ビジー信号５４０がアサートされていない場合、ＭＣＱ
４０８の先頭に格納されているＳＣトランザクション配
付先のＡＲＢ４０４−０〜２へ信号線Ｌ４０８を経由し
て調停要求を送付する。またＭＣＤＱ４０９は先頭のＳ
Ｃトランザクションを信号線Ｌ４０９経由で各出力ポー
ト４０３−０〜２へ送付する。コヒーレンシ報告集計ユ
ニット５０からのビジー信号５４０がアサートされてい
る場合、ＭＣＱ４０８からの調停要求の送付は行わな
い。各ＡＲＢ４０４−０〜２では受け取った調停要求を
調停し、ＭＣＱ４０８からの調停要求が勝利した場合、
セレクタ４０５−０〜２を制御し、ＭＣＤＱ４０９から
信号線Ｌ４０９を経由して送付されたＳＣトランザクシ
ョンを、信号線Ｌ４００−０〜２経由で送付先であるプ
ロセッサボード１０−０、プロセッサボード１０−１、
メモリボード６０−０へ送付する。もしＭＣＱ４０８か
らの調停要求が敗北した場合、各ＡＲＢ４０４−０〜２
において次の調停機会では、必ずＭＣＱ４０８からの調
停要求が勝利するように制御する。全ＡＲＢにおいて調
停が勝利したらＭＣＱ４０８、および、ＭＣＤＱ４０９
は先頭をデキューする。上記制御により、コヒーレント
リード要求は、ＭＣＡＲＢ ４０６において計算機シス
テム内での順序が付けられ、この順に従い各プロセッサ
ボード１０−０〜１、あるいは、メモリボード６０−０
〜１に送付される。ただし、その到着時刻は必ずしも同
時でなくても構わない。

【００５０】コヒーレンシ報告集計ユニット５０からの
ビジー信号５４０がアサートされていない場合、ＭＣＱ
４０８の先頭エントリにおけるＩＤ送付の有無の情報に
従い、ＩＤ送付回路４１０はＭＣＱ４０８内の勝利した
ポート番号、および、ヘッダポート番号Ｔ４を信号線４
５０を経由してコヒーレンシ報告集計ユニット５０へ送
付する。コヒーレンシ報告集計ユニット５０からのビジ
ー信号５４０がアサートされている場合、この送付は行
わない 。

【００５１】動作ケース２においても動作ケース１と同
様の動作を行う。

【００５２】（３−Ｅ）スヌープアドレス受信 図４はトランザクション受信回路の内部構造を示してい
る。ＴＸデコーダ２３６はクロスバユニット４０から送
付されるＳＣトランザクションの解釈を行い、受け取っ
たＳＣトランザクションがコヒーレントリード要求の場
合、スヌープアドレスキュー２３５にこれを格納する。
受け取ったＳＣトランザクションがデータリターンある
いはプロセッサボード間転送であった場合に、リードデ
ータキュー２３０はＳＣトランザクション中のデータサ
イクルＴ２を格納する。また（３−Ｃ）で述べたよう
に、リードデータキュー２３０はトランザクション送信
回路２２から送付されたＴＸＩＤおよびアドレスを格納
し、さらにコヒーレンシ報告集計ユニット５０から送付
されたコヒーレンシ報告の集計結果ＣＳＳを格納し、デ
ータ到着制御を行う。この動作は（３−Ｋ）で詳しく述
べる。

【００５３】動作ケース１におけるスヌープアドレス受
信時、クロスバユニット４０より信号線Ｌ４００−ｉ
（ｉ＝０，１）を経由してＳＣトランザクションを受け
取った各プロセッサボード１０−ｉは、これをＴＸデコ
ーダ２３６で解釈する。ＳＣトランザクション中アドレ
スサイクルＴ１のＴＸ種Ｔ５がデータリードであるた
め、 ＴＸデコーダ２３６は信号線Ｌ２３７経由でＳＣ
トランザクションをスヌープアドレスキュー２３５に送
付し、これを格納する。スヌープアドレスキュー２３５
はｉｎ−ｏｒｄｅｒで管理され、キューの先頭から信号
線Ｌ２３１を経由して、キャッシュアクセス制御回路２
１へコヒーレントリード要求を送付する。

【００５４】動作ケース２におけるスヌープアドレス受
信時も、ＳＣトランザクション中アドレスサイクルＴ１
のＴＸ種Ｔ５がデータリード−無効化であるため、動作
内容は上記と同様である。

【００５５】（３−Ｆ）コヒーレンシ報告発行 図２を用いてコヒーレンシ報告発行動作の内、キャッシ
ュアクセスの動作を説明する。信号線Ｌ２３１を経由し
てコヒーレントリード要求を受け取ったキャッシュアク
セス制御回路２１は、信号線Ｌ２１２を用いてキャッシ
ュ１２をアクセスし、キャッシュラインの状態を信号線
Ｌ１２０経由で得る。またキャッシュラインの状態はト
ランザクション送信回路２２にも送付される。この際、
キャッシュアクセス制御回路２１はトランザクション種
を信号線Ｌ２１５経由でトランザクション送信回路２２
に送付する。キャッシュアクセス制御回路２１では、コ
ヒーレントリード要求中のトランザクション種、およ
び、得られたキャッシュラインの状態により、もし必要
があればキャッシュラインの状態の更新を行う。更新が
必要な場合とは、例えばトランザクション種がデータリ
ード−無効化であり、キャッシュライン状態が「無効」
以外であった場合は、キャッシュラインの状態を「無
効」に更新する。トランザクション種がデータリード
で、キャッシュラインの状態が「クリーン」の場合、キ
ャッシュラインの状態を「共有」に更新する。トランザ
クション種がデータリードで、キャッシュラインの状態
が「ダーティ」の場合、キャッシュラインの状態を「無
効」に更新する。キャッシュ状態更新の具体的な動作に
ついては従来のスヌープキャッシュと同様の制御である
ため、詳細な説明は省略する。

【００５６】次に図３を用いてコヒーレンシ報告の発行
動作を説明する。トランザクション送信回路２２におい
てコヒーレンシ報告生成回路２２２は、上述のようにキ
ャッシュ１２から信号線Ｌ１２０経由でキャッシュライ
ンの状態を受け取り、キャッシュアクセス制御回路２１
から信号線Ｌ２１５経由でトランザクション種を受け取
る。これらを基に表２に従いコヒーレンシ報告ＣＳＲを
生成する。

【００５７】

【表２】

【００５８】生成したコヒーレンシ報告ＣＳＲはコヒー
レンシ報告格納用レジスタ２２３に格納され、信号線Ｌ
１０１−ｉ（ｉ＝０，１）を経由して、コヒーレンシ報
告集計ユニット５０に送付される。

【００５９】動作ケース１において、プロセッサボード
１０−０の動作としては、コヒーレンシ報告生成回路２
２２が受け取るキャッシュの状態は「無効」であり、ト
ランザクション種はデータリードであるため、生成する
コヒーレンシ報告はＤＯＮＥとなる。プロセッサボード
１０−１の動作も同様である。

【００６０】動作ケース２において、プロセッサボード
１０−０の動作としては、コヒーレンシ報告生成回路２
２２が受け取るキャッシュの状態は「無効」であり、ト
ランザクション種はデータリード−無効化であるため、
生成するコヒーレンシ報告はＤＯＮＥとなる。プロセッ
サボード１０−１の動作としては、コヒーレンシ報告生
成回路２２２が受け取るキャッシュラインの状態は「ダ
ーティ」であり、トランザクション種はデータリード−
無効化であるため、生成するコヒーレンシ報告はＤＩＲ
ＴＹとなる。

【００６１】（３−Ｇ）データトランザクション発行 キャッシュアクセス制御回路２１において、コヒーレン
トリード要求に対してキャッシュラインの状態が「ダー
ティ」であった場合、プロセッサボード１０−０〜１間
でのデータ転送のためのＳＣトランザクションを生成
し、クロスバユニット４０経由で、コヒーレントリード
要求元プロセッサボード１０−０〜１に送付する必要が
ある。

【００６２】図２において、（３−Ｆ）で述べたように
スヌープアドレスキュー２３５から信号線Ｌ２３１経由
でコヒーレントリード要求を受け付けたキャッシュアク
セス制御回路２１は、キャッシュ１２をアクセスし、キ
ャッシュライン状態を信号線Ｌ１２０経由で得る。キャ
ッシュライン状態が「ダーティ」であった場合、キャッ
シュアクセス制御回路２１は、信号線Ｌ２３１経由でト
ランザクション種としてプロセッサボード間転送をトラ
ンザクション送信回路２２に送付する。また、コヒーレ
ントリード要求のアドレス部分を信号線Ｌ２１４経由
で、コヒーレントリード要求中のポート番号およびＴＸ
ＩＤを信号線Ｌ２１３経由でトランザクション送信回路
２２に送付する。

【００６３】トランザクション送信回路２２では、（３
−Ｃ）で述べた手順に従い、信号線Ｌ１００−ｉ（ｉ＝
０，１）経由でクロスバユニット４０に対してプロセッ
サボード間転送トランザクションを送付する。ただし、
以下の点が（３−Ｃ）の手順と異なる。まず、ヘッダ生
成回路２２１においてヘッダポート番号を信号線Ｌ２１
３を経由して送付されたポート番号とする。また、信号
線Ｌ１２０経由でキャッシュから送付されたデータをレ
ジスタ２２４に格納し、ＳＣトランザクションのアドレ
スサイクルＴ１の後にデータサイクルＴ２として付加す
る。

【００６４】上記動作は、動作ケース１のプロセッサボ
ード１０−１での動作となる。

【００６５】（３−Ｈ）コヒーレンシ報告集計 図７を用いてコヒーレンシ報告集計の動作を説明する。
コヒーレンシ報告集計ユニット５０において、ＣＳＲＱ
５０３−０〜１は各プロセッサボード１０−０〜１から
送付されたコヒーレンシ報告ＣＳＲを一時的に格納する
キューであり、ｉｎ−ｏｒｄｅｒで管理される。ＤＩＤ
Ｑ５０１はコヒーレンシ報告の集計結果ＣＳＳを送付す
べきポート番号を格納しているキューであり、ＭＩＤＱ
５０２はデータ転送の許可あるいは抑止通知を送付すべ
きポート番号を格納しているキューである。ＤＩＤＱ５
０１およびＭＩＤＱ５０２はｉｎ−ｏｒｄｅｒで管理さ
れる。集計回路５０７はＣＳＲＱ５０３−０〜１の内容
を集計する回路であり、発火回路５０６により起動され
る。抑止信号生成回路５０８は集計回路によって得られ
たＣＳＳを基にメモリボード６０−０〜１に対してデー
タ転送許可通知、あるいは、抑止通知を送付する。

【００６６】以下で動作フローを説明する。コヒーレン
シ報告集計ユニット５０は、まず（３−Ｄ）で述べた様
に、クロスバユニット４０から信号線Ｌ４５０経由で集
計したＣＳＳの送付先ポート番号、および、データ転送
抑止に使用するメモリボードポート番号を受け取り、こ
れをＤＩＤＱ５０１およびＭＩＤＱ５０２にそれぞれ格
納する。次に（３−Ｆ）で述べた様に、プロセッサボー
ド１０−０〜１の各々から信号線Ｌ１０１−０〜１経由
でコヒーレンシ報告ＣＳＲを受け取り、各々のポートに
対応するＣＳＲＱ５０３−０〜１に格納する。ＣＳＲＱ
５０３−０〜１の先頭に有効なＣＳＲが存在しているか
否かが信号線Ｌ５０３−０〜１を経由して発火回路５０
６に通知される。また、どのポートにプロセッサボード
１０−０〜１が接続されているかを示す集計マスク５０
５の内容が、信号線Ｌ５０５を経由して発火回路５０６
に通知される。集計マスク５０５の各々のビットは、各
ポートに対応し、「１」の場合はそのポートにプロセッ
サボード１０−０〜１が接続されていることを示す。本
実施の形態においては、集計マスクのビットはいずれも
「１」である。発火回路５０６においては、集計マスク
が「１」であるポートの全てにおいて、対応するＣＳＲ
Ｑ５０３−０〜１の先頭にＣＳＲが存在することが信号
線Ｌ５０３−０〜１で通知された場合、ＣＳＲの集計が
可能であると判断し、信号線Ｌ５０６を用い集計回路５
０７を起動する。集計回路５０７には信号線Ｌ５０３−
０〜１を経由してＣＳＲＱ５０３−０〜１からＣＳＲが
送付される。また集計マスク５０５の内容が信号線Ｌ５
０５を経由して送付される。さらに信号線Ｌ５１１を経
由してＤＩＤＱ５０１から送付先ポート番号の存在が通
知される。集計回路５０７は、表３の条件に従いＣＳＲ
の集計を行いＣＳＳの生成を行う。ただし、集計マップ
５０１のビットが「０」であるポートに対するＣＳＲ
は、全て「ＤＯＮＥ」であるとみなす。

【００６７】

【表３】

【００６８】集計回路５０７は、さらにＣＳＳが生成さ
れた時点で、信号線Ｌ５１１を経由して送付されたＤＩ
ＤＱ５０１の先頭の内容が有効であるか否かを調べ、も
し有効でなければＣＳＳをＥＲＲに置き換える。集計回
路５０７は、生成したＣＳＳを信号線Ｌ５０７を経由し
てＤｅＭＵＸ５０４（デマルチプレクサ）へ送付する。
またＤＩＤＱ５０１はその先頭の内容を信号線Ｌ５１１
を経由して送付先ポート番号をＤｅＭＵＸ５０４へ送付
する。ＤｅＭＵＸ５０４は通知された送付先ポート番号
に従い、ＣＳＳを信号線Ｌ５００−０〜１を経由してプ
ロセッサボード１０−０〜１へ送付する。また集計回路
５０７は生成したＣＳＳを信号線Ｌ５０７を経由して抑
止信号生成回路５０８へ送付する。抑止信号生成回路５
０８は、ＣＳＳがＤＩＲＴＹの場合、抑止通知を、それ
以外の場合転送許可通知を、信号線Ｌ５０８を経由して
ＤｅＭＵＸ５１０に送付する。ＭＩＤＤＱ５０２はその
先頭のメモリボードポート番号を信号線Ｌ５０２を経由
してＤｅＭＵＸ５１０へ送付する。ＤｅＭＵＸ５１０は
指定されたメモリポート番号の示すメモリボード６０−
０〜１に対して、抑止通知あるいは転送許可通知を信号
線Ｌ５０１−０〜１経由で送付する。

【００６９】キャッシュ１２アクセスの遅延などの理由
であるプロセッサボード１０−ｉ（ｉ＝０，１）からの
ＣＳＲの到着が遅れた場合、他プロセッサボード１０−
ｊ（ｊ＝０，１）に対応するＣＳＲＱ５０３−ｊ（ｊ＝
０，１）がオーバフローする可能性がある。このオーバ
フローを避けるためにコヒーレンシ報告集計ユニット５
０から各々のプロセッサボード１０−０〜１に対してＣ
ＳＲＱ５０３−０〜１のビジーを伝える方法が考えられ
る。しかしこの場合コヒーレンシ報告集計ユニット５０
のピン数およびプロセッサボード１０−０〜１のピン数
が増大する。そこで本実施の形態では、まずＤＩＤＱ５
０１およびＭＩＤＱ５０２のキュー長を、ＣＳＲＱ５０
３−０〜１のキュー長に比べて同じか少なくしておき、
ＤＩＤＱ５０１がオーバフローしそうな場合は、ビジー
をクロスバユニット４０に通知し、コヒーレントリード
要求のマルチキャストを抑止する。こうすることで同時
に存在し得るＣＳＲの最大数をＤＩＤＱ５０１に登録さ
れている数に制限できるためＣＳＲＱ５０３−０〜１の
オーバフローを避けることができる。この方式を採用す
ることでクロスバユニット４０とコヒーレンシ報告集計
ユニット５０の間に１本のビジー信号Ｌ５４０のみが必
要となり、全てのＣＳＲＱ５０３−０〜１のビジー線が
不要となる。動作としては、ビジー制御回路５００がＤ
ＩＤＱ５０１に登録されている数を管理し、オーバフロ
ーしそうな場合はビジー信号Ｌ５４０をアサートする。
ビジー信号Ｌ５４０アサート時の動作は（３−Ｄ）で説
明したようにマルチキャストを抑止する。

【００７０】集計マスク５０５の設定については、種々
の方式があり得る。本実施の形態では、システムの立ち
上げ時にプロセッサボード１０−０〜１の各々が一定期
間信号線Ｌ１０１−０〜１を経由して固定パターン、例
えばＤＯＮＥをコヒーレンシ報告集計ユニット５０に送
付しておき、コヒーレンシ報告集計ユニット５０内のマ
スク生成回路５０４では、これを観測して指定された固
定パターン、例えばＤＯＮＥを送付しているプロセッサ
ボード１０−０〜１に対応する集計マスク５０４のビッ
トに「１」を設定し、これ以外のビットには「０」を設
定する。これ以外にも、集計マスクを保持しているレジ
スタをあるＩ／Ｏ空間にマッピングしておき、ＣＰＵコ
ア１１がこのＩ／Ｏ空間に対して書き込みを行うこと
で、設定を行うといった方式があり得る。

【００７１】動作ケース１において上記動作は、クロス
バユニット４０の送付内容によりＤＩＤＱ５０１には
「０」が、ＭＩＤＱ５０２には「２」が格納される。プ
ロセッサボード１０−０〜１から送付されるＣＳＲが全
てＤＯＮＥであり、集計回路５０７により生成されるＣ
ＳＳはＤＯＮＥとなる。これをプロセッサボード１０−
０に送付する。また転送許可信号をメモリボード６０−
０に対して送付する。

【００７２】動作ケース２において上記動作は、クロス
バユニット４０の送付内容によりＤＩＤＱには「０」
が、ＭＩＤＱには「２」が格納される。プロセッサボー
ド１０−０から送付されるＣＳＲはＤＯＮＥであり、プ
ロセッサボード１０−１から送付されるＣＳＲはＤＩＲ
ＴＹであるため、集計回路５０７により生成されるＣＳ
ＳはＤＩＲＴＹとなる。これをプロセッサボード１０−
０に送付する。また転送抑止信号をメモリボード６０−
０に対して送付する。

【００７３】本実施の形態では、クロスバユニット４０
は、ＣＳＳの送付先ポート番号及びデータ転送抑止に使
用するメモリポート番号をコヒーレンシ報告集計ユニッ
ト５０へ送付していた。上記ポート番号は、各プロセッ
サボード１０−０〜１がコヒーレントリードトランザク
ション中のアドレスサイクルＴ１を基に生成し、生成し
た上記ポート番号をＣＳＲの送付時に各プロセッサボー
ド１０−０〜１がコヒーレンシ報告集計ユニット５０へ
信号線Ｌ１０１−０〜１を経由して送付することは可能
である。しかし、この場合、信号線Ｌ１０１−０〜１が
増加するためコヒーレンシ報告集計ユニット５０のピン
数が増加する。そこで、本実施の形態では、上記ポート
番号をコヒーレントリードトランザクションの送付時
に、クロスバユニット４０から送付している。これによ
り、コヒーレンシ報告集計ユニット５０のピン数を削減
することができる。

【００７４】（３−Ｉ）データトランザクション発行／
データ転送抑止 図８を用いてメモリボード６０−０〜１におけるデータ
トランザクション発行およびデータ転送抑止の動作を説
明する。メモリボード６０−０〜１は主記憶６１と主記
憶制御回路７０を備え、主記憶制御回路７０内にはコヒ
ーレントリードのためのアドレスおよびデータを保持す
るコヒーレントリードキュー７０１と、命令リードのた
めのアドレスおよびデータを保持する命令リードキュー
７０６を備える。コヒーレントリードキュー７０１と命
令リードキュー７０６はそれぞれＳＣトランザクション
を受けた順にｉｎ−ｏｒｄｅｒで処理される。コヒーレ
ントリードキュー７０１と命令リードキュー７０６が分
かれているのは、コヒーレントリードに関してはデータ
のプロセッサボード１０−０〜１への転送を抑止可能と
するためである。

【００７５】主記憶制御回路７０内のＴＸデコーダ７０
０は信号線Ｌ４００−ｉ（ｉ＝０，１）経由でクロスバ
ユニット４０からＳＣトランザクションを受け取り、Ｔ
Ｘ種Ｔ５をデコードし、もしデータリードあるいはデー
タリード−無効化であればコヒーレントリードキュー７
０１に、アドレスサイクルＴ１中のアドレスＴ６、ポー
ト番号Ｔ７、ＴＸＩＤＴ８を、ＡＤＤＲフィールド７０
３、ＤＩＤフィールド７１４、ＴＸＩＤフィールド７０
２、それぞれ格納する。ＴＸ種Ｔ５が命令リードであれ
ば命令リードキュー７０６に、アドレスサイクルＴ１中
のアドレスＴ６、ポート番号Ｔ７、ＴＸＩＤＴ８を、Ａ
ＤＤＲフィールド７０８、ＤＩＤフィールド７１５、Ｔ
ＸＩＤフィールド７０７に、それぞれ格納する。コヒー
レントリードキュー７０１は先頭からＡＤＤＲを信号線
Ｌ７１３経由で調停／セレクタ７１０へ送付し、調停に
勝利した場合、主記憶６１に信号線Ｌ７１０経由でＡＤ
ＤＲを送付し、主記憶６１をアクセスする。アクセスし
た結果得られたデータは信号線Ｌ６１０経由でコヒーレ
ントリードキュー７０１に送付され、該当するエントリ
に格納される。これと並行して主記憶制御回路７０は、
コヒーレンシ報告集計ユニット５０から信号線Ｌ５０１
−ｉ（ｉ＝０，１）を経由して抑止通知あるいは転送許
可通知を受け取り、コヒーレントリードキュー７０１の
ＥＮフィールド７０５に順次格納する。コヒーレントリ
ードキュー７０１の先頭エントリのＤＡＴＡフィールド
７０４、および、ＥＮフィールド７０５が有効になった
ら、トランザクション生成回路７１１へコヒーレントリ
ードキュー７０１の先頭エントリの内容を信号線Ｌ７０
１を経由して送付する。トランザクション生成回路７１
１においては、ＥＮフィールド７０５がもし抑止である
場合は、コヒーレントリードキュー７０１からデキュー
するのみで、データをプロセッサボード１０−０〜１に
対して送付しない。もしＥＮフィールド７０５が転送許
可である場合は、コヒーレントリードキュー７０１の内
容によりＳＣトランザクションを生成する。この際、ヘ
ッダサイクルＴ０におけるヘッダ種Ｔ３はＳＵ、ヘッダ
ポート番号Ｔ４はＤＩＤフィールド７１４の内容とな
る。アドレスサイクルＴ１のＴＸ種Ｔ５はデータリター
ン、アドレスＴ６はＡＤＤＲフィールド７０３の内容、
ポート番号Ｔ７はＤＩＤフィールド７１４の内容、ＴＸ
ＩＤＴ８はＴＸＩＤフィールド７０２の内容、となる。
データサイクルＴ２はＤＡＴＡフィールド７０４の内容
を８サイクルに分けて送付する。トランザクション生成
回路７１１は生成したＳＣトランザクションを調停／セ
レクタ７１３へ信号線Ｌ７１１を経由して送付し、調停
／セレクタ７１３は調停に勝利したＳＣトランザクショ
ンを、信号線Ｌ１００−ｉ（ｉ＝０，１）経由で主記憶
制御回路７０からクロスバユニット４０へ送付する。命
令リードキュー７０６の動作については、ＥＮフィール
ド７０５が存在せず、したがって、データリターンの抑
止がないこと以外はコヒーレントリードキュー７０１の
動作と同じである。

【００７６】動作ケース１の場合はＴＸ種Ｔ５がデータ
リードである。またコヒーレンシ報告集計ユニット５０
からは転送許可通知が送付されるため、ＳＣトランザク
ションとしてデータリターンをクロスバユニット４０へ
送付する。

【００７７】動作ケース２の場合はＴＸ種Ｔ５がデータ
リード−無効化である。またコヒーレンシ報告集計ユニ
ット５０からは転送抑止通知が送付されるため、ＳＣト
ランザクションを送付せず、コヒーレントリードキュー
のデキューのみを行う。

【００７８】（３−Ｊ）１対１転送 以下では図６を用いて、動作ケース１においてメモリボ
ード６０−０からプロセッサボード１０−０へのデータ
リターントランザクション処理時のクロスバユニット４
０の動作について説明する。クロスバユニット４０は信
号線Ｌ１００−２を経由してＳＣトランザクションをメ
モリボード６０−０から受け取り、ＩＮＱ４０１−２へ
格納する。ＩＮＱＣＴＬ４０２−２はＩＮＱ４０１−２
の先頭エントリに関して、ヘッダサイクルＴ０の解釈を
行い、ヘッダ種Ｔ３がＳＵである場合、ヘッダサイクル
Ｔ０のヘッダポート番号Ｔ４により指定される出力ポー
ト０４０３−０に対応するＡＲＢ４０４−０へ信号線Ｌ
４０２−２を経由して調停要求を送付する。ＡＲＢ４０
４−０では調停処理を行い、もしＩＮＱＣＴＬ４０２−
２からの要求が勝利した場合、ＡＲＢ４０４−０はセレ
クタ４０５−０へ調停結果を信号線Ｌ４０４−０を経由
して通知し、セレクタ４０５−０はＩＮＱ４０１−２か
ら信号線Ｌ４０３−２を経由して送付されるアドレスサ
イクルＴ１およびデータサイクルＴ２を選択し、信号線
Ｌ４００−０を経由してプロセッサボード１０−０へＳ
Ｃトランザクションを送付する。

【００７９】動作ケース２におけるプロセッサボード間
転送時も、ＳＣトランザクションの発行元がプロセッサ
ボード１０−１であり、ＳＣトランザクションを受け付
ける入力ポートが入力ポート４００−１であることを除
けば、上記と同様のフローとなる。

【００８０】尚、命令リード時に送付されるＳＣトラン
ザクションにおいてヘッダ種Ｔ３はＱＭとなるが、この
送付動作もここで説明したヘッダ種Ｔ３がＳＵ時の動作
と同様である。

【００８１】（３−Ｋ）データ／状態受信 以下では図４を用いてプロセッサボード１０−０〜１に
おけるデータおよびＣＳＳの受信制御について説明す
る。トランザクション受信回路２３内のリードデータキ
ュー２３０は、データのリターンおよびＣＳＳの到着を
待ち合わせるためのキューである。リードデータキュー
２３０におけるＴＸＩＤフィールド２３１およびＡＤＤ
Ｒフィールド２３２はコヒーレントリード要求発行時に
トランザクション送信回路２２から送付されるＴＸＩＤ
およびアドレスを格納する。またＤＡＴＡフィールド２
３３はデータリターントランザクションあるいはプロセ
ッサボード間転送トランザクションのデータサイクルＴ
２を格納する。ＣＳＳフィールド２３４はＣＳＳを格納
する。ＴＸＩＤフィールド、ＡＤＤＲフィールド、ＣＳ
Ｓフィールドの格納はｉｎ−ｏｒｄｅｒで行う。ＤＡＴ
Ａフィールドの格納はｏｕｔ−ｏｆ−ｏｒｄｅｒで行
い、格納すべきエントリはＴＸＩＤをキーとして検索す
る。リードデータキューのデキューはｉｎ−ｏｒｄｅｒ
で行う。

【００８２】動作ケース１におけるデータ／ＣＳＳ受信
動作について説明する。トランザクション受信回路２３
は、信号線Ｌ４００ｉ−ｉ（ｉ＝０，１）を経由して送
付されたＳＣトランザクションを、ＴＸデコーダ２３６
において解釈し、Ｔｘ種Ｔ５がデータリターンであるた
め、アドレスサイクルＴ１内ＴＸＩＤＴ８の内容と同一
のＴＸＩＤフィールド２３１の内容を持つリードデータ
キュー２３０のエントリへ、ＳＣトランザクションのデ
ータサイクルＴ２を信号線Ｌ２３６を経由して格納す
る。またこれとは非同期にトランザクション受信回路２
３はコヒーレンシ報告集計ユニット５０から信号線Ｌ５
００−ｉ（ｉ＝０，１）経由で送付されたＣＳＳを受け
取り、これを順次リードデータキュー２３０のＣＳＳフ
ィールド２３４へ格納する。ここで、ＣＳＳの到着はコ
ヒーレントリード要求の発行順に返答されることを期待
しており、データリターンは、コヒーレントリード要求
の発行順序とは無関係に返答されても構わない。リード
データキュー２３０の先頭において、ＤＡＴＡフィール
ド２３３およびＣＳＳフィールド２３４が有効となった
場合、このエントリの内容を全て、信号線Ｌ２３０経由
でキャッシュアクセス制御回路２１へ送付する。

【００８３】動作ケース２においては、ＴＸ種Ｔ５がデ
ータリターンではなくプロセッサボード間転送である
が、動作は上記と同様である。

【００８４】（３−Ｌ）キャッシュ登録／ＣＰＵコア返
答 図２においてトランザクション受信回路２３から信号線
Ｌ２３０経由でリターンデータを受け取ったキャッシュ
アクセス制御回路２１では、ＡＤＤＲフィールドの示す
アドレスを用いてキャッシュ１２へデータおよびキャッ
シュ状態を格納する。格納するキャッシュ状態は、もし
ＣＳＳフィールドがＤＯＮＥであった場合は「クリー
ン」、ＳＨＡＲＥＤであった場合は「共有」、ＤＩＲＴ
Ｙであった場合は「ダーティ」である。また、ＣＰＵコ
ア１１に対してＴＸＩＤ、および、リターンデータを信
号線Ｌ２１０を経由して送付する。この動作は従来のス
ヌープキャッシュの制御とほぼ同一であるため、詳細な
説明は省略する。

【００８５】図１１は実施の形態１の実装図を示してい
る。１つのプロセッサボード１０−ｉ（ｉ＝０，１）は
１枚のボード上に実装される。また１つのメモリボード
６０−ｉ（ｉ＝０，１）も１枚のボード上に実装され
る。またクロスバユニット４０とコヒーレンシ報告集計
ユニット５０は、同じＳＣボード上に実装される。これ
らボードをバックプレーン８０へ挿入することで計算機
システムを構築する。プロセッサボード１０−０〜１、
あるいは、メモリボード６０−０〜１はＳＣボード３０
のポート数が許す限りは増設可能であり、また最小限の
システムまでは縮退が可能である。

【００８６】＜発明の実施の形態１の変形＞ （１）実施の形態１では、キャッシュ１２の制御方式と
してストアイン方式を前提としたが、これをストアスル
ーにしても構わない。この場合、キャッシュの状態とし
てＤＩＲＴＹ状態が存在しなくなることを除けば、動作
フロー自体は同じである。

【００８７】（２）実施の形態１では、プロセッサボー
ド１０−０〜１、および、メモリボード６０−０〜１の
数をそれぞれ２としているが、これはさらに多数台のボ
ードを接続しても構わない。この場合、クロスバユニッ
ト４０およびコヒーレンシ報告集計ユニット５０におい
て入力ポートおよび出力ポートに関わる回路を増やすこ
とで実現できる。

【００８８】（３）実施の形態１では、クロスバユニッ
ト４０およびコヒーレンシ報告集計ユニット５０を同一
のボードに実装しているが、これを別々のボードに実装
しても構わない。また、クロスバユニット４０あるいは
コヒーレンシ報告集計ユニット５０のいずれか、あるい
は、両方をバックプレーン上に実装しても構わない。

【００８９】（４）実施の形態１では、コヒーレントリ
ード要求を発行したプロセッサボード１０−ｉ（ｉ＝
０，１）以外のプロセッサボード１０−ｊ（ｊ＝０，
１）が最新のデータを保持していた場合、メモリボード
６０−０〜１からのデータ転送を抑止していた。これ
は、コヒーレンシ報告の集計完了がメモリボード６０−
０〜１における主記憶のアクセスより早いことを前提と
している。もしコヒーレンシ報告の集計が設計上早く行
うことができない場合、それだけメモリボード６０−０
〜１からのデータリターントランザクション送付が遅延
してしまう。これを避けるには、メモリボード６０−０
〜１においてはデータ転送の抑止を行わず、そのままデ
ータトランザクションをプロセッサボード１０−０〜１
へ送付する。プロセッサボード１０−０〜１において
は、メモリボード６０−０〜１からのデータリターンに
よるデータ、および、他プロセッサボード１０−０〜１
からのプロセッサボード間転送によるデータの双方をト
ランザクション受信回路２３中のリードデータキュー内
ＤＡＴＡフィールドに保持する。ＣＳＳが到着した時点
で、ＣＳＳがＤＩＲＴＹであればプロセッサボード間転
送によるデータを有効とし、それ以外の場合はデータリ
ターンによるデータを有効とする、という方式が考えら
れる。

【００９０】＜発明の実施の形態２＞実施の形態１は、
各プロセッサボード１０−０〜１中にＣＰＵコア１１が
１つしかない例であった。この場合、計算機システム全
体におけるＣＰＵコア１１の数を増加させるためには、
クロスバユニット４０およびコヒーレンシ報告集計ユニ
ット５０のポート数を増加させる必要がある。しかし、
ピン数、および、ゲート数の制約によりポート数の増加
は限度がある。そこで１つのプロセッサボード１０−０
〜１に複数のＣＰＵコア１１を搭載する場合を考える。

【００９１】（１）装置の構成 図１２および図１３を用いて実施の形態２におけるプロ
セッサボード１０−０〜１の構成を説明する。図１２に
おいてＣＰＵコア１１、キャッシュ制御回路２０、キャ
ッシュ１２をまとめてプロセッサユニット１３−０〜１
と呼び、プロセッサボード１０−０〜１はこのプロセッ
サユニット１３−０〜１を２つ備え、プロセッサユニッ
ト１３−０〜１とＳＣボード間にＳＣインタフェース回
路２４を設けたことが実施の形態１と異なる。図１３に
おいてＳＣインタフェース回路２４は、各プロセッサユ
ニット１３−０〜１からのＳＣトランザクションを受け
付けるＴＸＱ２４０−０〜１、ＣＳＲをプロセッサボー
ド１０−０〜１内部で集計するためのローカル集計回路
２４４、コヒーレンシ報告集計ユニット５０からのＣＳ
Ｓをプロセッサユニットのどちらに送付するかを示すＳ
ＲＣＱ２４８を備える。ローカル集計回路２４４に関連
する構成要素として、各々のプロセッサユニット１３−
０〜１からのＣＳＲを格納するＬＣＳＲＱ２４２−０〜
１、および、各々のプロセッサユニット１３−０〜１が
存在するか否かを示すローカル集計マップ２４３を備え
る。ローカル集計マップはどのプロセッサユニット１３
−０〜１が実装されているかを対応するビットにより示
す。このような構成により、ＳＣボード３０のポート数
を増やすことなく、ＣＰＵコア１１の台数を増加させる
ことができる。以下では、コヒーレントリード要求の処
理において実施の形態１と異なる点についてのみ述べ、
同じ動作を行うものについては説明を省略する。

【００９２】（３−Ｃ）ＳＣトランザクション発行 実施の形態１において、ＳＣトランザクション中のＴＸ
ＩＤＴ８はＣＰＵコア１１から信号線Ｌ１１１を経由し
て送付されるものであった。本実施の形態においては、
これをＣＰＵコア１１から送付されるＴＸＩＤに自プロ
セッサユニット識別子ＰＵＩＤを付加する。ＰＵＩＤは
プロセッサユニット１３−０〜１のプロセッサボード１
０−０〜１内における実装位置によって定まる。ＰＵＩ
Ｄはトランザクション送信回路２２においてアドレスサ
イクルＴ１を生成する際にＴＸＩＤＴ８に付加される。

【００９３】また実施の形態１においては、ＳＣトラン
ザクションが生成された後に信号線Ｌ１００−ｉ（ｉ＝
０，１）を経由してクロスバユニット４０に送付してい
たが、これを本実施の形態では、信号線Ｌ１３０−０〜
１を経由してＳＣインタフェース回路２４に送付する。
ＳＣインタフェース回路２４は、受け取ったＳＣトラン
ザクションを対応するＴＸＱ２４０−０〜１に格納す
る。ＴＸＱ２４０−０〜１の各々の先頭からＳＣトラン
ザクションが読み出され、これが調停／セレクタ２４５
へ送付される。調停／セレクタ２４５はＳＣトランザク
ションの調停を行い、勝利した方を信号線Ｌ１００−ｉ
（ｉ−０，１）を経由してクロスバユニット４０へ送付
する。またＳＣトランザクションをクロスバユニット４
０へ送付した際に、このアドレスサイクルＴ１中のＴＸ
ＩＤ中のＰＵＩＤを信号線Ｌ２４５経由でＳＲＣＱ２４
８に格納する。これは、後述するＣＳＳの到着時に返答
すべきプロセッサユニット１３−０〜１を特定するため
である。

【００９４】（３−Ｅ）スヌープアドレス受信 実施の形態１においては、クロスバユニット４０が信号
線Ｌ４００−ｉ（ｉ＝０，１）を経由して送付したＳＣ
トランザクションを直接トランザクション受信回路２３
が受信していたが、本実施の形態においては、これをＳ
Ｃインタフェース回路２４が受信する。ＳＣインタフェ
ース回路２４においては、受信制御回路２４６において
アドレスサイクルＴ１を解釈し、ＴＸ種Ｔ５がコヒーレ
ントリード要求であった場合は、信号線Ｌ１３２−０〜
１を経由してプロセッサユニット１３−０〜１の各々に
対してＳＣトランザクションを送付する。

【００９５】（３−Ｆ）コヒーレンシ報告発行 実施の形態１では生成したＣＳＲをコヒーレンシ報告集
計ユニット５０のみで集計していたが、これをそのまま
適用すると、コヒーレンシ報告集計ユニット５０内にプ
ロセッサユニット１３−ｉ（ｉは任意の整数）対応にＣ
ＳＲＱ５０３−ｉ（ｉは任意の整数）を持つ必要が生じ
るため、コヒーレンシ報告集計ユニット５０に実装可能
なゲート数によりＣＰＵコア１１数の増加に制限が生じ
る。そこで本実施の形態においては、まずプロセッサボ
ード１０−０〜１単位にＣＳＲの集計を行い、集計結果
をさらにコヒーレンシ報告集計ユニット５０へ送付し、
全体の集計を行う。表３に示した集計アルゴリズムは、
任意個のＣＳＳに対して、どのＣＳＳから集計アルゴリ
ズムを適用しても結果は変わらないという性質を持つ。
この性質を利用することでプロセッサボード１０−０〜
１内でローカルにＣＳＳの集計が可能となる。

【００９６】実施の形態１ではトランザクション送信回
路２２が生成したＣＳＳを信号線Ｌ１０１−ｉ（ｉ＝
０，１）を経由してコヒーレンシ報告集計ユニット５０
に送付していたが、これを信号線Ｌ１３０−０〜１を経
由してＳＣインタフェース回路２４に送付する。ＳＣイ
ンタフェース回路２４では受け取ったＣＳＲをＬＣＳＲ
Ｑ２４２−０〜１に格納する。ＬＣＳＲＱ２４２−０〜
１はｉｎ−ｏｒｄｅｒで制御される。ＬＣＳＲＱ２４２
−０〜１の各々の先頭から、内容をローカル集計回路２
４４に送付する。ローカル集計回路２４４においては、
ローカル集計マップ２４３が「０」であるビットに対応
するＬＣＳＲＱ２４２−０〜１の内容は常にＤＯＮＥで
あるとみなし、表３のアルゴリズムに基づいて集計を行
う。生成したＣＳＳはプロセッサボード１０−０〜１単
位のＣＳＲとして信号線Ｌ１０１−ｉ（ｉ＝０，１）を
経由してコヒーレンシ報告集計ユニット５０へ送付す
る。

【００９７】（３−Ｇ）データトランザクション発行 実施の形態１における動作ケース２の場合のプロセッサ
ボード１０−１においては、ＳＣトランザクションが生
成された後に信号線Ｌ１００−１を経由してクロスバユ
ニット４０に送付していたが、これを本実施の形態で
は、信号線Ｌ１３０−０〜１を経由してＳＣインタフェ
ース回路２４に送付するよう変更する。ＳＣインタフェ
ース回路２４は、受け取ったＳＣトランザクションを対
応するＴＸＱ２４０−０〜１に格納する。ＴＸＱ２４０
−０〜１の各々からクロスバユニット４０へのＳＣトラ
ンザクション発行は本実施の形態における（３−Ｃ）の
動作と同様である。ただし、ＰＵＩＤのＳＲＣＱ２４８
への送付は行わない。

【００９８】（３−Ｋ）データ／状態受信 実施の形態１におけるプロセッサボード１０−０におい
て、クロスバユニット４０からのＳＣトランザクション
は信号線Ｌ４００−０を経由して直接トランザクション
受信回路２３により受信されたが、本実施の形態におい
てはまずＳＣインタフェース回路２４によりＳＣトラン
ザクションが受信され、受信制御回路２４６によりアド
レスサイクルＴ１が解釈される。アドレスサイクルＴ１
中のＴＸ種Ｔ５がデータリターン、あるいは、プロセッ
サ間転送の場合、ＴＸＩＤＴ８中のＰＵＩＤが指定する
プロセッサユニット１３−０〜１へ、信号線Ｌ１３２−
０〜１を経由してＳＣトランザクションを送付する。

【００９９】また実施の形態１においては、コヒーレン
シ報告集計ユニット５０からのＣＳＳは信号線Ｌ５００
−ｉ（ｉ＝０，１）を経由して直接トランザクション受
信回路２３により受信されたが、本実施例においてはま
ずＳＣインタフェース回路２４によりＣＳＳが受信さ
れ、ＳＲＣＱ２４８の先頭の内容が指示するプロセッサ
ユニット１３−０〜１に対して、信号線Ｌ１３３−０〜
１を経由してＣＳＳを送付する。

【０１００】データおよびＣＳＳを受け取ったプロセッ
サユニット１３−０〜１の動作は、実施の形態１におけ
るプロセッサボード１０−０〜１の動作と同様である。

【０１０１】＜発明の実施の形態３＞実施の形態１にお
いては、クロスバユニット４０から送付されたコヒーレ
ントリード要求の順序に従い、コヒーレンシ報告集計ユ
ニット５０では全てのＣＳＲの到着後にＣＳＲの集計お
よび送付を行っていた。これに対して実施の形態３にお
いては、「ＣＳＳの確定後にＣＳＲの集計を行い」、
「コヒーレントリード要求の順序とは無関係にＣＳＳの
送付を行う」点が異なる。すなわち、コヒーレンシ報告
集計の性質を考えると、少なくとも１つのプロセッサボ
ード１０−０〜１からのＣＳＲがＳＨＡＲＥＤであれ
ば、他のＣＳＲの結果に依らずＣＳＳはＳＨＡＲＥＤと
確定する。また１つのプロセッサボード１０−０〜１か
らのＣＳＲがＤＩＲＹＴであれば他のＣＳＲの内容に依
らずＣＳＳはＤＩＲＴＹと確定する。ただし、この場合
実施の形態１で示した不正なＣＳＲの組合せがないこと
を前提としている。そこで、まず不正なＣＳＲの組合せ
がないことを前提にＣＳＳが確定次第ＣＳＳをプロセッ
サボード１０−０〜１に送付する。全ＣＳＲの到着後不
正なＣＳＲの組合せが検出された場合は、ＣＳＳが既に
発行されている／いないに関わらずＥＲＲをＣＳＳとし
て、プロセッサボード１０−０〜１に送付する。これに
より、実施の形態１においては、あるプロセッサボード
１０−ｉ（ｉ＝０，１）のコヒーレンシ報告が大きく遅
延した場合、全てのＣＳＳの発行が遅れるのに対して、
この実施の形態では他の後続のＣＳＳの発行は遅延した
ＣＳＲに依らず行えるため、データのＣＰＵコア１１へ
のリターンを早めることができる。尚、各プロセッサボ
ード１０−０〜１からのコヒーレンシ報告集計ユニット
５０へのＣＳＲの送付は実施の形態１と同様に、コヒー
レントリード要求の順序に従う。

【０１０２】（１）装置の構成 実施の形態３においては、実施の形態１とはコヒーレン
シ報告集計ユニット５０の構成が異なる。図１４にコヒ
ーレンシ報告集計ユニット５０の内部構成を示す。コヒ
ーレンシ報告集計ユニット５０は、出力ポート対応にポ
ート集計回路５２５−０〜１を有する。ポート集計回路
５２５−０〜１は、ＣＳＲテーブル５２６および集計回
路５３０を備え、ＣＳＲテーブル５２６は、ＴＸＩＤフ
ィールド５２７、ＭＩＤフィールド５２８、入力ポート
の各々に対応するＣＳＲフィールド５２９−０〜１を備
える。また、入力ポート側にはプロセッサボード１０−
０〜１からのＣＳＲをどのポート集計回路に格納するか
を指示するための、ＤＩＤＱ５２１−０〜１を備える。
以下では、コヒーレントリード要求の処理において実施
の形態１と異なる点についてのみ述べる。

【０１０３】（３−Ｆ）コヒーレンシ報告発行 実施の形態１においては、プロセッサボード１０−０〜
１からコヒーレンシ報告集計ユニット５０へは信号線Ｌ
１０１−０〜１を経由してＣＳＲのみを送付していた。
これに対し実施の形態３においては、ＴＸＩＤをＣＳＲ
に付加して送付する。すなわち、コヒーレンシ報告生成
回路２２２においては、実施の形態１と同様にＣＳＲを
生成した後、信号線Ｌ２１３を経由して送付されるＴＸ
ＩＤを取り込み（取り込む線に関しては図示していな
い）、これをＣＳＲに付加し、信号線Ｌ１０１−０〜１
を経由してコヒーレンシ報告集計ユニット５０に送付す
る。

【０１０４】（３−Ｈ）コヒーレンシ報告集計 コヒーレンシ報告集計ユニット５０は、まず実施の形態
１の（３−Ｄ）で述べたように、クロスバユニット４０
から信号線Ｌ４５０経由で集計すべきＣＳＲの送付先ポ
ート番号、および、データ転送抑止に使用するメモリボ
ードポート番号を受け取り、まずメモリボードポート番
号は送付先ポート番号の指定するポート集計回路５２５
−０〜１内のＣＳＲテーブル５２６内ＭＩＤフィールド
５２８に格納する。また送付先ポート番号はＤＩＤＱ５
２１−０〜１の各々に格納する。次に実施の形態３の
（３−Ｆ）で述べたように、プロセッサボード１０−０
〜１の各々から信号線Ｌ１０１−０〜１を経由してＣＳ
ＲおよびＴＸＩＤを受け取り、各入力ポートに対応する
ＤＩＤＱ５２１−０〜１の指示するポート集計回路５２
５−０〜１内のＣＳＲテーブル５２６の入力ポートに対
応するＣＳＲフィールド５２９−０〜１、および、ＴＸ
ＩＤフィールド５２７へ格納する。ＣＳＲテーブル５２
６はｅｎｑｕｅｕｅ， ｄｅｑｕｅｕｅはｉｎ−ｏｒｄ
ｅｒで管理し、集計およびＣＳＳの送付はｏｕｔ−ｏｆ
−ｏｒｄｅｒで管理する。集計回路５３０は、ＣＳＲテ
ーブル５２６の全エントリを検査し、表４に従いＣＳＳ
の生成を行う。

【０１０５】

【表４】

【０１０６】集計回路５３０は、生成したＣＳＳおよび
ＴＸＩＤフィールド５２７中のＴＸＩＤを信号線Ｌ５０
０−０〜１を経由して、対応するプロセッサボード１０
−０〜１へ送付する。また、実施の形態１と同様に生成
したＣＳＳを基にメモリボード６０−０〜１に対する抑
止通知、あるいは、転送可能通知を生成し、これにＴＸ
ＩＤフィールド５２７中のＴＸＩＤを付加して、ＣＳＳ
を生成したエントリのＭＩＤフィールド５２８が指示す
るメモリボード６０−０〜１へ信号線Ｌ５３０−０〜
１、調停／セレクタ５３１〜５３２、信号線Ｌ５０１−
０〜１を経由して発行する。もし複数のエントリにおい
てＣＳＳが確定したら、ＣＳＲテーブル５２６の先頭に
近いものから優先してＣＳＳの発行を行う。また集計回
路５３０は、ＣＳＲエントリ５２６の先頭において全て
のＣＳＲフィールド５２９−０〜１が有効であるか否か
を検査し、もし有効であった場合は、不正なＣＳＲの組
合せがないか検査する。不正なＣＳＲの組合せとは、Ｄ
ＩＲＴＹのＣＳＲが存在しており、かつ、その他のＣＳ
ＲがＤＯＮＥ以外の場合である。不正なＣＳＲの組合せ
を検出した場合、対応するプロセッサボード１０−０〜
１へＣＳＳとしてＥＲＲを信号線Ｌ５００−０〜１を経
由して送付し、当該エントリをデキューする。また不正
なＣＳＲの組合せが存在しない場合、当該エントリをデ
キューする。

【０１０７】（３−Ｉ）データトランザクション発行／
データ転送抑止 実施の形態１においては、図８においてメモリボード６
０−ｉ（ｉ＝０，１）は信号線Ｌ５０１−ｉ（ｉ＝０，
１）を経由してコヒーレンシ報告集計ユニット５０か
ら、コヒーレントリードトランザクションを受け取った
順に、転送許可あるいは転送抑止通知を受け取ってい
た。本実施の形態では、転送許可あるいは転送抑止通知
はコヒーレントリードトランザクションの到着順とは無
関係に到着する代わりに、対応するトランザクションの
ＴＸＩＤが付加される。したがって、主記憶制御回路７
０においては、信号線Ｌ５０１−ｉ（ｉ＝０，１）経由
で転送許可あるいは転送抑止通知を受け取った際に、付
加されているＴＸＩＤを基にコヒーレントリードキュー
７０１を検索し、ＴＸＩＤフィールド７０２に同じ内容
を持つエントリに対して、そのＥＮフィールド７０５に
転送許可あるいは転送抑止通知を格納する。

【０１０８】（３−Ｋ）データ／状態受信 実施の形態１においては、図４においてトランザクショ
ン受信回路２３は信号線Ｌ５００−ｉ（ｉ＝０，１）を
経由してコヒーレンシ報告集計ユニット５０から、コヒ
ーレントリードトランザクションを受け取った順に、Ｃ
ＳＳを受け取っていた。本実施の形態では、ＣＳＳはコ
ヒーレントリードトランザクションの発行順とは無関係
に到着する代わりに、対応するトランザクションのＴＸ
ＩＤが付加される。したがって、トランザクション受信
回路２３においては、信号線Ｌ５００−ｉ（ｉ＝０，
１）経由でＣＳＳを受け取った際に、付加されているＴ
ＸＩＤを基にリードデータキュー２３０を検索し、ＴＸ
ＩＤフィールド２３１に同じ内容を持つエントリに対し
て、そのＣＳＳフィールド２３４にＣＳＳを格納する。

【０１０９】また実施の形態１においては信号線Ｌ２３
０を経由してリードデータキュー２３０の先頭エントリ
からその内容をキャッシュアクセス制御回路２１へ送付
していたが、本実施の形態においては、ＤＡＴＡフィー
ルド２３３、および、ＣＳＳフィールド２３４がｏｕｔ
−ｏｆ−ｏｒｄｅｒで有効となるため、両方が揃ったエ
ントリからその内容を信号線Ｌ２３０を経由してキャッ
シュアクセス制御回路２１へ送付する。

【０１１０】＜実施の形態３の変形例＞ （１）実施の形態３において、プロセッサボード１０−
０〜１からコヒーレンシ報告集計ユニット５０へのＣＳ
Ｒの送付の際、ＴＸＩＤを付加して送付していた。これ
は、クロスバユニット４０においてはヘッダサイクルＴ
０で得られる情報のみしかコヒーレンシ報告集計ユニッ
ト５０には送付していないため、アドレスサイクルＴ１
に含まれるＴＸＩＤについては、プロセッサボード１０
−０〜１から送付している。しかしＴＸＩＤを送付する
ためには、このための信号線をプロセッサボード１０−
０〜１とコヒーレンシ報告集計ユニット５０の間に設け
るか、あるいは、複数サイクルをかけてＣＳＳおよびＴ
ＸＩＤを送付する必要がある。これを避けるためには、
クロスバユニット４０（図６）におけるＩＤ送付回路４
１０においてＭＣＤＱ４０９内のアドレスサイクルＴ１
を解釈し、ＴＸＩＤＴ８を信号線Ｌ４５０を経由して送
付する方法が考えられる。この場合、必要となる信号線
の追加はクロスバユニット４０とコヒーレンシ報告ユニ
ットに限定されるため、ピン数の増加を抑えることがで
きる。

【０１１１】＜発明の実施の形態４＞ （バス結合） 実施の形態１は、コヒーレントリード要求、および、デ
ータリターン、プロセッサボード間転送がクロスバユニ
ット４０という「並列にトランザクションを送付可能な
相互結合網」を用いて転送している。本実施の形態にお
いては、これをバスに置き換えた場合について述べる。
この構成により、メモリボード６０−０〜１が複数存在
するような計算機システムにおいて、コヒーレントリー
ド要求が同時に複数個オーバラップ可能なマルチプロセ
ッサシステムを安価に提供できる。

【０１１２】（１）装置の構成 図１５は実施の形態４における計算機システムの全体構
成である。実施の形態１ではクロスバユニット４０を用
いていたのと異なり、プロセッサボード１０−０〜１の
各々、および、メモリボード６０−０〜１の各々をバス
３１で接続している。コヒーレンシ報告集計ユニット５
０とプロセッサボード１０−０〜１、あるいは、メモリ
ボード６０−０〜１との接続形態は実施の形態と同様で
あるが、実施の形態１ではクロスバユニット４０とコヒ
ーレンシ報告集計ユニット５０が接続されていたのに対
して、バス３１とコヒーレンシ報告集計ユニット５０が
信号線Ｌ３１０で接続されている点が異なる。図１６は
本実施の形態におけるコヒーレンシ報告集計ユニット５
０の内部構成を示している。実施の形態１とは異なり、
コヒーレンシ報告集計ユニット５０はＤＩＤＱ５０１お
よびＭＩＤＱ５０２を登録するためにＴＸ種デコーダ５
４０、および、主記憶ポート番号生成回路５５０を備え
る。また、プロセッサボード１０−０〜１においてトラ
ンザクション送信回路２２（図３）は、ヘッダ生成回路
２２１、主記憶ポート番号生成回路２２０、ヘッダサイ
クルＴ０を保持するレジスタ２２６が必要なくなるが、
これに関しては図示していない。またバス３１を用いた
ことによりバスアービタが必要となるが、これについて
は従来技術で実現可能であるため、図示および説明を省
略する。

【０１１３】（３−Ｃ）ＳＣトランザクション発行 実施の形態１と比較して、ヘッダサイクルＴ０の生成に
関する動作が全て不要となる。

【０１１４】（３−Ｈ）コヒーレンシ報告集計 実施の形態１と比較して、ＤＩＤＱ５０１およびＭＩＤ
Ｑ５０２の格納方法が異なる。実施の形態１ではクロス
バユニット４０に送付されるヘッダサイクルＴ０内の情
報を用いて、クロスバユニット４０がＣＳＳを送付すべ
きポート番号および抑止信号を送付すべきメモリボード
６０−０〜１のポート番号を決定し、コヒーレンシ報告
集計ユニット５０に対して送付していた。本実施の形態
においては、クロスバユニット４０の代わりにバスを用
いているためヘッダサイクルＴ０が存在しない。したが
ってバス上のアドレスサイクルＴ１の一部を用いて上記
情報を得る必要がある。

【０１１５】バス３１上にトランザクションが送付され
た場合、コヒーレンシ報告集計ユニット５０はこれを検
出し、信号線Ｌ３１０を経由してトランザクションにお
けるアドレスサイクルＴ１中のＴＸ種Ｔ５、アドレスＴ
６、ポート番号Ｔ７を取り込む。主記憶ポート番号生成
回路５５０は、信号線Ｌ３１０を経由してアドレスＴ６
を取り込み、実施の形態１における（３−Ｃ）の処理と
同様にアドレスからメモリボード６０−０〜１のポート
番号を生成する。ＴＸ種デコーダはＴＸ種Ｔ５をデコー
ドし、ＴＸ種Ｔ５がコヒーレントリード要求である、す
なわち、データリードあるいはデータリード−無効化で
あることを検出すると、信号線Ｌ３１０経由でポート番
号をＤＩＤＱ５０１に格納し、上記で得たメモリボード
ポート番号を信号線Ｌ５５０を経由してＭＩＤＱへ格納
する。

【０１１６】ＣＳＲの集計、抑止信号の送付動作に関し
ては、実施の形態１と同様である。

【０１１７】

【発明の効果】本発明によれば、複数のプロセッサユニ
ット、および、複数のメモリユニットを備えるマルチプ
ロセッサシステムにおいて、コヒーレントリード要求が
同時に複数個オーバラップして実行される場合に、オー
バラップ可能なコヒーレントリード要求の数を限定する
ことなく、コヒーレンシ報告の集計を行うことができ
る。

【０１１８】さらに、本発明のよれば、並列にアドレス
およびデータが転送可能な相互結合網を介して複数のプ
ロセッサユニット、および、複数のメモリユニットが接
続されるマルチプロセッサシステムにおいて、コヒーレ
ントリード要求が同時に複数個オーバラップして実行さ
れる場合に、オーバラップ可能なコヒーレントリード要
求の数を限定することなく、コヒーレンシ報告の集計を
行うことができる。

【０１１９】さらに本発明によれば、プロセッサユニッ
トと上記コヒーレンシ報告の集計を行う機構間のピン数
をできるだけ少なくすることができる。

【図面の簡単な説明】

【図１】本発明によるマルチプロセッサシステムの概略
ブロック図。

【図２】図１の装置に使用するプロセッサボードの概略
ブロック図。

【図３】図２の装置に使用するトランザクション送信回
路の概略ブロック図。

【図４】図１の装置に使用するトランザクション受信回
路の概略ブロック図。

【図５】図１の装置に使用するトランザクションフォー
マット。

【図６】図１の装置に使用するクロスバユニットの概略
ブロック図。

【図７】図１の装置に使用するコヒーレンシ報告集計ユ
ニットの概略ブロック図。

【図８】図１の装置に使用するメモリボードの概略ブロ
ック図。

【図９】動作ケース１におけるコヒーレンシ動作フロー
図。

【図１０】動作ケース２におけるコヒーレンシ動作フロ
ー図。

【図１１】図１の装置の概略実装図。

【図１２】図１の装置に使用するプロセッサボードの概
略ブロック図。

【図１３】図１の装置に使用するＳＣインタフェース回
路の概略ブロック図。

【図１４】図１の装置に使用するコヒーレンシ報告集計
ユニットの概略ブロック図。

【図１５】本発明によるマルチプロセッサシステムの概
略ブロック図。

【図１６】図１５の装置に使用するコヒーレンシ報告集
計ユニットの概略ブロック図。

【符号の説明】

１０−０〜１…プロセッサボード０〜１ ２０…キャッシュ制御回路 ３０…ＳＣボード ４０…クロスバユニット ５０…コヒーレンシ報告集計ユニット ６０−０〜１…メモリボード０〜１ ７０…主記憶制御回路。

フロントページの続き (72)発明者 柴田 正文 神奈川県海老名市下今泉810番地 株式会 社日立製作所オフィスシステム事業部内 (72)発明者 中島 敦 神奈川県海老名市下今泉810番地 株式会 社日立製作所オフィスシステム事業部内

Claims (18)

【特許請求の範囲】
1. 【請求項１】それぞれプロセッサとキャッシュメモリと
   を有する複数のプロセッサユニットと、 上記複数のプロセッサユニットにより共有される複数の
   メモリユニットと、 上記複数のプロセッサユニットと上記複数のメモリユニ
   ットとを相互に接続する第１の相互結合網と、 上記複数のプロセッサユニットを相互に接続する第２の
   相互結合網と、 上記第１の相互結合網と上記第２の相互結合網とを接続
   する信号線とを有することを特徴とするマルチプロセッ
   サシステム。
2. 【請求項２】上記第２の相互結合網は、上記複数のプロ
   セッサの上記キャッシュメモリの状態に関する情報を集
   計して、上記信号線により伝達される信号に応じて上記
   複数のプロセッサユニットのいずれか一つのプロセッサ
   ユニットに上記集計した情報に基に生成した情報を送付
   することを特徴とする請求項１に記載のマルチプロセッ
   サシステム。
3. 【請求項３】それぞれプロセッサを有する複数のプロセ
   ッサユニットと、 上記複数のプロセッサユニットにより共有される複数の
   メモリユニットと、 上記複数のプロセッサユニットと上記複数のメモリユニ
   ットとの間でアドレス若しくはデータ、又はその双方を
   送付する第１の相互結合網と、 上記複数のプロセッサユニットを相互に接続する第２の
   相互結合網とを有し、 上記複数のプロセッサユニットの各々は、キャッシュメ
   モリと、上記第１の相互結合網を介して受理したキャッ
   シュ検査を要するメモリアクセス要求に応答して、該キ
   ャッシュメモリの状態を基に、キャッシュ検査報告を上
   記第２の相互結合網に送付するキャッシュ検査報告手段
   とを有し、 上記第２の相互結合網は、上記複数のプロセッサユニッ
   トから受理した上記キャッシュ検査報告を集計して、上
   記キャッシュ検査を要するメモリアクセス要求の発行元
   である上記複数のプロセッサユニットのいずれかの上記
   キャッシュメモリの状態を定める情報を発生するキャッ
   シュ検査報告集計手段と、該情報を上記キャッシュ検査
   を要するメモリアクセス要求の発行元に送付する手段を
   有することを特徴とするマルチプロセッサシステム。
4. 【請求項４】上記第１の相互結合網は、上記第２の相互
   結合網との間にキャッシュ検査を要するメモリアクセス
   要求の発行元を通知する手段を有し、 上記第２の相互結合網は、上記キャッシュ検査報告集計
   手段が発生する上記情報を上記メモリアクセス要求の発
   行元を通知する手段により指定される上記複数のプロセ
   ッサユニットのいずれかに送付することを特徴とする請
   求項３に記載のマルチプロセッサシステム。
5. 【請求項５】上記第１の相互結合網は、並列に上記アド
   レス若しくは上記データ、又はその双方を、上記複数の
   プロセッサユニット若しくはそのいずれか、又は上記複
   数のメモリユニットのいずれかに送付する手段を有する
   請求項３又は請求項４いずれかに記載のマルチプロセッ
   サシステム。
6. 【請求項６】上記第１の相互結合網は、上記キャッシュ
   検査を要するメモリアクセス要求を、上記複数のプロセ
   ッサユニット又は上記複数のメモリユニットのいずれか
   に送付する手段を有し、 上記複数のプロセッサユニット及び上記複数のメモリユ
   ニットが上記キャッシュ検査を要するメモリアクセス要
   求を受理する順序が一致することを特徴とする請求項５
   記載のマルチプロセッサシステム。
7. 【請求項７】上記第２の相互結合網は、上記複数のプロ
   セッサユニットのいずれが存在しているかを識別する手
   段を有し、 上記キャッシュ検査報告集計手段は、上記識別する手段
   を用いて、上記キャッシュ検査を要するメモリアクセス
   要求の発行元の上記キャッシュメモリの状態を定める上
   記情報を発生することを特徴とする請求項３乃至請求項
   ６いずれかに記載のマルチプロセッサシステム。
8. 【請求項８】上記識別する手段は、上記マルチプロセッ
   サの立ち上げ時に、上記複数のプロセッサユニットから
   送付される存在信号により設定されることを特徴とする
   請求項７に記載のマルチプロセッサシステム。
9. 【請求項９】上記複数のプロセッサユニットは、 複数の上記プロセッサと、 複数の上記キャッシュメモリと、 上記複数のプロセッサのいずれのプロセッサが存在して
   いるかを識別する識別手段とを有し、 上記キャッシュ検査報告手段は、上記複数のキャッシュ
   メモリの状態を基に、該複数のキャッシュメモリのキャ
   ッシュ検査報告を集計して上記第２の相互結合網へ送付
   する手段を有し、 上記複数のプロセッサは、上記キャッシュ検査を要する
   メモリアクセス要求に応答して、上記複数のキャッシュ
   メモリの状態を基に、上記複数のキャッシュメモリのキ
   ャッシュ検査報告を上記キャッシュ検査報告手段に送付
   し、 上記キャッシュ検査報告手段は、上記複数のキャッシュ
   メモリのキャッシュ検査報告と上記識別手段とを用い
   て、上記プロセッサユニットのキャッシュ検査報告を発
   生することを特徴とする請求項３乃至請求項６いずれか
   に記載のマルチプロセッサシステム。
10. 【請求項１０】上記複数のプロセッサユニットの各々
    は、上記キャッシュ検査を要するメモリアクセス要求を
    受理した順序で、上記キャッシュメモリの状態を上記第
    ２の相互結合網に送付し、 上記第２の相互結合網は、上記メモリアクセス要求の発
    行元の上記キャッシュメモリの状態を定める上記情報を
    上記メモリアクセス要求の発行元を通知する手段により
    指定される上記複数のプロセッサユニットのいずれか
    に、上記メモリアクセス要求の発行元の通知と同じ順序
    で送付することを特徴とする請求項４に記載のマルチプ
    ロセッサシステム。
11. 【請求項１１】上記複数のプロセッサユニットは、上記
    キャッシュ検査を要するメモリアクセス要求に応答し
    て、最新のデータを上記キャッシュ検査を要するメモリ
    アクセス要求の発行元に送付する手段を有し、 上記複数のメモリユニットは、上記メモリアクセス要求
    に応答して上記複数のメモリユニットが保持するデータ
    を上記キャッシュ検査を要するメモリアクセス要求の発
    行元へ送付する動作を抑止する手段を有し、 上記第２の相互結合網は、上記キャッシュ検査を要する
    メモリアクセス要求の発行元の上記キャッシュメモリの
    状態を定める上記情報により、上記複数のメモリユニッ
    トのいずれかに、上記プロセッサユニットへのデータ転
    送の抑止を通知する手段を有する請求項３乃至請求項１
    ０いずれかに記載のマルチプロセッサシステム。
12. 【請求項１２】上記複数のプロセッサユニットは、上記
    キャッシュ検査を要するメモリアクセス要求に応答し
    て、最新のデータを上記キャッシュ検査を要するメモリ
    アクセス要求の発行元に送付する手段と、 上記第２の相互結合網により通知された、上記キャッシ
    ュ検査を要するメモリアクセス要求の発行元の上記キャ
    ッシュメモリの状態を定める上記情報に応じて、上記プ
    ロセッサユニットから送付された上記最新のデータと、
    上記メモリユニットから送付されたデータとを選択する
    手段とを備える請求項３乃至請求項１１いずれかに記載
    のマルチプロセッサシステム。
13. 【請求項１３】上記第１の相互結合網は、共有バスであ
    ることを特徴とする請求項３乃至請求項１２いずれかに
    記載のマルチプロセッサシステム。
14. 【請求項１４】上記第２の相互結合網は、内部のビジー
    状態を上記第１の相互結合網に通知する手段を有し、 上記第１の相互結合網は、上記第２の相互結合網のビジ
    ー状態により、上記キャッシュ検査を要するメモリアク
    セス要求を上記複数のプロセッサユニット及び上記複数
    のメモリユニットに送付することを抑止する手段を有す
    る請求項３乃至請求項１２いずれかに記載のマルチプロ
    セッサシステム。
15. 【請求項１５】上記第２の相互結合網は、上記キャッシ
    ュ検査を要するメモリアクセス要求の発行元の上記キャ
    ッシュメモリの状態を定める上記情報を発生する際に、
    キャッシュ状態の一貫性が保証されていないことを検出
    し、その一貫性が保証されない場合には上記複数のプロ
    セッサユニットのいずれかにエラー報告を送付する手段
    を有する請求項３乃至請求項１４いずれかに記載のマル
    チプロセッサシステム。
16. 【請求項１６】上記第２の相互結合網は、上記メモリア
    クセス要求の発行元を通知する手段により上記複数のプ
    ロセッサユニットのいずれかが指定される以前に、上記
    複数のプロセッサユニットから上記キャッシュメモリの
    状態を受け取った際に、上記複数のプロセッサユニット
    のいずれかにエラー通知を送付する手段を備える請求項
    ４記載のマルチプロセッサシステム。
17. 【請求項１７】上記第１の結合網又は上記第２の相互結
    合網は、集積回路に実装されることを特徴とする請求項
    １乃至請求項１６いずれかに記載のマルチプロセッサシ
    ステム。
18. 【請求項１８】上記複数のプロセッサユニットのいずれ
    か、又は上記複数のメモリユニットのいずれかが、上記
    第１の相互結合網、又は上記第２の相互結合網と独立に
    着脱可能であることを特徴とする請求項１乃至請求項１
    ７いずれかに記載のマルチプロセッサシステム。