JP2000250883A - 不均等メモリ・アクセス・システムにおいてトランザクションのキャンセルによるデータ損失を避けるための方法およびシステム - Google Patents
不均等メモリ・アクセス・システムにおいてトランザクションのキャンセルによるデータ損失を避けるための方法およびシステムInfo
- Publication number
- JP2000250883A JP2000250883A JP2000045925A JP2000045925A JP2000250883A JP 2000250883 A JP2000250883 A JP 2000250883A JP 2000045925 A JP2000045925 A JP 2000045925A JP 2000045925 A JP2000045925 A JP 2000045925A JP 2000250883 A JP2000250883 A JP 2000250883A
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- transaction
- request
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
(57)【要約】
【課題】 不均等メモリ・アクセス（ＮＵＭＡ）データ
処理システムにおいて、トランザクションのキャンセル
によるデータ損失を避けるための方法を提供すること。 【解決手段】 ＮＵＭＡデータ処理システムは、少なく
とも第１のノードおよび第２のノードが結合されている
ノード相互接続を含む。第１および第２のノードはそれ
ぞれ、ローカル相互接続、ローカル相互接続に結合され
たシステム・メモリ、およびローカル相互接続とノード
相互接続との間に置かれたノード制御装置とを含む。ノ
ード制御装置は、ＮＵＭＡデータ処理システムの性質に
よって、データ損失を招く可能性のある一定の状況を検
出する。これらの状況は、ノード制御装置が修正済みの
キャッシュ・ラインのコピーのみで終わり、修正済みの
キャッシュ・ラインを要求したオリジナル・トランザク
ションが、同じタグを使って再発行されることがない
か、またはまったく再発行されないという、共通の特徴
を共用する。
処理システムにおいて、トランザクションのキャンセル
によるデータ損失を避けるための方法を提供すること。 【解決手段】 ＮＵＭＡデータ処理システムは、少なく
とも第１のノードおよび第２のノードが結合されている
ノード相互接続を含む。第１および第２のノードはそれ
ぞれ、ローカル相互接続、ローカル相互接続に結合され
たシステム・メモリ、およびローカル相互接続とノード
相互接続との間に置かれたノード制御装置とを含む。ノ
ード制御装置は、ＮＵＭＡデータ処理システムの性質に
よって、データ損失を招く可能性のある一定の状況を検
出する。これらの状況は、ノード制御装置が修正済みの
キャッシュ・ラインのコピーのみで終わり、修正済みの
キャッシュ・ラインを要求したオリジナル・トランザク
ションが、同じタグを使って再発行されることがない
か、またはまったく再発行されないという、共通の特徴
を共用する。
Description
【０００１】
【発明の属する技術分野】本発明は、一般にデータ処理
の方法およびシステム、詳細にはコンピュータ・システ
ムにおいてデータの損失を避けるための方法およびシス
テムに関する。さらに詳細には、本発明は、不均等メモ
リ・アクセス（ＮＵＭＡ）のコンピュータ・システムに
おいて、トランザクションのキャンセルによるデータの
損失を避けるための方法およびシステムに関する。
の方法およびシステム、詳細にはコンピュータ・システ
ムにおいてデータの損失を避けるための方法およびシス
テムに関する。さらに詳細には、本発明は、不均等メモ
リ・アクセス（ＮＵＭＡ）のコンピュータ・システムに
おいて、トランザクションのキャンセルによるデータの
損失を避けるための方法およびシステムに関する。
【０００２】
【従来の技術】多数の個別プロセッサの処理能力を直列
にハーネスすることによって、より高いコンピュータ・
システムの性能が達成できることは、コンピュータ技術
分野ではよく知られている。多重プロセッサ（ＭＰ）コ
ンピュータ・システムは、いくつかの異なるトポロジー
で設計することができ、そのそれぞれが各アプリケーシ
ョンの性能要件およびソフトウェア環境に応じて、特定
のアプリケーションに対してより好適である可能性があ
る。最も一般的なＭＰコンピュータ・トポロジーの１つ
が、一般に共用システム相互接続に結合されているシス
テム・メモリや入出力（Ｉ／Ｏ）サブシステムなどの共
通の資源を複数のプロセッサが共用する、対称的マルチ
・プロセッサ（ＳＭＰ）構成である。こうしたコンピュ
ータ・システムは、ＳＭＰコンピュータ・システム内の
すべてのプロセッサが、共用システム・メモリ内に格納
されているデータに対して理論的に同じアクセス待ち時
間を有するので、対称的であると言われる。
にハーネスすることによって、より高いコンピュータ・
システムの性能が達成できることは、コンピュータ技術
分野ではよく知られている。多重プロセッサ（ＭＰ）コ
ンピュータ・システムは、いくつかの異なるトポロジー
で設計することができ、そのそれぞれが各アプリケーシ
ョンの性能要件およびソフトウェア環境に応じて、特定
のアプリケーションに対してより好適である可能性があ
る。最も一般的なＭＰコンピュータ・トポロジーの１つ
が、一般に共用システム相互接続に結合されているシス
テム・メモリや入出力（Ｉ／Ｏ）サブシステムなどの共
通の資源を複数のプロセッサが共用する、対称的マルチ
・プロセッサ（ＳＭＰ）構成である。こうしたコンピュ
ータ・システムは、ＳＭＰコンピュータ・システム内の
すべてのプロセッサが、共用システム・メモリ内に格納
されているデータに対して理論的に同じアクセス待ち時
間を有するので、対称的であると言われる。
【０００３】ＳＭＰコンピュータ・システムは、比較的
単純なプロセッサ間通信およびデータ共用の方法を使用
することができるが、スケーラビリティが制限されてい
る。すなわち、一般的なＳＭＰコンピュータ・システム
の性能は、通常、スケールに従って（すなわちさらにプ
ロセッサが追加されるにつれて）改善されると予想でき
るが、固有のバス、メモリ、および入出力（Ｉ／Ｏ）の
帯域幅制限により、共用資源の利用が最適化される、実
装に依存したサイズを超えてＳＭＰをスケーリングする
と、重要な利点が得られなくなる。したがって、システ
ムのスケールが大きくなるほど、特にシステム・メモリ
において、ＳＭＰトポロジーそれ自体がある程度帯域幅
制限を受ける。ＳＭＰコンピュータ・システムも製造効
率の点からうまくスケールされない。たとえば、構成要
素によっては単一プロセッサおよび小規模ＳＭＰコンピ
ュータ・システムのどちらでも使用できるように最適化
できるが、このような構成要素は大規模ＳＭＰで使用す
るには効率が悪いことが多い。逆に、大規模ＳＭＰで使
用するように設計された構成要素は、コストの点で、小
規模システムで使用するには非実用的である。
単純なプロセッサ間通信およびデータ共用の方法を使用
することができるが、スケーラビリティが制限されてい
る。すなわち、一般的なＳＭＰコンピュータ・システム
の性能は、通常、スケールに従って（すなわちさらにプ
ロセッサが追加されるにつれて）改善されると予想でき
るが、固有のバス、メモリ、および入出力（Ｉ／Ｏ）の
帯域幅制限により、共用資源の利用が最適化される、実
装に依存したサイズを超えてＳＭＰをスケーリングする
と、重要な利点が得られなくなる。したがって、システ
ムのスケールが大きくなるほど、特にシステム・メモリ
において、ＳＭＰトポロジーそれ自体がある程度帯域幅
制限を受ける。ＳＭＰコンピュータ・システムも製造効
率の点からうまくスケールされない。たとえば、構成要
素によっては単一プロセッサおよび小規模ＳＭＰコンピ
ュータ・システムのどちらでも使用できるように最適化
できるが、このような構成要素は大規模ＳＭＰで使用す
るには効率が悪いことが多い。逆に、大規模ＳＭＰで使
用するように設計された構成要素は、コストの点で、小
規模システムで使用するには非実用的である。
【０００４】その結果、ある程度複雑さが増すという犠
牲を払って、ＳＭＰコンピュータ・システムの数多くの
制限を解決する代替設計として、不均等メモリ・アクセ
ス（ＮＵＭＡ）として知られるＭＰコンピュータ・シス
テム・トポロジーが出現した。一般的なＮＵＭＡコンピ
ュータ・システムは、それぞれが１つまたは複数のプロ
セッサおよびローカル「システム」メモリを含む、いく
つかの相互接続されたノードを含む。リモート・ノード
のシステム・メモリに格納されているデータよりも、ロ
ーカル・ノードのシステム・メモリに格納されているデ
ータの方が各プロセッサのアクセス待ち時間が少ないの
で、こうしたコンピュータ・システムは、不均等メモリ
・アクセスを有すると言われている。ＮＵＭＡシステム
は、異なるノードのキャッシュ間でデータのコヒーレン
スが維持されるかどうかによって、非コヒーレントまた
はキャッシュ・コヒーレントのいずれかとしてさらに分
類できる。キャッシュ・コヒーレントのＮＵＭＡ（ＣＣ
−ＮＵＭＡ）システムの複雑さは、各ノード内にある様
々なレベルのキャッシュ・メモリ間およびシステム・メ
モリ間だけではなく、異なるノードのキャッシュ・メモ
リ間およびシステム・メモリで、ハードウェアがデータ
のコヒーレンスを維持するのに追加の通信が必要なこと
に起因するところが大きい。しかしＮＵＭＡコンピュー
タ・システムは、ＮＵＭＡコンピュータ・システム内の
各ノードが小規模なＳＭＰシステムとして実装できるの
で、従来のＳＭＰコンピュータ・システムが持つスケー
ラビリティの制限を解決している。したがって、各ノー
ド内の共用構成要素は、ほんのわずかなプロセッサが使
用するように最適化できる一方で、システム全体が比較
的少ない待ち時間を維持しながら、大規模並列処理が利
用できるという恩恵を受ける。
牲を払って、ＳＭＰコンピュータ・システムの数多くの
制限を解決する代替設計として、不均等メモリ・アクセ
ス（ＮＵＭＡ）として知られるＭＰコンピュータ・シス
テム・トポロジーが出現した。一般的なＮＵＭＡコンピ
ュータ・システムは、それぞれが１つまたは複数のプロ
セッサおよびローカル「システム」メモリを含む、いく
つかの相互接続されたノードを含む。リモート・ノード
のシステム・メモリに格納されているデータよりも、ロ
ーカル・ノードのシステム・メモリに格納されているデ
ータの方が各プロセッサのアクセス待ち時間が少ないの
で、こうしたコンピュータ・システムは、不均等メモリ
・アクセスを有すると言われている。ＮＵＭＡシステム
は、異なるノードのキャッシュ間でデータのコヒーレン
スが維持されるかどうかによって、非コヒーレントまた
はキャッシュ・コヒーレントのいずれかとしてさらに分
類できる。キャッシュ・コヒーレントのＮＵＭＡ（ＣＣ
−ＮＵＭＡ）システムの複雑さは、各ノード内にある様
々なレベルのキャッシュ・メモリ間およびシステム・メ
モリ間だけではなく、異なるノードのキャッシュ・メモ
リ間およびシステム・メモリで、ハードウェアがデータ
のコヒーレンスを維持するのに追加の通信が必要なこと
に起因するところが大きい。しかしＮＵＭＡコンピュー
タ・システムは、ＮＵＭＡコンピュータ・システム内の
各ノードが小規模なＳＭＰシステムとして実装できるの
で、従来のＳＭＰコンピュータ・システムが持つスケー
ラビリティの制限を解決している。したがって、各ノー
ド内の共用構成要素は、ほんのわずかなプロセッサが使
用するように最適化できる一方で、システム全体が比較
的少ない待ち時間を維持しながら、大規模並列処理が利
用できるという恩恵を受ける。
【０００５】ＮＵＭＡシステムをスケーラブルなキャッ
シュ・コヒーレントに設計する場合は、単純なＳＭＰ設
計には存在しないデータのコヒーレント問題を解決しな
ければならない。たとえば、単一バスのＭＰコンピュー
タ・システムでは、システム・バス上でトランザクショ
ンがキャンセルされる場合にデータ損失は発生しない。
データ損失は、データ要素（キャッシュ・ラインなど）
の有効なコピーだけがシステムの任意のまたはすべての
キャッシュまたはメモリから失われる、１組の状況とし
て考えることができる。ＳＭＰシステムのキャッシュ・
コヒーレンス・プロトコルは、こうした損失が発生しな
いように設計される。たとえば、ＳＭＰシステムのプロ
セッサによって読取りトランザクションが「再試行」さ
れる場合、データが実際にバスに送られる前に、バス上
にあるすべての装置、すなわちデータの要求側、データ
の提供側、およびすべてのスヌーパに「再試行」を表示
することができる。これによって、有効なコピーしか有
しない装置によって、データが廃棄されない、すなわち
「損失」しないことが保証される。また、データが提供
された場合に発生するように、システム内のキャッシュ
の状態が変化することはないことが保証される。単一バ
スＭＰは、トランザクションを「キャンセル」するため
のプロトコル機構の存在に対するデータのコヒーレンス
も維持する。装置がデータを要求した場合、データが提
供される前にデータが必要でなくなったことを要求側が
示すと、トランザクションは「キャンセル」される。ト
ランザクションは、トランザクションを発した装置、た
とえばバッファが一杯になったメモリ制御装置など以外
の装置によってキャンセルすることができる。第三者が
この方法でトランザクションをキャンセルすると、デー
タがまだ必要な場合に限って、要求側はトランザクショ
ンを再発行する。その後データの有効なコピーは、常駐
するメモリから提供されたり除去されたりすることはな
い。トランザクションのキャンセルはＳＭＰシステムの
一般的な機能ではないが、すべての探索側がシステム・
バス上で同時にトランザクションを見ることができるの
で、コヒーレンスを犠牲にせずにキャンセル機構を含む
ことができる。
シュ・コヒーレントに設計する場合は、単純なＳＭＰ設
計には存在しないデータのコヒーレント問題を解決しな
ければならない。たとえば、単一バスのＭＰコンピュー
タ・システムでは、システム・バス上でトランザクショ
ンがキャンセルされる場合にデータ損失は発生しない。
データ損失は、データ要素（キャッシュ・ラインなど）
の有効なコピーだけがシステムの任意のまたはすべての
キャッシュまたはメモリから失われる、１組の状況とし
て考えることができる。ＳＭＰシステムのキャッシュ・
コヒーレンス・プロトコルは、こうした損失が発生しな
いように設計される。たとえば、ＳＭＰシステムのプロ
セッサによって読取りトランザクションが「再試行」さ
れる場合、データが実際にバスに送られる前に、バス上
にあるすべての装置、すなわちデータの要求側、データ
の提供側、およびすべてのスヌーパに「再試行」を表示
することができる。これによって、有効なコピーしか有
しない装置によって、データが廃棄されない、すなわち
「損失」しないことが保証される。また、データが提供
された場合に発生するように、システム内のキャッシュ
の状態が変化することはないことが保証される。単一バ
スＭＰは、トランザクションを「キャンセル」するため
のプロトコル機構の存在に対するデータのコヒーレンス
も維持する。装置がデータを要求した場合、データが提
供される前にデータが必要でなくなったことを要求側が
示すと、トランザクションは「キャンセル」される。ト
ランザクションは、トランザクションを発した装置、た
とえばバッファが一杯になったメモリ制御装置など以外
の装置によってキャンセルすることができる。第三者が
この方法でトランザクションをキャンセルすると、デー
タがまだ必要な場合に限って、要求側はトランザクショ
ンを再発行する。その後データの有効なコピーは、常駐
するメモリから提供されたり除去されたりすることはな
い。トランザクションのキャンセルはＳＭＰシステムの
一般的な機能ではないが、すべての探索側がシステム・
バス上で同時にトランザクションを見ることができるの
で、コヒーレンスを犠牲にせずにキャンセル機構を含む
ことができる。
【０００６】トランザクションによっては潜在的に待ち
時間が長いため、高性能のＮＵＭＡシステムは、プロト
コル機構が以前に発行されたトランザクションをキャン
セルするのにより有用となることがある。特定の環境で
は、ＮＵＭＡシステムはもはや必要でない見込みフェッ
チを取り消すためにキャンセル方法を使用することがで
きる。プロセッサはトランザクションの一時停止を維持
し、貴重なバス帯域幅を無駄にするようなデータを転送
するために、資源を無駄にしてはならないので、これは
適切なことであろう。ただしＮＵＭＡシステムでは、そ
のような状況を検出して矯正する処置を講じない限り、
トランザクションのキャンセル中にデータが損失するこ
とのあるトランザクションを発生させる状況になる可能
性がある。データを提供するノードでは成功するが、リ
モート・ノードからのデータがまだ移行中である場合に
受取り側ノードではキャンセルされる、リモート処理ノ
ードに対して発行されたＲＥＡＤトランザクションの場
合を考えてみる。この場合は、データの有効なコピーの
みの損失、すなわちデータのコヒーレンスの損失が発生
することがある。
時間が長いため、高性能のＮＵＭＡシステムは、プロト
コル機構が以前に発行されたトランザクションをキャン
セルするのにより有用となることがある。特定の環境で
は、ＮＵＭＡシステムはもはや必要でない見込みフェッ
チを取り消すためにキャンセル方法を使用することがで
きる。プロセッサはトランザクションの一時停止を維持
し、貴重なバス帯域幅を無駄にするようなデータを転送
するために、資源を無駄にしてはならないので、これは
適切なことであろう。ただしＮＵＭＡシステムでは、そ
のような状況を検出して矯正する処置を講じない限り、
トランザクションのキャンセル中にデータが損失するこ
とのあるトランザクションを発生させる状況になる可能
性がある。データを提供するノードでは成功するが、リ
モート・ノードからのデータがまだ移行中である場合に
受取り側ノードではキャンセルされる、リモート処理ノ
ードに対して発行されたＲＥＡＤトランザクションの場
合を考えてみる。この場合は、データの有効なコピーの
みの損失、すなわちデータのコヒーレンスの損失が発生
することがある。
【０００７】前述の場合、データを提供するノード側
で、トランザクションのキャンセルがリモート処理ノー
ドに伝送される前にキャッシュの状態が変化すると、デ
ータの損失が発生する。キャンセルは、読み取られたデ
ータが提供されるバスとは物理的に異なるバス上で発生
するので、ＳＭＰシステムで発生するようなキャッシュ
状態の変更を防ぐことはできない。読取りトランザクシ
ョンは、トランザクションがデータの受取り側ノードで
キャンセルされる前、またはキャンセルが物理的に別個
のバス間で通信可能になる前に、１つのバス上で首尾よ
く完了し、そのバスでのキャッシュの状態変更をトリガ
することができる。このような状況下では、これらのバ
ス間でインターフェースしている制御装置は、特に、デ
ータがまだメモリに書き込まれていないキャッシュ・ラ
インの修正済みコピーである場合、このデータの有効な
コピーを保持し続けることができる。トランザクション
がいったんキャンセルされると、ノード制御装置によっ
て保持されるデータに対して読取り要求が発行されるこ
とはなく、したがってデータは失われ、メモリの整合性
はなくなる。この問題は、ノード制御装置を介して修正
済みデータをメモリへ書き込むどんなデータ・トランザ
クション中にでも発生する可能性がある。
で、トランザクションのキャンセルがリモート処理ノー
ドに伝送される前にキャッシュの状態が変化すると、デ
ータの損失が発生する。キャンセルは、読み取られたデ
ータが提供されるバスとは物理的に異なるバス上で発生
するので、ＳＭＰシステムで発生するようなキャッシュ
状態の変更を防ぐことはできない。読取りトランザクシ
ョンは、トランザクションがデータの受取り側ノードで
キャンセルされる前、またはキャンセルが物理的に別個
のバス間で通信可能になる前に、１つのバス上で首尾よ
く完了し、そのバスでのキャッシュの状態変更をトリガ
することができる。このような状況下では、これらのバ
ス間でインターフェースしている制御装置は、特に、デ
ータがまだメモリに書き込まれていないキャッシュ・ラ
インの修正済みコピーである場合、このデータの有効な
コピーを保持し続けることができる。トランザクション
がいったんキャンセルされると、ノード制御装置によっ
て保持されるデータに対して読取り要求が発行されるこ
とはなく、したがってデータは失われ、メモリの整合性
はなくなる。この問題は、ノード制御装置を介して修正
済みデータをメモリへ書き込むどんなデータ・トランザ
クション中にでも発生する可能性がある。
【０００８】
【発明が解決しようとする課題】したがって、これらの
状況を検出して修正し、データおよびコヒーレンスの損
失を避けるための方法およびシステムを提供することが
必要である。
状況を検出して修正し、データおよびコヒーレンスの損
失を避けるための方法およびシステムを提供することが
必要である。
【０００９】
【課題を解決するための手段】不均等メモリ・アクセス
（ＮＵＭＡ）データ処理システムは、少なくとも第１の
ノードおよび第２のノードが結合されたノード相互接続
を含む。第１および第２のノードはそれぞれ、ローカル
相互接続と、ローカル相互接続に結合されているシステ
ム・メモリと、ローカル相互接続とノード相互接続の間
に置かれたノード制御装置とを含む。ノード制御装置
は、ＮＵＭＡデータ処理システムの性質によって、デー
タ損失を招く可能性のある一定の状況を検出する。これ
らの状況は、ノード制御装置が修正済みのキャッシュ・
ラインのコピーのみで終わり、修正済みのキャッシュ・
ラインを要求した元のトランザクションが、同じタグを
使って再発行されることがないか、またはまったく再発
行されないという、共通の特徴を共用する。ノード制御
装置は、専用のタグを使用して修正済みのキャッシュに
関するシステム・メモリへの専用の書込みトランザクシ
ョンを発行することによって、これらの状況を是正し、
次いで修正済みキャッシュ・ラインが保持しているデー
タを提供する。これにより、修正済みデータがシステム
・メモリへ書き込まれることが保証される。
（ＮＵＭＡ）データ処理システムは、少なくとも第１の
ノードおよび第２のノードが結合されたノード相互接続
を含む。第１および第２のノードはそれぞれ、ローカル
相互接続と、ローカル相互接続に結合されているシステ
ム・メモリと、ローカル相互接続とノード相互接続の間
に置かれたノード制御装置とを含む。ノード制御装置
は、ＮＵＭＡデータ処理システムの性質によって、デー
タ損失を招く可能性のある一定の状況を検出する。これ
らの状況は、ノード制御装置が修正済みのキャッシュ・
ラインのコピーのみで終わり、修正済みのキャッシュ・
ラインを要求した元のトランザクションが、同じタグを
使って再発行されることがないか、またはまったく再発
行されないという、共通の特徴を共用する。ノード制御
装置は、専用のタグを使用して修正済みのキャッシュに
関するシステム・メモリへの専用の書込みトランザクシ
ョンを発行することによって、これらの状況を是正し、
次いで修正済みキャッシュ・ラインが保持しているデー
タを提供する。これにより、修正済みデータがシステム
・メモリへ書き込まれることが保証される。
【００１０】
【発明の実施の形態】Ｉ．ＮＵＭＡシステム Ａ．システムの概要 図面、特に図１を参照すると、本発明の例示的実施形態
による、不均等メモリ・アクセス（ＮＵＭＡ）コンピュ
ータ・システムの構成図が示されている。図の実施形態
は、たとえば、ワークステーション、サーバ、またはメ
インフレーム・コンピュータとして実現することができ
る。図からわかるように、ＮＵＭＡコンピュータ・シス
テム８は、ノード相互接続２２によって相互接続された
いくつか（Ｎ個）の処理ノード１０ａ〜１０ｄを含む。
処理ノード１０ａ〜１０ｄは、それぞれ少なくとも１
つ、最高Ｍ個までのプロセッサ１２を含む。プロセッサ
１２ａ〜１２ｄは同一であり、米国ニューヨーク州アー
モンクのインターナショナル・ビジネス・マシーンズ・
コーポレイション（ＩＢＭ）から市販のPowerPCTMライ
ンのプロセッサを備えることが好ましい。プロセッサ１
２ａ〜１２ｄはそれぞれ、レジスタ、命令フロー論理、
およびプログラム命令を実行するのに使用される実行ユ
ニットに加えて、それぞれがレベル２（Ｌ２）キャッシ
ュ１４ａ〜１４ｄと共に、システム・メモリ１８から関
連するプロセッサ１２にデータをステージングする際に
使用される、オンチップのレベル１（Ｌ１）キャッシュ
（図示せず）を含む。つまり、Ｌ１キャッシュおよびＬ
２キャッシュ１４ａ〜１４ｄは、関連するプロセッサ１
２によってアクセスされることの多いデータを一時的に
バッファする、システム・メモリ１８とプロセッサ１２
との間の中間記憶装置として機能する。Ｌ２キャッシュ
１４は一般にＬ１キャッシュよりも記憶域が大きいが、
アクセス待ち時間は長くなる。たとえば、Ｌ２キャッシ
ュ１４ａ〜１４ｄの記憶容量は１〜１６メガバイト（Ｍ
Ｂ）であり、オンチップのＬ１キャッシュの記憶容量は
８〜３２キロバイトである。Ｌ２キャッシュ１４ａ〜１
４ｄは、図１ではプロセッサ１２の外部にあるものとし
て図示されているが、別法として、追加レベルのオンチ
ップ・キャッシュ・メモリとして、関連するプロセッサ
１２中に組み込むこともできることを理解されたい。さ
らに、追加のデータ記憶域を提供するために、１つまた
は複数の追加レベルのキャッシュ・メモリ（Ｌ３、Ｌ４
等）が使用できることも理解されたい。以下の考察で
は、プロセッサ１２およびその関連するキャッシュ階層
（Ｌ１、Ｌ２等）が、それぞれ単一のスヌーパであると
みなされる。
による、不均等メモリ・アクセス（ＮＵＭＡ）コンピュ
ータ・システムの構成図が示されている。図の実施形態
は、たとえば、ワークステーション、サーバ、またはメ
インフレーム・コンピュータとして実現することができ
る。図からわかるように、ＮＵＭＡコンピュータ・シス
テム８は、ノード相互接続２２によって相互接続された
いくつか（Ｎ個）の処理ノード１０ａ〜１０ｄを含む。
処理ノード１０ａ〜１０ｄは、それぞれ少なくとも１
つ、最高Ｍ個までのプロセッサ１２を含む。プロセッサ
１２ａ〜１２ｄは同一であり、米国ニューヨーク州アー
モンクのインターナショナル・ビジネス・マシーンズ・
コーポレイション（ＩＢＭ）から市販のPowerPCTMライ
ンのプロセッサを備えることが好ましい。プロセッサ１
２ａ〜１２ｄはそれぞれ、レジスタ、命令フロー論理、
およびプログラム命令を実行するのに使用される実行ユ
ニットに加えて、それぞれがレベル２（Ｌ２）キャッシ
ュ１４ａ〜１４ｄと共に、システム・メモリ１８から関
連するプロセッサ１２にデータをステージングする際に
使用される、オンチップのレベル１（Ｌ１）キャッシュ
（図示せず）を含む。つまり、Ｌ１キャッシュおよびＬ
２キャッシュ１４ａ〜１４ｄは、関連するプロセッサ１
２によってアクセスされることの多いデータを一時的に
バッファする、システム・メモリ１８とプロセッサ１２
との間の中間記憶装置として機能する。Ｌ２キャッシュ
１４は一般にＬ１キャッシュよりも記憶域が大きいが、
アクセス待ち時間は長くなる。たとえば、Ｌ２キャッシ
ュ１４ａ〜１４ｄの記憶容量は１〜１６メガバイト（Ｍ
Ｂ）であり、オンチップのＬ１キャッシュの記憶容量は
８〜３２キロバイトである。Ｌ２キャッシュ１４ａ〜１
４ｄは、図１ではプロセッサ１２の外部にあるものとし
て図示されているが、別法として、追加レベルのオンチ
ップ・キャッシュ・メモリとして、関連するプロセッサ
１２中に組み込むこともできることを理解されたい。さ
らに、追加のデータ記憶域を提供するために、１つまた
は複数の追加レベルのキャッシュ・メモリ（Ｌ３、Ｌ４
等）が使用できることも理解されたい。以下の考察で
は、プロセッサ１２およびその関連するキャッシュ階層
（Ｌ１、Ｌ２等）が、それぞれ単一のスヌーパであると
みなされる。
【００１１】図からわかるように、処理ノード１０ａ〜
１０ｄはそれぞれ、システム・メモリ１８およびＬ２キ
ャッシュ１４ａ〜１４ｄと共にローカル相互接続１６に
結合されたノード制御装置２０をさらに含む。各ノード
制御装置２０は、少なくとも２つの機能を実行すること
により、リモート処理ノード１０に対するローカル・エ
ージェントとして働く。第１に各ノード制御装置２０
は、リモート処理ノード１０へのローカル通信トランザ
クションの伝送を容易にするために、関連するローカル
相互接続１６をスヌープする。第２に、各ノード制御装
置２０は、ノード相互接続２２上の通信トランザクショ
ンをスヌープし、関連するローカル相互接続１６上の関
連する通信トランザクションのマスタとなる。各ローカ
ル相互接続１６上での通信は、アービタ２４によって制
御される。以下で詳述するように、アービタ２４は、プ
ロセッサ１２により生成されたバス要求信号に基づいて
ローカル相互接続１６へのアクセスを規制し、ローカル
相互接続１６上でスヌープされた通信トランザクション
に関するコヒーレンス応答をコンパイルする。
１０ｄはそれぞれ、システム・メモリ１８およびＬ２キ
ャッシュ１４ａ〜１４ｄと共にローカル相互接続１６に
結合されたノード制御装置２０をさらに含む。各ノード
制御装置２０は、少なくとも２つの機能を実行すること
により、リモート処理ノード１０に対するローカル・エ
ージェントとして働く。第１に各ノード制御装置２０
は、リモート処理ノード１０へのローカル通信トランザ
クションの伝送を容易にするために、関連するローカル
相互接続１６をスヌープする。第２に、各ノード制御装
置２０は、ノード相互接続２２上の通信トランザクショ
ンをスヌープし、関連するローカル相互接続１６上の関
連する通信トランザクションのマスタとなる。各ローカ
ル相互接続１６上での通信は、アービタ２４によって制
御される。以下で詳述するように、アービタ２４は、プ
ロセッサ１２により生成されたバス要求信号に基づいて
ローカル相互接続１６へのアクセスを規制し、ローカル
相互接続１６上でスヌープされた通信トランザクション
に関するコヒーレンス応答をコンパイルする。
【００１２】もちろん、ＮＵＭＡコンピュータ・システ
ム８は、追加装置をさらに含むことができる。これらの
追加装置は、本発明を理解するのに必要でなく、したが
って本発明を不明瞭にするのを避けるために省略され
る。たとえば各ノード１０は、入出力装置（たとえば、
表示装置、キーボード、またはグラフィカル・ポイン
タ）、オペレーティング・システムおよびアプリケーシ
ョン・ソフトウェアを格納するための不揮発性記憶装
置、ならびにネットワークまたは付属装置に接続するた
めのシリアル・ポートおよびパラレル・ポートもサポー
トすることができる。
ム８は、追加装置をさらに含むことができる。これらの
追加装置は、本発明を理解するのに必要でなく、したが
って本発明を不明瞭にするのを避けるために省略され
る。たとえば各ノード１０は、入出力装置（たとえば、
表示装置、キーボード、またはグラフィカル・ポイン
タ）、オペレーティング・システムおよびアプリケーシ
ョン・ソフトウェアを格納するための不揮発性記憶装
置、ならびにネットワークまたは付属装置に接続するた
めのシリアル・ポートおよびパラレル・ポートもサポー
トすることができる。
【００１３】Ｂ．メモリ構成 ＮＵＭＡコンピュータ・システム８のすべてのプロセッ
サ１２は、単一の物理メモリ領域を共用しており、これ
は、各物理アドレスがいずれか１つのシステム・メモリ
１８内で単一のロケーションのみに関連付けられている
ことを意味する。したがって、一般にＮＵＭＡコンピュ
ータ・システム８内の任意のプロセッサ１２によるアク
セスが可能なシステム・メモリ全体の内容を、４つのシ
ステム・メモリ１８間で区分されているものと見なすこ
とができる。たとえば、図１に示された本発明の例示的
実施形態では、プロセッサ１２は、汎用メモリ領域およ
び未使用領域の両方を含む、１６ギガバイトのアドレス
領域をアドレス指定する。汎用メモリ領域は、５００メ
ガバイトのセグメントに分割され、４つの各処理ノード
１０が４番目ごとのセグメントに割り振られる。未使用
領域はおよそ２ギガバイトを含むことが可能であり、シ
ステム制御、ならびにそれぞれがいずれか１つの各処理
ノード１０に割り振られている周辺のメモリおよび入出
力領域を含む。
サ１２は、単一の物理メモリ領域を共用しており、これ
は、各物理アドレスがいずれか１つのシステム・メモリ
１８内で単一のロケーションのみに関連付けられている
ことを意味する。したがって、一般にＮＵＭＡコンピュ
ータ・システム８内の任意のプロセッサ１２によるアク
セスが可能なシステム・メモリ全体の内容を、４つのシ
ステム・メモリ１８間で区分されているものと見なすこ
とができる。たとえば、図１に示された本発明の例示的
実施形態では、プロセッサ１２は、汎用メモリ領域およ
び未使用領域の両方を含む、１６ギガバイトのアドレス
領域をアドレス指定する。汎用メモリ領域は、５００メ
ガバイトのセグメントに分割され、４つの各処理ノード
１０が４番目ごとのセグメントに割り振られる。未使用
領域はおよそ２ギガバイトを含むことが可能であり、シ
ステム制御、ならびにそれぞれがいずれか１つの各処理
ノード１０に割り振られている周辺のメモリおよび入出
力領域を含む。
【００１４】この考察では、特定のデータをそのシステ
ム・メモリ１８に格納する処理ノードを、そのデータの
ホーム・ノードと呼び、他の処理ノードを特定のデータ
に関するリモート・ノードと呼ぶ。
ム・メモリ１８に格納する処理ノードを、そのデータの
ホーム・ノードと呼び、他の処理ノードを特定のデータ
に関するリモート・ノードと呼ぶ。
【００１５】Ｃ．メモリのコヒーレンス 各システム・メモリ１８内に格納されたデータは、ＮＵ
ＭＡコンピュータ・システム８内の任意のプロセッサ１
２による要求、アクセス、および修正が可能であるた
め、ＮＵＭＡコンピュータ・システム８は、同じ処理ノ
ード内のキャッシュ間および異なる処理ノード内のキャ
ッシュ間の両方でコヒーレンスを維持するために、キャ
ッシュ・コヒーレンス・プロトコルを実装する。したが
って、ＮＵＭＡコンピュータ・システム８は、ＣＣ−Ｎ
ＵＭＡコンピュータ・システムとして分類するのが適切
である。実装されるキャッシュ・コヒーレンス・プロト
コルは実装依存型であり、たとえば周知の修正（Ｍ）、
排他的（Ｅ）、共用（Ｓ）、無効（Ｉ）（ＭＥＳＩ）プ
ロトコルまたはその変形を備えることができる。以下で
は、Ｌ１キャッシュ、Ｌ２キャッシュ１４、およびアー
ビタ２４が従来のＭＥＳＩプロトコルを実装するが、そ
のノード制御装置２０はＭ、Ｓ、およびＩ状態を認識
し、Ｅ状態は正確さのためにＭ状態にマージされるとみ
なされる。すなわちノード制御装置２０は、リモート・
キャッシュによって排他的に保持されるデータが実際に
修正されたかどうかにかかわらず、そのデータを修正さ
れたと想定する。
ＭＡコンピュータ・システム８内の任意のプロセッサ１
２による要求、アクセス、および修正が可能であるた
め、ＮＵＭＡコンピュータ・システム８は、同じ処理ノ
ード内のキャッシュ間および異なる処理ノード内のキャ
ッシュ間の両方でコヒーレンスを維持するために、キャ
ッシュ・コヒーレンス・プロトコルを実装する。したが
って、ＮＵＭＡコンピュータ・システム８は、ＣＣ−Ｎ
ＵＭＡコンピュータ・システムとして分類するのが適切
である。実装されるキャッシュ・コヒーレンス・プロト
コルは実装依存型であり、たとえば周知の修正（Ｍ）、
排他的（Ｅ）、共用（Ｓ）、無効（Ｉ）（ＭＥＳＩ）プ
ロトコルまたはその変形を備えることができる。以下で
は、Ｌ１キャッシュ、Ｌ２キャッシュ１４、およびアー
ビタ２４が従来のＭＥＳＩプロトコルを実装するが、そ
のノード制御装置２０はＭ、Ｓ、およびＩ状態を認識
し、Ｅ状態は正確さのためにＭ状態にマージされるとみ
なされる。すなわちノード制御装置２０は、リモート・
キャッシュによって排他的に保持されるデータが実際に
修正されたかどうかにかかわらず、そのデータを修正さ
れたと想定する。
【００１６】Ｄ．相互接続アーキテクチャ ローカル相互接続１６およびノード相互接続２２は、そ
れぞれ任意のバス・ベースの同報通信アーキテクチャ、
スイッチ・ベースの同報通信アーキテクチャ、またはス
イッチ・ベースの非同報通信アーキテクチャを使って実
装することができる。ただし、例示的実施形態では、少
なくともノード相互接続２２は、ＩＢＭコーポレイショ
ンによって開発された６ｘｘ通信プロトコルによって制
御されるスイッチ・ベースの非同報通信相互接続として
実装されている。ローカル相互接続１６およびノード相
互接続２２では分割トランザクションが可能であるが、
これはアドレスと通信トランザクションを備えたデータ
保有期間との間に固定されたタイミング関係がなく、デ
ータ・パケットに対して関連するアドレス・パケットと
は異なった命令を出すことができることを意味する。ロ
ーカル相互接続１６およびノード相互接続２２の使用度
を、通信トランザクションのパイプライン化によって定
めることも好ましい。そうすると、前の通信トランザク
ションのマスタが各受信者からのコヒーレンス応答を受
け取る前に、後続の通信トランザクションがソースとな
ることが可能となる。
れぞれ任意のバス・ベースの同報通信アーキテクチャ、
スイッチ・ベースの同報通信アーキテクチャ、またはス
イッチ・ベースの非同報通信アーキテクチャを使って実
装することができる。ただし、例示的実施形態では、少
なくともノード相互接続２２は、ＩＢＭコーポレイショ
ンによって開発された６ｘｘ通信プロトコルによって制
御されるスイッチ・ベースの非同報通信相互接続として
実装されている。ローカル相互接続１６およびノード相
互接続２２では分割トランザクションが可能であるが、
これはアドレスと通信トランザクションを備えたデータ
保有期間との間に固定されたタイミング関係がなく、デ
ータ・パケットに対して関連するアドレス・パケットと
は異なった命令を出すことができることを意味する。ロ
ーカル相互接続１６およびノード相互接続２２の使用度
を、通信トランザクションのパイプライン化によって定
めることも好ましい。そうすると、前の通信トランザク
ションのマスタが各受信者からのコヒーレンス応答を受
け取る前に、後続の通信トランザクションがソースとな
ることが可能となる。
【００１７】ノード相互接続２２を介した処理ノード１
０間で、およびローカル相互接続１６を介したスヌーパ
間で情報を搬送するために、実装される相互接続アーキ
テクチャのタイプにかかわらず、アドレス、データ、お
よびコヒーレンス応答という、少なくとも３タイプの
「パケット」（ここで使用されるパケットとは、一般に
情報の個別単位を指す）が使用される。ここで表１およ
び表２を参照すると、アドレスおよびデータ・パケット
に関する関連フィールドの要約および定義がそれぞれ与
えてある。
０間で、およびローカル相互接続１６を介したスヌーパ
間で情報を搬送するために、実装される相互接続アーキ
テクチャのタイプにかかわらず、アドレス、データ、お
よびコヒーレンス応答という、少なくとも３タイプの
「パケット」（ここで使用されるパケットとは、一般に
情報の個別単位を指す）が使用される。ここで表１およ
び表２を参照すると、アドレスおよびデータ・パケット
に関する関連フィールドの要約および定義がそれぞれ与
えてある。
【表１】
【表２】
【００１８】表１および表２に示すように、受信者ノー
ドまたはスヌーパが各パケットが属する通信トランザク
ションを判定できるようにするために、通信トランザク
ション内の各パケットはトランザクション・タグで識別
される。追加のフロー制御論理および関連するフロー制
御信号を使用して、有限の通信資源の使用が規制できる
ことを、当業者であれば理解されよう。
ドまたはスヌーパが各パケットが属する通信トランザク
ションを判定できるようにするために、通信トランザク
ション内の各パケットはトランザクション・タグで識別
される。追加のフロー制御論理および関連するフロー制
御信号を使用して、有限の通信資源の使用が規制できる
ことを、当業者であれば理解されよう。
【００１９】各処理ノード１０内では、状態およびコヒ
ーレンス応答が各スヌーパとローカル・アービタ２４と
の間で通信される。状態およびコヒーレンス通信に使用
されるローカル相互接続１６内の信号ラインを、以下の
表３にまとめて示す。
ーレンス応答が各スヌーパとローカル・アービタ２４と
の間で通信される。状態およびコヒーレンス通信に使用
されるローカル相互接続１６内の信号ラインを、以下の
表３にまとめて示す。
【表３】
【００２０】ローカル相互接続１６のARespラインおよ
びAStatラインを介して伝送される状態およびコヒーレ
ンス応答は、関連するアドレス・パケットとの間に、固
定されているがプログラム可能なタイミング関係を有す
ることが好ましい。たとえば、ローカル相互接続１６上
で伝送されるアドレス・パケットを各スヌーパが首尾よ
く受け取ったか否かに関する予備表示を与えるAStatOut
ボートが、アドレス・パケットを受け取った後の第２サ
イクルで要求される場合がある。アービタ２４は、ASta
tOutボートをコンパイルし、次いで、固定されているが
プログラム可能な数のサイクル（たとえば１サイクル）
後に、AStatInボートを発行する。可能なAStatボート
を、以下の表４にまとめて示す。
びAStatラインを介して伝送される状態およびコヒーレ
ンス応答は、関連するアドレス・パケットとの間に、固
定されているがプログラム可能なタイミング関係を有す
ることが好ましい。たとえば、ローカル相互接続１６上
で伝送されるアドレス・パケットを各スヌーパが首尾よ
く受け取ったか否かに関する予備表示を与えるAStatOut
ボートが、アドレス・パケットを受け取った後の第２サ
イクルで要求される場合がある。アービタ２４は、ASta
tOutボートをコンパイルし、次いで、固定されているが
プログラム可能な数のサイクル（たとえば１サイクル）
後に、AStatInボートを発行する。可能なAStatボート
を、以下の表４にまとめて示す。
【表４】
【００２１】AStatIn期間に続き、固定されているがプ
ログラム可能な数のサイクル（たとえば２サイクル）後
に、ARespOutボートが要求される場合がある。アービタ
２４は、好ましくは次のサイクル中に、各スヌーパのAR
espOutボートをコンパイルしてARespInボートも送達す
る。可能なARespボートは、降順の優先順位でARespボー
トなどをリスト表示した、以下の表５にまとめて示すコ
ヒーレンス応答を含むことが好ましい。
ログラム可能な数のサイクル（たとえば２サイクル）後
に、ARespOutボートが要求される場合がある。アービタ
２４は、好ましくは次のサイクル中に、各スヌーパのAR
espOutボートをコンパイルしてARespInボートも送達す
る。可能なARespボートは、降順の優先順位でARespボー
トなどをリスト表示した、以下の表５にまとめて示すコ
ヒーレンス応答を含むことが好ましい。
【表５】
【００２２】通常はノード制御装置２０によって発行さ
れるReRun ARespボートは、スヌープされた要求が長い
待ち時間を有し（たとえば、リモート処理ノード側のプ
ロセッサ１２またはシステム・メモリ１８によって要求
が提供される）、要求のソースが後でトランザクション
を再発行するように命令されることを示す。したがっ
て、Retry ARespボートとは対照的に、ReRunは、ReRun
をボートしたトランザクションの受信者（トランザクシ
ョンの発信者ではない）に、通信トランザクションを後
で再発行させる義務を負わせる。
れるReRun ARespボートは、スヌープされた要求が長い
待ち時間を有し（たとえば、リモート処理ノード側のプ
ロセッサ１２またはシステム・メモリ１８によって要求
が提供される）、要求のソースが後でトランザクション
を再発行するように命令されることを示す。したがっ
て、Retry ARespボートとは対照的に、ReRunは、ReRun
をボートしたトランザクションの受信者（トランザクシ
ョンの発信者ではない）に、通信トランザクションを後
で再発行させる義務を負わせる。
【００２３】次に図２を参照すると、相互接続２２上の
ノード制御装置２０間で応答およびコマンドを通信する
際に使用される、Ｉコマンドの例示的実施形態が示され
ている。図からわかるように、Ｉコマンド３６は、コマ
ンド・タイプ・フィールド３３、ターゲット・ノード・
フィールド３５、ソース・ノード・フィールド３７、ト
ランザクション・タグ・フィールド３８、および有効
（Ｖ）フィールド３９という、５つのフィールドを含
む。コマンド・タイプ・フィールド３３は、Ｉコマンド
３６のタイプの符号化表示を提供する。コマンド・タイ
プ・フィールド３３内で符号化できる可能なＩコマンド
のいくつかを、以下の表６にまとめて示す。
ノード制御装置２０間で応答およびコマンドを通信する
際に使用される、Ｉコマンドの例示的実施形態が示され
ている。図からわかるように、Ｉコマンド３６は、コマ
ンド・タイプ・フィールド３３、ターゲット・ノード・
フィールド３５、ソース・ノード・フィールド３７、ト
ランザクション・タグ・フィールド３８、および有効
（Ｖ）フィールド３９という、５つのフィールドを含
む。コマンド・タイプ・フィールド３３は、Ｉコマンド
３６のタイプの符号化表示を提供する。コマンド・タイ
プ・フィールド３３内で符号化できる可能なＩコマンド
のいくつかを、以下の表６にまとめて示す。
【表６】
【００２４】各タイプのＩコマンドについて、受信者は
ターゲット・ノード・フィールド３５に指定され、送信
側ノードはソース・ノード・フィールド３７に指定さ
れ、Ｉコマンドが関係するトランザクションはトランザ
クション・タグ・フィールド３８内に指定される。Ｉコ
マンド３６の妥当性は、有効（Ｖ）フィールド３９によ
って示される。
ターゲット・ノード・フィールド３５に指定され、送信
側ノードはソース・ノード・フィールド３７に指定さ
れ、Ｉコマンドが関係するトランザクションはトランザ
クション・タグ・フィールド３８内に指定される。Ｉコ
マンド３６の妥当性は、有効（Ｖ）フィールド３９によ
って示される。
【００２５】Ｅ．ノード制御装置 次に図３を参照すると、図１のＮＵＭＡコンピュータ・
システム８のノード制御装置２０をより詳細に表した構
成図が例示されている。図３からわかるように、ローカ
ル相互接続１６とノード相互接続２２との間に結合され
ている各ノード制御装置２０は、トランザクション受信
ユニット４０、トランザクション送信ユニット４２、デ
ータ受信ユニット（ＤＲＵ）４４、およびデータ送信ユ
ニット（ＤＳＵ）４６を含む。トランザクション受信ユ
ニット４０、トランザクション送信ユニット４２、ＤＲ
Ｕ４４、およびＤＳＵ４６は、たとえばフィールド・プ
ログラム可能ゲート配列（ＦＰＧＡ）またはアプリケー
ション特有の集積回路（ＡＳＩＣ）を使って実装するこ
とができる。図に示すように、ノード・コントローラ２
０を介したアドレス・パスおよびデータ・パスは、アド
レス信号はトランザクション受信ユニット４０およびト
ランザクション送信ユニット４２で処理され、データ信
号はＤＳＵ４４およびＤＲＵ４６で処理されるように、
２つに分岐する。
システム８のノード制御装置２０をより詳細に表した構
成図が例示されている。図３からわかるように、ローカ
ル相互接続１６とノード相互接続２２との間に結合され
ている各ノード制御装置２０は、トランザクション受信
ユニット４０、トランザクション送信ユニット４２、デ
ータ受信ユニット（ＤＲＵ）４４、およびデータ送信ユ
ニット（ＤＳＵ）４６を含む。トランザクション受信ユ
ニット４０、トランザクション送信ユニット４２、ＤＲ
Ｕ４４、およびＤＳＵ４６は、たとえばフィールド・プ
ログラム可能ゲート配列（ＦＰＧＡ）またはアプリケー
ション特有の集積回路（ＡＳＩＣ）を使って実装するこ
とができる。図に示すように、ノード・コントローラ２
０を介したアドレス・パスおよびデータ・パスは、アド
レス信号はトランザクション受信ユニット４０およびト
ランザクション送信ユニット４２で処理され、データ信
号はＤＳＵ４４およびＤＲＵ４６で処理されるように、
２つに分岐する。
【００２６】ノード相互接続２２のトランザクション・
フロー・オフを示すように指定されているトランザクシ
ョン受信ユニット４０は、Ｉコマンド・チャネルを介し
て他のノードからＩコマンドを受信すること、ノード相
互接続２２の共用アドレス・バスからトランザクション
を受け入れること、ローカル相互接続１６上でトランザ
クションを発行すること、およびトランザクション送信
ユニット４２に応答を転送することに対する責任を負っ
ている。トランザクション受信ユニット４０は、ノード
相互接続２２からトランザクションを受信し、トランザ
クション送信ユニット４２内のマスタ５４およびコヒー
レンス応答論理５６の両方に選択したトランザクション
を渡す、応答マルチプレクサ５２を含む。応答マルチプ
レクサ５２からの通信トランザクションの受信に応答し
て、バス・マスタ５４は、受信された通信トランザクシ
ョンと同じか、またはエヴィクションなどディレクトリ
保守のためにＴＳＵ内でディレクトリ制御用に生成され
る、そのローカル相互接続１６上での通信トランザクシ
ョンを開始することができる。
フロー・オフを示すように指定されているトランザクシ
ョン受信ユニット４０は、Ｉコマンド・チャネルを介し
て他のノードからＩコマンドを受信すること、ノード相
互接続２２の共用アドレス・バスからトランザクション
を受け入れること、ローカル相互接続１６上でトランザ
クションを発行すること、およびトランザクション送信
ユニット４２に応答を転送することに対する責任を負っ
ている。トランザクション受信ユニット４０は、ノード
相互接続２２からトランザクションを受信し、トランザ
クション送信ユニット４２内のマスタ５４およびコヒー
レンス応答論理５６の両方に選択したトランザクション
を渡す、応答マルチプレクサ５２を含む。応答マルチプ
レクサ５２からの通信トランザクションの受信に応答し
て、バス・マスタ５４は、受信された通信トランザクシ
ョンと同じか、またはエヴィクションなどディレクトリ
保守のためにＴＳＵ内でディレクトリ制御用に生成され
る、そのローカル相互接続１６上での通信トランザクシ
ョンを開始することができる。
【００２７】ノード相互接続２２上でトランザクション
を流すためのコンジットであるトランザクション送信ユ
ニット４２は、その名称が示すように、トランザクショ
ン受信ユニット４０と対話してメモリ要求トランザクシ
ョンを処理し、ＤＲＵ４４およびＤＳＵ４６にコマンド
を発行してローカル相互接続１６とノード相互接続２２
との間のデータ伝送を制御する。トランザクション送信
ユニット４２はさらに、コヒーレンス応答論理５６を備
えたノード相互接続２２のために選択した（すなわちＭ
ＳＩ）コヒーレンス・プロトコルを実装し、ディレクト
リ制御論理５８を備えたコヒーレンス・ディレクトリ５
０を維持する。
を流すためのコンジットであるトランザクション送信ユ
ニット４２は、その名称が示すように、トランザクショ
ン受信ユニット４０と対話してメモリ要求トランザクシ
ョンを処理し、ＤＲＵ４４およびＤＳＵ４６にコマンド
を発行してローカル相互接続１６とノード相互接続２２
との間のデータ伝送を制御する。トランザクション送信
ユニット４２はさらに、コヒーレンス応答論理５６を備
えたノード相互接続２２のために選択した（すなわちＭ
ＳＩ）コヒーレンス・プロトコルを実装し、ディレクト
リ制御論理５８を備えたコヒーレンス・ディレクトリ５
０を維持する。
【表７】
【００２８】コヒーレンス・ディレクトリ５０は、ロー
カル処理ノードがホーム・ノードであるリモート・ノー
ド内でキャッシュに対して確認されたデータのシステム
・メモリ・アドレスの表示（たとえばキャッシュ・ライ
ン）を格納する。各データに関するこのアドレス表示
は、こうした各リモート処理ノードでのデータのコピー
およびデータのコヒーレンス状態を有する、各リモート
処理ノードの識別子に関連して格納される。コヒーレン
ス・ディレクトリ５０のエントリに関する可能なコヒー
レンス状態を、表７にまとめて示す。表７に示すよう
に、リモート処理ノードによって保持されるキャッシュ
・ラインのコヒーレンス状態に関する知識は不正確であ
る。この不正確さは、リモートに保持されたキャッシュ
・ラインが、ホーム・ノードのノード制御装置２０に通
知せずに、ＳからＩ、ＥからＩ、またはＥからＭへの移
行を実行できるという事実による。
カル処理ノードがホーム・ノードであるリモート・ノー
ド内でキャッシュに対して確認されたデータのシステム
・メモリ・アドレスの表示（たとえばキャッシュ・ライ
ン）を格納する。各データに関するこのアドレス表示
は、こうした各リモート処理ノードでのデータのコピー
およびデータのコヒーレンス状態を有する、各リモート
処理ノードの識別子に関連して格納される。コヒーレン
ス・ディレクトリ５０のエントリに関する可能なコヒー
レンス状態を、表７にまとめて示す。表７に示すよう
に、リモート処理ノードによって保持されるキャッシュ
・ラインのコヒーレンス状態に関する知識は不正確であ
る。この不正確さは、リモートに保持されたキャッシュ
・ラインが、ホーム・ノードのノード制御装置２０に通
知せずに、ＳからＩ、ＥからＩ、またはＥからＭへの移
行を実行できるという事実による。
【００２９】ＩＩ．データ損失の問題 次に図４および５を参照すると、ＮＵＭＡコンピュータ
・システム内でトランザクションがキャンセルされるこ
とよって生じる、データ損失状況の例が図示されてい
る。図４では、ホーム・ノード１０ａのプロセッサ１２
ａによって行われるキャッシュ・ラインに対するＲＥＡ
Ｄ要求は、キャッシュ・ラインが修正状態で保持される
リモート・ノード１０ｂに転送される。次いでＲＥＡＤ
要求は、リモート・ノード１０ｂで修正・介入応答を受
信する。修正・介入応答は、１つのキャッシュ・メモリ
が、修正されたデータを１つまたは複数の他のキャッシ
ュ・メモリに直接提供できるようにし、要求が読取り専
用要求の場合は、修正されたデータを受信したすべての
キャッシュ・メモリを共用状態にする、コヒーレンス・
ボートである。ＭＥＳＩプロトコルおよびＭＳＩプロト
コルにおいて、共用状態とは、すべてのキャッシュ・メ
モリがホーム・ノード１０ａのシステム・メモリにある
ラインのコピーに適合しているということを意味する。
したがって、ラインを修正状態で保持したリモート・ノ
ード１０ｂのキャッシュ・メモリは共用状態に進むが、
キャッシュ・ラインのホーム・ノードがノード１０ａな
ので、ホーム・ノード１０ａのシステム・メモリは更新
されなければならない。図５に示すように、修正・介入
応答は修正データと共に、ReRunトランザクションが発
行されるホーム・ノード１０ａにその後返信される。ホ
ーム・ノード１０ａのプロセッサ１２ａがトランザクシ
ョンを再発行すると、トランザクションはホーム・ノー
ド１０ａのエージェントによってキャンセルされる。Re
Runトランザクションがキャンセルされる多くの理由の
１つは、トランザクションがもはや不必要であると思わ
れる見込みＲＥＡＤであったためである。その間に、リ
モート・ノード１０ｂのキャッシュ・メモリは、キャッ
シュ・ラインが現在共用状態になっており、そのキャッ
シュ・ラインの有効なコピーだけがノード制御装置２０
に常駐していてローカル・メモリ１８に達する方法がな
いので、このキャッシュ・ラインを暗黙に廃棄した可能
性がある。前述の状況が検出され矯正されない限り、こ
のデータは失われる。前述の状況に関連する別の問題
は、データが損失した後にバスの衝突検出プロトコルに
よるデッドロックを引き起こす可能性のあるデータ転送
が発生するまでは、ノード制御装置２０内のキャッシュ
・コヒーレンス・ディレクトリが消去されないことであ
る。
・システム内でトランザクションがキャンセルされるこ
とよって生じる、データ損失状況の例が図示されてい
る。図４では、ホーム・ノード１０ａのプロセッサ１２
ａによって行われるキャッシュ・ラインに対するＲＥＡ
Ｄ要求は、キャッシュ・ラインが修正状態で保持される
リモート・ノード１０ｂに転送される。次いでＲＥＡＤ
要求は、リモート・ノード１０ｂで修正・介入応答を受
信する。修正・介入応答は、１つのキャッシュ・メモリ
が、修正されたデータを１つまたは複数の他のキャッシ
ュ・メモリに直接提供できるようにし、要求が読取り専
用要求の場合は、修正されたデータを受信したすべての
キャッシュ・メモリを共用状態にする、コヒーレンス・
ボートである。ＭＥＳＩプロトコルおよびＭＳＩプロト
コルにおいて、共用状態とは、すべてのキャッシュ・メ
モリがホーム・ノード１０ａのシステム・メモリにある
ラインのコピーに適合しているということを意味する。
したがって、ラインを修正状態で保持したリモート・ノ
ード１０ｂのキャッシュ・メモリは共用状態に進むが、
キャッシュ・ラインのホーム・ノードがノード１０ａな
ので、ホーム・ノード１０ａのシステム・メモリは更新
されなければならない。図５に示すように、修正・介入
応答は修正データと共に、ReRunトランザクションが発
行されるホーム・ノード１０ａにその後返信される。ホ
ーム・ノード１０ａのプロセッサ１２ａがトランザクシ
ョンを再発行すると、トランザクションはホーム・ノー
ド１０ａのエージェントによってキャンセルされる。Re
Runトランザクションがキャンセルされる多くの理由の
１つは、トランザクションがもはや不必要であると思わ
れる見込みＲＥＡＤであったためである。その間に、リ
モート・ノード１０ｂのキャッシュ・メモリは、キャッ
シュ・ラインが現在共用状態になっており、そのキャッ
シュ・ラインの有効なコピーだけがノード制御装置２０
に常駐していてローカル・メモリ１８に達する方法がな
いので、このキャッシュ・ラインを暗黙に廃棄した可能
性がある。前述の状況が検出され矯正されない限り、こ
のデータは失われる。前述の状況に関連する別の問題
は、データが損失した後にバスの衝突検出プロトコルに
よるデッドロックを引き起こす可能性のあるデータ転送
が発生するまでは、ノード制御装置２０内のキャッシュ
・コヒーレンス・ディレクトリが消去されないことであ
る。
【００３０】ＩＩＩ．データ損失問題の解決方法 データ損失問題を解決するには、ノード制御装置２０内
のキャッシュ・コヒーレンス・ディレクトリが前述のす
べての事象を監視できなければならない。これは、ノー
ド制御装置２０がそれに対して可視性を有する情報の場
合に可能である。ノード制御装置２０は、トランザクシ
ョンがコヒーレンス応答ボーティング・ウィンドウから
消去されるまで、すべてのトランザクションをバッファ
に入れる必要もある。ノード制御装置が修正・介入をボ
ートしているReRunされたトランザクションがキャンセ
ルされたことをノード制御装置２０が検出すると、その
後前述のデータ損失シナリオが発生すると言われる。Ｎ
ＵＭＡコンピュータ・システムは一般に、そのトランザ
クションの種類を示すトランザクションのアドレスを備
えたＲビット属性などの表示を提供する。たとえば、Ｒ
＝０はオリジナル・トランザクションを表し、Ｒ＝１は
これまでにReRunされ、ReRun要求によって再発行される
トランザクションを表す。
のキャッシュ・コヒーレンス・ディレクトリが前述のす
べての事象を監視できなければならない。これは、ノー
ド制御装置２０がそれに対して可視性を有する情報の場
合に可能である。ノード制御装置２０は、トランザクシ
ョンがコヒーレンス応答ボーティング・ウィンドウから
消去されるまで、すべてのトランザクションをバッファ
に入れる必要もある。ノード制御装置が修正・介入をボ
ートしているReRunされたトランザクションがキャンセ
ルされたことをノード制御装置２０が検出すると、その
後前述のデータ損失シナリオが発生すると言われる。Ｎ
ＵＭＡコンピュータ・システムは一般に、そのトランザ
クションの種類を示すトランザクションのアドレスを備
えたＲビット属性などの表示を提供する。たとえば、Ｒ
＝０はオリジナル・トランザクションを表し、Ｒ＝１は
これまでにReRunされ、ReRun要求によって再発行される
トランザクションを表す。
【００３１】ノード制御装置２０がいったんデータ損失
シナリオを検出すると、ノード制御装置２０は以下のよ
うにそのデータ損失シナリオを解決しなければならな
い。ノード制御装置２０は、修正されたデータをローカ
ル・メモリ１８に書き戻しできるようにする、ローカル
・バス１６上の要求を生成しなければならない。ノード
制御装置２０は、トランザクションが応答段階を通過す
るまで前のトランザクションをすべて保持するので、ノ
ード制御装置２０は、データをローカル・メモリ１８に
書き戻しするために、書き戻し・消去（ＷＢＣ）バス・
トランザクションを生成することができる。ノード制御
装置２０は、ノード制御装置２０が所有しているタグ領
域内のタグを使用しなければならない。タグを所有して
いるプロセッサがタグを再度使用する可能性があるか、
または別のバス・マスタが同じタグによって混乱する可
能性があるので、オリジナル・タグは使用できない。ノ
ード制御装置２０は、保留バッファの識別子（ＩＤ）、
ノードＩＤ、およびその独自のバス・マスタＩＤを使用
して、固有のタグを生成することができる。
シナリオを検出すると、ノード制御装置２０は以下のよ
うにそのデータ損失シナリオを解決しなければならな
い。ノード制御装置２０は、修正されたデータをローカ
ル・メモリ１８に書き戻しできるようにする、ローカル
・バス１６上の要求を生成しなければならない。ノード
制御装置２０は、トランザクションが応答段階を通過す
るまで前のトランザクションをすべて保持するので、ノ
ード制御装置２０は、データをローカル・メモリ１８に
書き戻しするために、書き戻し・消去（ＷＢＣ）バス・
トランザクションを生成することができる。ノード制御
装置２０は、ノード制御装置２０が所有しているタグ領
域内のタグを使用しなければならない。タグを所有して
いるプロセッサがタグを再度使用する可能性があるか、
または別のバス・マスタが同じタグによって混乱する可
能性があるので、オリジナル・タグは使用できない。ノ
ード制御装置２０は、保留バッファの識別子（ＩＤ）、
ノードＩＤ、およびその独自のバス・マスタＩＤを使用
して、固有のタグを生成することができる。
【００３２】ノード制御装置２０にバスが認可される
と、ノード制御装置２０は新しいタグの付いたＷＢＣト
ランザクションを生成し、Ｒビットは「１」に設定され
る。ノード制御装置２０は、データ・バッファ内に保持
しているデータもＷＢＣに提供する。そのデータのタグ
は、新しいトランザクション・タグに合うように変更さ
れる。ノード制御装置２０が別々のアドレス・ユニット
とデータ・ユニットに分けられている場合、データ・ユ
ニット内に常駐するデータ・パケットも新しいタグに付
け替える必要がある。これは、古いタグと新しいタグの
両方をデータ・ユニットに渡すコマンドを使って達成さ
れる。データがメモリに書き込まれるまで、ノード制御
装置２０内のコヒーレンス機構は、キャッシュ・ライン
に対するトランザクションを再試行して、このキャッシ
ュ・ラインのコヒーレンスを保護しなければならない。
Ｒビットが「１」に設定されているので、ノード制御装
置２０は独自のＷＢＣトランザクションを再試行しな
い。ＷＢＣ要求がいったん完了すると、エントリは保留
バッファから削除され、ディレクトリ状態は更新され
る。
と、ノード制御装置２０は新しいタグの付いたＷＢＣト
ランザクションを生成し、Ｒビットは「１」に設定され
る。ノード制御装置２０は、データ・バッファ内に保持
しているデータもＷＢＣに提供する。そのデータのタグ
は、新しいトランザクション・タグに合うように変更さ
れる。ノード制御装置２０が別々のアドレス・ユニット
とデータ・ユニットに分けられている場合、データ・ユ
ニット内に常駐するデータ・パケットも新しいタグに付
け替える必要がある。これは、古いタグと新しいタグの
両方をデータ・ユニットに渡すコマンドを使って達成さ
れる。データがメモリに書き込まれるまで、ノード制御
装置２０内のコヒーレンス機構は、キャッシュ・ライン
に対するトランザクションを再試行して、このキャッシ
ュ・ラインのコヒーレンスを保護しなければならない。
Ｒビットが「１」に設定されているので、ノード制御装
置２０は独自のＷＢＣトランザクションを再試行しな
い。ＷＢＣ要求がいったん完了すると、エントリは保留
バッファから削除され、ディレクトリ状態は更新され
る。
【００３３】次に図６、図７、図８を参照すると、本発
明の例示的実施形態による、キャンセルされたトランザ
クションによって引き起こされるデータ損失状況の解決
例が示されている。図６に示すように、ホーム・ノード
１０ａでのＲＥＡＤ要求は、修正されたデータが常駐す
るリモート・ノード１０ｂに転送される。ＲＥＡＤ要求
は、リモート・ノード１０ｂで修正・介入のボートを受
け取る。次いでリモート・ノード１０ｂは、図７に示す
ように、修正・介入ボートおよび修正されたデータをホ
ーム・ノード１０ａに送信する。ホーム・ノード１０ａ
のプロセッサ１２ａが、ノード制御装置２０からのReRu
n要求の結果としてＲ＝１トランザクションを再発行す
ると、ホーム・ノード１０ａは再試行のボートを発行す
るので、トランザクションがキャンセルされる。ノード
制御装置２０は、データ損失シナリオの発生を監視する
ことができる。ノード制御装置２０は次いで前述のよう
に新しいタグを生成し、Ｒ＝１でＷＢＣ要求を発行す
る。ノード制御装置２０内のコヒーレンス機構は、図８
に示すように、ＷＢＣ要求がローカルに生成されたＷＢ
Ｃ要求のReRunであるかのように、ＷＢＣ要求を完了さ
せることができる。その結果、ここでローカル・メモリ
１８内のデータが有効になる。
明の例示的実施形態による、キャンセルされたトランザ
クションによって引き起こされるデータ損失状況の解決
例が示されている。図６に示すように、ホーム・ノード
１０ａでのＲＥＡＤ要求は、修正されたデータが常駐す
るリモート・ノード１０ｂに転送される。ＲＥＡＤ要求
は、リモート・ノード１０ｂで修正・介入のボートを受
け取る。次いでリモート・ノード１０ｂは、図７に示す
ように、修正・介入ボートおよび修正されたデータをホ
ーム・ノード１０ａに送信する。ホーム・ノード１０ａ
のプロセッサ１２ａが、ノード制御装置２０からのReRu
n要求の結果としてＲ＝１トランザクションを再発行す
ると、ホーム・ノード１０ａは再試行のボートを発行す
るので、トランザクションがキャンセルされる。ノード
制御装置２０は、データ損失シナリオの発生を監視する
ことができる。ノード制御装置２０は次いで前述のよう
に新しいタグを生成し、Ｒ＝１でＷＢＣ要求を発行す
る。ノード制御装置２０内のコヒーレンス機構は、図８
に示すように、ＷＢＣ要求がローカルに生成されたＷＢ
Ｃ要求のReRunであるかのように、ＷＢＣ要求を完了さ
せることができる。その結果、ここでローカル・メモリ
１８内のデータが有効になる。
【００３４】以上述べてきたように、本発明は、ＮＵＭ
Ａコンピュータ・システム内でのトランザクションのキ
ャンセルによるデータ損失を避けるための改良方法を提
供するものである。
Ａコンピュータ・システム内でのトランザクションのキ
ャンセルによるデータ損失を避けるための改良方法を提
供するものである。
【００３５】まとめとして、本発明の構成に関して以下
の事項を開示する。
の事項を開示する。
【００３６】（１）相互接続に結合された少なくとも２
つのノードを含み、前記少なくとも２つのノードがそれ
ぞれローカル・システム・メモリを含む、不均等メモリ
・アクセス（ＮＵＭＡ）コンピュータ・システムにおい
て、トランザクションのキャンセルによるデータ損失を
避けるための方法であって、ホーム・ノードから修正さ
れたデータが常駐するリモート・ノードへのデータ・ア
クセス要求に応答して、修正・介入ボートを前記修正さ
れたデータと共に前記リモート・ノードから前記ホーム
・ノードへ送信するステップと、その後、前記ホーム・
ノードに配置されたノード制御装置からの再発行要求の
結果として、前記ホーム・ノードに配置されたプロセッ
サがデータ・アクセス要求を再発行するのに応答して、
前記ホーム・ノードからの前記データ・アクセス要求を
キャンセルするステップと、前記修正されたデータを、
前記ノード制御装置から前記ホーム・ノードに配置され
たローカル・システム・メモリに送達するための書き戻
し要求を発行するステップとを含む方法。 （２）前記データ・アクセス要求が、修正されたデータ
をメモリに書き込ませる任意のトランザクションを含
む、上記（１）に記載の方法。 （３）前記再発行されたデータ・アクセス要求トランザ
クションが、再発行インジケータ・ビット・セットを有
する、上記（１）に記載の方法。 （４）前記書き戻し要求がライン書き戻し要求である、
上記（１）に記載の方法。 （５）前記ホーム・ノードに配置されているプロセッサ
によって書き戻し要求を発行する前記ステップが、前記
データ・アクセス要求のキャンセルに応答して実行され
る、上記（１）に記載の方法。 （６）書き戻し要求を発行する前記ステップが、修正・
介入を送信する前記ステップとキャンセル・ボートを発
行する前記ステップに応答して実行される、上記（１）
に記載の方法。 （７）トランザクションのキャンセルによるデータの損
失を避けることのできる不均等メモリ・アクセス（ＮＵ
ＭＡ）コンピュータ・システムであって、相互接続に結
合された少なくとも２つのノードを含み、前記少なくと
も２つのノードがそれぞれローカル・システム・メモリ
を含み、ホーム・ノードから修正されたデータが常駐す
るリモート・ノードへのデータ・アクセス要求に応答し
て、修正・介入ボートを前記修正されたデータと共に前
記リモート・ノードから前記ホーム・ノードへ送信する
手段と、前記ホーム・ノードに配置されたノード制御装
置からの再発行要求の結果として、前記ホーム・ノード
に配置されたプロセッサがデータ・アクセス要求を再発
行するのに応答して、前記ホーム・ノードからの前記デ
ータ・アクセス要求をキャンセルする手段と、前記修正
されたデータを、前記ノード制御装置から前記ホーム・
ノードに配置されたローカル・システム・メモリに送達
するための書き戻し要求を発行する手段とを含むＮＵＭ
Ａコンピュータ・システム。 （８）前記データ・アクセス要求が、修正されたデータ
をメモリに書き込ませる任意のトランザクションを含
む、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （９）前記再発行されたデータ・アクセス要求トランザ
クションが、再発行インジケータ・ビット・セットを有
する、上記（７）に記載のＮＵＭＡコンピュータ・シス
テム。 （１０）前記書き戻し要求がライン書き戻し要求であ
る、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （１１）前記ホーム・ノードに配置されているプロセッ
サによって書き戻し要求を発行する前記手段が、前記デ
ータ・アクセス要求のキャンセルに応答して実行され
る、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （１２）書き戻し要求を発行する前記手段が、修正・介
入の送信とキャンセル・ボートの発行に応答して実行さ
れる、上記（７）に記載のＮＵＭＡコンピュータ・シス
テム。
つのノードを含み、前記少なくとも２つのノードがそれ
ぞれローカル・システム・メモリを含む、不均等メモリ
・アクセス（ＮＵＭＡ）コンピュータ・システムにおい
て、トランザクションのキャンセルによるデータ損失を
避けるための方法であって、ホーム・ノードから修正さ
れたデータが常駐するリモート・ノードへのデータ・ア
クセス要求に応答して、修正・介入ボートを前記修正さ
れたデータと共に前記リモート・ノードから前記ホーム
・ノードへ送信するステップと、その後、前記ホーム・
ノードに配置されたノード制御装置からの再発行要求の
結果として、前記ホーム・ノードに配置されたプロセッ
サがデータ・アクセス要求を再発行するのに応答して、
前記ホーム・ノードからの前記データ・アクセス要求を
キャンセルするステップと、前記修正されたデータを、
前記ノード制御装置から前記ホーム・ノードに配置され
たローカル・システム・メモリに送達するための書き戻
し要求を発行するステップとを含む方法。 （２）前記データ・アクセス要求が、修正されたデータ
をメモリに書き込ませる任意のトランザクションを含
む、上記（１）に記載の方法。 （３）前記再発行されたデータ・アクセス要求トランザ
クションが、再発行インジケータ・ビット・セットを有
する、上記（１）に記載の方法。 （４）前記書き戻し要求がライン書き戻し要求である、
上記（１）に記載の方法。 （５）前記ホーム・ノードに配置されているプロセッサ
によって書き戻し要求を発行する前記ステップが、前記
データ・アクセス要求のキャンセルに応答して実行され
る、上記（１）に記載の方法。 （６）書き戻し要求を発行する前記ステップが、修正・
介入を送信する前記ステップとキャンセル・ボートを発
行する前記ステップに応答して実行される、上記（１）
に記載の方法。 （７）トランザクションのキャンセルによるデータの損
失を避けることのできる不均等メモリ・アクセス（ＮＵ
ＭＡ）コンピュータ・システムであって、相互接続に結
合された少なくとも２つのノードを含み、前記少なくと
も２つのノードがそれぞれローカル・システム・メモリ
を含み、ホーム・ノードから修正されたデータが常駐す
るリモート・ノードへのデータ・アクセス要求に応答し
て、修正・介入ボートを前記修正されたデータと共に前
記リモート・ノードから前記ホーム・ノードへ送信する
手段と、前記ホーム・ノードに配置されたノード制御装
置からの再発行要求の結果として、前記ホーム・ノード
に配置されたプロセッサがデータ・アクセス要求を再発
行するのに応答して、前記ホーム・ノードからの前記デ
ータ・アクセス要求をキャンセルする手段と、前記修正
されたデータを、前記ノード制御装置から前記ホーム・
ノードに配置されたローカル・システム・メモリに送達
するための書き戻し要求を発行する手段とを含むＮＵＭ
Ａコンピュータ・システム。 （８）前記データ・アクセス要求が、修正されたデータ
をメモリに書き込ませる任意のトランザクションを含
む、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （９）前記再発行されたデータ・アクセス要求トランザ
クションが、再発行インジケータ・ビット・セットを有
する、上記（７）に記載のＮＵＭＡコンピュータ・シス
テム。 （１０）前記書き戻し要求がライン書き戻し要求であ
る、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （１１）前記ホーム・ノードに配置されているプロセッ
サによって書き戻し要求を発行する前記手段が、前記デ
ータ・アクセス要求のキャンセルに応答して実行され
る、上記（７）に記載のＮＵＭＡコンピュータ・システ
ム。 （１２）書き戻し要求を発行する前記手段が、修正・介
入の送信とキャンセル・ボートの発行に応答して実行さ
れる、上記（７）に記載のＮＵＭＡコンピュータ・シス
テム。
【図１】本発明の好ましい実施形態による、不均等メモ
リ・アクセス（ＮＵＭＡ）コンピュータ・システムの構
成図である。
リ・アクセス（ＮＵＭＡ）コンピュータ・システムの構
成図である。
【図２】Ｉ−コマンドの例示的実施形態を示す図であ
る。
る。
【図３】図１に示されたノード制御装置のさらに詳細な
構成図である。
構成図である。
【図４】ＮＵＭＡコンピュータ・システムにおいて、キ
ャンセル済みトランザクションによって引き起こされる
データ損失状況を示す図である。
ャンセル済みトランザクションによって引き起こされる
データ損失状況を示す図である。
【図５】ＮＵＭＡコンピュータ・システムにおいて、キ
ャンセル済みトランザクションによって引き起こされる
データ損失状況を示す図である。
ャンセル済みトランザクションによって引き起こされる
データ損失状況を示す図である。
【図６】本発明の好ましい実施形態により、キャンセル
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
【図７】本発明の好ましい実施形態により、キャンセル
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
【図８】本発明の好ましい実施形態により、キャンセル
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
済みトランザクションによって引き起こされるデータ損
失状況のソリューションを示す図である。
１０ａ 処理ノード １０ｂ 処理ノード １２ａ プロセッサ １６ ローカル相互接続 １８ メモリ ２０ ノード制御装置 ２４ アービタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ゲアリー・デール・カーペンター アメリカ合衆国78660 テキサス州プフリ ューガーヴィル ロッキー・クリーク・ド ライブ 1241 (72)発明者 マーク・エドワード・ディーン アメリカ合衆国78730 テキサス州オース チン ランチ・クリーク・ドライブ 3610 (72)発明者 デービッド・ブライアン・グラスコ アメリカ合衆国78726 テキサス州オース チン エンバー・グレン・ドライブ 10337 (72)発明者 リチャード・ニコラス・イアチェッタ・ジ ュニア アメリカ合衆国78660 テキサス州プフリ ューガーヴィル ダンスワース・ドライブ 17907
Claims (12)
- 【請求項１】相互接続に結合された少なくとも２つのノ
ードを含み、前記少なくとも２つのノードがそれぞれロ
ーカル・システム・メモリを含む、不均等メモリ・アク
セス（ＮＵＭＡ）コンピュータ・システムにおいて、ト
ランザクションのキャンセルによるデータ損失を避ける
ための方法であって、 ホーム・ノードから修正されたデータが常駐するリモー
ト・ノードへのデータ・アクセス要求に応答して、修正
・介入ボートを前記修正されたデータと共に前記リモー
ト・ノードから前記ホーム・ノードへ送信するステップ
と、 その後、前記ホーム・ノードに配置されたノード制御装
置からの再発行要求の結果として、前記ホーム・ノード
に配置されたプロセッサがデータ・アクセス要求を再発
行するのに応答して、前記ホーム・ノードからの前記デ
ータ・アクセス要求をキャンセルするステップと、 前記修正されたデータを、前記ノード制御装置から前記
ホーム・ノードに配置されたローカル・システム・メモ
リに送達するための書き戻し要求を発行するステップと
を含む方法。 - 【請求項２】前記データ・アクセス要求が、修正された
データをメモリに書き込ませる任意のトランザクション
を含む、請求項１に記載の方法。 - 【請求項３】前記再発行されたデータ・アクセス要求ト
ランザクションが、再発行インジケータ・ビット・セッ
トを有する、請求項１に記載の方法。 - 【請求項４】前記書き戻し要求がライン書き戻し要求で
ある、請求項１に記載の方法。 - 【請求項５】前記ホーム・ノードに配置されているプロ
セッサによって書き戻し要求を発行する前記ステップ
が、前記データ・アクセス要求のキャンセルに応答して
実行される、請求項１に記載の方法。 - 【請求項６】書き戻し要求を発行する前記ステップが、
修正・介入を送信する前記ステップとキャンセル・ボー
トを発行する前記ステップに応答して実行される、請求
項１に記載の方法。 - 【請求項７】トランザクションのキャンセルによるデー
タの損失を避けることのできる不均等メモリ・アクセス
（ＮＵＭＡ）コンピュータ・システムであって、相互接
続に結合された少なくとも２つのノードを含み、前記少
なくとも２つのノードがそれぞれローカル・システム・
メモリを含み、 ホーム・ノードから修正されたデータが常駐するリモー
ト・ノードへのデータ・アクセス要求に応答して、修正
・介入ボートを前記修正されたデータと共に前記リモー
ト・ノードから前記ホーム・ノードへ送信する手段と、 前記ホーム・ノードに配置されたノード制御装置からの
再発行要求の結果として、前記ホーム・ノードに配置さ
れたプロセッサがデータ・アクセス要求を再発行するの
に応答して、前記ホーム・ノードからの前記データ・ア
クセス要求をキャンセルする手段と、 前記修正されたデータを、前記ノード制御装置から前記
ホーム・ノードに配置されたローカル・システム・メモ
リに送達するための書き戻し要求を発行する手段とを含
むＮＵＭＡコンピュータ・システム。 - 【請求項８】前記データ・アクセス要求が、修正された
データをメモリに書き込ませる任意のトランザクション
を含む、請求項７に記載のＮＵＭＡコンピュータ・シス
テム。 - 【請求項９】前記再発行されたデータ・アクセス要求ト
ランザクションが、再発行インジケータ・ビット・セッ
トを有する、請求項７に記載のＮＵＭＡコンピュータ・
システム。 - 【請求項１０】前記書き戻し要求がライン書き戻し要求
である、請求項７に記載のＮＵＭＡコンピュータ・シス
テム。 - 【請求項１１】前記ホーム・ノードに配置されているプ
ロセッサによって書き戻し要求を発行する前記手段が、
前記データ・アクセス要求のキャンセルに応答して実行
される、請求項７に記載のＮＵＭＡコンピュータ・シス
テム。 - 【請求項１２】書き戻し要求を発行する前記手段が、修
正・介入の送信とキャンセル・ボートの発行に応答して
実行される、請求項７に記載のＮＵＭＡコンピュータ・
システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/259378 | 1999-02-26 | ||
| US09/259,378 US6192452B1 (en) | 1999-02-26 | 1999-02-26 | Method and system for avoiding data loss due to cancelled transactions within a non-uniform memory access system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000250883A true JP2000250883A (ja) | 2000-09-14 |
| JP3629511B2 JP3629511B2 (ja) | 2005-03-16 |
Family
ID=22984698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000045925A Expired - Fee Related JP3629511B2 (ja) | 1999-02-26 | 2000-02-23 | 不均等メモリ・アクセス・システムにおいてトランザクションのキャンセルによるデータ損失を避けるための方法およびシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6192452B1 (ja) |
| JP (1) | JP3629511B2 (ja) |
| CN (1) | CN1116642C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009505435A (ja) * | 2005-08-31 | 2009-02-05 | インテル コーポレイション | マイクロプロセッサとレベル４キャッシュとを有するパッケージ |
| JP2014532922A (ja) * | 2011-10-26 | 2014-12-08 | クゥアルコム・テクノロジーズ・インコーポレイテッド | ３チャネルキャッシュコヒーレンシソケットプロトコル |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6591348B1 (en) * | 1999-09-09 | 2003-07-08 | International Business Machines Corporation | Method and system for resolution of transaction collisions to achieve global coherence in a distributed symmetric multiprocessor system |
| JP2001167077A (ja) * | 1999-12-09 | 2001-06-22 | Nec Kofu Ltd | ネットワークシステムにおけるデータアクセス方法、ネットワークシステムおよび記録媒体 |
| US6678798B1 (en) * | 2000-07-20 | 2004-01-13 | Silicon Graphics, Inc. | System and method for reducing memory latency during read requests |
| US6915387B1 (en) | 2000-07-20 | 2005-07-05 | Silicon Graphics, Inc. | System and method for handling updates to memory in a distributed shared memory system |
| US8635410B1 (en) | 2000-07-20 | 2014-01-21 | Silicon Graphics International, Corp. | System and method for removing data from processor caches in a distributed multi-processor computer system |
| US6938128B1 (en) | 2000-07-20 | 2005-08-30 | Silicon Graphics, Inc. | System and method for reducing memory latency during read requests |
| US6826619B1 (en) | 2000-08-21 | 2004-11-30 | Intel Corporation | Method and apparatus for preventing starvation in a multi-node architecture |
| US6487643B1 (en) * | 2000-09-29 | 2002-11-26 | Intel Corporation | Method and apparatus for preventing starvation in a multi-node architecture |
| US20020078118A1 (en) * | 2000-12-19 | 2002-06-20 | Cone Robert W. | Network interface application specific integrated circuit to allow direct attachment for an appliance,such as a printer device |
| US6772298B2 (en) | 2000-12-20 | 2004-08-03 | Intel Corporation | Method and apparatus for invalidating a cache line without data return in a multi-node architecture |
| US7234029B2 (en) * | 2000-12-28 | 2007-06-19 | Intel Corporation | Method and apparatus for reducing memory latency in a cache coherent multi-node architecture |
| US7213049B2 (en) * | 2001-07-17 | 2007-05-01 | Bea Systems, Inc. | System and method for transaction processing with transaction property feature |
| US7266587B2 (en) * | 2002-05-15 | 2007-09-04 | Broadcom Corporation | System having interfaces, switch, and memory bridge for CC-NUMA operation |
| US20040059858A1 (en) * | 2002-09-23 | 2004-03-25 | Blankenship Robert G. | Methods and arrangements to enhance a downbound path |
| US8185602B2 (en) | 2002-11-05 | 2012-05-22 | Newisys, Inc. | Transaction processing using multiple protocol engines in systems having multiple multi-processor clusters |
| US7386626B2 (en) * | 2003-06-23 | 2008-06-10 | Newisys, Inc. | Bandwidth, framing and error detection in communications between multi-processor clusters of multi-cluster computer systems |
| US7395347B2 (en) * | 2003-08-05 | 2008-07-01 | Newisys, Inc, | Communication between and within multi-processor clusters of multi-cluster computer systems |
| US7769957B2 (en) * | 2007-06-22 | 2010-08-03 | Mips Technologies, Inc. | Preventing writeback race in multiple core processors |
| US20080320233A1 (en) * | 2007-06-22 | 2008-12-25 | Mips Technologies Inc. | Reduced Handling of Writeback Data |
| US8627014B2 (en) * | 2008-12-30 | 2014-01-07 | Intel Corporation | Memory model for hardware attributes within a transactional memory system |
| CN102122256B (zh) * | 2011-03-28 | 2013-01-09 | 中国人民解放军国防科学技术大学 | 一种用于进程间通信的管道式通信方法及系统 |
| US20120311262A1 (en) * | 2011-06-01 | 2012-12-06 | International Business Machines Corporation | Memory cell presetting for improved memory performance |
| US9287005B2 (en) | 2013-12-13 | 2016-03-15 | International Business Machines Corporation | Detecting missing write to cache/memory operations |
| US10237169B2 (en) | 2016-04-01 | 2019-03-19 | Intel Corporation | Technologies for quality of service based throttling in fabric architectures |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5297269A (en) * | 1990-04-26 | 1994-03-22 | Digital Equipment Company | Cache coherency protocol for multi processor computer system |
| US5895484A (en) * | 1997-04-14 | 1999-04-20 | International Business Machines Corporation | Method and system for speculatively accessing cache memory data within a multiprocessor data-processing system using a cache controller |
| US5943684A (en) * | 1997-04-14 | 1999-08-24 | International Business Machines Corporation | Method and system of providing a cache-coherency protocol for maintaining cache coherency within a multiprocessor data-processing system |
| US5940856A (en) * | 1997-04-14 | 1999-08-17 | International Business Machines Corporation | Cache intervention from only one of many cache lines sharing an unmodified value |
| US6067611A (en) * | 1998-06-30 | 2000-05-23 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that buffers potential third node transactions to decrease communication latency |
| US6085293A (en) * | 1998-08-17 | 2000-07-04 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that decreases latency by expediting rerun requests |
| US6081874A (en) * | 1998-09-29 | 2000-06-27 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that speculatively issues requests on a node interconnect |
| US6067603A (en) * | 1998-10-01 | 2000-05-23 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that speculatively issues requests on a node interconnect |
| US6115804A (en) * | 1999-02-10 | 2000-09-05 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that permits multiple caches to concurrently hold data in a recent state from which data can be sourced by shared intervention |
-
1999
- 1999-02-26 US US09/259,378 patent/US6192452B1/en not_active Expired - Fee Related
- 1999-12-24 CN CN99126571.8A patent/CN1116642C/zh not_active Expired - Fee Related
-
2000
- 2000-02-23 JP JP2000045925A patent/JP3629511B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009505435A (ja) * | 2005-08-31 | 2009-02-05 | インテル コーポレイション | マイクロプロセッサとレベル４キャッシュとを有するパッケージ |
| JP2014532922A (ja) * | 2011-10-26 | 2014-12-08 | クゥアルコム・テクノロジーズ・インコーポレイテッド | ３チャネルキャッシュコヒーレンシソケットプロトコル |
| US9361230B2 (en) | 2011-10-26 | 2016-06-07 | Qualcomm Technologies, Inc. | Three channel cache-coherency socket protocol |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1116642C (zh) | 2003-07-30 |
| CN1264874A (zh) | 2000-08-30 |
| US6192452B1 (en) | 2001-02-20 |
| JP3629511B2 (ja) | 2005-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3629511B2 (ja) | 不均等メモリ・アクセス・システムにおいてトランザクションのキャンセルによるデータ損失を避けるための方法およびシステム | |
| KR100465583B1 (ko) | 판독 요청을 원격 처리 노드에 추론적으로 전송하는 비정형 메모리 액세스 데이터 처리 시스템 및 이 시스템에서의 통신 방법 | |
| US6115804A (en) | Non-uniform memory access (NUMA) data processing system that permits multiple caches to concurrently hold data in a recent state from which data can be sourced by shared intervention | |
| KR100308323B1 (ko) | 공유된 개입 지원을 가지는 비균등 메모리 액세스 데이터처리 시스템 | |
| US6275907B1 (en) | Reservation management in a non-uniform memory access (NUMA) data processing system | |
| US6067603A (en) | Non-uniform memory access (NUMA) data processing system that speculatively issues requests on a node interconnect | |
| CA2280172C (en) | Non-uniform memory access (numa) data processing system that holds and reissues requests at a target processing node in response to a retry | |
| EP0817051B1 (en) | Multiprocessing system having coherency related error logging capabilities and method therefor | |
| EP0817077B1 (en) | A multiprocessing system configured to perform prefetching operations and method therefor | |
| KR100348947B1 (ko) | 노드 상호 접속망 상에서 요구를 예측 방식으로 발행하는 비균일 메모리 액세스 데이터 처리 시스템 | |
| CA2271536C (en) | Non-uniform memory access (numa) data processing system that buffers potential third node transactions to decrease communication latency | |
| US6266743B1 (en) | Method and system for providing an eviction protocol within a non-uniform memory access system | |
| EP0817072A2 (en) | A multiprocessing system configured to store coherency state within multiple subnodes of a processing node | |
| US6279085B1 (en) | Method and system for avoiding livelocks due to colliding writebacks within a non-uniform memory access system | |
| JP3574031B2 (ja) | 不均等メモリ・アクセス・システム内で無効化トランザクションの衝突によって生じるライブロックを避けるための方法およびシステム | |
| US6085293A (en) | Non-uniform memory access (NUMA) data processing system that decreases latency by expediting rerun requests |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040402 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040402 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20040402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040915 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041018 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20041018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |