JPH10506483A - フォールト・トレラントなコンピュータ・システムのためのメイン・メモリ・システム及びチェックポイント用プロトコル - Google Patents

Abstract

(57)【要約】 コンピュータの通常の動作を制約せずにメイン・メモリにおける一貫性を有する状態を維持するメカニズムが提供され、それによって、コンピュータ・システムは、データ又は処理の連続性を失なうことなく、障害から回復することが可能になる。典型的なコンピュータ・システムでは、プロセッサと入出力要素とは、メモリ・バスを介してメイン・メモリに接続されている。バッファ・メモリと主記憶要素とを含むシャドウ・メモリ要素もまた、このメモリ・バスに接続されている。チェックポイントが望まれる（従って、実行中のすべてのアプリケーションが障害の後で安全に戻ることのできる、メイン・メモリにおける一貫性を有する状態を確立する）ときには、バッファ・メモリにおいて先に捕捉されていたデータが、シャドウ・メモリ要素の主記憶要素にコピーされる。この構造及びプロトコルが、メイン・メモリにおける一貫性を有する状態を保証し、フォールト・トレラントな動作を可能にする。

Description

【発明の詳細な説明】 フォールト・トレラントなコンピュータ・システムのための メイン・メモリ・システム及びチェックポイント用プロトコル 発明の概要 本発明は、コンピュータの通常の動作を制約せずにメイン・メモリにおいて一 貫性を有する状態（consistent state）を維持することにより、コンピュータ・ システムが、データの一体性又は処理の連続性を失うことなく故障から回復する ことを可能にするメカニズムを提供する。典型的なコンピュータ・システムでは 、プロセッサと入力／出力要素とは、メモリ・バスを介して、メイン・メモリに 接続されている。本発明では、バッファ・メモリと主記憶要素とを含むシャドウ ・メモリ要素もまた、このメモリ・バスに付属されている。通常の処理の間は、 一次メモリ（primary memory）に書き込まれたデータは、同時に、シャドウ・メ モリ要素のバッファ・メモリにも捕捉される。チェックポイントが望まれる（従 って、すべての実行中のアプリケーションが故障の後で安全に戻ることのできる メイン・メモリにおける一貫性を有する状態を確立することが望まれる）ときに は、バッファ・メモリに先に捕捉されていたデータが、シャドウ・メモリ要素の 主記憶要素にコピーされる。この構造とプロトコルとが、メイン・メモリにおけ る一貫性を有する状態を保証し、従って、フォールト・トレラントな（耐故障性 の）動作を可能にする。 図面の簡単な説明 図１は、本発明によるメイン・メモリ構造を用いるフォールト・トレラントな コンピュータ・システムのブロック図である。 図２は、キャッシュとシャドウ・メイン・メモリとを有する処理ユニットを更 に詳細に図解するブロック図である。 図３は、図２に示されたシャドウ・メモリの更に詳細なブロック図である。 図４は、図３に示されたメモリ制御論理の更に詳細なブロック図である。 図５は、処理ユニットが、メイン・メモリの一貫性を維持するのに用いるメ モリロケーションの図である。 図６は、それぞれの処理ユニットが、そのキャッシュの一括消去（flushing） を、どのようにして制御するかを説明するフローチャートである。 詳細な説明 本発明は、以下の詳細な説明を添付した図面を参照して読むことによって、よ り完全に理解できよう。図面では、類似の構造を指示する際には、類似の参照番 号を付してある。本明細書で引用する参考文献は、すべてを、明示的に援用する ものとする。 コンピュータ・システムは、すべてのアプリケーション・プログラムが、障害 （フォールト：ｆａｕｌｔ）の後に、その障害から透過的（トランスペアレント ）に回復することが可能である場合に戻ることのできる、メイン・メモリにおけ る一貫性を有する状態（すなわち、チェックポイント）の存在を保証しなければ ならない。コンピュータ・システムが、用いているアプリケーション・プログラ ムに特別な要求を何も課すことなくこの能力を提供することが、強く望まれる。 現時点で入手可能ないくつかのコンピュータ・システムでは、すべての修正可能 なデータを、メイン・メモリにおける２つの物理的に分離されたロケーション（ 一次ロケーション及びシャドウロケーション）に記憶することによって、一貫性 を有する状態が確保される。米国特許第４６５４８１９号及び第４８１９１５４ 号には、このようなコンピュータ・システムについての更なる記載がある。しか し、この手順がうまく機能するためには、コンピュータ・システムにおけるそれ ぞれのプロセッサが、ブロッキング・キャッシュを有していなければならない。 すなわち、プロセッサは、現時点で修正されているすべてのラインを同時に再び 書き込むのでなければ、キャッシュ・ラインを、再びメイン・メモリに書き込む ことが全くできない。従って、任意のキャッシュ・オーバフロー又は別のプロセ ッサからのキャッシュ内のデータの要求があると、プロセッサは、キャッシュ全 体を一括消去（ｆｌｕｓｈ）することを強いられる。 このアプローチの主な欠点は、このアプローチでは、従来型の非ブロック・キ ャッシュとそれに関連するキャッシュ・コヒーレンシ・プロトコルとの使用 が排除されることである。そのようなコンピュータ・システムと共に用いられる ソフトウェアを他のコンピュータ・システムから移植することは、困難であり、 移植が行われた後で、性能上の問題が生じる可能性がある。また、従来型ではな いハードウェアを用いることにより、コンピュータ・システムのコストは上昇す るが、標準的な市販のプロセッサを用いれば、そのコストを縮小できる。従来型 のプロセッサであれば、従来型のキャッシュ・プロトコルを用いることが必要で あるが、これまでのチェックポイント・システムでは、メイン・メモリの一貫性 を保証できないので、従来型のキャッシュを用いてフォールト・トレラント（障 害許容な動作：ｆａｕｌｔ ｔｏｌｅｒａｎｔ ｏｐｅｒａｔｉｏｎ）な動作を 提供することができない。 図１は、本発明によるフォールト・トレラントなコンピュータ・システム１１ の１つの実施例のブロック図である。１又は複数の処理要素１４、１６が、１又 は複数のバス１０、１２を介して、１又は複数のメイン・メモリ・システム１８ 、２０に接続されている。１又は複数の入力／出力（I／O）サブシステム２２、 ２４もまた、バス１０（１２）に接続されている。それぞれのI／Oサブシステム は、入力／出力（I／O）要素２６（２８）と、１又は複数のバス３０、３２（３ ４、３６）とから構成されている。I／O要素２６（２８）はまた、ＶＭＥバスな どの任意の標準的なI／Oバス３８（４０）に接続されている。説明を簡単にする ために、これらのシステム及びサブシステムそれぞれの中のただ１つを、以下の 説明では参照する。 図２に示されるように、それぞれの処理要素、例えば１４は、キャッシュ４２ に接続された処理ユニット４４を含む。この接続はまた、処理ユニット４４とキ ャッシュ４２とをバス１０に接続している。処理ユニット４４は、任意のマイク ロプロセッサユニット（ＭＰＵ）でよい。例えば、インテル社から市販されてい るペンティアム・マイクロプロセッサは、この目的に適している。処理ユニット ４４は、従来のように、任意の適切なオペレーティングシステムに従って動作す る。処理要素１４は、自己チェックの目的で、二重処理ユニット４４を含むこと もある。キャッシュ４２は、ライト・スルー又はライト・バック型のキャッシュ であり、任意のサイズと連想度（アソシアティビティ、asso ciativity）とを有する。処理ユニット４４は、キャッシュ４２の中に、データ だけ、又は、コンピュータ・プログラムの命令とデータとの両方を記憶すること ができる。前者の場合には、追加的な同様の命令キャッシュ４３を処理ユニット ４４に接続して、処理ユニット４４が、コンピュータ・プログラムの命令を記憶 する。この接続はまた、命令キャッシュ４３をバス１０に接続する。このシステ ムは、対称な多重処理コンピュータ・システムであり、それぞれの処理ユニット ４４が、任意の従来型のメカニズムを用いて、バス・スヌーピング（snooping） などのキャッシュの一貫性（コヒーレンシ）を維持する。 キャッシュ４２は、バス１０を介して、メイン・メモリ・システム、例えば１ ８に接続されている。このメイン・メモリ・システムは、一次メモリ要素（ＰＭ Ｅ）４６とシャドウ・メモリ要素（ＳＭＥ）４８とを含み、これらの要素は、相 互に接続され、更に、バス１０に接続されている。ＰＭＥ４６とＳＭＥ４８とは 、任意ではあるが等しい容量を有する。 ＳＭＥ４８は、図３に示すように、バッファ・メモリ５２と主記憶要素（main storage element）５０とを含み、これらは、それぞれが、データ入力と、デー タ出力と、アクセス制御及びアドレス入力を含む制御入力と、を有する。バッフ ァ・メモリと主記憶要素とは、典型的には、ダイナミックで揮発性のランダム・ アクセス・メモリ（ＤＲＡＭ）として、集積回路の形式で、典型的には、シング ル・インライン・メモリ・モジュール（ＳＩＭＭ）の形式で、実現される。バス ・トランシーバ５５は、データ入力バッファ５４の入力と主記憶要素５０のデー タ出力とを、バス１０に接続する。データ入力バッファ５４の出力は、バッファ ・メモリ５２のデータ入力と主記憶要素５０のデータ入力とに接続されている。 バッファ・メモリ５２のデータ出力はまた、主記憶要素５０のデータ入力に接続 されている。メモリ制御論理５８は、バッファ・メモリ５２、主記憶要素５０、 データ入力バッファ５４及びバス・トランシーバ５５のそれぞれの制御入力に接 続され、以下で説明するように、これらの要素の間のデータの流れを制御する。 メモリ制御論理５８はまた、バス・トランシーバ５５を介してバス１０に接続さ れたデータ経路と、バス・トランシーバ５７を介してバス１０のアドレス部分に 接続された第１のアドレス入力と、アドレス・ バッファ・メモリ５６のデータ出力に接続された第２のアドレス入力と、を有す る。アドレス・バッファ・メモリ５６はまた、アドレス入力バッファ５９の出力 に接続され、この出力は、バス・トランシーバ５７を介して、バス１０のアドレ ス部分に接続されている。バス・トランシーバ５７とアドレス入力バッファ５９ との両方が、メモリ制御論理５８に接続された制御入力を有する。メモリ制御論 理５８はまた、以下で説明するように、バッファ・メモリ５２に記憶されたデー タに対応するアドレスのアドレス・バッファ・メモリ５６における記憶装置を制 御する。非メモリ論理要素を、カスタム又はセミカスタムの集積回路又はプログ ラマブルなゲート・アレーである従来型の回路を用いて、実現することもできる 。 モジュール・タイプの数を最小にしておくことは有利であるので、ＰＭＥ４６ は、ＳＭＥ４８と同じ構造を有してよい。ＰＭＥ４６として用いられるメモリ要 素におけるバッファ・メモリ５２は、シャドウされる必要がないコンピュータ・ プログラムの命令や読み出し専用データを記憶し得る。メモリ要素におけるメモ リ制御論理５８は、そのメモリ要素をＰＭＥかＳＭＥのどちらかにできるように プログラマブルであることが好ましい。 バッファ・メモリ５２は、任意の２回のキャッシュ一括消去の間に修正された すべてのデータを捕捉できる程度の大きさを有しているべきである。このシステ ムを用いる以下で説明するプロセスが与えられた場合に、コンピュータ・システ ム１１におけるすべてのバッファ・メモリ５２を組み合わせた容量の全体は、好 ましくは、少なくとも、コンピュータ・システム１１におけるキャッシュ４２を 組み合わせた容量よりも大きい。 メモリ制御論理５８は、図４に更に詳細に図解されている。それには、バス・ トランシーバ５５を介してバス１０に接続されたデータ入力を有するコマンド・ レジスタ６８が含まれている。ステータス（状態）レジスタ６６は、やはりバス ・トランシーバ５５を介してバス１０に接続された出力を有する。バッファ・メ モリ制御回路６０と主記憶制御回路６２とは、ロー（行）アドレス・ストローブ （ＲＡＳ）、カラム（列）アドレス・ストローブ（ＣＡＳ）、ロー及びカラム・ アトルス、及び書き込みイネーブル（ＷＥ）制御信号を、バッファ・メ モリ５２と主記憶要素５０とのそれぞれに与える。制御回路６０、６２はまた、 バッファ・メモリ５２と主記憶要素５０との間のデータ転送を調整する接続を有 する。バッファ・メモリ制御回路６０は、ステータス・レジスタ６６の入力に接 続された出力を有しており、バッファ・メモリ５２がどの程度満たされているか と、バッファ・メモリ５２から主記憶要素５０へのコピーが終了したかどうかと を示す。バッファ・メモリ制御回路６０はまた、バッファ・メモリ５２と主記憶 要素５０との間でデータをコピーすべきかどうかを示すコマンド・レジスタ６８ の出力に接続された入力を有する。コマンド・レジスタ６８はまた、メモリ要素 が一次メモリ要素であるかシャドウ・メモリ要素であるかを示す。I／Oインター フェース制御６４は、ステータス・レジスタ６６とコマンド・レジスタ６８とを 通過する情報の流れを制御し、バッファ・メモリ制御回路６０と主記憶制御回路 ６２とを用いて、バス・トランシーバ５５、５７を通過するデータ転送を調整す る。I／Oインターフェース制御６４はまた、バス１０のアドレス部分から入力を 受け取り、コマンド及びステータス・レジスタとメイン・メモリ・システム自体 へのアドレスを認識する。 次に、このシステムを用いて障害の後でメモリの一貫性を維持するプロセスを 説明する。このプロセスによれば、処理ユニット１４のすべてのキャッシュ４２ の一括消去を要求せずに、１つの処理要素１４から別の処理要素１６にデータを 移すことが可能になる。コンピュータ・システム１１ではすべての処理ユニット ４４がすべてのバスへのアクセスを有するので、それぞれの処理ユニット１４は 、従来型のバス・スヌーピング方法を用いてキャッシュのコヒーレンシを確保す ることができる。すべての処理ユニット４４がすべてのシステム・バスへのアク セスを有していない場合には、処理ユニット４４は、その代わりに、他の周知の キャッシュ・コヒーレンシの方法を用いることができる。 それぞれのシャドウ・メモリ要素４８におけるバッファ・メモリ５２が、故障 が生じた場合に、メイン・メモリ・システム１８における一貫性を維持する。１ つの一次メモリ要素４６に記憶されたすべてのデータ・ラインは、シャドウ・メ モリ要素４８における関連するアドレス・バッファ・メモリ５６に記憶された対 応するメモリの（物理）アドレスと共に、バッファ・メモリ５２にも記憶 される。このプロトコルは、キャッシュ４２が特別に設計された一括消去ハード ウェア又は従来型のキャッシュ一括消去プロセッサ命令を用いてオペレーティン グシステムによって一括消去される際に、一次メモリ要素４６に書き込まれたラ インにも適用される。処理ユニット４４による一括消去動作は、同期がとれてい る。すべての処理ユニット４４がその一括消去を終了したときには、オペレーテ ィングシステムは、コマンド・レジスタ６８を用いてシャドウ・メモリ要素４８ に命令し、主記憶制御回路６２を用いて、バッファ・メモリ要素５２の内容を主 記憶要素５０にコピーさせる。一貫性を維持するために、処理要素１４は、いっ たん一括消去を開始すると、すべての他の処理要素１４がその一括消去を終了す るまでは、通常の動作を再開（ｒｅｓｕｍｅ）できない。 プロセッサによるキャッシュの一括消去は同期がとれているが、これは、バッ ファ・メモリが、主記憶要素５０に、どのデータをコピーすべきでありどのデー タをコピーすべきでないかを知っている必要があるからである。すなわち、バッ ファ・メモリは、一括消去後のデータと一括消去前のデータとを区別する必要が ある。従って、バッファがどのプロセッサがデータを送っているかを知らない場 合には、すべてのプロセッサは、一貫性を維持するために、その一括消去を終了 し、その後で、通常の動作を開始しなければならない。同期化は、図５に８０と して示されているメイン・メモリ１８における指定したロケーションを用いて、 テスト・アンド・セット（test-and-set）のロック動作によって制御され、ロッ ク値を記憶する。周期的な間隔で、それぞれの処理ユニット４４は、図６のステ ップ９０に示されている一括消去動作を開始すべきかどうかを決定する。処理ユ ニット４４は、この決定を、複数の異なる方法で行うことができる。例えば、シ ャドウ・メモリ要素４８のステータ・レジスタ６６の１つ以上がバッファ・メモ リ５２の残り容量を示すために使用され得る。バッファ・メモリ５２が満たされ 過ぎている場合には、処理ユニット４４は、一括消去を開始する。また、固定さ れた時間周期の経過後に、一括消去を始めてもよい。この処理ユニット４４は、 一括消去を開始する必要がない場合には、指定されたメモリ位置８０を検査して 、別の処理ユニット４４が既にロックを設定したかどうかを判断する（ステップ ９２）。ロックが設定されていない場合には、 このプロセスは、９４に示されているように終了する。逆に、ロックが設定され ている場合には、この処理ユニット４４は、ステップ９６において、そのキャッ シュ４２を一括消去する。一括消去動作の効果は、キャッシュにおけるすべての ラインを（又は、好ましくは、最終の一括消去の後で修正されたラインだけを） 、一次メモリ要素４６に、そして、シャドウ・メモリ要素４８の上述した性質の ために、シャドウ・メモリ要素４８のバッファ・メモリ５０にも同様に、記憶す ることである。実際の一括消去動作に先立って、処理ユニット４４は、この情報 を同じく一括消去するために、その状態をキャッシュ４２にセーブする。 処理ユニット４４は、ステップ９０において一括消去を開始すべきかどうかを 判断する場合には、ステップ９２におけるのと同様に、ステップ９８でロックが 設定されているかどうかを判断する。ロックが既に設定されている場合には、処 理ユニット４４は、ステップ９６でそのキャッシュ４２を一括消去することによ って、先に進む。そうでない場合には、ステップ１００でロックを設定し、自ら を、そのキャッシュ４２の一括消去の前の一括消去のイニシエータ（initiator ）として識別する。 処理ユニット４４は、ステップ９６でそのキャッシュ４２を一括消去した後で 、ステップ１０２において、その対応する一括消去カウンタを増加させる。図５ に示されているように、それぞれの処理ユニット４４は、８２及び８４として示 されているようなメイン・メモリ１８での所定の指定されたロケーションである 、一括消去カウンタを有する。一括消去カウンタ（例えば８２）が増加された後 で、処理ユニット４４は、それがこの一括消去シーケンスのイニシエータである かどうかを判断する（ステップ１０４）。イニシエータでない場合には、ロック がステップ１０６で解除されるまで待機する。ロックが解除されれば、このプロ セスは、ステップ１０８で終了し、処理ユニット４４は、通常の動作を再開する 。 処理ユニット４４は、ステップ１０４において一括消去のイニシエータである と判断されれば、すべての一括消去カウンタ（８２−８４）がステップ１１０で 増加されるまで、待機する。すべての一括消去カウンタが増加されると、 この処理要素４４は、シャドウ・メモリ要素４８に命令して、バッファ・メモリ ５２の中のデータの主記憶要素５０へのコピーを、コマンドをコマンド・レジス タ６８に送りロックを解除する（ステップ１１２）ことによって、開始させる。 コマンドを受け取ることによって、シャドウ・メモリ要素４８は一括消去が終了 したことを告知され、主記憶制御６２とバッファ・メモリ制御６０とが、バッフ ァ・メモリ５２に記憶されていたデータを、主記憶要素５０の適切なロケーショ ンに（アドレス・バッファ・メモリ５６に記憶された対応する物理アドレスによ って決定される）移動させる。このコマンドがいったん送られると、一括消去ロ ックは解除され、処理ユニット４４は、通常の動作を再開できる。ステップ１０ ６及びステップ１１０の周囲のループは、一括消去動作の間に障害が生じた場合 に障害復旧手順をトリガする時間切れ保護（time-out protection）を有してい るべきである。 バッファ・メモリ制御６０は、一括消去後のデータと一括消去前のデータとを 、例えば、同期された一括消去動作それぞれの最後にデータが記憶されるバッフ ァ・メモリ５２の最後のアドレスを記憶することによって、区別することができ る。この境界を識別する方法は他にもあって、例えば、データがそこからコピー されたバッファ・メモリ５２のアドレスをモニタする、又は、どのくらいの量の データがバッファ・メモリ５２に書き込まれたかをカウントする、などによる。 バッファ・メモリ５２において、（ｉ−１）番目の一括消去に対して記憶された アドレスとｉ番目の一括消去に対して記憶されたアドレスとの間のアドレスに記 憶されたデータは、一括消去前のデータである。このレンジの外のアドレスに記 憶された任意のデータは、一括消去後のデータであって、主記憶要素５０にはコ ピーされていない。（ｉ＋１）番目の一括消去の任意のデータは、主記憶要素に コピーされたバッファ・メモリ５２の任意の領域に配置される。 これらの動作によって、メイン・メモリ１８において、コンピュータ・システ ム１１が障害の後で安全に戻ることのできる一貫性を有する状態の存在が保証さ れる。障害がコンピュータ・システム１１のシャドウ・メモリ要素４８そのもの 以外の任意の部分に影響する場合には、シャドウ・メモリ要素４８は、 最後に終了した一括消去の後のメイン・メモリ１８の状態を含んでいる。障害の 時点でデータがバッファ・メモリ５２から主記憶要素５０に移動している最中で あった場合には、この動作を終了した後で、通常の動作を再開しなければならな い。それぞれの処理ユニット４４は、一括消去動作の一部として、その一括消去 が始まった時点で存在していた処理状態を記憶しているから、実行中のすべての タスクは、メイン・メモリ１８に一貫性を有する状態でセーブされている。障害 の後で、シャドウ・メモリ要素４８の内容は、それが動作的なものであれば、対 応する一次メモリ要素４６コピーされ得るし、あるいは、シャドウ・メモリ要素 ４８が、一次メモリ要素４６の役割を肩代わりすることもできる。いずれの場合 でも、通常の処理が、セーブされた状態から再開できる。 障害がシャドウ・メモリ要素４８そのものにおいて生じた場合には、コンピュ ータ・システム１１の残りの部分は、影響を受けない。その唯一の結果は、シャ ドウ・メモリ要素４８が修理される前に第２の障害が万一生じた場合には、コン ピュータ・システム１１は、もはや、復旧する能力をもたないということである 。 バッファ・メモリ５２のオーバフローもまた、致命的ではない。関連するシャ ドウ・メモリ要素４８の内容は、常に、それに関連する一次メモリ要素４６の内 容をコピーすることによって、復旧できる。しかし、この間は、システムは障害 からの復旧ができないので、そのようなオーバフローの可能性は、最小に保って おくことが重要である。 チェックポイント・プロトコルによって、データが、任意の時点で一次メモリ 要素４６に書き込まれることが可能になる。その結果として、単一のキャッシュ ・ラインを、キャッシュ４２の全体を一括消去することを強いられることなく、 一次メモリ要素４６に書き込むことができるので、従って、大容量での関連キャ ッシュ（ｌａｒｇｅ ａｓｓｏｃｉａｔｉｖｅ ｃａｃｈｅ）に対する要求が緩 和される。更に、データは、一次メモリ要素４６とシャドウ・メモリ要素４８の バッファ・メモリ５２とにおいて同時に更新される限り、１つの処理ユニット４ ４のキャッシュから別の処理ユニット４４のキャッシュ４２に、移動させること が可能である。共有データを処理要素（例えば１４）から別の 処理要素（例えば１６）に頻繁に移動させる多重処理システムでは、このプロト コルを用いると、著しい性能上の効果が達成される。 標準的なバス・プロトコルを用いてこのプロトコルを実現する場合には、シャ ドウ・メモリ要素４８は、バス１０に関する限り、受動的なままであって、バッ ファ・メモリ５２に、その対応する一次メモリ要素４６に書き込まれたすべての データを記憶するだけである。シャドウ・メモリ要素４８が一次メモリ要素４６ と同期してデータを受け取るためには、データ入力バッファ５４は、そのデータ を一時的に記憶するが、その理由は、ラインが、書き込みの時点で、バッファ・ メモリ５２から主記憶５０にコピーされている最中であり得るからである。 何らかの非標準的なバス・プロトコルも実現されると、性能上の効果をいくら か達成することができる。例えば、バス・プロトコルによって、シャドウ・メモ リ要素４８が複数の処理要素１４相互間の区別が可能になる、又は、少なくとも 、記憶されつつあるラインがそのｉ番目の一括消去を終了した又はそのｉ番目の 一括消去をまだ実行している最中である処理要素１４によって書き込まれたのか どうかを識別することができるようになる場合には、処理要素１４は、通常の動 作を再開する前に、他のすべての処理要素がその一括消去を終了するまで待機す る必要はない。この場合には、処理要素１４が、そのｉ番目の一括消去を終了し た後で、他のすべての処理要素１６がそのｉ番目の一括消去を（必ずしも終了は していないにしても）少なくとも開始するまでだけは、通常の動作を停止するこ とを要求することによって、メイン・メモリにおける一貫性が維持される。この ように同期の制約を緩和しても、依然として、チェックポイントの一貫性を達成 できる。すなわち、これによって、その一括消去をまだ開始していない処理要素 １６が、その一括消去を終了し通常の処理にレジュームしている別の処理要素１ ４から、一括消去後に修正されたデータを受け取ることはないことが保証される 。この制約が弱い同期プロトコルは、バッファ・メモリ５２に関連する論理が、 一括消去動作の一部として書き込まれつつある（従って、すべての処理要素１４ がその一括消去を終了すると直ちに、主記憶要素５０に記憶されるべきバッファ ・メモリ５２の部分に記憶されなければな らない）データと、その一括消去を終了した処理要素１４によって書き込まれつ つある（従って、次の一括消去が終了するまでは主記憶要素５０に転送されない ）データとを区別できるのであれば、許容され得る。このプロトコルを実現する には、図６におけるステップ９６とステップ１０２との順序と配置とを逆にされ る。 メモリの一貫性を支持するのには必要ではないが、他の非標準的なバス・プロ トコルの特徴を導入して、メモリの間でのコピー時間を減少させることにより、 障害後の回復時間を減少させることができる。そのような特徴の２つとして、「 二重（デュアル）書き込み」及び「コピー」のメモリ・アクセス・モードを支持 する能力がある。ラインが二重書き込みモードで記憶されると、一次メモリ要素 ４６とシャドウ・メモリ要素４８との両方が、そのラインを主記憶要素５０に記 憶する。（従って、シャドウ・メモリ要素４８は、このデータを、関連するバッ ファ・メモリ５２に記憶しない。）コピー・モードでは、一次メモリ要素４６が 、アドレス指定されたラインを与え、シャドウ・メモリ要素４８が、主記憶要素 ５０の対応する位置に、結果として生じるデータを記憶する。 メモリ要素に、指定されたいくらかの範囲のアドレスに亘るアクセスに関して は一次メモリ要素として、しかし、他のすべてのアドレスに関してはシャドウと して機能する「ファントム・モード（phantom mode）」で動作する能力を与える ことも有用であり得る。このモードによれば、コンピュータ・システム１１が、 いくつかのＰＭＥ４６はシャドウされ、いくつかのＰＭＥ４６はシャドウされず に、動作することが可能になる。この特徴は、例えば、一次メモリの一部が障害 し、その代替物が直ちには入手できないが一次メモリの残りの部分は依然として 通常通りに機能しているときに、有用である。 本発明の実施例を以上で説明してきたが、当業者には、これは単に例示であっ て制限的なものではなく、例を用いて提示したに過ぎないことが明らかなはずで ある。多数の修正やこれ以外の実施例が、当業者の視野の中にあり、次に記載す る請求の範囲によって定義された発明の技術的範囲に含まれる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ， ＵＡ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．コンピュータ・システムにおいて、 メモリ・バスに接続されたプロセッサと、 前記メモリ・バスに接続された一次メモリ要素と、 前記メモリ・バスに接続されたバッファ・メモリ要素と、 前記バッファ・メモリに接続された主記憶要素と、 前記一次メモリに書き込まれたすべてのデータを前記バッファ・メモリにおい て捕捉し、前記バッファ・メモリからのデータの前記主記憶要素へのコピーを、 前記プロセッサからの前記コピーを実行せよとの命令に応答して行う手段と、 を備えていることを特徴とするコンピュータ・システム。 ２．それぞれがメモリ・バスに接続されており、任意のサイズのキャッシュを 有する少なくとも２つのプロセッサと共に用いるメモリ・システムにおいて、 前記メモリ・バスに接続された一次メモリ要素と、 前記メモリ・バスに接続された前記一次メモリと物理的に分離しており、少な くとも前記キャッシュのサイズの和と同じ程度のサイズを有するバッファ・メモ リと、 前記バッファ・メモリに接続されており、前記一次メモリ及び前記バッファ・ メモリとは物理的に分離している主記憶要素と、 前記一次メモリへのデータの書き込みに応答して前記一次メモリ要素に書き込 まれたデータを前記バッファ・メモリにおいて捕捉し、前記プロセッサが前記キ ャッシュの一括消去（フラッシュ）を終了する際に、前記バッファ・メモリにお けるデータを前記主記憶要素の適切なロケーションにコピーして、それにより、 障害の後に、そこから処理がデータの一体性又はプログラムの連続性を失うこと なく再開できるメイン・メモリにおける一貫性を有するチェックポイントを確立 する手段と、 を備えていることを特徴とするメモリ・システム。 ３．第１のキャッシュを備えた第１のプロセッサと第２のキャッシュを備え た第２のプロセッサとを有するコンピュータ・システムであって、それぞれのキ ャッシュは、メモリ・バスを介してメイン・メモリ要素に接続されており、前記 メイン・メモリ要素は、前記メモリ・バスに接続されたバッファ・メモリと前記 バッファ・メモリに接続された主記憶要素とを備えたコンピュータ・システムに おいて、キャッシュの一括消去を同期させ前記メイン・メモリ要素において一貫 性を有する状態を維持する方法であって、前記第１のプロセッサによって実行さ れる、 ロックを設定して通常の動作を中断するステップと、 前記バッファ・メモリが前記第１のキャッシュから一括消去されたデータを捕 捉するように、前記第１のキャッシュを一括消去するステップと、 前記バッファ・メモリが前記第２のキャッシュから一括消去されたデータを捕 捉するように、前記第２のプロセッサが前記第２のキャッシュの一括消去を開始 するまで待機するステップと、 前記バッファ・メモリに命令して、捕捉されているデータを前記主記憶要素に コピーするステップと、 前記ロックを解除して、通常の動作を再開させるステップと、 を含むことを特徴とする方法。 ４．メモリ・バスによって相互接続されたプロセッサと一次メモリ要素とを有 するコンピュータ・システムにおいて用いるメイン・メモリ・システムのための シャドウ・メモリ要素であって、 前記メモリ・バスに接続されたバッファ・メモリと、 前記バッファ・メモリに接続された主記憶要素と、 前記一次メモリ要素に書き込まれたすべてのデータを前記バッファ・メモリに おいて捕捉し、前記バッファ・メモリからのデータの前記主記憶要素へのコピー を、前記プロセッサからの前記コピーを実行せよとの命令に応答して行う手段と 、 を備えていることを特徴とするシャドウ・メモリ要素。 ５．請求項４記載のシャドウ・メモリ要素において、 前記一次メモリ要素においてデータが書き込まれるアドレスを捕捉する手段 を更に備えており、 データをコピーする前記手段は、データを前記主記憶要素のコピーされている データのために捕捉されたアドレスにコピーすることを特徴とするシャドウ・メ モリ要素。 ６．第１のキャッシュを有する第１のプロセッサを、第２のキャッシュを有す る第２のプロセッサに対してチェックポイントする方法において、前記第１のプ ロセッサによって実行される、 プロセスの実行を継続するステップと、 前記第１のキャッシュを一括消去して、修正されたすべてのデータを一次メモ リにコピーするステップと、 前記第２のプロセッサが前記第２のキャッシュから前記一次メモリへの修正さ れたすべてのデータを一括消去したことを確認するステップと、 前記プロセスの実行を再開するステップと、 を含むことを特徴とする方法。 ７．メモリ・バスによって相互接続されたプロセッサと主メモリ要素とを有す るコンピュータ・システムにおいて用いるメイン・メモリ・システムのためのシ ャドウ・メモリ要素であって、 前記メモリ・バスに接続されたバッファ・メモリと、 前記バッファ・メモリに接続された主記憶要素と、 前記主記憶要素と前記バッファ・メモリとに接続されており、前記一次メモリ 要素に書き込まれたデータを記憶するために前記バッファ・メモリを制御し前記 バッファ・メモリからのデータを記憶するために前記主記憶要素を制御する出力 を有するメモリ制御論理回路と、 を備えることを特徴とするシャドウ・メモリ要素。 ８．請求項７記載のシャドウ・メモリ要素において、前記メモリ制御論理は、 前記バッファ・メモリに結合されており、前記バッファ・メモリを制御するメ モリ制御信号出力を有するバッファ・メモリ制御回路と、 前記バッファ・メモリ制御回路に結合されており、コマンドを記憶するコマン ド・レジスタと、 前記バッファ・メモリ制御回路に結合されており、ステータス情報を記憶する ステータス・レジスタと、 前記バッファ・メモリ制御回路に結合されており、前記主記憶要素を制御する メモリ制御信号出力を有する主記憶制御回路と、 前記バッファ・メモリ制御回路、前記コマンド・レジスタ及び前記ステータス ・レジスタに接合されており、前記ステータス・レジスタ、コマンド・レジスタ 、バッファ・メモリ制御回路及び主記憶制御回路の間の情報の流れを制御する出 力を有する入出力インターフェース制御回路と、 を含むことを特徴とするシャドウ・メモリ要素。 ９．請求項８記載のシャドウ・メモリ要素において、前記バッファ・メモリ制 御回路は、 前記バッファ・メモリがどのくらい満たされているかを示す第１の出力と、 前記バッファ・メモリから前記主記憶要素へのコピーが完全であるかどうかを 示す第２の出力と、 を含むことを特徴とするシャドウ・メモリ要素。 １０．請求項７記載のシャドウ・メモリ要素において、 前記バッファ・メモリに結合されたデータ・バッファと、 前記メモリ制御論理に結合されており、前記バッファ・メモリに記憶されたデ ータに対応するアドレスを示す情報を記憶するアドレス・バッファ・メモリと、 前記メモリ制御論理と前記バッファ・メモリとに結合されており、前記バッフ ァ・メモリに記憶されたデータに対応するアドレスを前記アドレス・バッファ・ メモリに提供するアドレス入力バッファと、 を更に含むことを特徴とするシャドウ・メモリ要素。 １１．請求項１記載のコンピュータ・システムにおいて、前記バッファ・メモ リ要素と前記主記憶要素とは、電気的な構造を有する単一の回路として構成され ており、前記一次メモリ要素は、前記単一の回路と同一の電気的構造を有してい ることを特徴とするコンピュータ・システム。 １２．請求項１１記載のコンピュータ・システムにおいて、前記一次メモリ 要素は、前記一次メモリ要素を１つの一次メモリ要素として構成する第１のプロ グラマブルな要素を含み、前記単一の回路は、前記単一の回路をバッファ・メモ リ要素及び主記憶要素として構成する第２のプログラマブルな要素を含むことを 特徴とするコンピュータ・システム。 １３．請求項１記載のコンピュータ・システムにおいて、前記プロセッサは、 それぞれがキャッシュを有する複数のプロセッサを含むことを特徴とするコンピ ュータ・システム。 １４．請求項１３記載のコンピュータ・システムにおいて、それぞれのキャッ シュの一括消去を開始させる手段を更に含むことを特徴とするコンピュータ・シ ステム。 １５．請求項１４記載のコンピュータ・システムにおいて、前記一括消去を開 始させる手段は、前の一括消去から所定の時間の経過後に前記一括消去を開始さ せる手段を含むことを特徴とするコンピュータ・システム。 １６．請求項１４記載のコンピュータ・システムにおいて、前記開始させる手 段は、前記バッファ・メモリにおける未使用のメモリ・スペースの量を決定する 手段を含むことを特徴とするコンピュータ・システム。 １７．請求項１４記載のコンピュータ・システムにおいて、それぞれのキャッ シュのデータを前記バッファ・メモリの中に一括消去する手段を更に含むことを 特徴とするコンピュータ・システム。 １８．請求項１７記載のコンピュータ・システムにおいて、前記一括消去する 手段は、前の一括消去の後で修正されたデータだけを一括消去する手段を含むこ とを特徴とするコンピュータ・システム。 １９．請求項１３記載のコンピュータ・システムにおいて、それぞれのキャッ シュは、 データを記憶するデータ・キャッシュと、 命令を記憶する命令キャッシュと、 を含むことを特徴とするコンピュータ・システム。 ２０．請求項１３記載のコンピュータ・システムにおいて、それぞれのキャッ シュはキャッシュ・メモリ・サイズを有しており、前記バッファ・メモリは、 それぞれのキャッシュ・メモリ・サイズの和に等しい、又はその和よりも大きな バッファ・メモリ・サイズを有することを特徴とするコンピュータ・システム。 ２１．請求項１３記載のコンピュータ・システムにおいて、前記複数のプロセ ッサのそれぞれは、キャッシュのコヒーレンシを維持するスヌープ手段を含むこ とを特徴とするコンピュータ・システム。 ２２．請求項２記載のコンピュータ・システムにおいて、前記バッファ・メモ リ要素と前記主記憶要素とは、構造を有する単一の回路として構成され、前記一 次メモリ要素は、前記単一の回路と同一の構造を有することを特徴とするコンピ ュータ・システム。 ２３．請求項２２記載のコンピュータ・システムにおいて、前記一次メモリ要 素は、前記一次メモリ要素を１つの一次メモリ要素として構成する第１のプログ ラマブルな要素を含み、前記単一の回路は、前記単一の回路をバッファ・メモリ 要素及び主記憶要素として構成する第２のプログラマブルな要素を含むことを特 徴とするコンピュータ・システム。 ２４．請求項１記載のコンピュータ・システムにおいて、前記バッファ・メモ リに現在記憶されているデータの量を、前記バッファ・メモリの容量との関係で 決定する手段を更に備えていることを特徴とするコンピュータ・システム。 ２５．請求項１記載のコンピュータ・システムにおいて、前記バッファ・メモ リから前記主記憶要素へのコピー動作がいつ終了したかを決定する手段を更に備 えていることを特徴とするコンピュータ・システム。 ２６．請求項２記載のメモリ・システムにおいて、前記バッファ・メモリに現 在記憶されているデータの量を、前記バッファ・メモリの容量との関係で決定す る手段を更に備えていることを特徴とするメモリ・システム。 ２７．請求項２記載のメモリ・システムにおいて、前記バッファ・メモリから 前記主記憶要素へのコピー動作がいつ終了したかを決定する手段を更に備えてい ることを特徴とするメモリ・システム。 ２８．請求項４記載のシャドウ・メモリ要素において、前記バッファ・メモリ に現在記憶されているデータの量を、前記バッファ・メモリの容量との関係 で決定する手段を更に備えていることを特徴とするシャドウ・メモリ要素。 ２９．請求項４記載のシャドウ・メモリ要素において、前記バッファ・メモリ から前記主記憶要素へのコピー動作がいつ終了したかを決定する手段を更に備え ていることを特徴とするシャドウ・メモリ要素。 ３０．請求項３記載の方法において、前記一括消去するステップは、前の一括 消去の後に修正されたデータだけを記憶することを含むことを特徴とする方法。 ３１．請求項３記載の方法において、前記第１のキャッシュを一括消去する前 に前記第１のプロセッサの処理状態を前記第１のキャッシュに記憶するステップ を更に含むことを特徴とする方法。 ３２．請求項３記載の方法において、一括消去動作が終了した際に一括消去カ ウンタを増加させる、前記第１及び第２のプロセッサのそれぞれによって実行さ れるステップを更に含むことを特徴とする方法。 ３３．請求項３記載の方法において、前記バッファ・メモリにおけるデータに 対して、どちらのプロセッサが前記データを前記バッファ・メモリに書き込みを したかを識別するステップを更に含むことを特徴とする方法。 ３４．請求項３記載の方法において、前記バッファ・メモリに命令する前に、 前記第２のプロセッサが前記第２のキャッシュの一括消去を終了するまで、待機 するステップを更に含むことを特徴とする方法。 ３５．第１のキャッシュを有する第１のコンピュータ、第２のキャッシュを有 する第２のコンピュータ及び一次メモリを含むコンピュータ・システムにおいて フォールト・トレランスを維持する方法において、 前記一次メモリをモニタして前記一次メモリへのデータ書き込みを検出するス テップと、 前記データ書き込みをバッファ・メモリにコピーするステップと、 前記第１及び第２のキャッシュからのデータを前記バッファ・メモリに一括消 去するステップと、 前記バッファ・メモリからのデータを主記憶要素にコピーするステップと、 を含むことを特徴とする方法。 ３６．請求項３５記載の方法において、 障害がいつ生じたかを検出するステップと、 障害が生じた際には、前記主記憶要素からのデータを前記メイン・メモリにコ ピーするステップと動作を再開するステップとを実行するステップと、 を含むことを特徴とする方法。 ３７．請求項３５記載の方法において、 障害がいつ生じたかを検出するステップと、 障害が生じた際には、前記一次メモリ要素を前記主記憶要素をシャドウするよ うに構成するステップと前記主記憶要素を一次メモリとして用いて動作を再開す るステップとを実行するステップと、 を含むことを特徴とする方法。 ３８．請求項３５記載の方法において、前記一括消去するステップは、 ロックを設定して通常の動作を中断するステップと、 前記第１及び第２のキャッシュを一括消去するステップと、 前記第１及び第２のプロセッサが一括消去を終了するまで待機するステップと 、 前記ロックを解除して通常の動作を再開するステップと、 を含むことを特徴とする方法。