JPH07271624A - フォールトトレラント計算機システムにおける２重化メモリへのキャッシュフラッシュ方法 - Google Patents

Abstract

(57)【要約】 【目的】チェックポイント処理でのオーバヘッドの改善
を図り、フォールトトレラント性を損なわずに効率良く
キャッシュ内容を２重化メモリに反映する。 【構成】フォールトトレラント計算機システムにおい
て、プロセッサエレメント内のキャッシュの更新時に
は、その更新の都度、その更新内容をライトスルー方式
で一方のメモリエレメント（Ｍ0 ）に反映させる逐次書
き出し処理ｗＭ0 を行い、もう一方のメモリエレメント
（Ｍ1 ）に対しては、チェックポイント処理時に、当該
キャッシュのすべての更新内容を一括して書き出す一括
書き出し処理（キャッシュフラッシュ処理）ＷＭ1 を行
う構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、フォールトトレラント
計算機システムにおける２重化メモリへのキャッシュフ
ラッシュ方法に関する。

【０００２】

【従来の技術】フォールトトレラント計算機システムを
実現する方式の一つにチェックポイントリスタート方式
がある。チェックポイントリスタート方式とは、プロセ
ッサで処理を行うときに、処理の実行中に適宜チェック
ポイント（ＣＰ）をとり、処理中のプロセッサで故障が
起こると、直前のチェックポイントの時点から、他のプ
ロセッサで処理を再開することである。このチェックポ
イントリスタート方式での処理の流れを図１２に示す。

【０００３】図１２において、プロセッサ＃１は、ＣＰ
１→ＣＰ２→ＣＰ３のように、適宜チェックポイントを
とりながら動作している。チェックポイントとは、後述
するように、他のプロセッサが処理を引き継ぐことので
きる十分な情報をメモリに残すことである。図１２で
は、プロセッサ＃１がＣＰ３をとった後に、当該プロセ
ッサ＃１に故障が発生し、プロセッサ＃２が、そのＣＰ
３でプロセッサ＃１によって残された引き継ぎ情報を得
て、処理を継続している状態が示されている。

【０００４】この処理の継続を可能とするために、プロ
セッサは、正常動作中にチェックポイントをとって、デ
ータやプロセッサの内部状態などの一貫性のとれた情報
をメモリに保持しておくチェックポイント処理を行う必
要がある。

【０００５】以下、チェックポイント処理を、図１３を
参照して説明する。図１３において、キャッシュ（キャ
ッシュメモリ）Ｃを持つプロセッサＭＰＵにより構成さ
れているプロセッサエレメントＰは、２重化された２つ
のメモリＭＥＭ1 ，ＭＥＭ2 とバスＢにより接続されて
いる。

【０００６】プロセッサＭＰＵは、データ処理を行うと
き、直接メモリＭＥＭ1 ，ＭＥＭ2の内容を操作せず、
当該メモリＭＥＭ1 ，ＭＥＭ2 （のうちのいずれか一
方）の内容をプロセッサエレメントＰ内のキャッシュＣ
に読み込み、そのキャッシュＣ内のデータに対して操作
（データ処理）を行う。このため、キャッシュＣ内に
は、データ処理により値が更新された結果、メモリＭＥ
Ｍ1 ，ＭＥＭ2 上の対応するデータと異なった内容とな
っている領域（これを、ダーティ領域と呼ぶ）が発生す
る。図１３（ａ）は、この状態を示すもので、キャッシ
ュＣ内のダーティ領域には、斜線を施してある。

【０００７】プロセッサＭＰＵは、キャッシュＣの上記
ダーティ領域が一定の閾値を越えたなどの条件が成立し
たことをもって、ソフトウェアの指示により、このキャ
ッシュＣ内のダーティ領域の全データ、即ちキャッシュ
Ｃ内の更新された全データを、一括してメモリＭＥＭ1
，ＭＥＭ2 に反映させる。これをキャッシュフラッシ
ュと呼ぶ。

【０００８】プロセッサＭＰＵは、このキャッシュフラ
ッシュと同時に、当該プロセッサＭＰＵの内部状態もメ
モリＭＥＭ1 ，ＭＥＭ2 に保存して、当該プロセッサＭ
ＰＵが故障した場合に、このメモリＭＥＭ1 ，ＭＥＭ2
の内容をもとに、他のプロセッサで処理を継続できるよ
うにしておく。

【０００９】以上がチェックポイント処理である。プロ
セッサＭＰＵは、上記のチェックポイント処理では、図
１３（ｂ）に示すように、まず２重化したメモリＭＥＭ
1 ，ＭＥＭ2 の一方、例えばメモリＭＥＭ1 にキャッシ
ュＣの（ダーティ領域の）内容をすべて書き出す。そし
てプロセッサＭＰＵは、メモリＭＥＭ1 への書き出しが
正常に終了した後に、図１３（ｃ）に示すように、もう
一方のメモリＭＥＭ2 に対して書き出すという操作を行
う。

【００１０】この方式では、メモリを２重化しているた
めに、どちらかのメモリに故障が起こっても、もう一方
のメモリは正常であると期待できる。また、チェックポ
イント時には、キャッシュＣの内容及びプロセッサＭＰ
Ｕの内部状態を、プロセッサＰから２重化したメモリＭ
ＥＭ1 ，ＭＥＭ2 に順次書き出すことによって、その書
き出し中に当該プロセッサに故障が起こったとしても、
処理を継続するすることが可能となる。即ち、図１４
（ａ）に示すように、プロセッサＭＰＵからメモリＭＥ
Ｍ1 への書き出し中に当該プロセッサＭＰＵに故障が起
きても、或いはメモリＭＥＭ1 への書き出しが正常終了
した後、図１４（ｂ）に示すように、もう一方のメモリ
ＭＥＭ2 への書き出し中に当該プロセッサＭＰＵに故障
が起きても、そのときの書き出し先であったメモリ内容
は途中まで更新されているものの、書き出しが未だ行わ
れていないメモリＭＥＭ2 （図１４（ａ）参照）、或い
は書き出しが正常終了したメモリＭＥＭ1 （図１４
（ｂ）参照）は完全な状態で残っているため、バスＢに
つながる他のプロセッサ（図示せず）によって処理を継
続することが可能となる。但し、図１４（ａ）の場合に
は、プロセッサ故障が発生したチェックポイントの更に
１つ前のチェックポイント時点から処理が再開されるこ
とになる。

【００１１】

【発明が解決しようとする課題】上記したように従来の
フォールトトレラント計算機システムでは、プロセッサ
エレメント内のキャッシュのダーティ領域が一定の閾値
を越えたなどの条件が成立したことをもって、ソフトウ
ェアの指示によりチェックポイント処理を開始し、プロ
セッサエレメントからメモリエレメントへキャッシュ内
容をフラッシュするときに、２重化された２つのメモリ
に対して順次書き出しを行う方法を適用していた。

【００１２】この従来方法によれば、プロセッサエレメ
ントからメモリへの書き出し中に当該プロセッサエレメ
ントが故障しても、もう一方のメモリが完全な状態で残
っているため、そのメモリ内容をもとに、他のプロセッ
サエレメントによって処理が継続できる。

【００１３】しかしながら、チェックポイント処理で、
プロセッサエレメントから２重化された２つのメモリへ
の順次書き出しを行っている期間中、当該プロセッサは
他の処理は行えず、したがってチェックポイント処理で
のオーバヘッドが大きくなり、システムの性能に悪影響
を与えるという問題があった。

【００１４】本発明は上記事情を考慮してなされたもの
でその目的は、２重化メモリを持つフォールトトレラン
ト計算機システムにおけるチェックポイント処理でのオ
ーバヘッドが改善でき、フォールトトレラント性を損な
わずに効率良くキャッシュ内容を２重化メモリに反映さ
せることができる２重化メモリへのキャッシュフラッシ
ュ方法を提供することにある。

【００１５】

【課題を解決するための手段及び作用】本発明は、フォ
ールトトレラント計算機システムにおいて、処理中のプ
ロセッサエレメントから自エレメント内のキャッシュの
更新を行う際に、その更新内容を同時に２重化したメモ
リの一方に反映させ、他方のメモリに対しては、チェッ
クポイント処理時に、当該キャッシュのすべての更新内
容を一括して書き出すキャッシュフラッシュを行うこと
を特徴とするものである。

【００１６】このような構成においては、チェックポイ
ント処理期間以外、即ち通常の動作期間では、処理中の
プロセッサエレメントから自エレメント内のキャッシュ
の更新を行う際に、その更新内容を同時に２重化したメ
モリの一方に反映させるライトスルー方式による更新処
理（逐次書き出し）が行われる。このため、チェックポ
イント処理時には、この２重化メモリの一方へのキャッ
シュフラッシュ処理は不要となり、２重化メモリの他方
に対してのみキャッシュフラッシュを行うだけで済む。

【００１７】したがって、チェックポイント処理時に、
従来のように２重化メモリの両方にキャッシュフラッシ
ュを行うものに比べて、チェックポイント処理でのオー
バヘッドを少なくできる。しかも、例えば処理中のプロ
セッサエレメントに故障が発生したとしても、チェック
ポイント処理時以外であれば、直前のチェックポイント
処理で行われた上記他方のメモリに対するキャッシュフ
ラッシュ処理で、当該他方のメモリの内容はそのチェッ
クポイントの時点の状態に保持されているため、そのチ
ェックポイントの時点から、他のプロセッサエレメント
により処理を継続することができる。同様に、チェック
ポイント処理中であれば、上記一方のメモリに対する逐
次書き出しにより、当該一方のメモリの内容はそのチェ
ックポイントの時点の状態に保持されているため、その
チェックポイントの時点から、他のプロセッサエレメン
トにより処理を継続することができる。なお、２重化メ
モリの両方に対して逐次書き出しを行うことにより、チ
ェックポイント処理のオーバヘッドを軽減することが可
能であるが、処理中のプロセッサエレメントに例えばチ
ェックポイント処理時以外で故障が発生した場合には、
直前のチェックポイントの時点の状態を保持している２
重化メモリが存在しなくなるため、処理の継続ができな
くなる。

【００１８】このように、上記の構成においては、チェ
ックポイント処理でのオーバヘッドが改善でき、フォー
ルトトレラント性を損なわずに効率良くキャッシュ内容
を２重化メモリに反映させることができる。

【００１９】また、本発明は、２重化メモリのいずれか
一方の側のメモリエレメントに故障が発生した場合に、
その故障を検出した処理中のプロセッサエレメントによ
り、もう一方の正常なメモリエレメントをアクセス禁止
状態に設定することによって、当該正常なメモリエレメ
ントに対するすべてのプロセッサエレメントからのメモ
リアクセスを禁止するようにしたことをも特徴とする。

【００２０】このような構成においては、正常なメモリ
エレメントのメモリ内容を保護することができるため、
メモリの交換等によって故障したメモリエレメントが使
用可能状態となった場合には、正常なメモリエレメント
のアクセス禁止状態を解除して、そのメモリ内容を故障
回復後のメモリエレメント側のメモリにコピーすること
により、正しい２重化メモリ構成に復旧して処理を再開
できる。

【００２１】また、本発明は、２重化メモリのいずれか
一方の側のメモリエレメントに故障が発生した場合に、
その故障を検出した処理中のプロセッサエレメントから
他のすべてのプロセッサエレメントに対して、その故障
メモリエレメントの情報を通知し、以後各プロセッサエ
レメントから故障した２重化メモリへの書き出しは、正
常な２重化メモリに対して行わせることを特徴とする。

【００２２】このような構成においては、故障メモリエ
レメントの回復が図られるまでの間、２重化メモリ構造
はとれないものの、正常なメモリエレメントを用いた運
転、即ち縮退運転が可能となる。

【００２３】

【実施例】以下、本発明を、プロセッサエレメント数
２、メモリエレメント数２のフォールトトレラント計算
機システムに適用した実施例につき、図面を参照して説
明する。 ［第１の実施例］図１は本発明の２重化メモリへのキャ
ッシュフラッシュ方法を適用するフォールトトレラント
計算機システムの第１の実施例を示すブロック構成図で
ある。

【００２４】図１において、Ｐ0 ，Ｐ1 はプロセッサエ
レメントである。プロセッサエレメントＰ0 ，Ｐ1 は、
同エレメントＰ0 ，Ｐ1 の中枢をなすプロセッサＭＰＵ
0 ，ＭＰＵ1 と、キャッシュ（キャッシュメモリ）Ｃ0
，Ｃ1 とを有する。プロセッサエレメントＰ0 ，Ｐ1
は、それぞれがシステムバスＢに独立にアクセスできる
ようになっている。

【００２５】Ｍ0 ，Ｍ1 は各プロセッサエレメントＰ0
，Ｐ1 からシステムバスＢを介してアクセス可能なメ
モリエレメントである。メモリエレメントＭ0 にはメモ
リ領域Ａ0 が設けられ、メモリエレメントＭ1 にはメモ
リエレメントＭ0 内のメモリ領域Ａ0 と同じ内容を保持
するメモリ領域Ａ1 が設けられる。メモリ領域Ａ0 は２
重化メモリの一方をなし、メモリ領域Ａ1 は当該２重化
メモリの他方をなしている。メモリエレメントＭ0 ，Ｍ
1 には、当該エレメントＭ0 ，Ｍ1 （のメモリ領域Ａ0
，Ａ1 ）がアクセス禁止状態にあることを示す情報
（アクセス禁止情報）を設定するためのアクセス禁止情
報記憶部Ｒ0 ，Ｒ1 が置かれる。このアクセス禁止情報
記憶部Ｒ0 ，Ｒ1 は、レジスタなどの記憶素子で構成さ
れる。

【００２６】次に、図１の構成における動作を説明す
る。 （ａ）正常時におけるプロセッサエレメントの動作 まず、正常時におけるプロセッサエレメントの動作を、
プロセッサエレメントＰ0 を例に、（ａ１）データ読み
出し時、（ａ２）データ更新時、（ａ３）チェックポイ
ント処理時のそれぞれについて説明する。

【００２７】（ａ１）データ読み出し時 プロセッサエレメントＰ0 （内のプロセッサＭＰＵ0 ）
は、処理を行う際に、目的とするアドレスのメモリデー
タが自エレメントＰ0 内のキャッシュＣ0 上に存在する
（キャッシュヒット時）ならば、当該キャッシュＣ0 か
ら目的データを取り出して利用する。

【００２８】これに対し、目的データがキャッシュＣ0
上に存在しない（ミスヒット時）ならば、プロセッサエ
レメントＰ0 （内のプロセッサＭＰＵ0 ）は、例えばメ
モリエレメントＭ0 のメモリ領域Ａ0 から自エレメント
Ｐ0 内のキャッシュＣ0 に目的とするアドレスのメモリ
データ（を含む１ライン分のデータ）をシステムバスＢ
を介して読み込み、そのデータを利用する。

【００２９】以上のデータ読み出し時の動作は、従来と
同様である。 （ａ２）データ更新時 次に、データ更新時の動作を図２のフローチャートを参
照して説明する。

【００３０】プロセッサエレメントＰ0 （内のプロセッ
サＭＰＵ0 ）は、メモリデータの更新時には、メモリエ
レメントＭ0 に対して、ライトスルー方式でメモリ領域
Ａ0上の対応するデータ内容を更新する。即ちプロセッ
サエレメントＰ0 は、自エレメントＰ0 内のキャッシュ
Ｃ0 のデータを更新する際（ステップＳ１）、同時にメ
モリエレメントＭ0 をアクセスして同エレメントＭ0 の
メモリ領域Ａ0 にデータの更新を反映させる逐次書き出
しを行う（ステップＳ２）。これが、ライトスルー方式
である。

【００３１】一方、メモリエレメントＭ1 に対しては、
プロセッサエレメントＰ0 は何もしない。上記したメモ
リエレメントＭ0 に対してライトスルー方式を適用した
場合、キャッシュＣ0 の内容とメモリエレメントＭ0 の
メモリ領域Ａ0 の対応する内容とは常に一貫性が維持さ
れる。しかし、メモリエレメントＭ1 に対してはライト
スルー方式を適用しないため、キャッシュＣ0 の内容と
メモリエレメントＭ1 のメモリ領域Ａ1 の対応する内容
との一貫性は保証されない。

【００３２】そこでプロセッサエレメントＰ0 は、上記
ステップＳ１においてキャッシュＣ0 のデータを更新す
る際には、（メモリエレメントＭ0 に対してはライトス
ルー方式を適用しながらも）従来と同様に、同データ
（を含む１ライン分）を（メモリへの書き戻しが必要
な）ダーティ扱いとする（通常は、その旨を示すフラグ
を付す）。

【００３３】（ａ３）チェックポイント処理時 次に、チェックポイント処理時の動作を図３のフローチ
ャートを参照して説明する。

【００３４】プロセッサエレメントＰ0 （内のプロセッ
サＭＰＵ0 ）は、キャッシュＣ0 のダーティ領域が一定
の閾値を越えた場合、従来と同様にチェックポイント処
理を開始する。但し、その処理内容は、以下に述べるよ
うに従来とは異なる。

【００３５】まずプロセッサエレメントＰ0 は、自エレ
メントＰ0 内のプロセッサＭＰＵ0の内部状態を、メモ
リエレメントＭ0 のメモリ領域Ａ0 に書き出す（ステッ
プＳ１１）。この内部状態の書き出し終了時に、プロセ
ッサエレメントＰ0 は、メモリ領域Ａ0 中の所定位置に
設定されている特定フラグｆ0 （図示せず）をＯＮし、
書き出した内部状態とメモリ領域Ａ0 の内容との間に一
貫性があることを示す。

【００３６】次にプロセッサエレメントＰ0 は、メモリ
エレメントＭ1 に対し、ノンライトスルー方式で、一括
して当該エレメントＭ1 のメモリ領域Ａ1 の内容を更新
する（ステップＳ１２）。即ちプロセッサエレメントＰ
0 は、自エレメントＰ0 内のキャッシュＣ0 のダーティ
領域の内容をメモリエレメントＭ1 のメモリ領域Ａ１に
すべて書き戻し、キャッシュＣ０ の内容とメモリ領域
Ａ1 の対応する内容とに一貫性を持たせる。この一括更
新（キャッシュフラッシュ）に際し、プロセッサエレメ
ントＰ0 は、メモリ領域Ａ1 中の所定位置に設定されて
いる（先のメモリ領域Ａ0 中のフラグｆ0 に対応する）
特定フラグｆ1 （図示せず）をＯＦＦしておく。

【００３７】次にプロセッサエレメントＰ0 は、プロセ
ッサＭＰＵ0 の内部状態を、今度はメモリエレメントＭ
1 のメモリ領域Ａ1 に書き出す（ステップＳ１３）。こ
の内部状態の書き出し終了時に、プロセッサエレメント
Ｐ1 は、メモリエレメントＭ1 のメモリ領域Ａ1 中の上
記フラグｆ1 をＯＮすると共に、メモリエレメントＭ0
のメモリ領域Ａ0 中の上記フラグｆ0 をＯＦＦする。

【００３８】このように本実施例では、メモリエレメン
トＭ0 に対しては、前記したようにライトスルー方式を
適用し、キャッシュＣ0 のデータを更新する都度、その
データの更新をメモリエレメントＭ0 のメモリ領域Ａ0
に反映させているため、上記ステップＳ１２に相当する
操作を行っていない。

【００３９】以上の（ａ２），（ａ３）の動作からなる
キャッシュフラッシュ処理を、従来方法と比較して、図
４に示す。図中、Ｔ1 は従来方法でプロセッサがデータ
を処理している時間、Ｔ2 は本実施例方法でプロセッサ
がデータを処理している時間を示す。また、ＷＭ0 はプ
ロセッサからメモリエレメントＭ0 への一括書き出し処
理（キャッシュフラッシュ処理）、ＷＭ1 はプロセッサ
からメモリエレメントＭ1 への一括書き出し処理、ｗＭ
0 はプロセッサからメモリエレメントＭ0 への逐次書き
出し処理を示す。なお、プロセッサからメモリエレメン
トＭ0 ，Ｍ1 へのプロセッサ内部状態の書き出し処理は
省略されている。

【００４０】図４（及び［従来の技術］の欄の記載内
容）から明らかなように、従来は、２つのメモリに対し
て、チェックポイント時に、ノンライトスルーで一括し
て書き出しを行っていた。このチェックポイント処理の
期間中は、プロセッサは他の処理を行えない。その理由
は、キャッシュフラッシュが完了する前にキャッシュ内
容が更新された場合、キャッシュとメモリとの間の一貫
性が維持できなくなるためである。

【００４１】一方、本実施例方法では、メモリエレメン
トＭ0 に対するメモリ内容の更新をライトスルー方式で
行っているため、メモリエレメントＭ0 に対する書き出
しが逐次行われる。一般に、この書き出しに際しては、
その対象データがプロセッサエレメント（Ｐ0)内の図示
せぬバッファに一時記憶され、メモリエレメントＭ0に
対する実際の書き出しは、専用の入出力機構（図示せ
ず）によってプロセッサ（ＭＰＵ1 ）から独立に行われ
る。したがって、実際のメモリエレメントＭ0 へのデー
タ書き出し中も、プロセッサ（ＭＰＵ1 ）は並列して処
理を続けることができる。

【００４２】このため、プロセッサにおいて同一処理を
行う場合の、本実施例方法におけるプロセッサの処理時
間Ｔ2 は、従来方法における処理時間Ｔ1 とほぼ同等で
ある。

【００４３】一方、チェックポイント処理については、
従来方法では、キャッシュ（のダーティ領域）の内容
を、メモリエレメントＭ0 とメモリエレメントＭ1 へ書
き出すというように、２回の一括書き出しが必要となる
のに対し、本実施例方法では、メモリエレメントＭ1 へ
の１回の書き出しで済むため、チェックポイント処理に
よるオーバヘッドが改善される。

【００４４】次に、故障発生時における動作を、（ｂ）
プロセッサエレメント故障時、（ｃ）メモリエレメント
故障時のそれぞれについて説明する。 （ｂ）プロセッサエレメント故障時 まず、プロセッサエレメント故障時の動作を図５のフロ
ーチャートを参照して説明する。

【００４５】今、プロセッサエレメントＰ0 が故障した
ものとする。プロセッサエレメントＰ0 は、自身の故障
を内部の故障検出機構により検出してプロセッサエレメ
ントＰ1 に通知（３台以上のプロセッサエレメントを備
えたシステムであれば、例えば自プロセッサエレメント
の次のエレメント番号のプロセッサエレメントに通知）
する。このプロセッサエレメントＰ0 の故障検出は、例
えばプロセッサエレメントＰ0 内のプロセッサＭＰＵ0
を２重化して同一処理を行わせ、その処理結果を比較す
るとか、プロセッサエレメントＰ0 内でエラー処理ルー
チンが動いたことを検出するといった、周知の方法によ
り実現される。また、プロセッサエレメントＰ0 ，Ｐ1
間で適宜通信を行うことにより、相手プロセッサエレメ
ントの故障を検出するようにしても良い。

【００４６】プロセッサエレメントＰ1 は、プロセッサ
エレメントＰ0 が故障したことを検出すると、その故障
が、（ｂ１）チェックポイント処理時以外（チェックポ
イント処理でのメモリエレメントＭ0 へのプロセッサ内
部状態の書き出し時を含む）か、（ｂ２）チェックポイ
ント処理時（におけるメモリエレメントＭ1 への書き出
し時）のときかを判断する（ステップＳ２１）。この判
断は、メモリエレメントＭ0 ，Ｍ1 のメモリ領域Ａ0 ，
Ａ1 中のフラグｆ0 ，ｆ1 の状態をもとに行われ、ｆ0
＝ＯＦＦ，ｆ1 ＝ＯＮであれば、上記（ｂ１）の状態で
のプロセッサエレメントの故障が、ｆ0 ＝ＯＮ，ｆ1 ＝
ＯＦＦであれば、上記（ｂ２）の状態でのプロセッサエ
レメントの故障が、それぞれ判断される。

【００４７】プロセッサエレメントＰ1 は、上記の判断
結果に応じて、以下に述べるように処理を引き継ぐ。 （ｂ１）チェックポイント処理時以外のときのプロセッ
サエレメント故障 この場合、メモリエレメントＭ0 では、故障したプロセ
ッサエレメントＰ0 によって既に一部データが更新され
ており、直前のチェックポイント（ＣＰi-1 とする）で
メモリエレメントＭ0 に格納されたプロセッサエレメン
トＰ0 の内部状態とメモリ内容との一貫性がない状態に
なっている。一方、メモリエレメントＭ1 では、チェッ
クポイントＣＰi-1 でメモリエレメントＭ1 に格納され
たプロセッサエレメントＰ0 の内部状態とメモリ内容と
の一貫性がとれている。

【００４８】そこでプロセッサエレメントＰ1 は、メモ
リエレメントＭ0 の内容をすべて捨て、メモリエレメン
トＭ1 （のメモリ領域Ａ1 ）の内容を当該メモリエレメ
ントＭ0 （のメモリ領域Ａ0 ）にコピーした後（ステッ
プＳ２２）、プロセッサエレメントＰ0 のプロセッサＭ
ＰＵ0 の内部状態を読み込み、直前のチェックポイント
ＣＰi-1 の時点から処理を継続する（ステップＳ２
３）。

【００４９】（ｂ２）チェックポイント処理時のときの
プロセッサエレメント故障 この場合、メモリエレメントＭ1 ではデータ更新中のた
め、当該メモリエレメントＭ1 に完全なデータを書き出
すことができなくなる。

【００５０】そこでプロセッサエレメントＰ1 は、メモ
リエレメントＭ1 の内容をすべて捨て、メモリエレメン
トＭ0 （のメモリ領域Ａ0 ）の内容を当該メモリエレメ
ントＭ1 （のメモリ領域Ａ1 ）にコピーした後（ステッ
プＳ２４）、プロセッサエレメントＰ0 のプロセッサＭ
ＰＵ0 の内部状態を読み込み、プロセッサエレメントＰ
0 の故障が発生したチェックポイント（ＣＰi とする）
の時点から処理を継続する（ステップＳ２５）。

【００５１】（ｃ）メモリエレメント故障時 次に、メモリエレメント故障時の動作を、（ｃ１）チェ
ックポイント処理時以外のときのメモリエレメント故障
と、（ｃ２）チェックポイント処理時のときのメモリエ
レメント故障とに大別して、図６乃至図９を参照して説
明する。

【００５２】（ｃ１）チェックポイント処理時以外のと
き チェックポイント処理時以外でメモリエレメント故障が
発生した場合、その故障メモリエレメントがＭ0 である
かＭ1 であるかによって動作が異なる。

【００５３】今、チェックポイント処理時以外のときに
メモリエレメントがＭ0 が故障したことを、プロセッサ
エレメントＰ0 が検出したものとする。この場合、プロ
セッサエレメントＰ0 は、当該プロセッサエレメントＭ
0 に対する逐次書き出し処理中であれば、図６（ａ）に
示すように、その処理を直ちに中止する。そしてプロセ
ッサエレメントＰ0 は、図６（ｂ）に示すように、メモ
リエレメントＭ1 のアクセス禁止状態記憶部Ｒ1 にアク
セス禁止情報を書き込み、当該メモリエレメントＭ1 に
対するアクセスを禁止してメモリ内容を保護する。

【００５４】次に、チェックポイント処理時以外のとき
にメモリエレメントがＭ1 が故障したことを、プロセッ
サエレメントＰ0 が検出したものとする。この場合、プ
ロセッサエレメントＰ0 は、自エレメントＰ0 内のプロ
セッサＭＰＵ0 の内部状態をメモリエレメントＭ0 のメ
モリ領域Ａ0 に書き出して処理を中止する。もし、メモ
リエレメントＭ0 に対する逐次書き出し処理中であれ
ば、図７（ａ）に示すように、その逐次書き出しが終了
した後、上記したプロセッサ内部状態のメモリエレメン
トＭ0 への書き出しを行い、しかる後に処理を中止す
る。そしてプロセッサエレメントＰ0 は、図７（ｂ）に
示すように、メモリエレメントＭ0 のアクセス禁止状態
記憶部Ｒ0 にアクセス禁止情報を書き込み、当該メモリ
エレメントＭ0 に対するアクセスを禁止してメモリ内容
を保護する。

【００５５】上記のアクセス禁止状態は、故障メモリの
交換などによって２重化のためのメモリ領域Ａi （ｉは
０又は１）が確保できたときに、保護していたメモリエ
レメントＭj （ｊは１又は０）のアクセス禁止状態記憶
部Ｒj の内容（アクセス禁止情報）をクリアすることに
より解除される。そして、保護しておいたメモリ領域Ａ
j の内容をメモリ領域Ａi にコピーし、メモリの２重化
をして処理を再開する。

【００５６】（ｃ２）チェックポイント処理時のとき チェックポイント処理中にメモリエレメント故障が発生
した場合も、前記したチェックポイント処理時以外のメ
モリエレメント故障の場合と同様に、その故障メモリエ
レメントがＭ0 であるかＭ1 であるかによって動作が異
なる。

【００５７】今、チェックポイント処理中にメモリエレ
メントがＭ0 が故障したことを、プロセッサエレメント
Ｐ0 が検出したものとする。この場合、プロセッサエレ
メントＰ0 は、プロセッサエレメントＭ1 に対するキャ
ッシュフラッシュ処理（及びプロセッサ内部状態の書き
出し処理）が正常に終了した時点で、図８（ａ）に示す
ように、その処理を中止する。そしてプロセッサエレメ
ントＰ0 は、図８（ｂ）に示すように、メモリエレメン
トＭ1 のアクセス禁止状態記憶部Ｒ1 にアクセス禁止情
報を書き込み、当該メモリエレメントＭ1 に対するアク
セスを禁止してメモリ内容を保護する。

【００５８】次に、チェックポイント処理中にメモリエ
レメントがＭ1 が故障したことを、プロセッサエレメン
トＰ0 が検出したものとする。この場合、プロセッサエ
レメントＰ0 は、図９（ａ）に示すように、プロセッサ
エレメントＭ1 に対するキャッシュフラッシュ処理を直
ちに中止する。そしてプロセッサエレメントＰ0 は、図
９（ｂ）に示すように、メモリエレメントＭ0 のアクセ
ス禁止状態記憶部Ｒ1にアクセス禁止情報を書き込み、
当該メモリエレメントＭ0 に対するアクセスを禁止して
メモリ内容を保護する。

【００５９】上記のアクセス禁止状態の解除は、前記し
た（ｃ１）チェックポイント処理時以外のときと同様で
ある。以上は、メモリエレメントが故障した場合に、２
重化したメモリ内容を持つもう一方のメモリエレメント
をアクセス禁止状態にして、そのメモリ内容を保護する
ようにしたが、これに限るものではなく、２重化メモリ
構造をとらない状態で縮退運転することも可能である。 ［第２の実施例］そこで、このメモリエレメント故障時
の縮退運転方式を、前記第１の実施例と同様のシステム
構成のフォールトトレラント計算機システムに適用した
第２の実施例につき、図面を参照して説明する。

【００６０】図１０は本発明の２重化メモリへのキャッ
シュフラッシュ方法を適用するフォールトトレラント計
算機システムの第２の実施例を示すブロック構成図であ
る。なお、図１と同一部分には同一符号を付してある。

【００６１】図１０において、プロセッサエレメントＰ
10，Ｐ11は、プロセッサＭＰＵ10，ＭＰＵ11と、キャッ
シュＣ0 ，Ｃ1 とを有する他、システム内の故障メモリ
エレメントを示す情報を格納するための故障情報記憶部
Ｆ0 ，Ｆ1 を有する。一方、メモリエレメントＭ10，Ｍ
11は、２重化されたメモリ領域Ａ0 ，Ａ1 を有する。こ
のメモリエレメントＭ10，Ｍ11には、前記第１の実施例
におけるメモリエレメントＭ0 ，Ｍ1 とは異なって、ア
クセス禁止情報記憶部Ｒ0 ，Ｒ1 が含まれていない。

【００６２】この図１０の構成における動作が、図１の
構成（第１の実施例）における動作と異なる点は、メモ
リエレメント故障時の動作であり、正常時におけるプロ
セッサエレメントの動作、及びプロセッサエレメント故
障時の動作については、図１の構成と同様である。そこ
で、図１０の構成におけるメモリエレメント故障時の動
作について、図１１のフローチャートを参照して説明す
る。

【００６３】まず、メモリエレメントＭ10，Ｍ11のうち
のいずれか一方、例えばメモリエレメントＭ10に故障が
発生し、それをプロセッサエレメントＰ10が検出したも
のとする。この場合、プロセッサエレメントＰ10は、自
エレメントＰ10内の故障情報記憶部Ｆ0 に故障したメモ
リエレメントの情報を格納する（ステップＳ３１）。

【００６４】次にプロセッサエレメントＰ10は、他のす
べてのプロセッサエレメント（図１１の例ではプロセッ
サエレメントＰ11）に、メモリエレメントＭ10の故障を
通知する（ステップＳ３２）。

【００６５】この故障通知を受けたプロセッサエレメン
トＰ11は、自エレメントＰ11内の故障情報記憶部Ｆ1 に
故障したメモリエレメントの情報を格納する。このよう
にして、メモリエレメントの故障時には、システム内の
すべてのプロセッサエレメントＰ10，Ｐ11の故障情報記
憶部Ｆ0 ，Ｆ1 に、故障したメモリエレメント（ここで
はＭ10）の情報が書き込まれる。

【００６６】それ以降、各プロセッサエレメントＰ10，
Ｐ11は、メモリエレメントへの書き出し時には故障情報
記憶部Ｆ0 ，Ｆ1 をチェックする。もし、データの書き
出し先に故障したメモリエレメント（Ｍ10）が含まれて
いる場合には、プロセッサエレメントＰ10，Ｐ11は、こ
の故障したメモリエレメント（Ｍ10）への書き出し動作
は行わず、もう一方の正常なメモリエレメント（Ｍ11）
に対してのみデータの書き出しを行う。

【００６７】これにより本実施例では、正常なメモリエ
レメント（Ｍ11）に対し、チェックポイント処理時以外
には、逐次書き出しが行われ、チェックポイント処理時
には、一括書き出しが行われることになる。なお、正常
なメモリエレメント（Ｍ11）に対し、いずれか一方の書
き出し、例えばチェックポイント時における一括書き出
しだけが行われるものであっても構わない。

【００６８】以上の運転状態（縮退運転状態）は、メモ
リ交換などによって故障したメモリエレメントが取り除
かれ、正常なメモリエレメント上でメモリ内容の２重化
が行われた段階で、各プロセッサエレメントＰ10，Ｐ11
の故障情報記憶部Ｆ0 ，Ｆ1の内容をクリアすることに
より解除される。

【００６９】

【発明の効果】以上詳述したように本発明によれば、フ
ォールトトレラント計算機システムにおいて、処理中の
プロセッサエレメントから自エレメント内のキャッシュ
の更新を行う際に、その更新内容を同時に２重化メモリ
の一方に反映させ、他方のメモリに対しては、チェック
ポイント処理時に、当該キャッシュのすべての更新内容
を一括して書き出すキャッシュフラッシュを行う構成と
したので、従来のようにチェックポイント処理時に２重
化メモリの両方に対してキャッシュフラッシュを行う場
合に比べて、チェックポイント処理時のオーバヘッドが
軽減し、しかも、チェックポイント処理時以外であれ
ば、上記他方のメモリの内容が直前のチェックポイント
の時点の状態に保持され、チェックポイント処理時であ
れば、上記一方のメモリの内容がそのチェックポイント
の時点の状態に保持されるため、プロセッサエレメント
に故障が発生しても、他のプロセッサエレメントによ
り、２重化メモリのいずれか一方の内容を用いて正しく
処理を継続できる。

【００７０】即ち本発明によれば、チェックポイント処
理でのオーバヘッドが改善でき、フォールトトレラント
性を損なわずに効率良くキャッシュ内容を２重化メモリ
に反映させることができる。

【００７１】また本発明によれば、２重化メモリのいず
れか一方の側のメモリエレメントに故障が発生した場合
に、もう一方の正常なメモリエレメントをアクセス禁止
状態にしてそのメモリ内容を保護する構成とすることに
より、故障メモリエレメントの回復が図られた際には、
その保護しておいたメモリ内容を利用して、正しい２重
化メモリ構成に復旧して処理を再開できる。

【００７２】また本発明によれば、メモリエレメントの
故障を検出したプロセッサエレメントから他のすべての
プロセッサエレメントに故障したメモリエレメントの情
報を通知し、プロセッサエレメントにおいて故障したメ
モリエレメントへの書き出しが発生した場合には、もう
一方の正常なメモリエレメントに対してのみ行う構成と
することにより、故障メモリエレメントの回復が図られ
るまでの間、正常なメモリエレメントを用いた縮退運転
が行える。

【図面の簡単な説明】

【図１】本発明の２重化メモリへのキャッシュフラッシ
ュ方法を適用するフォールトトレラント計算機システム
の第１の実施例を示すブロック構成図。

【図２】図１のシステムが正常な場合におけるプロセッ
サエレメントのデータ更新時の動作を説明するためのフ
ローチャート。

【図３】図１のシステムが正常な場合におけるプロセッ
サエレメントのチェックポイント処理時の動作を説明す
るためのフローチャート。

【図４】図１のシステムにおけるキャッシュフラッシュ
処理を、従来方法と比較して示す図。

【図５】図１のシステムにおけるプロエレメント故障時
の引継処理を説明するためのフローチャート。

【図６】図１のシステムにおいてチェックポイント処理
時以外のときにメモリエレメントＭ0 が故障した場合の
動作説明図。

【図７】図１のシステムにおいてチェックポイント処理
時以外のときにメモリエレメントＭ1 が故障した場合の
動作説明図。

【図８】図１のシステムにおいてチェックポイント処理
時のときにメモリエレメントＭ0 が故障した場合の動作
説明図。

【図９】図１のシステムにおいてチェックポイント処理
時のときにメモリエレメントＭ1 が故障した場合の動作
説明図。

【図１０】本発明の２重化メモリへのキャッシュフラッ
シュ方法を適用するフォールトトレラント計算機システ
ムの第２の実施例を示すブロック構成図。

【図１１】図１０のシステムにおけるメモリエレメント
故障検出時の動作を説明するためのフローチャート。

【図１２】フォールトトレラント計算機システムにおけ
る一般的なチェックポイントリスタート方式を説明する
ための図。

【図１３】上記チェックポイントリスタート方式で適用
される従来のチェックポイント処理を説明するための
図。

【図１４】図１３に示すチェックポイント処理により、
プロセッサ故障時に他のプロセッサにより処理の引継ぎ
が可能なことを説明するための図。

【符号の説明】

Ｐ0 ，Ｐ1 ．Ｐ10，Ｐ11…プロセッサエレメント、ＭＰ
Ｕ0 ，ＭＰＵ1 ，ＭＰＵ10，ＭＰＵ11…プロセッサ、Ｃ
0 ，Ｃ1 …キャッシュ、Ｍ0 ，Ｍ1 ，Ｍ10，Ｍ11…メモ
リエレメント、Ａ0 ，Ａ1 …メモリ領域、Ｒ0 ，Ｒ1 …
アクセス禁止情報記憶部、Ｆ0 ，Ｆ1 …故障情報記憶
部、ＷＭ0 ，ＷＭ1 …一括書き出し処理（キャッシュフ
ラッシュ処理）、ｗＭ0 …逐次書き出し処理。

Claims (4)

【特許請求の範囲】
1. 【請求項１】キャッシュを持つ複数のプロセッサエレメ
   ントと、２重化したメモリを持つ複数のメモリエレメン
   トとを備え、処理の実行中に適宜チェックポイントをと
   り、処理中のプロセッサエレメントで故障が発生した場
   合には、その故障以前のチェックポイントの時点から他
   のプロセッサエレメントが処理を引き継ぐフォールトト
   レラント計算機システムに適用される、２重化メモリへ
   のキャッシュフラッシュ方法において、 処理中の前記プロセッサエレメントから自エレメント内
   の前記キャッシュの更新を行う際に、その更新内容を同
   時に前記２重化したメモリの一方に反映させ、他方のメ
   モリに対しては、チェックポイント処理時に、当該キャ
   ッシュのすべての更新内容を一括して書き出すキャッシ
   ュフラッシュを行うことを特徴とする２重化メモリへの
   キャッシュフラッシュ方法。
2. 【請求項２】前記処理中のプロセッサエレメントに故障
   が発生した場合には、前記チェックポイント処理時以外
   であれば、他の前記プロセッサエレメントにより前記他
   方のメモリの内容を利用して直前のチェックポイントの
   時点から処理を継続させ、前記チェックポイント処理時
   であれば、他の前記プロセッサエレメントにより前記一
   方のメモリの内容を利用して当該チェックポイントの時
   点から処理を継続させることを特徴とする請求項１記載
   の２重化メモリへのキャッシュフラッシュ方法。
3. 【請求項３】前記一方のメモリ側のメモリエレメントに
   故障が発生した場合には、前記チェックポイント処理時
   以外であれば、直ちに前記処理中のプロセッサエレメン
   トにより前記他方のメモリ側のメモリエレメントをアク
   セス禁止状態に設定し、前記チェックポイント処理時で
   あれば、前記他方のメモリへの一括書き出しが終了して
   当該チェックポイント処理が終了した時点で前記処理中
   のプロセッサエレメントにより前記他方のメモリ側のメ
   モリエレメントをアクセス禁止状態に設定し、 前記他方のメモリ側のメモリエレメントに故障が発生し
   た場合には、前記チェックポイント処理時以外であれ
   ば、前記一方のメモリへの書き出し終了を確認した時点
   で前記処理中のプロセッサエレメントにより前記一方の
   メモリ側のメモリエレメントをアクセス禁止状態に設定
   し、前記チェックポイント処理時であれば、直ちに前記
   処理中のプロセッサエレメントにより前記一方のメモリ
   側のメモリエレメントをアクセス禁止状態に設定するこ
   とを特徴とする請求項１記載の２重化メモリへのキャッ
   シュフラッシュ方法。
4. 【請求項４】前記２重化メモリを持つメモリエレメント
   のいずれか１つが故障した場合、その故障を検出したプ
   ロセッサエレメントから他のすべてのプロセッサエレメ
   ントに対して、その故障メモリエレメントの情報を通知
   し、以後各プロセッサエレメントにより当該情報の示す
   故障メモリエレメントの２重化メモリへの書き出しが発
   生した場合には、その書き出しを正常なメモリエレメン
   トの２重化メモリに対して行わせることを特徴とする請
   求項１記載の２重化メモリへのキャッシュフラッシュ方
   法。