JPH0962577A - 情報処理システム及び情報処理方法 - Google Patents

Abstract

(57)【要約】 【課題】キャッシュメモリの内容を、同期命令により一
斉に主記憶にライトバックすると、その処理によりシス
テムの性能が低下する。 【解決手段】キャッシュメモリに読み込んだデータブロ
ックを更新する際、更新されたデータブロックの数を計
数して状態フラグカウンタ１１７に記憶しておく。この
値が、規定値メモリに予め設定された値を越えたなら、
キャッシュ内の更新されたデータブロックを主記憶にラ
イトバックする。このため、同期命令により行うライト
バックに集中せず、性能を落とすことを防止できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キャッシュを備え
た複数のプロセッサが同期を取って動作する情報処理装
置に関するものである。

【０００２】

【従来の技術】並列計算機システムにおいては、プロセ
ッサから発行される主記憶に対するアクセス要求に高速
に応じるため、及び相互結合網のトラフィックを減じる
ために、各プロセッサにキャッシュ・メモリを付随させ
ることが多い。各プロセッサから発行されるメモリ・ア
クセスはキャッシュ・メモリを介して行われ、キャッシ
ュ・メモリ中にはそれらメモリ・アクセス対象のデータ
・ブロックのコピーが置かれることになる。並列計算機
システムにおいては、複数あるキャッシュ・メモリ中に
同一データ・ブロックのコピーが各々存在する状況が生
じ得るが、それらコピー間の一貫性を保証するために、
従来様々な方法が考案/実現されている。

【０００３】プロセッサ間やプロセッサ・主記憶間を相
互に接続する結合網に、全てのトランザクションが監視
可能であるバスのようなものを用いた並列計算機システ
ムにおいては、スヌープ方式が一般的である。スヌープ
方式は、キャッシュ・メモリが結合網上に発行される全
トランザクションを監視し、トランザクション対象のデ
ータ・ブロックのコピーが自キャッシュ・メモリ中に存
在していた場合は、必要な一貫性保持動作を施すもので
ある。

【０００４】また、プロセッサ間やプロセッサ・主記憶
間を相互に接続する結合網に、全てのトランザクション
を監視することが困難なものを用いた並列計算機システ
ムにおいては、ディレクトリ方式が用いられる。ディレ
クトリ方式は、データ・ブロック単位、あるいはそれに
類する単位毎に、いずれのキャッシュ・メモリ中にその
コピーが存在するかというキャッシング情報を、ディレ
クトリと呼ばれる記憶装置に格納・管理しておき、プロ
セッサからのトランザクション発行時にはディレクトリ
から得られるキャッシング情報をもとにして、トランザ
クション対象データ・ブロックのコピーを有するキャッ
シュ・メモリにトランザクションの発生を通知し、コピ
ー間の一貫性保持を図るものである。

【０００５】

【発明が解決しようとする課題】従来、並列計算機シス
テムにおける複数キャッシュ・メモリ中に存在するコピ
ー間の一貫性をとるための動作は、上述の通りトランザ
クション毎に行われるものであった。しかしこれは、メ
モリに対するアクセス・レイテンシを抑えるために様々
考案/実現されている緩いメモリ・コンシステンシ・モ
デルにはそぐわないものである。一般に緩いメモリ・コ
ンシステンシ・モデルでは、処理の過程に同期ポイント
を定め、処理が同期ポイントに達した時点で、それまで
に発行したメモリ・トランザクションをシステム中に反
映させることを義務付けている。このことは、同期ポイ
ント以前には各メモリ・トランザクション結果を反映さ
せる必要がないことを意味する。即ち、緩いメモリ・コ
ンシステンシ・モデルを採る並列計算機システムにおい
て従来のキャッシュ一貫性保持手法を用いた場合、その
時点では不要な一貫性保持動作がトランザクション毎に
入ることとなり、そのオーバヘッドは、緩いメモリ・コ
ンシステンシ・モデルの目的に反し、不用意にメモリ・
アクセス・レイテンシを嵩ませていると言える。

【０００６】しかし、キャッシュの一貫性保持動作の実
施を、緩いメモリ・コンシステンシ・モデルでメモリ・
トランザクションを反映する必要が生じる同期ポイント
の時点にまで遅延させることによって、不要なキャッシ
ュ一貫性保持動作によるオーバーヘッドを削減するよう
なシステムにおいては、同期ポイントの時点において集
中的にキャッシュの一貫性保持動作が行われるため、同
期ポイントの時点で相互結合網上に集中的にトラフィッ
クが発生することになり、その結果、相互結合網の利用
効率が極端に低下する恐れがあった。

【０００７】本発明は上記従来例に鑑みてなされたもの
で、キャッシュ・メモリ及びキャッシュ・メモリの一貫
性保持動作機構を提供し、同期ポイント時点に集中する
相互結合網上のトラフィックを分散させることで、相互
結合網の利用効率低下，及び同期動作に伴う処理のオー
バーヘッドを軽減することが可能であり、システム全体
の処理能力を向上させる、相互結合網で互いに結合され
た情報処理システム及び情報処理方法を提供することを
目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の情報処理システムは次のような構成からな
る。すなわち、複数のプロセッサとそれぞれに付随する
キャッシュ・メモリと、主メモリ、及びキャッシュ・メ
モリと主メモリとを相互に接続する結合網を含む情報処
理システムにおいて、各プロセッサの処理が予め定めた
段階に達した場合、当該プロセッサに付随するキャッシ
ュ・メモリ中に存在するデータ・ブロックを主メモリに
反映し、当該データ・ブロックの内容の一貫性を保持す
る一貫性保持処理を実行する。

【０００９】また、望ましくは、前記プロセッサによる
処理が前記予め定めた段階に達する以前において、キャ
ッシュ・メモリ中に存在するデータ・ブロックが所定の
条件を満たした場合には、当該キャッシュ・メモリ中に
存在するデータ・ブロックを主メモリに反映し、当該デ
ータ・ブロックの内容の一貫性を保持する一貫性保持処
理を実行することを特徴とする。

【００１０】更に望ましくは、前記所定の条件は、その
内容が主メモリに反映されていないデータ・ブロックの
数を、予め指定した値と比較することによって判定す
る。

【００１１】更に望ましくは、前記所定の条件は、前記
プロセッサが行ったデータの書き込みの回数を、予め指
定した値と比較することによって判定する。

【００１２】更に望ましくは、前記情報処理システムは
緩いメモリ・コンシステンシ・モデルを採用したもので
ある。

【００１３】更に望ましくは、前記一貫性保持処理は、
ひとつのキャッシュ・メモリから主メモリに反映したデ
ータ・ブロックの、前記キャッシュ・メモリ以外のキャ
ッシュ・メモリに保持される複製を無効化する処理であ
る。

【００１４】更に望ましくは、前記主メモリは、前記複
数のプロセッサそれぞれと接続されており、プロセッサ
の１に付随するキャッシュ・メモリは、他のプロセッサ
のキャッシュ・メモリから、そこに格納されたデータ・
ブロックを主メモリに反映する処理が行われたことを前
記バスを介して検知し、当該キャッシュ・メモリに格納
されている該当するデータブロックの複製を無効化する
ことで前記一貫性保持処理を実行する。

【００１５】更に望ましくは、前記主メモリは、前記複
数のプロセッサごとに分散して接続されており、前記主
メモリは、その内容とするデータ・ブロックがキャッシ
ュ・メモリに複製されるごとに、その複製先を記録し、
前記複数のプロセッサの１のキャッシュ・メモリからそ
こに格納されたデータ・ブロックを主メモリに反映する
処理が行われた場合に、前記複製先の記録に基づいて該
当するデータブロックの複製を無効化することで前記一
貫性保持処理を実行する。

【００１６】また、本発明の情報処理方法は次のような
構成からなるすなわち、複数の情報処理手段を接続して
成り、記憶手段から、各情報処理手段に付随するキャッ
シュ手段にデータを複製して前記記憶手段の内容を前記
複数の情報処理手段で共有する情報処理システムにおい
て、所定の段階においてキャッシュ手段の内容を一斉に
記憶手段に書き戻す情報処理方法であって、前記記憶手
段に記憶された、所望のデータブロックをキャッシュ手
段に読み込む読込み工程と、前記読込み工程によりキャ
ッシュ手段に読み込まれたデータブロックを更新するキ
ャッシュ更新工程と、前記キャッシュ更新工程により更
新されたデータブロック数を計数する計数工程と、前記
計数工程により計数されたデータブロック数と所定値と
を比較して、その比較結果に基づいて前記更新されたデ
ータブロックを、前記記憶手段に書き戻す書き戻し工程
とを備える。

【００１７】また、望ましくは、書き戻されたキャッシ
ュ手段以外のキャッシュ手段により前記書き戻し工程に
よるデータブロックの記憶手段への書き戻しを検知し
て、前記キャッシュ手段に保持された、書き戻しの対象
となったデータブロックの複製を無効化する工程を更に
備える。

【００１８】また、望ましくは、前記読出し工程により
主記憶手段からキャッシュ手段に読み出されたデータブ
ロックごとに、読出された先を記録する記録工程と、前
記書き戻し工程により主記憶にデータブロックが書き戻
された場合、当該データブロックについて前記記録工程
により記録された読出し先のキャッシュ手段に格納され
たデータブロックの複製を無効化する工程を更に備え
る。

【００１９】また、本発明のコンピュータ制御装置は次
のような構成からなる。すなわち、複数台接続された、
メモリ媒体から所定のプログラムを読み込んで制御する
複数のコンピュータ制御装置であって、前記記憶手段に
記憶された、所望のデータブロックをキャッシュ手段に
読み込む読込み工程のモジュールと、前記読込み工程に
よりキャッシュ手段に読み込まれたデータブロックを更
新するキャッシュ更新工程のモジュールと、前記キャッ
シュ更新工程により更新されたデータブロック数を計数
する計数工程のモジュールと、前記計数工程により計数
されたデータブロック数と所定値とを比較して、その比
較結果に基づいて前記更新されたデータブロックを、前
記記憶手段に書き戻す書き戻し工程のモジュールと、キ
ャッシュ手段の有する、更新されたデータブロックを一
斉に記憶手段に書き戻す一斉書き戻し工程のモジュール
とを備える。

【００２０】以上の構成により、一斉にキャッシュのデ
ータブロックを書き戻す以前でも、所定数のデータブロ
ックが更新された場合に書き戻しを行うため、データブ
ロックの書き戻しが集中することによる性能の低下がな
い。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態としてマルチプロセッサシステムを詳細に説明
する。 ［第１の形態］図１は、本発明を実現するためシステム
の第１の実施の形態の構成を示すブロック図である。

【００２２】図１中、１０，２０はプロセッサであり、
それぞれプロセッサバス１４，２４を介してキャッシュ
ユニット１１，２１に接続される。

【００２３】図２において、プロセッサ１０は、メモリ
・アクセスを多重発行することが可能であり、多重発行
されたメモリ・アクセスを緩いメモリ・コンシステンシ
・モデルによるデータ一貫性保証の下で完了させるため
の特別な命令（同期命令）を持つものとする。

【００２４】またキャッシュユニット１１，２１は、そ
れぞれローカルバス１５を介して主記憶ユニット１２及
び、バスアービタ１６と接続される。またキャッシュユ
ニット１１，２１は、プロセッサの要求に基づいて、キ
ャッシュユニット１１，２１の内部のデータブロックの
データエントリの更新を行ったり、主記憶ユニット１２
に反映させたり等すると共に、ローカルバス１５上を流
れるアドレス情報等をスヌープしてキャッシュのメイン
テナンスを実施する。

【００２５】バスアービタ１６はローカルバス１５の利
用権を調停するためのものである。

【００２６】本実施例では、プロセッサから明示的に与
えられる同期命令発行時点でデータの一貫性が保証され
るような緩いメモリ・コンシステンシ・モデルを採用し
た一貫性制御が行われる図１に示すような構成の情報処
理システムにおいて、キャッシュの一貫性保持動作を制
御するキャッシュ制御シーケンサが、同期命令発行時以
外で最新の値で書き換えられた後、主記憶にその値を反
映していないデータ・ブロック（ＤＩＲＴＹブロック）
の数が既定値以上になった場合にも最新の値で書き換え
られた後，主記憶にその値を反映していない状態（ＤＩ
ＲＴＹ状態）にあるキャッシュのデータブロックを、当
該主記憶ユニットに主記憶へのライトバック処理及び必
要ならば一貫性保持動作を実行することによって、同期
命令発行時点で集中的に発生する主記憶へのライトバッ
ク処理トラフィックや一貫性保持動作・トラフィックを
分散することを実現している。

【００２７】図２は、本実施例の一部分であるキャッシ
ュユニットの構成を示す図である。図２においては、キ
ャッシュユニット１１を例にあげているが、キャッシュ
ユニット２１についても同様な構成をとる。

【００２８】図２中、１４４はプロセッサアドレスバス
１４１と接続するためのプロセッサアドレスバスインタ
フェースであり、１４５はプロセッサデータバス１４２
と接続するためのプロセッサデータバスインタフェース
であり、１４６はプロセッサコントロールバス１４３と
接続するためのプロセッサコントロールバスインタフェ
ースである。

【００２９】１５４はローカルアドレスバス１５１と接
続するためのローカルアドレスバスインタフェースであ
り、１５５はローカルデータバス１５２と接続するため
のローカルデータバスインタフェースであり、１５６は
ローカルコントロールバス１５３と接続するためのロー
カルコントロールバスインタフェースである。

【００３０】１１４はデータを保持するためのデータエ
ントリであり、１１２はデータエントリ１１４のアドレ
スを保持するためのアドレスタグであり、１１３はデー
タエントリ１１４の状態を保持するための状態フラグで
ある。これらの部分は例えばＳＲＡＭのような記憶素子
の集合であるとするが、これに制限されるものではな
い。

【００３１】１１５は、アドレスタグ１１２の内容とプ
ロセッサアドレスバス１４１，ローカルアドレスバス１
５１上のアドレスを比較する比較器である。１１６は、
比較器１１５の比較結果からデータエントリ内のデータ
を選択する選択器である。

【００３２】１１１はキャッシュユニット内の各モジュ
ールを制御するキャッシュ制御シーケンサである。

【００３３】本実施例では、キャッシュユニットは２ウ
ェイ・セット・アソシアティブの構成をとっているが、
この構成に制限されるものではない。 ＜ＬＯＡＤ命令の処理手順＞図３は、上記の様に構成さ
れるキャッシュユニットにおいて、データをプロセッサ
にロードするＬＯＡＤ命令実行の際の制御手順を示した
ものである。以下、ＬＯＡＤ命令がプロセッサ１０から
発行されたものとして説明する。

【００３４】図３において、プロセッサ１０から発行さ
れるＬＯＡＤ命令に対してキャッシュ・リードヒットし
た場合（Ｓ３０１−ＹＥＳ）、キャッシュユニット１１
は、プロセッサ１０に対してデータブロックを供給する
（Ｓ３０６）。

【００３５】また、プロセッサ１０から発行されるＬＯ
ＡＤ命令に対してキャッシュ・リードミスした場合（Ｓ
３０１−ＮＯ）、キャッシュユニット１１は、ローカル
バス１５に対してリード要求を発行する（Ｓ３０２）。
この場合、キャッシュ・リードミスしたデータブロック
がキャッシュユニット１１に供給されるまで、キャッシ
ュユニット１１はプロセッサ１０に対して当該データブ
ロックの供給を行わない。

【００３６】キャッシュユニット１１は、ローカルアド
レスバス１５１に対して当該リードアクセスのアドレス
を転送し、ローカルコントロールバス１５３に対してリ
ード要求を発行し、ローカルデータバス１５２にデータ
ブロックが供給されるまで実行を停止するものとする
が、これは本実施例に制限されるものではない。

【００３７】主記憶ユニット１２は、リード要求，及び
当該リードアクセスのアドレスを受け付けてローカルデ
ータバス１５２にデータブロックを供給し、キャッシュ
ユニット１１はそれを受ける（Ｓ３０３）。

【００３８】キャッシュユニット１１は、ローカルデー
タバス１５２に供給されたデータブロックをキャッシュ
ユニット１１内の当該データブロックのエントリにリプ
レースする（Ｓ３０４）。この処理は図７として後述す
る。

【００３９】キャッシュユニット１１は、プロセッサ１
０に対してデータブロックを供給する（Ｓ３０５）。

【００４０】以上のようにして、ＬＯＡＤ命令に対して
プロセッサにデータを供給する。 ＜ＳＴＯＲＥ命令の処理手順＞図４は、プロセッサから
データを書き出すＳＴＯＲＥ命令実行の際のキャッシュ
ユニットによる制御手順を示したものである。以下、Ｓ
ＴＯＲＥ命令がプロセッサ１０から発行されたものとし
て説明する。

【００４１】図４において、プロセッサ１０から発行さ
れるＳＴＯＲＥ命令に対してキャッシュ・ライトヒット
した場合に、プロセッサからストアすべきデータを受け
（Ｓ４０３）、そのデータに対応する状態フラグを”Ｄ
ＩＲＴＹ”に設定する（Ｓ４０４）。それとともに、状
態フラグカウンタ１１７を１インクリメントする（Ｓ４
０５）。

【００４２】キャッシュユニット１１のＤＩＲＴＹブロ
ックの数が状態フラグカウンタ１１７に設定されている
ある既定値以上に達した場合、ＤＩＲＴＹブロックの主
記憶へのライトバック処理を実行する（Ｓ４０７）。ラ
イトバックしたなら、状態フラグカウンタをリセットす
る（Ｓ４０８）。本実施例ではＤＩＲＴＹブロックの主
記憶へのライトバック処理を実行するかどうかの判断基
準となる、キャッシュ内のＤＩＲＴＹブロック数の既定
値は、状態フラグカウンタ１１７内の規定値メモリに予
め設定されるものとするが、その格納位置などはこれに
制限されるものではない。

【００４３】なお、ライトバック処理は、ＤＩＲＴＹブ
ロックを選び出し、それを対象として図６の処理を実行
することで行われる。

【００４４】プロセッサ１０から発行されるＳＴＯＲＥ
命令に対してキャッシュ・ライトミスした場合、すなわ
ちキャッシュユニットのアドレスタグ内に該当するアド
レスがない場合には、キャッシュ・リードミス処理、す
なわち図３のステップＳ３０２以降の処理を行った後
（Ｓ４０２）、キャッシュ・ライトヒット処理を行うも
のとする。

【００４５】このようにして、データのＳＴＯＲＥ処理
時には、ＳＴＯＲＥ処理によってＤＩＲＴＹ状態となっ
たブロックの数が所定数を越えたならキャッシュ内のデ
ータブロックを主記憶ユニットにライトバックしてお
く。 ＜同期命令処理の手順＞図５は、複数のプロセッサによ
ってアクセスされている可能性のあるデータブロックの
内容を主記憶にライトバックして、主記憶の内容とキャ
ッシュの内容とを一致させる同期命令実行の際の制御手
順を示したものである。以下、同期命令がプロセッサ１
０から発行されたものとして説明する。

【００４６】図５において、プロセッサ１０から同期命
令が発行された場合、キャッシュユニット１１にＤＩＲ
ＴＹブロックが１つ以上存在すると（Ｓ５０１−ＹＥ
Ｓ）、当該ＤＩＲＴＹブロックの主記憶へのライトバッ
ク処理を実行する（Ｓ５０２）。本実施例ではＤＩＲＴ
Ｙブロックの主記憶へのライトバック処理はＤＩＲＴＹ
ブロックがなくなるまで繰り返し実行されるものとする
が、これに制限されるものではない。

【００４７】ライトバックしたなら、ライトバックされ
たデータブロックの状態フラグをＣＬＥＡＮとし（Ｓ５
０３）、状態フラグカウンタをデクリメントする（Ｓ５
０４）。

【００４８】このようにして、ＤＩＲＴＹ状態にあるブ
ロックをすべて主記憶にライトバックしてＣＬＥＡＮな
状態に戻すことができる。

【００４９】＜ライトバック処理の手順＞図６は、主記
憶へのライトバック処理実行の際の制御手順を示したも
のである。以下、主記憶へのライトバック処理がキャッ
シュユニット１１から発行されたものとして説明する。

【００５０】図６において、キャッシュユニット１１
は、ローカルコントロールバス１５３に対してライトバ
ック要求元情報、及びローカルアドレスバス１５１に対
して当該ライトバックアクセスのアドレスを転送し、ロ
ーカルコントロールバス１５３に対してライトバック要
求を発行し、ローカルデータバス１５２にライトバック
するデータブロックを供給し、ライトバックしたデータ
ブロックが当該主記憶ユニットのエントリに供給され、
必要な一貫性保持動作が完了し、主記憶へのライトバッ
ク処理が完了するまで実行を停止する（Ｓ６０１）。完
了通知を受け取ると（Ｓ６０４）、ライトバック処理は
終了となる。

【００５１】主記憶ユニット１２は、リード要求、及び
当該ライトバックアクセスのアドレス及びローカルデー
タバス１５２に供給されているデータブロックを受け付
けて当該データブロックのエントリに書き込む（Ｓ６０
２）。その後、完了を要求元に通知する（Ｓ６０３）。

【００５２】また、同時にキャッシュユニット１１以外
のキャッシュユニットは、ローカルバス１５に転送され
るアドレスをスヌープして（Ｓ６０５）、データのコピ
ーが有効状態（ＣＬＥＡＮ状態，もしくはＤＩＲＴＹ状
態のいずれか）で保持されている場合は、キャッシュユ
ニットは有効状態で保持しているデータブロックに対し
て一貫性保持動作を実行する（Ｓ６０７）。本実施例で
は一貫性保持動作は、キャッシュに重複して有する、書
き戻したデータブロック以外のデータブロックを無効な
データとする無効化のトランザクションとするが、これ
に制限されるものではない。無効化は、状態フラグ１３
を“ＩＮＶＡＬＩＤ”とすることで行われる。

【００５３】＜リプレース処理の手順＞図７は、データ
ブロックのリプレース実行の際の制御手順を示したもの
である。以下、キャッシュユニット１１がデータブロッ
クのリプレースを実行するものとして説明する。

【００５４】図７において、キャッシュユニット１１
は、データブロックのリプレース要求が発行された場
合、置換すべきデータブロックをＬＲＵ等のデータブロ
ック置換アルゴリズムにより、置換対象データブロック
を検出する（Ｓ７０１）。

【００５５】当該置換対象データブロックがＤＩＲＴＹ
状態の場合、ＤＩＲＴＹブロックの主記憶へのライトバ
ック処理を実行する（Ｓ７０４）。

【００５６】当該置換対象データブロックがＤＩＲＴＹ
状態以外の場合や、当該置換対象データブロックがＤＩ
ＲＴＹ状態で主記憶へのライトバック処理が完了した場
合、当該データブロックのデータエントリにデータブロ
ックをリードする（Ｓ７０３，Ｓ７０５）。

【００５７】キャッシュにデータブロックを読み込む場
合には、このリプレース処理を実行することで使用可能
な領域を確保し、そこにあらたなデータブロックを読み
込む。 ＜データブロックの状態遷移＞図８は、各メモリトラン
ザクション実行時の状態フラグの状態遷移図を示したも
のである。以下、キャッシュユニット１１の状態フラグ
として説明する。

【００５８】図８において、状態ＩＮＶＡＬＩＤは当該
状態フラグが管理するデータエントリが無効であること
を示す。状態ＣＬＥＡＮは当該状態フラグが管理するデ
ータエントリが主記憶ユニットからリードされた後、１
回も書き換えられていないことを示す。当該データエン
トリには主記憶ユニットと同一の値が格納されている
が、他のキャッシュユニットのデータエントリには最新
の値が格納されているかもしれない。状態ＤＩＲＴＹは
当該状態フラグが管理するデータエントリが主記憶ユニ
ットからリードされた後、１回以上最新の値で書き換え
られ、かつ、主記憶にその値を反映していないことを示
す。当該データエントリには最新の値が格納されてい
る。

【００５９】各状態は次のように遷移する。 ＩＮＶＡＬＩＤ状態にあるデータブロックに対してプ
ロセッサ１０からＬＯＡＤ命令が発行された場合、状態
フラグはＣＬＥＡＮに遷移する。 ＩＮＶＡＬＩＤ状態にあるデータブロックに対してプ
ロセッサ１０からＳＴＯＲＥ命令が発行された場合、一
旦キャッシュ・リードミス処理が実行され、状態フラグ
がＣＬＥＡＮ に遷移した後、キャッシュ・ライトヒッ
ト処理が実行され、状態フラグはＤＩＲＴＹに遷移す
る。 ＣＬＥＡＮ状態にあるデータブロックに対してプロセ
ッサ１０からＬＯＡＤ命令が発行された場合、状態フラ
グはＣＬＥＡＮに遷移する。 ＣＬＥＡＮ状態にあるデータブロックに対してプロセ
ッサ１０からＳＴＯＲＥ命令が発行された場合、状態フ
ラグはＤＩＲＴＹに遷移する。 ＣＬＥＡＮ状態にあるデータブロックに対して一貫性
保持動作が実行された場合、状態フラグはＩＮＶＡＬＩ
Ｄに遷移する。 ＤＩＲＴＹ状態にあるデータブロックに対してプロセ
ッサ１０からＬＯＡＤ命令が発行された場合、状態フラ
グはＤＩＲＴＹに遷移する。 ＤＩＲＴＹ状態にあるデータブロックに対してプロセ
ッサ１０からＳＴＯＲＥ命令が発行された場合、状態フ
ラグはＤＩＲＴＹに遷移する。 ＤＩＲＴＹ状態にあるデータブロックに対してプロセ
ッサ１０から同期命令が発行された場合、状態フラグは
ＣＬＥＡＮ に遷移する。 ＤＩＲＴＹ状態にあるデータブロックに対して主記憶
へのライトバック処理が実行された場合、状態フラグは
ＣＬＥＡＮ に遷移する。 (10)ＤＩＲＴＹ状態にあるデータブロックに対して一貫
性保持動作が実行された場合、状態フラグはＩＮＶＡＬ
ＩＤに遷移する。

【００６０】本発明に係る一貫性保持動作の理解のため
に、まず本システムの特長である同期命令発行時点まで
一貫性保持動作が延期される例を説明し、次にＤＩＲＴ
Ｙブロックの数がある既定値以上になるまで一貫性保持
動作が延期される例を説明する。

【００６１】具体的には、例えばプロセッサ１０，２０
がアドレスｆ８００００００番地に対してＬＯＡＤ命令
を発行し、それぞれのＬＯＡＤ命令が完了した後で、プ
ロセッサ１０がアドレスｆ８００００００番地に対して
ＳＴＯＲＥ命令を発行した場合、ＳＴＯＲＥ命令発行時
点ではキャッシュユニット２１に対して一貫性保持動作
は発行されず、同期命令がプロセッサ１０から発行され
た場合に、一貫性保持動作が実行されることをどのよう
にして実現するかを図９を参考にして説明する。

【００６２】また、同様にプロセッサ１０，２０がアド
レスｆ８００００００番地に対してＬＯＡＤ命令を発行
し、プロセッサ１０がアドレスｆ８００００００番地に
対してＳＴＯＲＥ命令を発行した場合、ＳＴＯＲＥ命令
発行時点ではノード間インタフェース１３がキャッシュ
ユニット２１に対して一貫性保持動作を発行せず、ＤＩ
ＲＴＹブロックの数がある既定値（この例では２）以上
になった場合に、一貫性保持動作が実行されることをキ
ャッシュユニット１１，２１の持つ機構でどのようにし
て実現するかを図１０を参考にして説明する。 ＜一貫性の保持（同期命令による）＞図９は、本実施例
の一貫性保持動作の一例を示すタイミングチャート図で
ある。

【００６３】アドレスｆ８００００００番地が主記憶ユ
ニット１２に割り当てられているものとして説明する。

【００６４】時刻１では、プロセッサ１０，２０がアド
レスｆ８００００００番地に対してＬＯＡＤ命令を発行
し、それぞれが主記憶ユニット１２からリードを完了し
ている。このとき、アドレスｆ８００００００番地に対
応するキャッシュユニット１１，２１の内の状態フラグ
１１３，２１３は、それぞれＣＬＥＡＮである。

【００６５】時刻２では、プロセッサ１０がアドレスｆ
８００００００番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。このとき、ローカルバ
スアクセス，及び一貫性保持動作は発生しない。キャッ
シュ１１内の状態フラグ１１３はプロセッサ１０の発行
したＳＴＯＲＥ命令の結果、ＤＩＲＴＹに変更されてい
る。また、状態フラグカウンタ１１７をインクリメント
する。

【００６６】時刻３では、プロセッサ１０が同期命令を
発行している。

【００６７】時刻４では、時刻３で発行されたプロセッ
サ１０の同期命令により、キャッシュ１１内にＤＩＲＴ
Ｙで保持されているアドレスｆ８００００００番地の主
記憶へのライトバック処理が生じている。

【００６８】時刻５では、時刻４で生じたアドレスｆ８
００００００番地の主記憶へのライトバック処理により
キャッシュユニット２１のデータエントリが無効化され
ている。

【００６９】時刻６では、一貫性保持動作の完了を受け
付けて、主記憶へのライトバック処理が完了したキャッ
シュユニット１１はプロセッサ１０に同期命令の完了を
通達し、時刻３で発行された同期命令が完了している。

【００７０】このように、ＤＩＲＴＹブロック数が２以
上になる以前に同期命令が出され、それによりライトバ
ックが行われている。 ＜一貫性の保持（ＤＩＲＴＹブロックの数をトリガとす
る）＞図１０は、本実施例の一貫性保持動作の一例を示
すタイミングチャート図である。

【００７１】アドレスｆ８００００００番地，及びアド
レスｆ８０００００１番地が主記憶ユニット１２に割り
当てられているものとして説明する。

【００７２】時刻１では、プロセッサ１０がアドレスｆ
８００００００番地に対してＬＯＡＤ命令を発行し、主
記憶ユニット１２からリードを完了している。キャッシ
ュユニット１１の内の状態フラグ１１３は、ＣＬＥＡＮ
である。

【００７３】時刻２では、プロセッサ１０がアドレスｆ
８００００００番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。このとき、一貫性保持
動作は発生しない。キャッシュ１１内の状態フラグ１１
３はプロセッサ１０の発行したＳＴＯＲＥ命令の結果、
ＤＩＲＴＹに変更されている。また、状態フラグカウン
タ１１７をインクリメントする。

【００７４】時刻３では、プロセッサ２０がアドレスｆ
８００００００番地に対してＬＯＡＤ命令を発行し、Ｌ
ＯＡＤ命令を完了している。このときも、キャッシュユ
ニット２１は主記憶ユニット１２からデータブロックを
リードするだけで一貫性保持動作は発生しない。ＬＯＡ
Ｄ命令の結果、キャッシュユニット２１の内の状態フラ
グ２１３は、ＣＬＥＡＮである。

【００７５】時刻４では、プロセッサ１０がアドレスｆ
８０００００１番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。状態フラグカウンタ１
１７をインクリメントするとＤＩＲＴＹブロックの数が
既定値（２）以上になったので、主記憶へのライトバッ
ク処理が生じている。

【００７６】時刻５では、時刻４で生じたアドレスｆ８
００００００番地の主記憶へのライトバック処理により
キャッシュユニット２１のデータエントリが無効化され
ている。

【００７７】時刻６では、アドレスｆ８０００００１番
地の主記憶へのライトバック処理が生じている。

【００７８】時刻７では、アドレスｆ８０００００１番
地の主記憶へのライトバック処理が完了している以上の
ように、ＤＩＲＴＹ状態のデータブロックの数が所定値
（本例では２）以上となるとライトバックが実行される
ため、同期命令による一貫性保持動作が実行されても、
各キャッシュユニットには所定数以上のライトバックす
べきデータブロックが残っていないため、バスのトラフ
ィックの輻輳や同期動作に伴うオーバーヘッドを軽減す
ることができる。

【００７９】なお、上記装置の機能もしくは方法の機能
によって達成される本発明の目的は、前述の本発明を実
施した装置におけるプログラムを記憶させた記憶媒体に
よっても達成できる。すなわち、上記装置に、その記憶
媒体を装着し、その記憶媒体から読出したプログラム自
体が本発明の新規な機能を達成するからである。このた
めの、本発明に係るプログラムの構造的特徴は図１８に
示す通りである。 ［第２の形態］以下、図面を参照して本発明の実施例を
詳細に説明する。

【００８０】図１１は、本発明を実現するためシステム
の第２の実施例の構成を示すブロック図である。

【００８１】図１１中、１，２，３は計算機ノードであ
る。１０，２０，３０はプロセッサであり、それぞれプ
ロセッサバス１４，２４，３４を介してキャッシュユニ
ット１１，２１，３１に接続される。

【００８２】またキャッシュユニット１１，２１，３１
は、それぞれローカルバス１５，２５，３５を介して主
記憶ユニット１２，２２，３２及び、ノード間インタフ
ェース１３，２３，３３と接続される。４はグローバル
バスであり、ノード間インタフェース１３，２３，３３
及び、グローバルバスアービタ５を接続する。

【００８３】図１１では、接続されているの計算機ノー
ドの数は３であるが、この数に制限されるものではな
い。

【００８４】本実施例では、プロセッサから明示的に与
えられる同期命令発行時点でデータの一貫性が保証され
るような緩いメモリ・コンシステンシ・モデルを採用し
た一貫性制御が行われる図１１に示すような構成の情報
処理システムにおいて、キャッシュの一貫性保持動作を
制御するキャッシュ制御シーケンサが、同期命令発行時
以外でＤＩＲＴＹブロックの数が既定値以上になった場
合にもＤＩＲＴＹ状態にあるキャッシュのデータブロッ
クを、当該主記憶ユニットに主記憶へのライトバック処
理及び必要ならば一貫性保持動作を実行することによっ
て、同期命令発行時点で集中的に発生する主記憶へのラ
イトバック処理トラフィックや一貫性保持動作・トラフ
ィックを分散することを実現している。

【００８５】図１２は、本実施例の一部分である計算機
ノードの内部構成を示す図である。図１２においては、
計算機ノード１を例にあげているが、計算機ノード２，
３についても同様な構成をとる。

【００８６】図１２において、プロセッサ１０は、メモ
リ・アクセスを多重発行することが可能であり、多重発
行されたメモリ・アクセスを緩いメモリ・コンシステン
シ・モデルによるデータ一貫性保証の下で完了させるた
めの特別な命令（同期命令）を持つものとする。

【００８７】図１２中、１１はキャッシュユニットであ
り、１２は主記憶ユニットであり、１５はローカルバス
であり、１３はノード間インタフェースである。また、
主記憶ユニット１２は、主記憶制御シーケンサ１２１，
メモリ１２３、及びディレクトリユニット１２２を含
む。１４１はプロセッサ１０とキャッシュユニット１１
を接続するプロセッサアドレスバスであり、１４２はプ
ロセッサ１０とキャッシュユニット１１を接続するプロ
セッサデータバスであり、１４３はプロセッサ１０とキ
ャッシュユニット１１を接続するプロセッサコントロー
ルバスである。

【００８８】プロセッサコントロールバス１４３にはプ
ロセッサ１０が発行するメモリ・アクセス要求信号線、
及び当該メモリ・アクセス要求信号線の種別を示すメモ
リ・アクセス種別信号線群が含まれる。

【００８９】１５１はキャッシュユニット１１とノード
間インタフェース１３，主記憶ユニット１２を接続する
ローカルアドレスバスであり、１５２はキャッシュユニ
ット１１とノード間インタフェース１３，主記憶ユニッ
ト１２を接続するローカルデータバスであり、１５３は
キャッシュユニット１１とノード間インタフェース１
３，主記憶ユニット１２を接続するローカルコントロー
ルバスである。

【００９０】ローカルコントロールバス１５３にはキャ
ッシュユニット１１が発行するトランザクション要求信
号線、及び当該一貫性保持動作の種別を示すトランザク
ション種別信号線群が含まれる。

【００９１】４３はノード間インタフェース１３，２
３，３３を接続するグローバルコントロールバスであ
り、４１はノード間インタフェース１３，２３，３３を
接続するグローバルアドレスバスであり、４２はノード
間インタフェース１３，２３，３３を接続するグローバ
ルデータバスである。

【００９２】グローバルコントロールバス４３にはノー
ド間インタフェース１３，２３，３３が発行するトラン
ザクション要求信号線、当該トランザクション要求信号
線の種別を示すトランザクション種別信号線群が含まれ
る。

【００９３】グローバルバスアービタ５はノード間イン
タフェースから発行されるトランザクション要求信号線
を受取り、グローバルバス４の使用権の調停を行う。

【００９４】キャッシュユニットについては実施例１と
同様の構成をとるため、説明は省略する。

【００９５】図１３は、本実施例の一部分である主記憶
ユニット１２の構成を示す図である。

【００９６】図１３中、１２１は主記憶ユニット内の各
モジュールを制御する主記憶制御シーケンサである。１
２４はキャッシュユニット１１，２１，３１に保持され
るデータブロックの共有情報を保持するディレクトリフ
ラグである。１２２ディレクトリユニットはディレクト
リフラグを内部に保持するモジュールである。１２３は
データブロックを保持するメモリである。

【００９７】１５７はローカルアドレスバス１５１と接
続するためのローカルアドレスバスインタフェースであ
り、１５８はローカルデータバス１５２と接続するため
のローカルデータバスインタフェースであり、１５９は
ローカルコントロールバス１５３と接続するためのロー
カルコントロールバスインタフェースである。 ＜ＬＯＡＤ命令の処理手順＞図１４は、上記のように構
成されるマルチプロセッサシステムの各ノードにおける
ＬＯＡＤ命令実行の際の制御手順を示したものである。
以下、ＬＯＡＤ命令がプロセッサ１０から発行されたも
のとして説明する。なお、破線の矢印は制御がユニット
間で移行することを示している。

【００９８】図１４において、プロセッサ１０から発行
されるＬＯＡＤ命令に対して、アドレスタグ内にＬＯＡ
Ｄすべきアドレスがある場合、すなわちキャッシュ・リ
ードヒットした場合（Ｓ１４０１−ＹＥＳ）、キャッシ
ュユニット１１は、プロセッサ１０に対してデータブロ
ックを供給する（Ｓ１４１６）。

【００９９】また、プロセッサ１０から発行されるＬＯ
ＡＤ命令に対してキャッシュ・リードミスした場合、キ
ャッシュユニット１１は、ローカルバス１５に対してリ
ード要求を発行する（Ｓ１４０２）。この場合、キャッ
シュ・リードミスしたデータブロックがキャッシュユニ
ット１１に供給されるまで、キャッシュユニット１１は
プロセッサ１０に対してデータブロックの供給を行わな
い。

【０１００】キャッシュユニット１１は、ローカルコン
トロールバス１５３に対してリード要求元情報，及びロ
ーカルアドレスバス１５１に対して当該リードアクセス
のアドレスを転送し、ローカルコントロールバス１５３
に対してリード要求を発行し、ローカルデータバス１５
２にデータブロックが供給されるまで待つ。

【０１０１】（１）キャッシュ・リードミスした場合
で、かつ、当該リードアクセスのアドレス（ＬＯＡＤす
るアドレス）が計算機ノード１内の主記憶ユニット１２
に対するリードアクセスである場合（Ｓ１４０３−ＹＥ
Ｓ）、キャッシュユニットは主記憶ユニットにデータを
要求する（Ｓ１４１１）。この要求に対し、主記憶ユニ
ット１２は、リード要求，及び当該リードアクセスのア
ドレスを受け付けてローカルデータバス１５２にデータ
ブロックを供給する。また、同時に主記憶ユニット１２
内のディレクトリユニット１２２にリード要求元である
キャッシュユニット１１に対応したディレクトリフラグ
を登録する（Ｓ１４１２，１４１３）。このステップ
は、キャッシュユニットでなく主記憶ユニットによる動
作である。

【０１０２】キャッシュユニット１１は、主記憶ユニッ
トからデータを受けると、リプレース処理を行ってキャ
ッシュに使用可能な領域をつくった後（Ｓ１４１４）、
ローカルデータバス１５２に供給されたデータブロック
をキャッシュユニット１１内の当該データブロックのエ
ントリに書き込む（Ｓ１４１５）。

【０１０３】（２）キャッシュ・リードミスした場合
で、かつ、当該リードアクセスのアドレスが計算機ノー
ド１外の主記憶ユニット（例えば主記憶ユニット２２）
に対するリードアクセスである場合（Ｓ１４０３−Ｎ
Ｏ）、キャッシュユニットはグローバルバスにデータ要
求を発行する（Ｓ１４０４）。これを受けて、ノード間
インタフェース１３は、リード要求、及び当該リードア
クセスのアドレスを受け付けてグローバルコントロール
バス４３に対してリード要求元情報、及びグローバルア
ドレスバス４１に対して当該リードアクセスのアドレス
を転送し、リモートノードのノード間インタフェース２
３に対してリード要求を発行し、グローバルデータバス
４２にデータブロックが供給されるまで待つ。

【０１０４】ノード間インタフェース２３は、リード要
求、及び当該リードアクセスのアドレスを受け付けてロ
ーカルコントロールバス２５３にに対してリード要求元
情報，及びローカルアドレスバス２５１に対して当該リ
ードアクセスのアドレスを転送し、ローカルコントロー
ルバス２５３に対してリード要求を発行し、ローカルデ
ータバス２５２にデータブロックが供給されるまで待
つ。このようにしてリモートノードの主記憶ユニットに
データ要求が行われる（Ｓ１４０５）。

【０１０５】主記憶ユニット２２は、リード要求，及び
当該リードアクセスのアドレスを受け付けてローカルデ
ータバス２５２にデータブロックを供給する。また、同
時に主記憶ユニット２２内のディレクトリユニット２２
２にリード要求元であるキャッシュユニット２１に対応
したディレクトリフラグを登録する（Ｓ１４０６）。

【０１０６】ノード間インタフェース２３は、ローカル
データバス１５２に供給されたデータブロックをグロー
バルデータバス４２に転送する（Ｓ１４０７）。

【０１０７】ノード間インタフェース１３は、グローバ
ルデータバス４２に供給されたデータブロックをローカ
ルデータバス１５２に転送する（Ｓ１４０８）。

【０１０８】ステップＳ１４０６〜Ｓ１４０８は、キャ
ッシュユニットによる処理ではなく、要求を受けた側の
処理である。

【０１０９】キャッシュユニット１１は、リプレース処
理により使用可能なデータブロックを確保し（Ｓ１４０
９）、ローカルデータバス１５２に供給されたデータブ
ロックをキャッシュユニット１１内の当該データブロッ
クのエントリに読み込む。

【０１１０】キャッシュユニット１１は、プロセッサ１
０に対してデータブロックを供給する（Ｓ１４１０）。

【０１１１】このようにして、各ノードの主記憶ユニッ
トから所望のデータブロックをロードする。

【０１１２】ＳＴＯＲＥ命令実行の際の制御手順は第１
の形態と同様なので説明は省略する。また、同期命令実
行の際の制御手順も第１の形態と同様なので説明は省略
する。 ＜ライトバック処理の手順＞図１５は、主記憶へのライ
トバック処理実行の際の制御手順を示したものである。
以下、主記憶へのライトバック処理がキャッシュユニッ
ト１１から発行されたものとして説明する。

【０１１３】図１５において、キャッシュユニット１１
は、ローカルコントロールバス１５３に対してライトバ
ック要求元情報、及びローカルアドレスバス１５１に対
して当該ライトバックアクセスのアドレスを転送し、ロ
ーカルコントロールバス１５３に対してライトバック要
求を発行し（Ｓ１５０１）、ローカルデータバス１５２
にライトバックするデータブロックを供給し、ライトバ
ックしたデータブロックが当該主記憶ユニットのエント
リに供給され，必要な一貫性保持動作が完了し，主記憶
へのライトバック処理が完了するまで待つ。

【０１１４】（１）当該主記憶へのライトバック処理の
アドレスが計算機ノード１内の主記憶ユニット１２に対
するライトバックアクセスである場合（Ｓ１５０２−Ｙ
ＥＳ）、ローカルノードの主記憶ユニットに対してライ
トバック要求を発行する（Ｓ１５１０）。

【０１１５】主記憶ユニット１２は、リード要求、及び
当該ライトバックアクセスのアドレス及びローカルデー
タバス１５２に供給されているデータブロックを受け付
けて主記憶ユニット１２内のディレクトリユニット１２
２を検索し、ライトバック要求元であるキャッシュユニ
ット１１以外のディレクトリフラグが登録されているか
調べる（Ｓ１５１１）。キャッシュユニット１１以外の
キャッシュユニットにもデータのコピーが有効状態で保
持されている場合は、有効状態で保持しているキャッシ
ュユニットデータブロックに対して一貫性保持動作を実
行する。この場合には、一貫性保持動作としてキャッシ
ュユニットに保有されたデータブロックのコピーを無効
化する処理を実行する（Ｓ１５１３）。

【０１１６】本実施例では一貫性保持動作は無効化型の
トランザクションとするが、これは本実施例に制限され
るものではない。

【０１１７】一貫性保持動作完了後、主記憶ユニット
は、当該データブロックのエントリにライトバックデー
タを書き込む（Ｓ１５１４）。最後に、キャッシュユニ
ット１１に主記憶へのライトバック処理完了を通達する
（Ｓ１５１５）。

【０１１８】（２）当該主記憶へのライトバック処理の
アドレスが計算機ノード１外の主記憶ユニット（例えば
主記憶ユニット２２）に対するライトバックアクセスで
ある場合（Ｓ１５０２−ＮＯ）、キャッシュユニット１
１はノード間インターフェース１３にライトバック要求
を出す。

【０１１９】ノード間インタフェース１３は、ライトバ
ック要求，及び当該ライトバックアクセスのアドレス，
ローカルデータバス１５２に供給されているデータブロ
ックを受け付けてグローバルコントロールバス４３に対
してライトバック要求元情報，及びグローバルアドレス
バス４１に対して当該ライトバックアクセスのアドレ
ス，グローバルデータバス４２に対して当該ライトバッ
クアクセスのデータブロックを転送し、ノード間インタ
フェース２３に対してライトバック要求を発行する（Ｓ
１５０３）。

【０１２０】ノード間インタフェース２３は、ライトバ
ック要求、及び当該リードアクセスのアドレスを受け付
けてローカルコントロールバス２５３に対してライトバ
ック要求元情報，及びローカルアドレスバス２５１に対
して当該ライトバックアクセスのアドレス，ローカルデ
ータバス２５２に対して当該ライトバックアクセスのデ
ータブロックを転送し、ローカルコントロールバス２５
３に対してライトバック要求を発行する。こうしてリモ
ートノードの主記憶ユニットについてライトバック要求
を発行する（Ｓ１５０４）。

【０１２１】主記憶ユニット２２は、主記憶ユニット２
２内のディレクトリユニット２２２を検索し、ライトバ
ック要求元であるキャッシュユニット１１以外のディレ
クトリフラグが登録されているか調べる（Ｓ１５０
５）。キャッシュユニット１１以外のキャッシュユニッ
トにもデータのコピーが有効状態で保持されている場合
は、有効状態で保持しているキャッシュユニットデータ
ブロックに対して一貫性保持動作を実行する。この場合
には、一貫性保持のために有効状態のコピーを無効化す
る。

【０１２２】一貫性保持動作完了後、主記憶ユニット２
２は、リード要求、及び当該ライトバックアクセスのア
ドレス及びローカルデータバス２５２に供給されている
データブロックを受け付けて当該データブロックのエン
トリに書き込む（Ｓ１５０８）。

【０１２３】ノード間インタフェース２３は、ノード間
インタフェース１３に主記憶へのライトバック処理完了
を通達する。

【０１２４】ノード間インタフェース１３は、キャッシ
ュユニット１１に主記憶へのライトバック処理完了を通
達する（Ｓ１５０９）。

【０１２５】上記手順のうち、ステップＳ１５０１〜Ｓ
１５０３，Ｓ１５１０はキャッシュユニットの処理であ
り、ステップＳ１５０４はノード間インターフェースの
処理で、それ以外のステップはライトバック要求を受け
たノードの主記憶による処理である。以上の手順で、デ
ィレクトリを参照して無効化を行い、ライトバックが実
行される。

【０１２６】リプレース処理実行時の制御手順は第１の
実施形態と同様なので説明は省略する。

【０１２７】各メモリトランザクション実行時の状態フ
ラグの状態遷移も第１の実施形態と同様なので説明は省
略する。

【０１２８】本手法による一貫性保持動作の手順の理解
のために、まず同期命令発行時点まで一貫性保持動作が
延期される例を説明し、次にＤＩＲＴＹブロックの数が
ある既定値以上になった時点で一貫性保持動作が実行さ
れる例を説明する。

【０１２９】具体的には、例えばプロセッサ１０，２
０，３０がアドレスｆ８００００００番地に対してＬＯ
ＡＤ命令を発行し、それぞれのＬＯＡＤ命令が完了した
後で、プロセッサ１０がアドレスｆ８００００００番地
に対してＳＴＯＲＥ命令を発行した場合、ＳＴＯＲＥ命
令発行時点ではキャッシュユニット２１，３１に対して
一貫性保持動作は発行されず、同期命令がプロセッサ１
０から発行された場合に、一貫性保持動作が発行される
ことをどのようにして実現するかを図１６を参考にして
説明し、また、同様にプロセッサ１０，２０，３０がア
ドレスｆ８００００００番地に対してＬＯＡＤ命令を発
行し、プロセッサ１０がアドレスｆ８００００００番地
に対してＳＴＯＲＥ命令を発行した場合、ＳＴＯＲＥ命
令発行時点ではノード間インタフェース１３がキャッシ
ュユニット２１，３１に対して一貫性保持動作を発行せ
ず、ＤＩＲＴＹブロックの数がある既定値（この例では
２）以上になった場合に、一貫性保持動作が発行される
ことをノード間インタフェース１３，２３，３３の持つ
機構でどのようにして実現するかを図１６を参考にして
説明する。

【０１３０】図１６は、本実施例の一貫性保持動作の一
例を示すタイミングチャート図である。アドレスｆ８０
０００００番地が計算機ノード１内の主記憶ユニット１
２に割り当てられているものとして説明する。

【０１３１】時刻１では、プロセッサ１０，２０，３０
がアドレスｆ８００００００番地に対してそれぞれＬＯ
ＡＤ命令を発行し、それぞれが主記憶ユニット１２から
ロードを完了している。このとき、アドレスｆ８０００
０００番地に対応するディレクトリフラグには、そのコ
ピーを保有するノードとしてキャッシュユニット１１，
２１，３１が登録されている。

【０１３２】時刻２では、プロセッサ１０がアドレスｆ
８００００００番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。このとき、一貫性保持
動作は発生しない。キャッシュ１１内の状態フラグ１１
３はプロセッサ１０の発行したＳＴＯＲＥ命令の結果、
その状態はＤＩＲＴＹに変更されている。また、状態フ
ラグカウンタ１１７をインクリメントする。

【０１３３】時刻３では、プロセッサ１０が同期命令を
発行している。

【０１３４】時刻４では、時刻３で発行されたプロセッ
サ１０の同期命令により、キャッシュ１１内にＤＩＲＴ
Ｙで保持されているアドレスｆ８００００００番地の主
記憶へのライトバック処理が生じている。

【０１３５】時刻５では、時刻４で生じたアドレスｆ８
００００００番地の主記憶へのライトバック処理により
一貫性保持動作が生じている。

【０１３６】時刻６では、時刻５で生じた一貫性保持動
作により、キャッシュユニット２１，３１が無効化され
ている。

【０１３７】時刻７では、一貫性保持動作の完了を受け
付けて、主記憶へのライトバック処理が完了したキャッ
シュユニット１１はプロセッサ１０に同期命令の完了を
通達し、時刻３で発行された同期命令が完了している。

【０１３８】このように、いずれのキャッシュユニット
にも、所定のしきい値（この場合は２）以上のＤＩＲＴ
Ｙ状態のデータブロックが、予め定められた同期時期
（同期命令の発せられる時期）までに発生しないため、
同期命令によってライトバック及び一貫性保持動作（無
効化処理）が初めて行われる。

【０１３９】図１７は、ＤＩＲＴＹ状態のデータブロッ
ク数をトリガとして一貫性保持動作を起動する一例を示
すタイミングチャート図である。

【０１４０】アドレスｆ８００００００番地，及びアド
レスｆ８０００００１番地が計算機ノード１内の主記憶
ユニット１２に割り当てられているものとして説明す
る。

【０１４１】時刻１では、プロセッサ１０，２０がアド
レスｆ８００００００番地に対してＬＯＡＤ命令を発行
し、それぞれが主記憶ユニット１２からリードを完了し
ている。このとき、アドレスｆ８００００００番地に対
応するディレクトリフラグにはキャッシュユニット１
１，２１が登録されている。

【０１４２】時刻２では、プロセッサ１０がアドレスｆ
８００００００番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。このとき、一貫性保持
動作は発生しない。キャッシュ１１内の状態フラグ１１
３はプロセッサ１０の発行したＳＴＯＲＥ命令の結果、
ＤＩＲＴＹに変更されている。また、状態フラグカウン
タ１１７をインクリメントする。

【０１４３】時刻３では、プロセッサ３０がアドレスｆ
８００００００番地に対してＬＯＡＤ命令を発行し、Ｌ
ＯＡＤ命令を完了している。このときも、キャッシュユ
ニット３１は主記憶ユニット１２からデータブロックを
リードするだけで一貫性保持動作は発生しない。ＬＯＡ
Ｄ命令の結果、アドレスｆ８００００００番地に対応す
るディレクトリフラグにはキャッシュユニット１１，２
１，３１が登録されている。

【０１４４】時刻４では、プロセッサ１０がアドレスｆ
８０００００１番地に対してＳＴＯＲＥ命令を発行し、
ＳＴＯＲＥ命令が完了している。状態フラグカウンタ１
１７をインクリメントするとＤＩＲＴＹブロックの数が
既定値である２以上になったので、主記憶へのライトバ
ック処理が生じている。

【０１４５】時刻５では、時刻４で生じたアドレスｆ８
００００００番地の主記憶へのライトバック処理により
一貫性保持動作が生じている。

【０１４６】時刻６では、時刻５で生じた一貫性保持動
作により、キャッシュユニット２１，３１が無効化され
ている。

【０１４７】時刻７では、アドレスｆ８０００００１番
地の主記憶へのライトバック処理が生じている。

【０１４８】時刻８では、アドレスｆ８０００００１番
地の主記憶へのライトバック処理が完了している 以上のようにして、キャッシュ内のＤＩＲＴＹなデータ
ブロックの数が予め定めておいた数以上となった場合
に、キャッシュ内のＤＩＲＴＹブロックを主記憶にライ
トバック（及び一貫性保持処理）してしまうことで、次
の同期時期にライトバック及び一貫性保持処理を行うべ
きブロック数を予め設定した上限以下に抑制することが
できる。例えば、本例では、Ｎ個のノードからなるシス
テムで１ノードについてｂブロック以上のＤＩＲＴＹブ
ロックが発生したところでライトバックを行うとすれ
ば、同期命令によって一時にまとめてライトバック及び
同期保持処理が行われる対象となるデータブロック数
は、Ｎ×ｂを越えることはない。

【０１４９】このように、キャッシュ・メモリ及びキャ
ッシュ・メモリの一貫性保持動作機構を提供し、同期ポ
イント時点に集中する相互結合網上のトラフィックを分
散させることで、相互結合網の利用効率低下，及び同期
動作に伴う処理のオーバーヘッドを軽減することができ
る。

【０１５０】また、本発明は、システム或は装置にプロ
グラムを供給することによって達成される場合にも適用
できることはいうまでもない。この場合、本発明を達成
するためのソフトウェアによって表されるプログラムを
格納した記憶媒体から、該プログラムを該システム或は
装置に読み出すことによって、そのシステム或は装置
が、本発明の効果を享受することが可能となる。

【０１５１】

【発明の効果】以上説明したように、本発明によれば、
緩いメモリ・コンシステンシ・モデルを採用し、相互結
合網で互いに結合された並列計算機システムにおいて、
その性能をより向上させるためのキャッシュ・メモリ及
びキャッシュ・メモリの一貫性保持動作機構を提供し、
同期ポイント時点に集中する相互結合網上のトラフィッ
クを分散させることで、相互結合網の利用効率低下，及
び同期動作に伴う処理のオーバーヘッドを軽減すること
が可能であり、システム全体の処理能力を向上させると
いう効果がある。

【０１５２】

【図面の簡単な説明】

【図１】第１の実施形態の情報処理システムの構成を示
す図である。

【図２】第１及び第２の実施形態のキャッシュユニット
の構成を示す図である。

【図３】第１の実施形態においてキャッシュユニットが
ＬＯＡＤ命令命令実行時に行う処理のチャートである。

【図４】第１及び第２の実施形態においてキャッュユニ
ットがＳＴＯＲＥ命令命令実行時に行う処理のチャート
である。

【図５】第１及び第２の実施形態においてキャッシュユ
ニットが同期命令実行時に行う処理のチャートである。

【図６】第１の実施形態において主記憶へのライトバッ
ク処理実施時のチャートである。

【図７】第１の実施形態においてデータブロックの置換
時に行う処理のチャートである。

【図８】第１及び第２の実施形態の状態フラグの状態遷
移図である。

【図９】第１の実施形態において同期命令発行時点まで
一貫性保持動作が延期される例を示すチャートである。

【図１０】第１の実施形態においてＤＩＲＴＹブロック
の数がある既定値以上になる時点まで一貫性保持動作が
延期される例を示すチャートである。

【図１１】第２の実施形態の情報処理システムの構成を
示す図である。

【図１２】第２の実施形態の計算機ノードの構成を示す
図である。

【図１３】第２の実施形態の主記憶ユニットの構成を示
す図である。

【図１４】第２の実施形態においてキャッシュユニット
がＬＯＡＤ命令命令実行時に行う処理のチャートであ
る。

【図１５】第２の実施形態において主記憶へのライトバ
ック処理時に行う処理のチャートである。

【図１６】第２の実施形態の同期命令発行時点まで一貫
性保持動作が延期される例を示すチャートである。

【図１７】第２の実施形態のＤＩＲＴＹブロックの数が
ある既定値以上になる時点まで一貫性保持動作が延期さ
れる例を示すチャートである。

【図１８】第１の実施形態を実現するためのプログラム
モジュールが記憶媒体に記録されるメモリマップを示す
図である。

【符号の説明】

１，２，３ 計算機ノード ４ グローバルバス ５ グローバルバスアービタ １０，２０，３０ プロセッサ １１，２１，３１キャッシュユニット １２，２２，３２ 主記憶ユニット １３，２３，３３ ノード間インタフェース １４，２４，３４ プロセッサバス １５，２５，３５ ローカルバス １６ バスアービタ ４１ グローバルアドレスバス ４２ グローバルデータバス ４３ グローバルコントロールバス ４４ グローバルアドレスバスインタフェース ４５ グローバルデータバスインタフェース ４６ グローバルコントロールバスインタフェース １１１ キャッシュ制御シーケンサ １１２ アドレスタグ １１３ 状態フラグ １１４ データエントリ １１５ 比較器 １１６ 選択器 １１７ 状態フラグカウンタ １２１ 主記憶制御シーケンサ １２２，２２２，３２２ ディレクトリユニット １２３，２２３，３２３ メモリ １２４，２２４，３２４ ディレクトリフラグ １４４，２４４，３４４ プロセッサアドレスバスイン
タフェース １４５，２４５，３４５ プロセッサデータバスインタ
フェース １４６，２４６，３４６ プロセッサコントロールバス
インタフェース １５４，２５４，３５４，１５７ ローカルアドレスバ
スインタフェース １５５，２５５，３５５，１５８ ローカルデータバス
インタフェース １５６，２５６，３５６，１５９ ローカルコントロー
ルバスインタフェース １４１，２４１，３４１ プロセッサアドレスバス １４２，２４２，３４２ プロセッサデータバス １４３，２４３，３４３ プロセッサコントロールバス １５３，２５３，３５３ ローカルコントロールバス １５１，２５１，３５１ ローカルアドレスバス １５２，２５２，３５２ ローカルデータバス

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサとそれぞれに付随する
   キャッシュ・メモリと、主メモリ、及びキャッシュ・メ
   モリと主メモリとを相互に接続する結合網を含む情報処
   理システムにおいて、 各プロセッサの処理が予め定めた段階に達した場合、当
   該プロセッサに付随するキャッシュ・メモリ中に存在す
   るデータ・ブロックを主メモリに反映し、当該データ・
   ブロックの内容の一貫性を保持する一貫性保持処理を実
   行することを特徴とする情報処理システム。
2. 【請求項２】 前記プロセッサによる処理が前記予め定
   めた段階に達する以前において、キャッシュ・メモリ中
   に存在するデータ・ブロックが所定の条件を満たした場
   合には、当該キャッシュ・メモリ中に存在するデータ・
   ブロックを主メモリに反映し、当該データ・ブロックの
   内容の一貫性を保持する一貫性保持処理を実行すること
   を特徴とする請求項１記載の情報処理システム。
3. 【請求項３】 前記所定の条件は、その内容が主メモリ
   に反映されていないデータ・ブロックの数を、予め指定
   した値と比較することによって判定することを特徴とす
   る請求項２記載の情報処理システム。
4. 【請求項４】 前記所定の条件は、前記プロセッサが行
   ったデータの書き込みの回数を、予め指定した値と比較
   することによって判定することを特徴とする請求項２記
   載の情報処理システム。
5. 【請求項５】 前記情報処理システムは緩いメモリ・コ
   ンシステンシ・モデルであることを特徴とする請求項１
   乃至４のいずれかに記載の情報処理システム。
6. 【請求項６】 前記一貫性保持処理は、ひとつのキャッ
   シュ・メモリから主メモリに反映したデータ・ブロック
   の、前記キャッシュ・メモリ以外のキャッシュ・メモリ
   に保持される複製を無効化する処理であることを特徴と
   する請求項１乃至５に記載の情報処理システム。
7. 【請求項７】 前記主メモリは、前記複数のプロセッサ
   それぞれと接続されており、プロセッサの１に付随する
   キャッシュ・メモリは、他のプロセッサのキャッシュ・
   メモリから、そこに格納されたデータ・ブロックを主メ
   モリに反映する処理が行われたことを前記バスを介して
   検知し、当該キャッシュ・メモリに格納されている該当
   するデータブロックの複製を無効化することで前記一貫
   性保持処理を実行することを特徴とする請求項６に記載
   の情報処理システム。
8. 【請求項８】 前記主メモリは、前記複数のプロセッサ
   ごとに分散して接続されており、前記主メモリは、その
   内容とするデータ・ブロックがキャッシュ・メモリに複
   製されるごとに、その複製先を記録し、前記複数のプロ
   セッサの１のキャッシュ・メモリからそこに格納された
   データ・ブロックを主メモリに反映する処理が行われた
   場合に、前記複製先の記録に基づいて該当するデータブ
   ロックの複製を無効化することで前記一貫性保持処理を
   実行することを特徴とする請求項６に記載の情報処理シ
   ステム。
9. 【請求項９】 複数の情報処理手段を接続して成り、記
   憶手段から、各情報処理手段に付随するキャッシュ手段
   にデータを複製して前記記憶手段の内容を前記複数の情
   報処理手段で共有する情報処理システムにおいて、所定
   の段階においてキャッシュ手段の内容を一斉に記憶手段
   に書き戻す情報処理方法であって、 前記記憶手段に記憶された、所望のデータブロックをキ
   ャッシュ手段に読み込む読込み工程と、 前記読込み工程によりキャッシュ手段に読み込まれたデ
   ータブロックを更新するキャッシュ更新工程と、 前記キャッシュ更新工程により更新されたデータブロッ
   ク数を計数する計数工程と、 前記計数工程により計数されたデータブロック数と所定
   値とを比較して、その比較結果に基づいて前記更新され
   たデータブロックを、前記記憶手段に書き戻す書き戻し
   工程とを備えることを特徴とする情報処理方法。
10. 【請求項１０】 書き戻されたキャッシュ手段以外のキ
    ャッシュ手段により前記書き戻し工程によるデータブロ
    ックの記憶手段への書き戻しを検知して、前記キャッシ
    ュ手段に保持された、書き戻しの対象となったデータブ
    ロックの複製を無効化する工程を更に備えることを特徴
    とする請求項９に記載の情報処理方法。
11. 【請求項１１】 前記読出し工程により主記憶手段から
    キャッシュ手段に読み出されたデータブロックごとに、
    読出された先を記録する記録工程と、前記書き戻し工程
    により主記憶にデータブロックが書き戻された場合、当
    該データブロックについて前記記録工程により記録され
    た読出し先のキャッシュ手段に格納されたデータブロッ
    クの複製を無効化する工程を更に備えることを特徴とす
    る請求項９に記載の情報処理方法。
12. 【請求項１２】 複数台接続された、メモリ媒体から所
    定のプログラムを読み込んで制御する複数のコンピュー
    タ制御装置であって、 前記記憶手段に記憶された、所望のデータブロックをキ
    ャッシュ手段に読み込む読込み工程のモジュールと、 前記読込み工程によりキャッシュ手段に読み込まれたデ
    ータブロックを更新するキャッシュ更新工程のモジュー
    ルと、 前記キャッシュ更新工程により更新されたデータブロッ
    ク数を計数する計数工程のモジュールと、 前記計数工程により計数されたデータブロック数と所定
    値とを比較して、その比較結果に基づいて前記更新され
    たデータブロックを、前記記憶手段に書き戻す書き戻し
    工程のモジュールと、 キャッシュ手段の有する、更新されたデータブロックを
    一斉に記憶手段に書き戻す一斉書き戻し工程のモジュー
    ルとを備えることを特徴とするコンピュータ制御装置。