JPH0793220A - 仮想記憶管理方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 共有バス結合の並列計算機システムにおける
アドレス変換処理の高速化をはかる。 【構成】 共有メモリ制御回路１２内で、各ＰＥに共通
なアドレス変換回路がマイコン１２１と制御記憶１２２
により実現する。キャッシュ４１は処理装置４０が発行
するメモリアクセス要求で指定する論理アドレスでアク
セスされ、要求されたデータがそこに保持されていない
ときには、共有バス２にそのアクセス要求で指定された
論理アドレスを含む、データ転送要求コマンドを送付す
る。他のＰＥではそのデ−タを含むブロックを保持して
いるときには、そのブロックを要求元ＰＥに転送する。
ブロックがいずれのＰＥにも保持されていないときに、
共有メモリ制御回路１２はこの論理アドレスを物理アド
レスに変換してそのブロックを共有メモリ１から読みだ
し、要求元ＰＥに共有バス２を介して転送する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は共有バス結合の並列計算
機システムにおける仮想記憶管理方式に関する。

【０００２】

【従来の技術】従来、共有バス結合の並列計算機システ
ムにおける仮想記憶管理方式については”Symmetry Tec
hnical Summary”（米国Sequent社、マニュアル1003―4
7396―00、pp2.2〜2.5、1987年）において論じられてい
る。

【０００３】上記従来技術では、共有メモリに共有バス
で結合された複数のプロセッサの各々にキャッシュメモ
リを設け、かつ、各プロセッサには、アドレス変換装置
を設け、プログラムから指定されたメモリオペランドに
対する論理アドレスをこのアドレス変換装置で対応する
物理アドレスに変換し、この物理アドレスでもってその
プロセッサ内のキャッシュをアクセスするようになって
いる。このメモリオペランドがキャッシュ内にないと、
共有バスにその物理アドレスを指定するデータ転送コマ
ンドを送出し、そのデータをキャッシュ内に保持する他
のプロセッサがあるときには、そのプロセッサがそのデ
ータを共有バスを介して要求元プロセッサに転送するよ
うになっている。

【０００４】このアドレス変換のために、各プロセッサ
は共有メモリに保持されているアドレス変換テーブルを
読み出し、自プロセッサ内で論理アドレスを物理アドレ
スに変換するとともに、この論理アドレスと変換後の物
理アドレスとの対をアドレス変換バッファに保持するよ
うになっている。後に同じ論理アドレスを物理アドレス
に変換するときには、この変換バッファを使用する。

【０００５】このアドレス変換バッファに登録されてい
ない論理アドレスを物理アドレスに変換するために、そ
のプロセッサから共有メモリ１内のページテーブルをア
クセスした場合において、その論理アドレスに対応する
データが共有メモリに登録されていないことがあり得
る。このとき、そのプロセッサは、ページフォールト例
外を発生する。この信号を受けて共有メモリは、その論
理アドレスへの物理メモリの割り当てを行なうが、この
とき、いずれかの論理アドレスに既に割り当てられてい
た実メモリアドレスが割り当てを解放され、そのアドレ
スのデータが補助記憶にページアウトされる。したがっ
て、この論理アドレスと物理アドレスの対を無効にする
ために、そのプロセッサは、自己に含まれているアドレ
ス変換バッファを無効とするとともに、他の全てのプロ
セッサに、アドレス変換バッファの内容を無効化するこ
とを要求するコマンドを共有バスを介して転送するよう
になっている。

【０００６】

【発明が解決しようとする課題】上記従来技術では、ペ
ージフォールとが発生した場合、全てのプロセッサのア
ドレス変換バッファ全体が無効にされるために、各プロ
セッサは、その後のアドレス変換に当たっては、その都
度、共有メモリをアクセスする必要が生じる。

【０００７】このアクセスは、共有バスを介して行なわ
れるために、この共有バスの使用権に関して競合がより
多く発生し、アドレス変換が遅くなる。

【０００８】本発明は、上記の問題点を解決し、共有バ
ス結合の並列計算機システムにおいて、ページフォール
ト発生時にも高速な仮想記憶管理を実現することを目的
とする。

【０００９】

【問題を解決するための手段】上記目的を達成するため
に、本発明では、各プロセッサは、処理装置が発行する
メモリアクセス要求が指定される論理アドレスでアクセ
ス可能なキャッシュメモリを有し、該キャッシュメモリ
は、該アクセス要求で要求されたデータが該キャッシュ
メモリに保持されていないときには、共有バスにそのア
クセス要求で指定された論理アドレスを含む、データ転
送要求コマンドを送付する手段と、他のプロセッサから
その共有バスに送付されたデータ転送要求が指定する論
理アドレスのデータを含むデータブロックを当該プロセ
ッサのキャッシュメモリ内に保持されているか否かを検
出し、そのデータブロックが保持されている場合には、
そのデータブロックを該共有バスを介して要求元のプロ
セッサに転送する手段とを有し、共有メモリ制御回路
は、該共有バスを介して該複数のプロセッサのいずれか
から送付された論理アドレスを、共有メモリ内のアドレ
ス変換テーブルをアクセスして、対応する物理アドレス
に変換する手段と、該データ転送要求で指定された論理
アドレスのデータを含むデータブロックがいずれのプロ
セッサからも該バスに転送されないときに、その論理ア
ドレスに対して該変換手段で得られた物理アドレスに基
づいて、そのデータブロックを該共有メモリから読み出
し、そのデータブロックを要求元のプロセッサに該共有
バスを介して転送する手段とを有する。

【００１０】

【作用】各プロセッサにはアドレス変換手段を設けない
で、共有メモリ制御回路に複数のプロセッサに共通のア
ドレス変換手段を設けたので、共有バスには、アドレス
変換のための情報を各プロセッサから共有メモリ制御回
路へあるいはその反対方向に転送する必要がなく、共有
バスでのこれらの情報の転送時における競合が軽減さ
れ、アドレス変換自体が高速化される。

【００１１】

【実施例】図１は、本発明による並列計算機システムの
構成図である。このシステムは、プロセッサＰＥ０〜Ｐ
Ｅ２および共有メモリ１を共有バス２により接続されて
いるメモリ共有型マルチプロセッサである。共有メモリ
１は、共有メモリ制御回路１２を介して共有バス２に接
続され、Ｉ／Ｏインタフェース回路１３を介してディス
ク装置３に接続している。

【００１２】共有メモリ１には、各ページのデータ１
４、各ページデータに対するキー情報１５のほか、ペー
ジテーブル１１を有する。本実施例では４ワードで１ペ
ージが構成されるとする。各キー情報のうち、図にはペ
ージの置換に使用するチェインジビットＣと参照ビット
Ｒとを示している。このうち、Ｃビットは、対応するペ
ージの内容が更新されたか否かを示し、Ｒビットは、対
応するページが参照されたか否かを示すそれ自体公知の
情報である。

【００１３】ページテーブル１１には、各ページデータ
について、有効フラグ、論理アドレスと物理アドレス、
UIC（Unused Interval Counterー不参照間隔カウンタ
値）からなるページ情報を登録する。ここでUICは、対
応するページが最近に参照されてから現在までの系か時
間を示す、それ自体は公知の情報である。

【００１４】共有メモリ制御回路１２は、マイコン１２
１とこのマイコンを制御するマイクロプログラムを保持
する制御記憶１２２とを有する。このマイコン１２１
は、共有メモリ１のデータ１４あるいはキー情報１５を
アクセスするとともに、ページテーブル１１をアクセス
する。とくに、このマイコンはアドレス変換回路を実現
する。すなわち、このページテーブルを参照して論理ア
ドレスを対応する物理アドレスに変換するとともに、こ
のような変換で得られた論理アドレスと物理アドレスの
変換対を保持するアドレス変換バッファ（図示せず）を
内蔵している。その詳細は後に説明する。

【００１５】なお、共有メモリ制御回路１２は、例えば
１００万サイクル毎にページテーブルの有効ビットが１
の全エントリを調べ、Ｒビットが”０”のページについ
てUICに１だけ加算し、Ｒビットが”１”のページにつ
いてUICおよびＲビットを０にリセットする。

【００１６】各プロセッサにはＣＰＵ４０と、キャッシ
ュ４１、４２または４３を備える。各プロセッサにはア
ドレス変換回路を有しない。このため、ＣＰＵ４０から
のメモリアクセス用のアドレスとして、論理アドレスが
指定される。各キャッシュは、２ワードの大きさのキャ
ッシュブロックデータと、そのブロックデータに関する
有効フラグ、キャッシュ状態、論理アドレスからなるキ
ャッシュブロック情報を保持する。キャッシュ状態は、
そのブロックデータの有効フラグがオンの場合に、その
データがそのキャッシュに登録されてから更新されたか
否かを示す情報とそのデータが他のプロセッサのキャッ
シュにも保持されているか否か（すなわち、そのデータ
が他のプロセッサと共有されているか否か）を示す情報
とを保持する。

【００１７】以下、本実施例によるシステムの動作を説
明する。

【００１８】（１）データの読み出し （１ａ）いずれかのプロセッサ、例えば、ＰＥ１内のＣ
ＰＵ４０がメモリデータの読み出し要求を発生し、その
要求で指定される論理アドレスのデータを含むブロック
がそのプロセッサのキャッシュ例えば４１に存在すると
きには、そのブロックに対して要求されたデータを読み
出し、ＣＰＵ４０に転送して、その要求の処理を終了す
る。

【００１９】（１ｂ）しかし、その要求されたデータを
含むブロックがそのキャッシュに存在しないときには、
そのプロセッサは、共有バス２に、その要求で指定され
た論理アドレスを含む、データ転送要求コマンドを送付
する。

【００２０】このコマンドに応答して他のプロセッサ
は、各々、自己のキャッシュ内にこの論理アドレスのデ
ータを含むブロックが存在するか否かを判別し、あれ
ば、共有バス２を介してそのブロックを要求元のプロセ
ッサに転送する。この時、転送元のプロセッサは、その
キャッシュ内のそのデータブロックの状態を未変更、か
つ、共有状態に変更する。

【００２１】一方、要求元のプロセッサは、共有バス２
を介して転送されたブロックを自己のキャッシュに登録
する。このとき、このブロックのキャッシュ内の状態を
共有状態にする。さらに、そのブロック内の、要求され
た論理アドレスのデータをＣＰＵに転送する。

【００２２】（１ｃ）一方、いずれの他のプロセッサか
らもこのブロックがキャッシュ内になく、いずれのプロ
セッサからこのブロックの転送が行なえないときには、
共有メモリ制御回路１２は、この転送要求コマンドが要
求するブロックを共有メモリ１から要求元プロセッサに
転送する。

【００２３】この転送に先立ち、この転送要求コマンド
が指定する論理アドレスを対応する論理アドレスに変換
する。その方法は以下のとおりである。

【００２４】すなわち、この論理アドレスを物理アドレ
スに変換するに当たり、共有メモリ制御回路１２内に設
けたアドレス変換バッファ（図示せず）を参照し、この
論理アドレスと対応する物理アドレスの対がそこに登録
されていれば、その論理アドレスに対応する物理アドレ
スを読み出し、変換後のアドレスとして利用する。もし
その対がこのアドレス変換バッファに登録されていない
ときには、共有メモリのページテーブル１１をアクセス
して、その論理アドレスと対応する物理アドレスの対を
読み出し、その読み出した物理アドレスを変換後のアド
レスとして利用する。さらに、この読み出した対をアド
レス変換バッファに登録する。

【００２５】共有メモリ制御回路１２は、このようにし
て論理アドレスを物理アドレスに変換し、変換後の物理
アドレスでもって、その物理アドレスのデータを含むブ
ロックデータを共有メモリ１から読み出し、要求元のプ
ロセッサに転送する。さらに、共有メモリ１内の、この
ページに対する参照ビットＲを１（参照状態）にする。

【００２６】なお、この物理アドレスのデータを含むペ
ージが共有メモリに存在しないこと（ページフォール
ト）が生じうるが、その場合の処理は後に説明する。

【００２７】（２）データの書き込み （２ａ）いずれかのプロセッサ、例えば、ＰＥ１内のＣ
ＰＵ４０がメモリデータの書き込み要求を発生したと
き、その要求で指定される論理アドレスのデータを含む
ブロックがそのプロセッサのキャッシュ例えば４１に存
在する場合には、そのブロックに対してＣＰＵから転送
されたデータを書き込む。

【００２８】さらに、そのブロックの状態が共有状態で
あるときには、この論理アドレスを指定する無効化コマ
ンドを共有バス２に転送する。この時、他のプロセッサ
は、このコマンドに応答して、自己のキャッシュにこの
ブロックを保持しているか否かを判別し、このブロック
を保持していると判断した他のプロセッサは、そのキャ
ッシュのそのブロックを無効とする。

【００２９】一方、共有メモリ制御回路１２は、このコ
マンドに応答して、このブロックを含むページのＣビッ
トを１（書き換え済み）状態に変更する。

【００３０】書き込み要求を実行したプロセッサでは、
そのプロセッサ内のそのブロックを未変更、かつ、非共
有状態に変更する。

【００３１】（２ｂ）しかし、その書き込み要求された
データを含むブロックがその要求が発生したプロセッサ
内のキャッシュに存在しないときには、そのプロセッサ
は、共有バス２に、その要求で指定された論理アドレス
を含み、そのアドレスのデータの転送と、その転送後の
そのデータの無効化を要求するデータ転送要求コマンド
を送付する。

【００３２】すなわち、このコマンドに応答して他のプ
ロセッサは、上記（１ｂ）で説明したのと同じ動作をし
て、いずれかの他のプロセッサのキャッシュにそのデー
タを含むブロックが保持されているときには、そのプロ
セッサからそのブロックを要求元のプロセッサに転送す
るとともに、そのデータの転送後にそのデータを上記
（２ａ）で説明したののと同じように無効化する。

【００３３】一方、要求元のプロセッサは、この転送さ
れたブロックを自己のキャッシュに登録する。このと
き、このブロックのキャッシュ内の状態を、変更済、か
つ、非共有状態にする。

【００３４】（２ｃ）一方、いずれの他のプロセッサの
キャッシュ内にもこのデータ転送要求コマンドで要求さ
れたデータを含むブロックがない場合、共有メモリ制御
回路１２は、この転送要求コマンドが要求するブロック
を共有メモリ１から要求元プロセッサに転送する。その
方法は、上記（１ｃ）で述べた方法と同じである。

【００３５】しかる後に、要求元プロセッサは、書き込
み要求で指定されたデータをその転送されたブロックに
対して書き込みを行なう。ただし、上記（２ａ）の場合
と異なり、無効化コマンドの送出は行わない。

【００３６】なお、この（２ｃ）の場合にも、この物理
アドレスのデータを含むページが共有メモリに存在しな
いこと（ページフォールト）が生じうるが、その場合の
処理は後に説明する。

【００３７】（３）ページフォールト時の処理 図２は本発明による共有メモリ制御回路１２によるブロ
ック転送動作の詳細フローである。

【００３８】（３ａ）上記（１ｃ）あるいは（２ｃ）に
おいて、データ転送要求コマンドが共有バスに転送さ
れ、そのブロックがいずれの他のプロセッサ内のキャッ
シュにもない場合に、共有メモリ制御回路１２は、デー
タ転送要求が要求するブロックを転送するに当たり、ま
ず、その要求が指定する論理アドレスのブロックが、共
有メモリ１内の物理アドレスを割り当てられているかを
判断する（ステップｃ１）。

【００３９】このページフォールト判定ｃ１では、当該
論理アドレスに対応するデータが共有メモリに存在する
か否かをページテーブル１１の論理アドレスに対応する
有効フラグが、”１”（有効）であるかどうかにより判
定する。

【００４０】（３ｂ）そのブロックが物理アドレスを割
り当てられている、すなわち、ページフォールトでない
と判断したとき、既に述べたようにしてそのブロックを
転送する（ステップｃ５）。

【００４１】（３ｃ）しかし、その論理アドレスに物理
アドレスが割り当てられていないとき、すなわち、ペー
ジフォールトが発生したときには、共有メモリ制御回路
１２は、置き換えページ選択処理ｃ２において、置き換
えるページを一つ選択する。例えば、有効フラグが１の
ページでUICの値が最大のページを選択する。

【００４２】共有メモリ制御回路１２は、さらに、選択
したページに含まれる複数のブロックの各々の書き戻し
を要求するスワップアウト要求コマンドを共有バス２を
介して各プロセッサに転送する。各プロセッサは、この
コマンドに応答して、そのコマンドが指定するブロック
を自己のプロセッサ内のキャッシュに保持しているか否
かを判断し、保持している場合には、そのブロックが書
き換え済みであるか否かをそのブロックのキャッシュ状
態を表す情報により判断し、書き換え済みであれば、そ
のブロックを共有バス２を介して共有メモリ１に書き戻
す。

【００４３】共有メモリ制御回路１２は、このようにし
て書き戻されたブロックが一つでもあれば、その選択さ
れたページのＣビットを１に変更する。

【００４４】（３ｄ）共有メモリ制御回路１２は、処理
ｃ３を実行する。すなわち、この選択されたページのＣ
ビットが１となった場合には、このページをディスク装
置３にＩ／Ｏインタフェース回路１３を介してページア
ウトする。このＣビットの値が”０”の場合は、このペ
ージアウトは行なわない。

【００４５】その後、共有メモリ制御回路１２は、デー
タ転送要求で指定されたブロックに物理アドレスを割り
当て、ディスク装置３から共有メモリ１のその物理アド
レスの位置にそのブロックを転送する。

【００４６】（３ｅ）共有メモリ制御回路１２は、処理
ｃ４で、ページテーブルを更新する。すなわち、データ
転送要求コマンドが指定した論理アドレス、それに割り
当てた物理アドレスと、有効フラグを”１”（有効）に
セットする。置換されたページに関するエントリの有効
フラグは”０”（無効）にリセットする。

【００４７】併せて、共有メモリ制御回路１２は、その
内部に含まれたアドレス変換バッファ内の、置換された
ページに関するエントリを無効化し、かつ、データ転送
要求された論理アドレスとそのアドレスに割り当てられ
た物理アドレスとの対を登録する。

【００４８】（３ｆ）共有メモリ制御回路１２は、こう
してページインされたページのうち、データ転送要求コ
マンドが指定した論理アドレスのデータを含むブロック
を、すでに（１ｃ）あるいは（２ｃ）で説明したように
して、要求元プロセッサに転送する。

【００４９】以上のごとく、本実施例では、各プロセッ
サにより転送要求されたブロックが複数のプロセッサで
保持されていないために、そのブロックを共有メモリ１
から読み出すときに限って共有メモリ１内のＲビットの
書き換えを行なうことにより、このＲビットの書き換え
の頻度を少なくしている。

【００５０】同様に、本実施例では、各プロセッサによ
り発行されたデータ無効化コマンドでいずれかのプロセ
ッサ内のブロックの無効を要求されたとき、および、共
有メモリに書き換え済みのブロックを共有メモリに書き
戻し時に限って、それらのブロックを含むページに対す
る共有メモリ１内のＣビットの書き換えを行なうことに
より、このＣビットの書き換えの頻度を少なくしてい
る。

【００５１】以上から明らかなごとく、本実施例では、
論理アドレスから物理アドレスへの変換は、各プロセッ
サで行なわず、共有メモリ制御回路１２で行ない、アド
レス変換変換バッファも各プロセッサに個別に設けず、
共有メモリ制御回路１２に各プロセッサに共通に設け
る。

【００５２】この結果、各プロセッサと共有メモリ制御
回路との間では、共有メモリ内のページテーブルの内容
を転送する必要がなくなり、共有バスの競合によるアド
レス変換の遅延を防止できる。

【００５３】さらに、従来各プロセッサに設けていた場
合に生じる、ページフォールト発生時の、各プロセッサ
内のアドレス変換バッファのパージを行なう必要がな
く、従来生じていた、そのパージのための共有バスの使
用の競合に起因する遅延が減少する。

【００５４】結局、本実施例では、アドレス変換あるい
はそれに関連して共有バスを使用する必要がなくなる。

【００５５】なお、上記（１ｂ）あるいは（２ｂ）の場
合のように、いずれかのプロセッサからデータ転送要求
コマンドが発行され、要求されたデータを含むブロック
がいずれかのプロセッサから要求元に転送された場合に
おいても、共有メモリ制御回路１２に共有メモリ１の当
該ブロックを含むページが無効か否かを判断させること
により、仮想記憶制御の誤りを検出するように本実施例
を変形することも可能である。

【００５６】

【発明の効果】本発明によれば、各プロセッサにはアド
レス変換手段を設けないで、共有メモリ制御回路に複数
のプロセッサに共通のアドレス変換回路を設けたので、
共有バスには、アドレス変換のための情報を各プロセッ
サから共有メモリ制御回路へあるいはその反対方向に転
送する必要がなく、共有バスでのこれらの情報の転送時
おける競合が軽減され、アドレス変換自体が高速化され
る。

【図面の簡単な説明】

【図１】本発明による並列計算機システムの一実施例の
構成図である。

【図２】図１の装置の共有メモリ制御回路により実行さ
れる、ページフォールト発生時の制御のフローチャート
である。

【符号の説明】

１...共有メモリ、 ２..共有バス。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井門 徳安 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (2)

【特許請求の範囲】
1. 【請求項１】共有バスに結合された複数のプロセッサ
   と、該複数のプロセッサに共有される共有メモリと、該
   共有バスに接続され、該共有メモリへのアクセスを制御
   する共有メモリ制御回路とを有し、 各プロセッサは、 処理装置と、その処理装置が発行するメモリアクセス要
   求が指定される論理アドレスでアクセス可能なキャッシ
   ュメモリとを有し、 該キャッシュメモリは、 該アクセス要求で要求されたデータが該キャッシュメモ
   リに保持されていないときには、該共有バスにそのアク
   セス要求で指定された論理アドレスを含む、データ転送
   要求コマンドを送付する手段と、 他のプロセッサからその共有バスに送付されたデータ転
   送要求が指定する論理アドレスのデータを含むデータブ
   ロックを当該プロセッサのキャッシュメモリ内に保持さ
   れているか否かを検出し、そのデータブロックが保持さ
   れている場合には、そのデータブロックを該共有バスを
   介して要求元のプロセッサに転送する手段とを有し、 該共有メモリ制御回路は、 該共有バスを介して該複数のプロセッサのいずれかから
   送付された論理アドレスを、該共有メモリ内のアドレス
   変換テーブルをアクセスして、対応する物理アドレスに
   変換する手段と、 該データ転送要求で指定された論理アドレスのデータを
   含むデータブロックがいずれのプロセッサからも該バス
   に転送されないときに、その論理アドレスに対して該変
   換手段で得られた物理アドレスに基づいて、そのデータ
   ブロックを該共有メモリから読み出し、そのデータブロ
   ックを要求元のプロセッサに該共有バスを介して転送す
   る手段とを有する仮想記憶管理方式。
2. 【請求項２】該共有メモリ制御回路は、 該データ転送要求で指定された論理アドレスのデータを
   含むページデータが該共有メモリに記憶されていないと
   きに、該共有メモリに保持されたいずれかのページデー
   タを、ページアウトのために選択する手段と、 選択されたページデータに属する複数のブロックを該共
   有メモリに書き戻すことを該複数のプロセッサに要求す
   る手段とを有し、 各プロセッサのキャッシュメモリは、該書き戻し要求さ
   れたデータブロックをそのキャッシュメモリに保持し、
   かつ、そのデータブロックが書き換え済みであるかを判
   別し、該キャッシュメモリに保持された書き換え済みの
   ブロックを該共有バスを介して該共有メモリに書き戻す
   手段を有し、 該共有メモリ制御回路は、 該複数のプロセッサから書き換え済みのブロックが少な
   くとも一つ該共有メモリに書き戻されたときに、該選択
   されたページデータを該共有メモリ制御回路に接続され
   た補助記憶装置にページアウトする手段と、 該データ転送要求で指定された論理アドレスのデータを
   含むページデータを該補助記憶装置から該共有メモリに
   ページインする手段と、 ページインされたページデータのうち、その論理アドレ
   スで指定されたデータを含むブロックを、該要求元のプ
   ロセッサに該共有バスを介して転送する手段とを有する
   請求項１記載の仮想記憶管理方式。