JPH09200239A - リング接続を用いたデータ転送方法及び情報処理システム - Google Patents

Abstract

(57)【要約】 【課題】長距離のプロセッサ間の接続方法であったリン
グ接続をプロセッサ間の高速接続に適用する際の隘路と
なっていたレイテンシ、スループット、運用機能を改善
し、プロセッサ間を高速に接続する。 【解決手段】複数の信号線からなるリングでプロセッサ
等のモジュールを複数接続し、送信権を獲得するための
フラグ用の独立する信号線を設け、前記フラグをセット
して送信権を要求し、受信したフラグがセットされてい
ないことから前記送信権を先行して獲得したことを後か
ら確認することで受信及び送信動作と前記リングの転送
動作を並行して行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ、ワークステーション、サーバ等の情報処理装置
に用いられるデータ転送方法及びそれを用いた情報処理
システムに関し、特に複数のプロセッサ間のデータ転送
を高速に行うのに好適なリング接続を用いたデータ転送
方法及びそれを用いた情報処理システムに関する。

【０００２】

【従来の技術】パーソナルコンピュータ等の情報処理装
置が普及し、様々な分野で使用されるようになるにつれ
て、情報処理装置の処理性能の向上が要求されている。
性能向上の手段として、情報処理装置を複数のプロセッ
サから構成するアプローチがある。この構成の場合、複
数のプロセッサ間のデータ転送を高速に行うことが性能
上の重要な鍵となる。プロセッサ間の高速接続手段とし
て、リング接続方式と現在使用されている接続方式であ
るバス、スイッチとの比較を図１に示す。

【０００３】プロセッサ間データ転送を高速に行うため
のプロセッサ間の接続手段として、バスが最も広く用い
られている。バスは外部に付加回路を使用せず接続で
き、拡張性に富むとともに、バス制御ＬＳＩ、コネクタ
などに必要なピンの数が少なく低価格である。また、す
べてのプロセッサは、バスの内容を見ることができるた
め密結合のプロセッサ間接続の全報知の通信（スヌー
プ）に適する。

【０００４】バス接続の場合、性能、接続台数を決める
主要な要因である通信容量は、動作周波数に依存する。
プロセッサバスでは直近のプロセッサと最遠のプロセッ
サからの信号伝搬の時間差を同一クロック内に納める必
要があり、動作周波数にはバスの長さによる限界があ
る。クロック、ＬＳＩ、伝送線のスキューの設計値は、
動作周波数に直接影響を与える。送信元と受信先にすべ
ての組み合わせがあるため、スキュー補正に適当な手段
がない。プロセッサへの引出線からの信号の両方向の伝
搬、引出線の通過により伝搬特性の劣化、すべてのプロ
セッサへの駆動能力が必要なことによる動作周波数の限
界もある。バスの長さを短くして動作周波数を向上させ
ることも行われているが、マイクロプロセッサ・システ
ムの実装形態に制約を与えてしまう。プロセッサのクロ
ックとデータを一緒に送信すれば動作周波数は向上でき
るが、プロセッサバスで頻発するプロセッサ間の切り替
え時間は増加する。接続できるプロセッサ数は電気的に
限界がある。また、バスの送信権を獲得するための遅れ
は別の性能限界を与える。さらに、プロセッサ間の転送
の切り替えが頻繁で、プロセッサからの応答が一定しな
いプロセッサ間の高性能の接続には課題が残されてい
る。

【０００５】プロセッサ間をスイッチで接続する場合、
プロセッサとスイッチとの間で１方向に転送し、１対１
の通信であることから動作周波数を向上できる。全体の
通信容量は方式的には限界がなく、接続台数の制約はな
い。一方で、スイッチは外部に集中させる必要があるた
め接続はスター状になり、総配線量が多く、スイッチ周
辺の配線が込み合う。また、全報知の通信は制御を複雑
にして性能を劣化させる。スイッチを経由する遅延時間
も性能を制約する。

【０００６】プロセッサ間の接続には、リングも用いら
れる。リング接続は、信号を一方向に１対１に転送すれ
ばよいので、バスより通信容量を大きくとれる。次のプ
ロセッサまでの伝送線の長さが短く、クロック、ＬＳ
Ｉ、伝送線のスキューの補正を可能にし、信号の引出線
が不要であり、次のプロセッサだけを駆動すればよいの
で動作周波数の制約を軽減できる可能性がある。また、
バスのような接続の長さの制約は少なく接続台数の電気
的制約もない。バスと同じく付加回路は必要なく、バス
と同様に接続の配線量は少ない。さらに、すべてのプロ
セッサはリングの内容を見ることができるため、密結合
のプロセッサ間接続の全報知の通信（スヌープ）にも適
する。

【０００７】一方で、リング接続の場合、バスに対して
２倍のピン数を必要とする。バスでは１クロックですべ
てのプロセッサに送信できるが、リングではプロセッサ
を経由する時間遅れがスキュー補正、クロック同期、送
信権の制御等のため大きく、特に密結合のプロセッサ間
接続には課題がある。

【０００８】プロセッサ間に応用したリングとして、例
えば、ＩＥＥＥ Ｓｔａｎｄａｒｄ１５９６−１９９
２，“Ｓｃａｌａｂｌｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅ
ｒｆａｃｅ（ＳＣＩ），”１９９２、あるいは、Ｄ．Ｃ
ｅｃｃｈｉ，Ｍ．Ｄｉｎａ，Ｃ．Ｐｒｅｕｓｓ，“Ａ
１ＧＢ／Ｓ ＳＣＩ Ｌｉｎｋ ｉｎ ０．８μＭＢｉ
ＣＭＯＳ，”１９９５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ
Ｃｏｎｆｅｒｅｎｃｅ，Ｓａｎ Ｆｒａｎｃｉｓｃ
ｏ，ＣＡ，Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ
Ｐａｐｅｒｓ．Ｐａｐｅｒ ２０．２，Ｆｅｂｒａｒ
ｙ，１９９５，ｐｐ．３２６−３２７．に記載のものが
ある。

【０００９】上記文献に記載されている代表的なプロセ
ッサ間接続であるＳＣＩは、上述の課題を十分には解決
していない。

【００１０】プロセッサ間接続手段としてリング接続を
用いた場合のリングのインターフェース部の構成を図２
に示す。

【００１１】図２において、バッファ８０１から受信し
て、フラグ及びアドレスを判定して受信ＦＩＦＯ８０
７、或いは中継用ＦＩＦＯ８０６に送る処理をする。受
信クロックで動作する範囲８０２とプロセッサ等の当該
モジュールのクロックは違うものを使用するので速度差
吸収用のバッファである受信ＦＩＦＯ８０７、及び中継
用ＦＩＦＯ８０６が必要である。受信クロックと当該モ
ジュールのクロックは当然位相も異なるのでバッファ８
０１と送受処理８０５の間にクロックの乗り換えが必要
である。送信時には転送ラッチ８０３を経由して送信す
る。なお、時々の同期パターンによってバッファ８０１
に入る前に一括してスキュー補正される。送達確認のパ
ケットは、自動的に生成されて送信される。リングは１
つであり、すべての情報交換は同一のパケット形式によ
っている。スヌープなど全報知の機能を用いないでキャ
ッシュコヒーレンスを行う。リングの障害検出、切り離
し、復旧は、通常のパケットの転送パスを通じて行う。

【００１２】

【発明が解決しようとする課題】従来技術に述べた通
り、プロセッサバスに適合するためにはレイテンシ、ス
ループット、運用性を改善し、またプロセッサバス固有
の機能を効率よく実現する必要がある。そして、リング
接続の場合のプロセッサを経由するための時間遅れを改
善し、比較的近距離の接続を前提にするプロセッサ・バ
スの性能限界を超えることを可能とする必要がある。

【００１３】本発明の目的は、プロセッサを経由するた
めのレイテンシを短縮することを可能とするリング接続
を用いたデータ転送方法及び情報処理システムを提供す
ることにある。

【００１４】本発明の他の目的は、リングが通常動作し
なくなる切り替え時にもリングよりモジュールに安定し
たクロックを供給することを可能とするリング接続を用
いた情報処理システムを提供することにある。

【００１５】本発明の他の目的は、情報処理システムの
スループットを向上させるリング接続を用いたデータ転
送方法及び情報処理システムを提供することにある。

【００１６】本発明の他の目的は、リングの構成変更に
伴うシステム停止時間を短縮するリング接続を用いたデ
ータ転送方法及び情報処理システムを提供することにあ
る。

【００１７】

【課題を解決するための手段】

［プロセッサバスへの適用］上記目的を達成するため、
本発明のリング接続を用いたデータ転送方法は、複数の
信号線からなるリングでプロセッサ等のモジュールを複
数接続した情報処理システムにおいて、送信権を獲得す
るためのフラグ用の独立する信号線を設け、前記フラグ
をセットして送信権を要求し、受信したフラグがセット
されていないことから前記送信権を先行して獲得したこ
とを後から確認することで受信及び送信動作と前記リン
グの転送動作を並行して行う。

【００１８】別の観点からは、本発明のリング接続を用
いたデータ転送方法は、複数の信号線からなるリングで
プロセッサ等のモジュールを複数接続した情報処理シス
テムにおいて、同一クロックを前記リングに配信し、転
送及び送受信に使用する。

【００１９】さらに別の観点からは、本発明のリング接
続を用いたデータ転送方法は、複数の信号線からなるリ
ングでプロセッサ等のモジュールを複数接続した情報処
理システムにおいて、位相調整回路によりクロックの位
相を受信する信号に合わせ、クロックの乗り換えの遅延
を不要にするためクロックを転送制御、受信制御、送信
制御に同一位相で使用し、前記複数のモジュールのうち
の少なくとも一つのモジュールは回送モードで前記リン
グ１周の遅延を前記クロックの整数倍のサイクルに合わ
せる。

【００２０】さらに別の観点からは、本発明のリング接
続を用いたデータ転送方法は、複数の信号線からなるリ
ングでプロセッサ等のモジュールを複数接続した情報処
理システムにおいて、複数のモジュールのうちの各モジ
ュールはラッチせずに次のモジュールに転送し、ラッチ
前の位相に合わせて送信する。

【００２１】さらに別の観点からは、本発明のリング接
続を用いた情報処理システムは、複数の信号線からなる
リングでプロセッサ等のモジュールを複数接続し、送信
権を獲得するためのフラグ用の独立する信号線を設け、
前記フラグをセットして送信権を要求し、受信したフラ
グがセットされていないことから前記送信権を先行して
獲得したことを後から確認する手段を有する。

【００２２】さらに別の観点からは、本発明のリング接
続を用いた情報処理システムは、複数の信号線からなる
リングでプロセッサ等のモジュールを複数接続し、クロ
ックの位相を受信する信号に合わせる位相調整回路と、
転送制御、受信制御、送信制御に同一位相で使用するク
ロックを供給する手段と、前記リング１周の遅延を前記
クロックの整数倍のサイクルに合わせる少なくとも一つ
の回送モードのモジュールを有する。

【００２３】さらに別の観点からは、本発明のリング接
続を用いた情報処理システムは、複数の信号線からなる
リングでプロセッサ等のモジュールを複数接続し、複数
のモジュールのうちの各モジュールは、ラッチせずに複
数のモジュールのうちの次のモジュールに転送する手段
と、ラッチ前の位相に合わせて送信する手段とを有す
る。

【００２４】さらに別の観点からは、本発明のリング接
続を用いた情報処理システムは、複数の信号線からなる
リングでプロセッサ等のモジュールを複数接続し、複数
のモジュールのうちの各モジュールは、ラッチせずに前
記複数のモジュールのうちの次のモジュールに転送する
手段と、ラッチ前の位相に合わせて送信する手段とを有
する。

【００２５】さらに別の観点からは、本発明のリング接
続を用いた情報処理システムは、複数の信号線からなる
リングでプロセッサ等のモジュールを複数接続し、パケ
ットを連続的に転送するブロック・パケットの送信権を
獲得するための信号線と、送信権を獲得した２サイクル
後からブロック転送の間通常のパケットの送信要求を抑
止させことを通知する信号線と、ブロックパケットの送
信権の獲得後の４サイクル後からブロックパケットの送
信を許可する手段とを有する。

【００２６】

【発明の実施の形態】以下、本発明の実施例を図面を参
照して詳細に説明する。

【００２７】最初に、本発明の基本的な概念を説明す
る。

【００２８】［リングのプロセッサバスへの適用］本発
明においては、高速の遠距離の伝送手段として利用され
ているリングをその高速性を活かしてバスの性能限界を
超えるためにプロセッサバスに適用する。プロセッサバ
スの最も重要な性能要素は遠距離の伝送では余り重要で
ないレイテンシの短縮である。一方、リングは転送の容
量を共有するので本質的にスループットのネックとな
る。また、遠距離の伝送では伝送系の障害回復が重要
で、伝送系は独立している。それに対して、プロセッサ
バスでは接続モジュール数が少ない近距離の伝送であ
り、クロック、電源、冷却、筺体を共有する等から伝送
系の障害は少ない。したがって、モジュールの障害検
出、切り離し、構成変更等リングを含むシステムの一体
運用が重要であり、レイテンシ、スループット、運用性
を改善してリングをプロセッサバスに適用する。

【００２９】［１サイクル１パケット転送］１サイクル
１パケット転送によりレイテンシの３サイクル短縮を図
る。現状のリングは遠距離の伝送を前提にしており、転
送のビット幅は距離の制約から１ビットから１６ビット
程度である。図３に示すように転送のビット幅が１６ビ
ットで１パケットが６４ビットならば４サイクルにな
る。本発明のリングは近距離の伝送を前提にし、１サイ
クルで１パケットを１度に転送する方式をとる。図４に
示すように１パケットを６４ビットにすると転送のビッ
ト幅は６４ビットで１サイクルになる。転送の方式に柔
軟性を持たせるため、後述するようにブロックパケッ
ト、複数サイクルのパケットの転送も可能に拡張してい
る。

【００３０】［送信権の先行獲得］送信権の先行獲得に
よりレイテンシの１サイクル短縮を図る。現状のリング
は図５に示すようにフラグを読みその内容に従い送信権
を獲得してフラグをセットして次のモジュールにフラグ
を送信する。本発明のリングは、送信したいならばフラ
グをセットして図６に示す送信、論理和、転送ラッチを
経由して次のモジュールにフラグを送信する。送信権を
先行して獲得したことを受信したフラグがセットされて
いないことで後で確認する。

【００３１】送信したモジュールはリング１周の時に合
わせて、受信したフラグの転送を送信権を放棄との論理
積により抑止してフラグをリセットする。各モジュール
は図７に示すようにすべての情報を受け取りパケット内
のヘッダを解読して自分宛のパケットだけを選択して受
信し、並行してすべての情報を転送する。この方式によ
り、読み、処理、書くという処理とパケットの転送を独
立、並行させられる。パケットの送信は、あらかじめ送
信権を獲得してその２サイクル後に行う。パケットを次
のモジュールに単に転送すれば良いのでレイテンシを改
善できる。

【００３２】［同一クロック配信］同一クロック配信に
よりレイテンシの３−４サイクルの短縮を図る。現状の
リングは、各モジュールが遠距離にあることを前提にし
ているので独立するクロックを使用しており、図８に示
すようにクロックの速度差の吸収のためのバッファがい
る。本発明では、制御リングによりクロックを配信する
ことにより速度差の吸収バッファを不要にする。

【００３３】［受信位相での処理］受信位相で処理する
ことによりレイテンシの２分の１サイクル短縮を図る。
現状のリングは、クロックの位相がモジュール毎に独立
しているので、速度差吸収バッファに加え、図９に示す
ようにモジュール内で使用する時にクロックの乗り換え
の遅延がいる。本発明では、図１０に示すようにクロッ
ク位相調整回路により受信するタイミングを合わせ、こ
れを処理、送信に使用するのでクロックの乗り換えが不
要になる。

【００３４】このようにすることにより、動作周波数は
クロックのスキューに影響されなくなるので向上する。
クロックの位相は、モジュールを経由する毎に遅延量に
応じて進む。リング１周して再送信するときにはどのモ
ジュールにおいてもクロックの整数倍になる必要があ
る。図１１に示すように、リングに最低一つのモジュー
ルは、回送モードを設けてリングの１周のサイクル数を
クロックの整数倍（ここでは６サイクル）にするため、
クロックに同期して送信する。本発明では、伝送系の変
動があまりないことを前提にしており、動作中にテスト
パケットを送信して位相の調整を動的に行うのではな
く、エラー発生時のみ再調整する方法を採用する。

【００３５】［位相変化時のクロックの切り替え］位相
変化時のクロックの切り替えによりクロックを連続供給
する。モジュールの挿抜時、イニシャライズ時には、ク
ロックの波形変動による影響を避け、連続的に動作を継
続するため、ＰＬＬを経由してクロックを配信して、リ
ング制御に関係する部分以外のモジュールの制御に用い
モジュールの動作を保証する。図１２に本発明のクロッ
ク系統を示す。

【００３６】［ラッチせず中継する方式］ラッチせず中
継することによりレイテンシを２分の１サイクル短縮す
る。現状のリングでは図１３に示すようにラッチを経由
して受信パケットを転送する。本発明のリングでも、波
形整形のため転送ラッチを経由して受信パケットを転送
する。本発明では、図１４に示すように、波形整形の必
要がない場合は転送ラッチを経由せずに中継できる。ラ
ッチは受信の立ち上がりの２分の１のタイミングで行う
のでこれにより２分の１サイクルのレイテンシの短縮が
できる。

【００３７】送信パケットの位相は、転送ラッチで位相
の調整ができないので、受信の立ち上がりに位相を合わ
せるためのラッチを経由して送信する。本発明の各モジ
ュールは、ラッチせず中継する中継モード、波形整形の
ため数モジュールに１つ必要になる転送ラッチを経由し
て中継する転送モード、リングに最低１つ必要なクロッ
クに同期させる回送ラッチを経由する回送モードのいず
れかのモードで動作する。図１５にパケットＡ、Ｂ、Ｃ
を転送する例を示す。

【００３８】［受信線毎のスキュー補正］受信線毎のス
キュー補正により動作周波数を向上させる。現状のリン
グは、スキューを一括して補正してラッチしているので
動作周波数はスキュー量が直接的に影響する。本発明で
は、簡単な回路により図１６に示すように信号線毎にス
キュー補正するので動作周波数は補正精度で決まる所ま
で向上できる。

【００３９】［信号線を用いた送達確認］信号線を用い
た送達確認によりスループットを向上させる。現状のリ
ングは、送達確認を応答パケットによっている。本発明
のリングは、応答パケットを送信する代わりに送達確認
のために送達確認とその報告を信号線で行うのでスルー
プットを改善できる。送達確認をパケット毎に行う方式
を取れば、スループットは２分の１になる。送信モジュ
ールは、送信権獲得時に到達確認の報告と通知の２つの
信号線の送信権を獲得する。受信モジュールは、パケッ
トの受信の２サイクル後に送達確認を信号線で報告す
る。全報知についても送達確認を行うために受信できた
時には何も応答しない応答方式を取るので、信号線１本
で送達確認ができる。

【００４０】［短いデータ幅のリングの併設］短いデー
タ幅のリングを併設することによりスループットを向上
させる。現状のリングは、遠距離の転送を目的としてき
たため、用途別に短いデータ幅のリングを併設するとい
う概念はない。短いパケットもリングを共用していた。
プロセッサバスに適用するとデータ転送以外の短いパケ
ットが多量に必要になる場合がある。データ転送と共用
するとスループット、転送効率が下がる。本発明のリン
グは、信号１本で送信権の制御ができるのでブロックパ
ケットの転送を行うブロックパケットリング、１サイク
ルで２つのパケットを並列転送するための選択リング、
キャッシュのディレクトリの読み出すためのディレクト
リ・リング等短いデータ幅のパケットを持つリングを容
易に併設できる。データ転送のためのリングを基本リン
グと呼ぶ。図１７にリングの種類を示す。基本リングと
併設リングはクロックを共通にすることにより、情報の
交換、相互の動作の同期を行う。制御リングも共用する
のでリング併設による複雑性を除去する。

【００４１】［ブロックパケットリング］ブロックパケ
ットリングによりスループットを向上させる。ブロック
パケットリングは、パケットを連続的に転送して各モジ
ュールの制御を簡単にし、またスループットを向上させ
るためにある。現状のリングでは、パケットのヘッダに
連続転送のフラグに相当するものがある。この方式を取
ると受信パケットを読み、処理、書くことで送信権を獲
得し、通知することになり本方式で述べたレイテンシの
短縮ができない。本リングの特徴を活かして、基本リン
グを拡張してブロックパケットを転送できる。

【００４２】基本リングは、１サイクルに１パケットを
転送している。まず、パケットの連続転送するモジュー
ルを１つ選択する必要がある。選択のための送信権を獲
得する機能を設ける。パケットの連続転送中は１サイク
ルに１パケットの転送を抑止しなければならない。これ
には、あらかじめパケットの連続送信を各モジュールに
通知すればよい。各モジュールは、予約を通知された２
サイクル後からパケットの送信要求を抑止する。かくし
て、送信モジュールは連続送信を通知した２サイクル後
からパケットの送信要求を行うことができる。このた
め、図１８に示すようにパケットの連続転送の送信権獲
得のための信号である予約線、及び予約通知線の２本の
信号からなるブロックパケットリングを併設すればパケ
ットの連続転送を実現できる。

【００４３】［選択リング］選択リングによりスループ
ットを向上させる。基本リングは、送信権をリング１周
の間獲得する。送信モジュールから受信モジュールまで
パケットを転送する場合、受信モジュールから送信モジ
ュールまで同時にパケットを転送できる。図１９に示す
ようにモジュール１（１０４）からモジュール２（１０
５）の転送１０６とモジュール３（１０１）とモジュー
ル０（１０２）との間の転送１０３は同時にできる。こ
れが実現できれば、スループットを最大２倍に向上する
ことができる。リングにおいてこれを実現した例は見あ
たらない。

【００４４】従来の一般的な技術として、各モジュール
から並列的に要求を集め選択する集中的アービトレーシ
ョンの方式が知られる。この部分は、スイッチと同じト
ポロジーになる。集中的アービトレーション方式は共通
部分が必要でリングの拡張性を減ずる。集中的アービト
レーションをそのままリングで実現すると各モジュール
からのパケット数は送信要求と同じになり、リングのス
ループットの大半を費やす。しかも送信要求を各モジュ
ールが同時に行うには接続モジュール数倍の信号線が必
要になる。

【００４５】本リングの特性を活かして集中的アービト
レーションをリングで実現することができる。ブロック
パケットの転送には数サイクル掛かるので、送信要求を
モジュール全体に対して１サイクルに１つ行う能力があ
ればバランスが取れる。これにより送信要求を送るため
の送信権を獲得する機構を全体で１つ設ければ良いの
で、信号線はモジュール１つ分で良い。送信権を獲得し
たモジュールは、送信要求をアドレス０のモジュールに
送る。アドレス０のモジュールは、各モジュールからの
送信要求を同時に最大２つ選択して送信権を通知する。
送信要求は、要求アドレス、宛先アドレスからなり、要
求アドレスで送信権を通知する。信号を追加すれば、ブ
ロックパケットの要求、ビジーの報告も行うことができ
る。基本リングの送達確認の信号線２本に加え並列転送
のため、もう１組を追加する。

【００４６】［並列送信要求選択方式］従来の集中的ア
ービトレーションでは１サイクルに１つの送信要求を選
択している。本リングでは、１サイクルに２つの送信要
求を選択すること、要求アドレス、宛先アドレスから転
送可能性を判定することなど、従来技術にない処理能力
が要求される。本発明のリングは、図２０に示すよう
に、送信要求をモジュール毎にバッファし１つ目の送信
権を転送可能なブロックを並列的に判定してその中から
最初のものを選択し、２つ目の送信権を最初の送信権と
並行転送可能なブロックを並列的に判定してその中から
最初のものを選択する高速論理方式である並列送信要求
選択方式を用いている。

【００４７】［ディレクトリ・リング］各モジュール毎
に、それに属するキャッシュにあるラインの状態のみを
格納するディレクトリを持ち、１カ所に集中してディレ
クトリを持たない分散方式がある。この分散方式では、
各モジュールに属するディレクトリよりキャッシュの状
態を集約し、自分のモジュールに属するディレクトリの
状態を決め、メモリモジュールに通知する必要がある。
この様な場合の従来のキャッシュの状態制御は、状態の
報告を各モジュールから受け、集約してメモリモジュー
ルに配信する集中方式を用いている。この部分はトポロ
ジー的にはスイッチと同じになる。集中的キャッシュ状
態制御には共通部分が必要でリングの拡張性を減ずる。
キャッシュの状態を調べる時間は一定でなく、キャッシ
ュの状態の報告は、全モジュールから受け取ったことを
確認する必要がある。従来の方式をそのままリングに応
用すると全モジュールからキャッシュの状態をパケット
で報告することになる。これでは、送信要求に対してそ
のモジュール数倍のパケットが必要になりリングのスル
ープットの大半を消費する。

【００４８】ディレクトリ・リングを用いることによ
り、本発明のリングの特性を活かしてキャッシュの状態
制御をディレクトリ・リングで実現できる。報告を求め
るモジュールから全モジュールについて報告を求めるこ
とができればパケット数は減らせる可能性がある。報告
を求める間隔を報告の揃う時期に設定すれば高々１−２
パケットで全モジュールからのキャッシュの状態の報告
を受け取れる。パケットに各モジュール毎に状態を報告
する領域を設けると、モジュール数倍の信号線を要す
る。キャッシュの状態の種類別に情報線を定めて集約で
きれば信号線が少なくて良いが、どのモジュールが報告
したかの情報は失われる。

【００４９】必要な機能は、全モジュールが報告したこ
とを確認することである。この確認のためにキャッシュ
の状態を報告していないことを示す信号線を１本設け
る。この信号線でキャッシュの状態報告できないことを
知らせる。この信号線が有意でなければ全モジュールが
報告したことになる。かくして、図２１に示すようにキ
ャッシュの状態報告を要求するための送信権の獲得、状
態報告の要求、キャッシュの状態報告、未確定の報告、
集約したキャッシュの状態の通知、確定の通知に必要な
信号線を設けることによりリングで実現できる。未確定
報告と同時に、その種類別に未確定原因を報告すれば、
要求モジュールは効率よい再要求のタイミングを選択で
きる。

【００５０】［階層接続］階層接続によりスループット
を向上させる。ローカルメモリのキャッシュコヒーレン
スを行うリングとして従来技術として前述したＳＣＩが
ある。ＳＣＩにおいては、キャッシュコヒーレンスを全
報知しないことを前提にパケットの問い合わせ、応答を
階層的に行うためにパケット数が多くなり、確定までの
時間が掛かる。また、ローカルメモリに対する完全なデ
ィレクトリを必要とするために容量も大きい。

【００５１】本発明のリングは、ローカル・アクセスに
は性能の劣化がなく、リモート・アクセスには単純なデ
ィレクトリを設けて必要なモジュールのみにアクセスす
る手段を提供する。ディレクトリにエントリがないとき
にはリングの全報知の高性能を活かして全報知する方式
を採用してレイテンシの改善と簡素化を行う。リングに
属するローカルメモリのラインがリングの外で変更され
ているかが分かればリングの外にアクセスするかを決め
られる。リングに属するローカルメモリのラインがリン
グの外にコピーがあればコヒーレンスの動作をするかを
決められる。リングに属するローカルメモリの全ライン
に対して他のリングに変更有り、コピー有りの２ビット
を持つディレクトリ（ローカル・ディレクトリ）を設け
れば容量を余り必要とせずにローカルアクセスについて
他のリングをアクセスすることはなく性能劣化はない。
変更或いはコピーのあるリングを特定する情報をディレ
クトリに追加すると必要な他のリングにのみアクセスす
れば良いので性能は上がるがディレクトリの容量は大き
くなる。ローカルメモリの全ラインに対してでなく最新
のアクセスのラインを登録するディレクトリ（リモート
・ディレクトリ）を設け、各リング或いは各リングのグ
ループでの変更、コピーの状態のベクトルを持てば容量
を小さくできる。変更のアクセスは排他制御のために頻
発するのでディレクトリに優先して維持する。リモート
・ディレクトリにエントリがあれば該当するリングだけ
にアクセスする。リモート・ディレクトリにエントリが
なければ、全リングにアクセスする。図２２に示す様に
いずれの場合も、アクセスのパケットと兼用でき、１回
のパケットの転送でコヒーレンスを取れるので時間は短
い。キャッシュコヒーレンスの時間を短縮することでレ
イテンシ、全報知パケットを削減することでスループッ
トをＳＭＰ並に改善することができる。ローカルメモリ
のアクセスの抑止は、ローカルメモリにもディレクトリ
を持つか、ローカルメモリを直接制御すれば、階層接続
機構を通じて知らせる必要はない。その方法がないとき
には、ディレクトリが分散しているときの手段であるデ
ィレクトリリングを設ける必要がある。

【００５２】［ディレクトリのローカルメモリへの格
納］ディレクトリのローカルメモリへの格納により処理
効率を向上させる。ローカル・ディレクトリの容量が大
きくなるときには、ローカルメモリにローカル・ディレ
クトリを置きその写しを階層接続機構に持つ。階層接続
機構が受信不能である時にディレクトリのアクセスのた
めにローカルメモリをアクセスするとその応答を受け取
れない。このデッドロック状態を解決するために、従来
技術である論理チャネル、或いはサブチャネルの概念を
一部導入する。リングのアドレスを物理チャネル或いは
チャネルと見立てて、リングの本来のアクセスとディレ
クトリのアクセスをそれぞれ論理チャネル０、１と解釈
する。この場合に必要になるのは、どの論理チャネルが
パケットを受け取れるかであるので論理チャネルのステ
ータスに相当するものとして受信不能の報告時に論理チ
ャネル０、１を指定する応答信号を１本追加する。各モ
ジュールは、フロー制御、ビジー状態をモジュールアド
レスと論理チャネル０、１で管理する。論理チャネルの
拡張、ステータスの追加には応答信号の本数を増やす。

【００５３】［制御リング］現状のリングでは、モジュ
ールの障害検出、特定、切り離しはリングの通常動作を
利用して行うので、そのための論理量が多い。障害モジ
ュールの特定、切り離しのためには図２３に示すように
逆方向に回る２つのリングが必要になる。現状のリング
は伝送系の障害が支配的である遠距離の伝送を前提とす
るため、この２つのリングは折り返し機能を実現する冗
長系として効果がある。しかし、冗長系にするとレイテ
ンシは、２倍になりリングの構成要素は２倍になる。プ
ロセッサバスではモジュールの障害に起因するリングの
障害が支配的で、伝送系に起因する障害はむしろ例外的
である。プロセッサバスでは、リングに接続するモジュ
ールの障害に起因するリングの障害検出、特定、切り離
し等のシステム運用が重要である。

【００５４】本発明のリングは、障害検出、特定、切り
離しの論理量を小さくして、構成変更、障害検出、特
定、切り離しを独立して行うリング制御ユニットを設
け、低速の制御データ線と制御クロックの２本の信号線
とクロックからなる制御リングで各モジュールに接続す
る。リング制御ユニットからモジュールには転送によら
ずに配信する方式として、制御リングのモジュールの構
成変更、障害に伴う各モジュールへの影響を軽減する。

【００５５】図２４に示すように、データ転送のための
１つのリングと３本の信号線からなる制御リングによ
り、冗長リングを設けるよりも低コストで運用性の高い
リングを構成できる。制御リングは直接的な制御をする
ので、各モジュールでの運用機能は不要になる。モジュ
ールは障害を直接に報告できるので障害の検出の論理量
が少ない。切り離しは障害モジュールにリングの中継を
指示するだけなので切り離しのための論理量は少ない。
制御リングにより、クロックの位相調整、受信線の遅延
量をイニシャライズするので、各モジュールのイニシャ
ライズ機能は簡素化できる。切り離しできない障害は、
ケーブル、コネクタ、中継ゲート、ドライバ、レシーバ
に限定される。モジュールの挿抜に伴うリングの切断、
復旧をモジュールから制御リングを経由して行うので時
間を短縮できる。モジュールの内部には、イニシャライ
ズ中もクロックを供給してイニシャライズ終了後位相調
整されたクロックに連続的に切り替えるので各モジュー
ルは連続動作できる。

【００５６】［構成変更の簡便性］従来のリングにおい
て、中継部分を含む接続装置の追加、除去はケーブルの
接続変更を要する。プロセッサリングにおいては、装置
の追加、除去に相当するモジュールの挿抜を行うには、
短絡スイッチとの入れ替えになる。その際、モジュール
の引き抜きと短絡スイッチの挿入と２つの動作が必要で
ある。本発明では、冗長リングを用いずに構成変更の簡
便性を上げる。モジュールの挿抜に伴い、その力を使用
して連動して挿抜する短絡スイッチを考案してプロセッ
サバスへの適用に伴う構成変更の時間の短縮と簡便性を
実現した。

【００５７】モジュールの挿抜を動作中に前触れなく行
うとパケットの送信と応答など一連の動作が中止されシ
ステムは異常に停止する。一般には、モジュールの挿抜
を行う前にオペレータによりシステムを停止し、挿抜後
にシステムを立ち上げるのでシステムの停止時間が長
い。そこで、モジュールの挿入を事前に検知するセンサ
を設け、次のモジュールにセンサを接続して制御リング
経由で通知する機能を設ける。また、モジュールの引き
抜きを事前に検知するセンサを設置し制御リング経由で
通知する機能を設ける事前に挿抜するモジュールだけを
切り離して、その後は必要最小限の時間だけ自動的にシ
ステムを停止すれば良いので、業務処理の停止時間を短
縮することができる。

【００５８】［論理的順序づけ、双方向リング］本発明
のリングは、メモリを用いるセマフォアのための論理的
順序づけを保証できる。また、双方向リングを使えば、
スループットを約２倍に向上できる。

【００５９】［レイテンシ］図２５に本発明のリングに
よるレイテンシの改善内容を示す。

【００６０】［動作周波数］図２６に本発明のリングに
よる動作周波数の改善を示す。

【００６１】［増設性］本発明のリングは、同一周波
数、リング配線での送信権リングの追加、階層接続によ
り性能を向上することができる。また、同一周波数、リ
ング配線での双方向リング化による性能向上とクラスタ
化ｈが可能である。クラスタ化にいたる増設性のパスと
同一のＬＳＩ技術を用いた性能向上の一例を図２７に示
す。

【００６２】［単一リングの性能］動作周波数の限界
は、送信ラッチの出力毎にスキュー補正をしない場合
は、スキュー補正回路の精度によるスキューと送信ラッ
チのスキューの重畳で決まる。送信ラッチの出力毎にス
キュー補正をすればスキュー補正回路の精度だけで決ま
る。ドライバの周波数特性は一般にこれより大きいの
で、概ねドライバの動作周波数から考えて４００Ｍｈｚ
程度と考えられる。

【００６３】レイテンシを８モジュール、配線長の最大
１０ｃｍで考える。中継モード のモジュールのレイテ
ンシは、ゲートディレイ ２段（０．３ｎｓ）、ドライ
バの遅れ（０．８ｎｓ）、配線（１０ｃｍ）を含む実装
遅れ（１ｎｓ）とスキューの平均遅れ（０．４ｎｓ）と
で、合計２．５ｎｓである。転送モードのモジュールの
レイテンシは、中継モードのモジュールのレイテンシに
加え、ラッチの受信ウィンドの中央（平均０．４サイク
ル、４００Ｍｈｚの時、１ｎｓ）とラッチの遅れ（０．
５ｎｓ）で、合計４ｎｓである。

【００６４】中継モードのモジュールが６、転送モード
と回送モードが１であると、リング１周の平均レイテン
シは ２３．５ｎｓになる。リングの一周のサイクル数
は、４００Ｍｈｚの場合１０サイクルになる。２５０Ｍ
ｈｚの場合、転送モードと回送モードのレイテンシがそ
れぞれ０．８ｎｓ増えるのでリング１周の平均レイテン
シは ２５．１ｎｓ、リング１周のサイクル数は７サイ
クルになる。モジュール間の平均レイテンシは、ほぼリ
ングの半周になるので４００Ｍｈｚの場合、約１２．５
ｎｓ、２５０Ｍｈｚの場合１４ｎｓになる。

【００６５】［階層接続の性能］階層接続では、（１）
送信副リングでの送信モジュールから接続機構、（２）
送信接続機構の処理、（３）主リングでの送信接続機構
から受信接続機構、（４）受信接続機構の処理、（５）
受信副リングでの接続機構から受信モジュールまでがレ
イテンシになる。

【００６６】（１）、（３）、（５）は、単一リングの
レイテンシと同じであるので単一リングのレイテンシの
３倍になり、２５０Ｍｈｚの場合４２ｎｓになる。
（２）の送信接続機構の処理は、受信と送信処理であ
る。ディィレクトリのメモリへのアクセスはない。受信
と送信にそれぞれ６サイクル、２５０Ｍｈｚの場合２４
ｎｓになる。全報知のパケットは、ディレクトリをアク
セスするのでこれを加える。（４）の受信接続機構の処
理は、ディレクトリのアクセスと副リングへのパケット
の転送を並行してできるので受信と送信に６サイクル、
２５０Ｍｈｚの場合２４ｎｓとなる。これらの結果、全
体では９０ｎｓになる。

【００６７】次に、本発明の実施例について説明する。

【００６８】［基本リング］最初に、基本リングについ
て説明する。

【００６９】［接続形態］対象とするプロセッサ間リン
グインターフェースは複数のプロセッサモジュール（Ｐ
Ｍ）、入出力モジュール（ＩＯ）、メモリモジュール
（ＭＭ）、リング制御ユニット（ＲＣ）等を接続する。
ＰＭ、ＩＯ、ＭＭ合わせて８モジュールをリングに接続
する。ＰＭ、ＩＯ、ＭＭの各モジュールの信号は、基本
リングとして選択線（１本） 、アドレス線（３本）、
データ線（７２本）、制御リングとしてクロック（１
本）、制御クロック（１本）、制御データ線（１本）で
ある。各モジュールは、基本リングの選択線、アドレス
線、データ線を前のモジュールから受信し、次のモジュ
ールに転送する。リング制御ユニットは、基本リングを
動作させる高速のクロック、基本リングを制御する低速
の制御クロック、制御クロックに同期した制御データを
発生し配信する。

【００７０】モジュールには、回送モードと転送モード
の動作モードがある。リングに１つのモジュールは選択
線、アドレス線、データ線をクロックに同期して転送す
る回送モードで動作する。基本リングの１周は、クロッ
クの整数倍の遅延で２サイクル以上に設定する。図２８
に基本リングの各モジュール間の接続を示す。

【００７１】各モジュールは、制御リングの制御クロッ
クで制御データを処理し、自分が宛先であるときに受信
する。内容に応じて、モジュールの状態についての応答
を制御データに乗せて送信する。リング制御ユニット
は、各モジュールにポーリングして各モジュールの情報
を受信する。クロックは、動作周波数の２分の１の周波
数を配信してモジュールで動作周波数に倍周する。クロ
ックの動作周波数の制約は軽減される。以下の説明では
簡単のため動作周波数のクロックを供給することで説明
する。図２９にリング制御ユニットに関係するリングイ
ンターフェースの信号を示す。

【００７２】［送信権の先行獲得］パケットは要求元、
要求番号及び種別等のヘッダと本体とからなるが、その
形式及び内容についてはリング固有の課題はないのでこ
こには述べない。送信権については、選択線、アドレス
線を受信しその内容に従い獲得する方式がよく知られ
る。図３０に従来の方式を適用する例を示す。選択線７
２０は入力ラッチ７２１に格納され、送信要求７２２に
ついて送信権処理７２４を行い、結果を出力ラッチ７２
３に格納する。レイテンシは最低１サイクルは生じる。
このレイテンシを短縮する方式をここに述べる。

【００７３】図３１に、選択線をゲート２段の遅れで転
送できる方式を示す。送信要求７２７はこのまま選択線
７２０と論理和７２８をとり転送する。選択線７２０の
内容と送信要求７２７をしていることから送信権獲得確
認７２６をする。選択線は、自分の送信権を放棄（７２
５）する時には選択線を論理積７２９で抑止する。

【００７４】図３２に受信線についての従来の方式を適
用する例を示す。受信線７３３は受信ラッチ７３０に格
納され、送受信処理７３１を行い送信ラッチ７３２に格
納する。レイテンシは、最低１サイクルは生じる。

【００７５】図３３に、受信処理７３４と送信処理７３
５を並行して行う方式を示す。受信線７３３は受信処理
（７３４）され、並行して送信処理７３５を行い、送信
の場合は論理積７３７により受信線を抑止する。

【００７６】パケットの宛先はアドレス線を用い、パケ
ットはデータ線を用いる。なお以下の説明で明確になる
が、アドレス線は説明のため分離しているが、実際には
パケットのヘッダに含まれるので実際の信号線はデータ
線に含まれる。データ線（７２本）の内８本はパケット
の内容に応じてエラー訂正符号或いはパリティに用いら
れる。実際のデータは、６４本（６４ビット）である。
宛先とパケットはリング上のクロックに同期した１サイ
クルで転送する。選択線は２サイクル後のデータ線、ア
ドレス線にパケットと宛先があることを示す。

【００７７】図３４は、時間２（２０１）で選択線を１
（２０２）にしてその２サイクル後の時間４（２０３）
でアドレス線に宛先３（２０４）を、データ線にパケッ
トＡ（２０５）を、時間４（２０３）で選択線を１（２
０６）にしてアドレス線に宛先５（２０７）を、データ
線にパケットＢ（２０８）を送信することを示す。

【００７８】［受信］信号の変化の後縁でラッチからラ
ッチに転送する受信方式を図３５を用いて説明する。受
信１０は当該モジュールが送信をせず受信状態にあるこ
とを示す。前のモジュールからのデータは、データ線１
１を経由して当該モジュールに転送される。受信１０が
１であるので論理積１２が成立し、データ線１１は論理
和回路１３を経由して次のモジュールに転送する。デー
タ線の内容は受信ラッチ１４に常にラッチする。アドレ
ス線についても同様に受信ラッチ１５にラッチし当該モ
ジュールの自分アドレス１６と一致回路１７で比較す
る。

【００７９】選択線の内容が１であれば、２サイクル後
のアドレス線とデータ線に宛先とパケットがあることを
示す。選択線はラッチ１８、ラッチ１９、ラッチ２０に
１サイクルづつ遅れてラッチされる。ラッチ２０の選択
線の内容は受信ラッチ１５より２サイクル進んでいるの
で選択線の内容１でアドレスの一致論理１７が１ならば
論理積２１が成立して、論理積２２を経由して受信パケ
ット２３として受信する。図３６に受信動作をタイムチ
ャートに示す。

【００８０】［送信権獲得と送信］送信したいパケット
があれば、選択線を１にする。受信した選択線が０であ
れば送信権を獲得し２サイクル後に送信モードとなる。
受信した選択線が１であれば、送信権が獲得できなかっ
たことを知る。そのまま受信を続け、かつ送信権の獲得
待ちになり選択線が０になるのを待つ。選択線が０にな
れば、２サイクル後に宛先とパケットをアドレス線、デ
ータ線に乗せる。送信したパケットがリングを１周すれ
ば選択線を０にし送信権を放棄する。そのパケットがリ
ングを一周する所定のサイクルより２サイクル前迄に送
信要求があれば引き続いて選択線を１にして送信権を獲
得できる。

【００８１】図３７に送信動作の概念図を示す。送信要
求６００があれば１（６０１）を出力する。受信した選
択線６０２が１（６０３）ならば引き続き送信要求６０
０を１（６０１）にする。受信した選択線６０２が０
（６０４）ならば送信要求を０（６０５）にして送信権
を獲得したことを知る。選択線の出力（６０６）は、受
信した選択線６０２と送信要求６００の論理和を出力す
る。

【００８２】図３８を用いて送信動作を述べる。当該モ
ジュールが送信したいことは送信３０を１にすることで
示されている。以前に送信３０を要求してそれが処理さ
れていれば、要求（ラッチ）３１は０である。論理積３
２が成立して受付（ラッチ）３３が１となる。受付３３
は、送信３０が受理されたことを送信受付（３４）信号
でモジュールの送信要求論理に知らせる。ついで新たな
送信要求を調べ送信３０信号に伝える。毎サイクル送信
要求をするには、受付３３の結果を用いて１サイクルで
更新する必要がある。更新回路は、リングインターフェ
ースの問題ではないのでここでは述べない。論理積３２
が成立することにより同じく要求３１（ラッチ）が１に
なる。要求３１（ラッチ）の内容は直ちに論理和３５を
通じて次のモジュールに伝える。当該モジュールが送信
権を獲得後リング１周したサイクルであれば、送信権放
棄３６は１になり論理積３７が成立せず選択線の転送を
抑止する。

【００８３】他のモジュールが送信権を獲得していない
サイクルならば選択線の内容は０であるので単に要求３
１の内容を伝える。他のモジュールが送信権を獲得した
サイクルならば選択線は１でありかつ論理積３７が成立
してその送信権と当該モジュールの送信要求は論理和３
５に重畳される。受信した選択線が０であれば、他のモ
ジュールが送信権を獲得していないことを示し論理積３
８が成立し獲得３９（ラッチ）が１になり送信権を獲得
したことを知る。送信権放棄３６が１であるときは送信
権の処理は選択線が１であっても選択線が０と同じ動作
をする。送信権放棄３６が１であれば、当該モジュール
の送信パケットがリングを１周したことを合い召し論理
積４２が成立し獲得３９（ラッチ）が１になり送信権を
獲得したことを知る。選択線が０になってから２サイク
ル後、獲得３９（ラッチ）が１になってから次のサイク
ルに送信モードとなりデータ線、アドレス線にパケット
と宛先アドレスを転送する。受信した選択線が１であれ
ば、論理積３８が成立せず獲得３９（ラッチ）は０であ
り送信権を獲得できなかったことを知る。送信権獲得待
ちで選択線が０になると論理積３８が成立して獲得３９
（ラッチ）が１になる。選択線が１で、要求３１（ラッ
チ）が１で送信権放棄３６が０のときには論理積４０が
成立して要求を出し続ける。送信権の獲得持ちになり選
択線が０になるのを待つ。選択線が０、要求３１（ラッ
チ）が１、且つ送信３０が１ならば論理積４１が成立し
て引き続いて送信権を獲得することになる。送信権放棄
３６が１、要求３１（ラッチ）が１、且つ送信３０が１
ならば論理積４３が成立して引き続いて送信権を獲得す
ることになる。論理積４１、論理積４３が成立すると受
付３３（ラッチ）が１になり送信３０を受付けたことを
知らせる。獲得３９が１になると論理積４７が成立して
送信ラッチ４８に宛先アドレスをラッチし論理和５０を
経由して次のモジュールに送信する。獲得３９が１にな
ると論理積５１が成立して送信ラッチ５２に送信パケッ
トをラッチし論理和５３を経由して次のモジュールに送
信する。ラッチ４４が１になるとアドレス線の内容を次
のモジュールに転送しないように論理積５４で抑止す
る。ラッチ４４が１になるとデータ線の内容を次のモジ
ュールに転送しないように論理積５５で抑止する。送信
論理は受信論理と同じく２段のゲート論理で構成され
る。

【００８４】図３９に送信動作の一例を示す。送信３０
が１になり、要求３１が０であることから要求３１、受
付３３が１になる。受付３３が１になることにより、送
信３０が更新され１サイクルの中で０になる。選択線
（入力）が引き続き１であるので要求３１は１である。
受付３３は送信３０が０であるので次のサイクルは０に
なる。選択線（入力）が０になる次のサイクルで獲得３
９は１になる。獲得３９が１になる次のサイクルでラッ
チ４４が１になる。ラッチ４４により送信ラッチ４８が
更新しアドレス線に出力する。ラッチ４４により送信ラ
ッチ５２が更新しデータ線に出力する。リング１周のサ
イクルである６サイクル後に送信権放棄３６が０とな
る。当該モジュールで送信要求が引き続きないので次の
サイクルで選択線（出力）は０となる。

【００８５】［スキュー補正］従来の方式においては、
クロックを受信線に対してスキューの設計値にセットア
ップ時間を加えただけ遅延させ、パルス幅はクロックの
スキューがスキューの設計値だけ遅れても受信できる必
要がある。動作周波数は、スキューの設計値の２倍にセ
ットアップ時間を加えて決められる。図４０にこれを示
す。

【００８６】図４１に受信線に合わせてクロックの位相
を設定する方式を示す。動作周波数はスキューの設計値
にセット時間を加えたものになる。レイテンシは、スキ
ューの実績値とセット時間の和に短縮される。図４２に
受信線毎にスキュー補正を行う方式を示す。動作周波数
は、スキューの補正精度で決まる。

【００８７】［受信位相での処理］従来の方式ではリン
グのクロックと各モジュールのクロックの位相は独立で
ある。平均すれば２分の１のサイクルの遅れを生じる。
各モジュールは、受信線の位相に合わせて動作すればレ
イテンシを削減できる。リングに１つのモジュールはリ
ング１周するサイクルをサイクルの整数倍にする必要が
ある。図４３に従来の方式を示す。リングのクロック７
４０によって受信線７３３を受信ラッチ７３０に格納し
てモジュールのクロック７４２によりサイクル調整を行
いモジュールのサイクルに同期する。送受信処理７３１
を行い送信ラッチ７３２に格納して転送する。

【００８８】リングのクロックに同期して動作する方式
を図４４に示す。受信線７３３は、クロック７４２を位
相調整（７４０）して受信ラッチ７３０に格納し送受信
処理７３１を行う。受信線７３３と送信内容を論理積７
３７、論理和７３６で選択しリングクロック７４０で転
送ラッチ７４３に格納する。各モジュールは、転送ラッ
チ７４３の出力を次のモジュールに転送する。これを転
送モードと呼ぶ。リングに１つのモジュールは、転送ラ
ッチ７４３をサイクル調整７４１を経てクロック７４２
で回送ラッチ７４４に格納して次のモジュールに転送す
る。この同期方法を回送モードと呼ぶ。

【００８９】［転送モードの動作］選択線、アドレス
線、データ線等の受信線のラッチの位相を受信線の遅延
とスキューに合わせて転送ラッチのクロックの位相を定
めて動作周波数、レイテンシを改善する。動作周波数に
は、クロックのスキューの設計値と受信線のスキューの
設計値の和が直接的に影響を与える。クロックのスキュ
ー補正を行えば動作周波数に与える影響はクロックスキ
ューの設計値を加えずに、受信線のスキューの設計値だ
けでよいので２分の１にすることができる。クロックの
スキュー自動補正を行えば、リングのレイテンシに与え
るスキューの影響は、クロックのスキューの設計値を加
えずに、受信線のスキューの設計値でなく受信線のスキ
ューの実現値だけでよい。一般にスキューの設計値と実
現値との乖離は大きいので動作周波数の改善に寄与す
る。

【００９０】図４５に転送モードの送信動作の概念図を
示す。最も早く受信した受信線（６１０）と最も遅く受
信した受信線（６１１）の中間の２分の１サイクル後に
遅延クロック（６１２）を設定する。受信したデータは
遅延クロック（６１２）で転送ラッチに格納して次のモ
ジュールに転送する。受信した選択線（６１３）の位相
は一般に両者の中間にある。受信した選択線６１３はラ
ッチ（６１４）する。

【００９１】送信要求６１５があれば１（６１６）にす
る。ラッチ（６１４）した選択線６１３が１（６１７）
であるので引き続き１（６１６）にする。ラッチ（６１
４）した選択線６１３が０（６１８）になると送信要求
６１５を０（６１９）にする。選択線６２０にはラッチ
６１４と送信要求６１５の論理和を出力する。

【００９２】［位相調整回路］遅延クロックは、図１２
に示すように倍周されたクロックから位相調整回路を経
由して作る。図４６はゲートの遅延を利用した位相調整
回路であって、半導体の特性ばらつきを考え、最小の遅
れでも２分の１サイクルの遅延を保証できるように遅延
量を取る。遅延量は遅延設定レジスタで指定する。遅延
量は、選択回路１段、選択回路２段、選択回路２段にゲ
ート２段からゲート１６段を加える８段階で合計１０段
階、負クロックの入力をいれると２０段階になる。但
し、半導体の特性ばらつきにより最大の遅れでは、クロ
ックと負クロックの遅延が重複することがある。例えば
ゲート８段階で遅延が２分の１サイクルに達すると６段
階になる。

【００９３】［調整クロック］調整クロックは、４サイ
クルの間位相を連続して変化する信号である。前のモジ
ュールより設定用のパターンを送信して遅延設定を行
う。前のモジュールは、信号の変化点を容易に特定でき
るように選択線、アドレス線、データ線に１０００の４
サイクルの繰り返しパターンを送出する。設定用パター
ンの４サイクルに一つある信号の変化点を特定するため
に４サイクルの間連続的に位相を変化する調整クロック
を設ける。調整クロックは、４サイクルの周期で１サイ
クル単位に位相を変化させる機構、位相調整回路、遅延
がそのサイクルにあることの範囲検出回路を接続して発
生する。１サイクル単位に位相を変化させる機構は、リ
ングカウンタで４サイクルの周期の１０００の繰り返し
パターンを発生し、サイクルを選択する機能を有する。
上記信号とクロック及び逆極性のクロックとの論理積を
取りどちらかを選択することで２分の１サイクル単位に
位相を変化させる。上記の信号を位相調整回路の調整ク
ロックに入力する。範囲検出回路は、位相調整回路の出
力である遅延クロックと遅延前の調整クロックとの論理
積を取りセットリセットラッチに入力してその出力信号
を判定する。出力信号が１ならばその遅延の範囲が２分
の１サイクル以下であると判定する。遅延がその２分の
１サイクルの範囲を超えるか、位相調整回路の遅延量が
最大になれば２分の１サイクル先の位相に移る。かくし
て、４サイクルの周期の可変遅延を有する受信位相決定
用の調整クロックを作成できる。

【００９４】［受信位相の決定］受信位相の決定の手順
を以下に示す。

【００９５】すべての受信線について設定用パターンの
０を受信する調整クロックの位相を定める。少なくとも
１つの受信線について１を受信する遅延クロックの位相
を定め、前縁とする。すべての受信線について１を受信
する遅延クロックの位相を定め後縁とする。前縁と後縁
の中間の２分の１サイクル後に受信位相を定める。前縁
と後縁の中間は次の手順による。前縁の検出時に計数を
開始して後縁で終了するスキューカウンタを設ける。次
に前縁に調整クロックを設定する。スキューカウンタの
２分の１迄調整クロックの位相を進めて前縁と後縁の中
間に位相調整回路の遅延量を定める。前縁と後縁の中間
の２分の１サイクル後のクロックは、調整クロックを作
成する元のクロックとは逆極性のクロックを位相調整回
路に入力することで得られる。

【００９６】［中継モード］中継モードでは、転送ラッ
チの入力を受信データとして転送する。転送ラッチの入
力の切り替わりは転送ラッチのタイミングの２分の１サ
イクル前である。転送モードの送信では、送信内容は転
送ラッチのタイミングで切り替わっていて、１サイクル
後に転送ラッチにラッチしてから転送している。中継モ
ードの送信では、１サイクル前の送信内容を転送ラッチ
の入力の切り替わりに合わせるため２分の１サイクル遅
延させて中継する必要がある。このため、送信内容を転
送ラッチの逆極性のクロックでラッチして２分の１サイ
クル遅延させて転送する。

【００９７】［回送モード］回送モードでは、転送ラッ
チの内容を回送ラッチに移せばよい。但し、転送ラッチ
のタイミングの位相が回送ラッチのセットアップ時間内
にあれば、いったん調整ラッチに移してから回送ラッチ
にラッチする。モジュールの接続数が少ない場合にリン
グ１周のサイクル数を２サイクルにするため、或いは後
述するように２つのリングのリング１周のサイクル数を
同一にするために調整ラッチ１を設ける。回送ラッチの
ラッチタイミングの前後の内容が同じであることで、転
送ラッチと回送ラッチのラッチタイミングの重なりのな
いことを確かめる。回送モードのモジュールは、１０の
繰り返しパターンを送信する。回送ラッチのタイミング
を規定値だけ遅延させて転送ラッチの出力をラッチす
る。これは回送ラッチのタイミングの後の転送ラッチの
出力を見ることになる。転送ラッチの出力を転送ラッチ
のタイミングを規定値だけ遅延させて、回送ラッチのタ
イミングでラッチする。これは回送ラッチのタイミング
の前の転送ラッチの出力を見ることになる。両者の信号
が一致すれば、回送ラッチと転送ラッチのタイミングの
重なりがないので調整ラッチを経由する必要はない。

【００９８】図４７を参照してサイクル調整回路を説明
する。転送ラッチと回送ラッチのタイミングに重なりが
あると、調整ラッチ使用３１１が１になる。モジュール
制御ユニットは、リング制御ユニットの指示により調整
ラッチ１使用３１２を１にする。転送ラッチ３１３は調
整ラッチ使用３１１が１ならば調整ラッチ３１４に移
す。調整ラッチ１使用３１２が１ならば調整ラッチ３１
４の内容を調整ラッチ１（３１５）に移す。転送ラッチ
３１３の内容を直接、調整ラッチ３１４を経由、調整ラ
ッチ１（３１５）を経由するかを論理積３１６、論理積
３１７、論理積３１８により選択して回送ラッチ３１９
に移す。

【００９９】［受信線毎のスキュー補正］受信線のスキ
ューの設計値は、動作周波数に影響を与える。選択線、
アドレス線、データ線からなる受信線毎に可変遅延回路
を設けスキューの自動補正を行えば動作周波数に与える
スキューの影響は補正精度だけになる。動作周波数は、
ドライバ、ＬＳＩ・基板内の配線、パッケージ、コネク
タ等の伝送特性で定まる。可変遅延回路は、ゲートの遅
延を利用した位相調整回路と同様のものでよい。但し、
反転入力、調整用の入力信号は不要である。最小の遅延
量はリングの設計値で決まり２分の１サイクルまでの必
要はない。

【０１００】図４８に受信線毎にスキュー補正する転送
モードの概念図を示す。受信位相の時と同様に位相設定
用の１０００のパターンを前のモジュールより送信す
る。受信線毎の可変遅延回路に遅延量を０にして最も遅
い位相の受信線６１１に調整クロックの位相を合わせ
る。受信線毎の可変遅延回路の遅延量を一斉に増やし、
受信線毎に転送ラッチで１を検出する最後の可変遅延回
路の遅延量を格納する。遅延の走査完了後一斉に格納し
た遅延量に戻す。この結果、すべての受信線の転送ラッ
チの入力は、同じ位相になる。調整クロックの元のクロ
ックの逆極性のクロックを位相調整回路に供給すること
により２分の１サイクル遅延させ受信位相のクロックと
する。

【０１０１】［全報知のパケット］パケットを各モジュ
ールに同時に送信するために、全報知信号（１本）を設
ける。全報知信号はアドレスと同時刻に１にすることに
より全報知を示す。全報知信号が１の時にはアドレス信
号に要求元のモジュールのアドレスを示す。全報知信号
は、説明を簡潔にするために信号線として分離している
が以下の説明で明らになるように実際にはパケットのヘ
ッダに含められるので信号線の本数を増加させない。

【０１０２】［フロー制御］リングのレベルでパケット
の送達確認をパケットによらず２本の信号線の追加で高
速に行い、複雑な制御回路を回避し、スループットの低
下を除去する手段を設ける。全報知のパケットに対して
の送達確認の手段も設ける。リングのレベルでの再送信
を減らすために、トラフィックに応じたフロー制御のア
ルゴリズムを与える。

【０１０３】［送達確認］図４９により送達確認の説明
をする。受信モジュール４００が、受信の２サイクル後
に受信不能４０２を送信モジュール４０３に報告する信
号（１本）４０１を設ける。送信モジュール４０３が受
信不能の報告を受けたことを報告受領後２サイクル後に
各モジュールに通知する信号（１本）４０４を設ける。
受信不能を報告した受信モジュール４００は、受信可能
になったことを全報知のパケットで送信する。送信モジ
ュール４０３は、２サイクル後の送信パケット（４０
８）に加え、その２サイクル後の受信不能信号４０１、
受信不能信号４０１を送信モジュール４０３が受信して
から２サイクル後の受信不能通知信号４０４の送信権を
獲得する。

【０１０４】［受信不能］送信モジュール４０３はパケ
ット送信の２サイクル後に受信不能信号４０１を０（４
０５）にする。受信モジュール４００は、パケットを受
信できなかった時に受信不能信号４０１に１（４０２）
を入れる。パケットを受信できた時には何もしない。送
信モジュール４０３は、受信不能信号４０１が０（４０
５）のままであることで送達確認をする。受信できれば
何も受信不能信号４０１にしないので０のままになり全
報知に対しても送達確認できる。

【０１０５】［受信不能通知］送信モジュール４０３は
各モジュールに受信不能４０４を通知する。受信不能信
号４０１が１（４０２）ならば、受信の２サイクル後に
受信不能通知信号４０４を１にする。受信不能信号４０
１が０（４０５）のままならば受信の２サイクル後に受
信不能通知信号４０４を０にする。各モジュールは、特
定の受信モジュールに宛てたパケットが受信不能である
場合は、特定の受信モジュールが受信不能であることを
知る。各モジュールは、全報知のパケットが受信不能で
ある場合は全報知パケットが送信不能であることを知
る。送信モジュールに到達する前の受信不能信号４０１
が１（４０２）であることをスヌープ（４０６）できる
受信モジュール４０７はそれで受信不能を知ることがで
きるので処理に利用しても良い。

【０１０６】［受信不能原因の報告］受信不能線に加
え、原因別の受信不能原因線を追加して受信不能原因を
報告してより強力なフロー制御を行うことができる。同
様に受信不能通知線に加え、原因別の受信不能原因通知
線を追加して、より強力なフロー制御を行うことができ
る。

【０１０７】［再送信］特定の受信モジュールに宛てた
パケットが受信不能になると各モジュールは、そのモジ
ュールへの送信及び全報知の送信を抑止する。全報知の
パケットが受信不能になると各モジュールは、全報知の
送信を抑止する。受信不能を報告した受信モジュールの
受信バッファの空きエントリがリングのサイクル数の２
倍以上になると受信可能を全報知のパケットで送信す
る。各モジュールは、その受信モジュールが受信可能に
なったことを知る。受信不能の受信モジュールに宛てた
パケットの送信を再開する。送信不能である全報知のパ
ケットの再送信は、複数の受信モジュールが受信不能で
あることがあり得ることから特定の受信モジュールに宛
てるパケットの後にする。全報知のパケットの再送信
は、空きがリング１周のサイクル数連続するか規定の時
間送信を抑止する。全報知のパケットの受信不能が増加
すれば、送信を再開する迄の規定の時間を長くする。全
報知のパケットの受信不能がなければ、送信を再開する
迄の規定の時間を短くする。

【０１０８】［フロー制御］フロー制御は、自分のパケ
ットの送信権の放棄により行う。次に接続されているス
ロットは最高の順位の送信権を得る。空きパケットが、
連続して規定値以上のサイクルの間に存在しない場合は
引き続き送信するパケットがあっても送信権を放棄す
る。規定値は、平均のビジー率が低ければ自動的に大き
く設定する。バースト的なビジー状態でのビジー率の低
下を防ぐ。平均のビジー率が高ければ、特定の受信モジ
ュールに宛てるパケットを優先し、ビジー率が低ければ
全報知のパケットを優先する。

【０１０９】［複数サイクルのパケット］パケットを複
数サイクルで転送することにより、選択線を中心とする
各モジュールの論理動作のサイクル数が増加し、またモ
ジュール間の信号線の本数の削減によりコストの低減を
図れる。２サイクルのパケットに対しては２分の１のク
ロックを供給しているので配信される２分の１のクロッ
クの位相とパケットの最初のサイクルの関係を各モジュ
ール毎に固定する。２サイクル以上の場合は、パケット
のサイクル数の周期のパケットクロックを各モジュール
で作成する。パケットクロックは、最初のサイクルが１
で残りのサイクルが０である。各モジュールでのパケッ
トクロックの同期は、リング制御ユニットから同期指示
を出し、回送モードのモジュールはパケットのサイクル
の最初を１残りを０にする繰り返しパターンを同期パタ
ーンとして送信する。各モジュールは、特定の同期パタ
ーンを受信してパケットクロックを同期させる。送信権
の制御は、選択線を使用してパケットクロックが１であ
るサイクルに行う。３サイクル目から選択線は、０にさ
れる。これにより、パケットクロックの同期状態を各モ
ジュールで監視する。後述するディレクトリ・リング或
いは選択リングは、複数サイクルに分けて送信するので
２サイクルのパケットであれば例えばそれぞれ１１本が
６本に、２４本が１３本になる。

【０１１０】［ブロックパケットの転送］キャッシュラ
インの様な固定長のメッセージを送信する場合、連続的
にパケットを送信することが保証されていれば、パケッ
トへの分割転送の無駄が省けてスループットが向上し、
受信モジュールでのメッセージの組立が容易になる。ブ
ロックパケットの送信を行う時には、あらかじめブロッ
クパケットの送信を通知して通常のパケットの抑止を行
う。ブロックパケットの送信権の獲得は、ブロックの最
初のサイクルで行う。ブロックパケットの送信権は、リ
ング１周のサイクル数がブロックパケットのサイクル以
下ならばブロックパケットのサイクル数の後に引き継
ぐ。ブロックパケットの送信権は、リングの１周のサイ
クル数がブロックパケットのサイクル数以上ならばリン
グ１周のサイクル数後に引き継ぐ。通常のパケットに
は、リング１周のサイクル数だけの独立した送信権があ
る。リングの１周のサイクル数がブロックパケットのサ
イクル数以上ならばその端数を除いた倍数だけの独立し
た送信権がある。ブロックパケットの送信をすることを
予約し、それを各モジュールに通知して通常のパケット
の送信を抑止してからブロックパケットの送信を行う。

【０１１１】図５０を参照して独立した送信権が２つの
場合を説明する。ブロックパケットを送信する予約権を
獲得するために、予約信号（１本）を設ける。ブロック
パケットの予約権はサイクル毎に存在しないので、その
存在を最初に明示的に示すために起動する。これは１つ
の信号からなるトークンを発行することを意味する。パ
ワーオン時にアドレス０のモジュールは、予約信号を１
サイクルの間１（予約１（４５０））にして予約権を１
つ起動して次のサイクルから単に中継する。最初の予約
信号の送信後、リング１周のサイクル数にいたる迄にブ
ロックパケットのサイクル数があれば独立した送信権を
必要数（予約２（４５１））起動する。ブロックパケッ
トを送信したいモジュール（４５２）は、予約信号に０
を送信し続ける。ブロックパケットを送信したいモジュ
ール（４５２）は１（予約１（４５０））の予約信号を
受信すると予約権を獲得し、２サイクル後からは予約信
号には０を送信せず単に中継する。ブロックパケットの
サイクル数は２以上なので次の予約信号（予約２（４５
１））には影響がない。ブロックパケットの予約権を通
知するため予約通知線（１本）を設ける。予約権を獲得
の２サイクル後から予約通知線に１サイクルの間１（予
約通知１（４５３））を乗せ、リング１周後のブロック
パケットのサイクル数分（この場合４）の送信権の予約
を各モジュールに通知する。予約権を獲得したモジュー
ル（４５２）はリング１周のサイクル後予約通知線に１
サイクルの間０（予約３（４５４））を送信する。ブロ
ックパケットの予約権を獲得したモジュール（４５２）
は、予約通知の２サイクル後に選択線を１にして送信要
求（送信要求１（４５５））を行い送信権を獲得する。
ブロックパケットのサイクル数の間も同様に送信権を獲
得できる。

【０１１２】次の予約権はブロックパケットのサイクル
数がリング１周のサイクル数より大きいならば予約した
後のブロックパケットのサイクル数の後になる。この場
合はブロックパケットのサイクル数がリング１周のサイ
クル数以下なので、次の予約権はリング１周のサイクル
後になる。ブロックパケットを引き続いて送信しないな
らば、予約線を１サイクルの間１（予約３（４５４））
にして予約権を放棄する。次のサイクルからは１を送信
せず単に中継する。引き続いてブロックパケットを送信
したい場合は、何もせずに予約権を獲得する。各モジュ
ールは、予約通知の受信の２サイクル後からブロックパ
ケットのサイクル数の間通常パケットの送信要求を抑止
する。

【０１１３】ブロックパケットの送達確認は、ブロック
パケット受信不能信号、ブロックパケット受信不能通知
信号を設けて行う。ブロックパケットが受信不能なら
ば、最初のパケットの２サイクル後にブロックパケット
受信不能信号を１にして報告する。送信モジュールは、
受信不能信号２サイクル後にブロックパケット受信不能
通知信号を１にしてブロックパケットの送信不能を通知
する。送信モジュールはその受信モジュールに対するブ
ロックパケットの送信を抑止する。受信不能を報告した
モジュールは、全報知パケットによりブロックパケット
が受信可能になったことを通知する。通常のパケットの
送達確認と同様に、原因別の受信不能報告及び通知の機
能を拡張できる。通常のパケットとしての送達確認は、
受信不能信号、受信不能通知信号を使用する。平均ビジ
ー率が定められた値より大きければ連続して送信権を獲
得しない。これにより送信権を獲得した次のアドレスの
モジュールが優先的に送信権を獲得できる。予約権を保
有しているモジュールは明示的でないのでアドレス０の
モジュールで監視を行う。アドレス０のモジュールはフ
ロー制御と予約信号の正常性の監視のため、予約信号が
ブロックパケットのサイクル数或いはリング１周のサイ
クル数のどちらかの周期以上で受信すること且つあらか
じめ定められた一定時間以内に受信することを確認す
る。定められた数のブロックパケットを連続して送信す
ることは、予約線、予約通知線と同じ働きをする長ブロ
ック予約線、長ブロック予約通知線を追加することで実
現できる。長ブロックパケットを複数個纏めた超パケッ
トを送信するには、長パケット予約線に相当する超パケ
ット予約線、長パケット予約通知線に相当する超パケッ
ト予約通知線￥を設ける。同様に、送信権獲得のための
信号を追加することにより階層的な構造の異なる長さを
持つ複数種類のブロックパケットを送信できる。図５１
にリング１周のサイクルより大きなブロックパケットの
転送の例を示す。

【０１１４】［ディレクトリ・リング］ディレクトリ・
リングにより、モジュールのキャッシュにデータを保有
していることを送信モジュールに報告し、送信モジュー
ルがそれを各モジュールに通知することができる。送信
モジュールは送信権を獲得して報告を要求し、報告に基
づいてそれを通知する。図５２にキャッシュにある報告
がある場合、図５３にキャッシュにない場合、図５４に
その報告の要求では確定せず、引き続き報告要求をする
場合を示す。

【０１１５】ディレクトリ・リングの送信権の制御を行
う要求線５００、読み出しパケットに対応する要求番号
を乗せる要求番号信号５０１（６本）、キャッシュライ
ンの存在の有無を確認中であることを報告する未確定信
号５０２（１本）、キャッシュラインがあることを報告
する保有信号５０３（１本）、その結果を通知する確定
信号５０４（１本）、保有通知信号５０５（１本）を設
ける。信号線を要約すれば、１１本の追加になり、２サ
イクルでパケットを転送する場合には６本の追加にな
る。先に述べるディレクトリのローカルメモリのアクセ
ス待ちの様な未確定の状態が完了する迄に多くの時間を
要することを通知する長期未確定信号（１本）を設ける
こともできる。再要求を行う時間を待たせて、無駄な要
求を減らすことができる。要求線５００により２サイク
ル後の要求番号信号５０１、要求線５００より４サイク
ル後、要求番号信号５０１から２サイクル後の未確定信
号５０２及び保有信号５０３、要求線５００よりリング
１周のサイクルに６サイクルを加えたサイクル後の確定
信号５０４及び保有通知信号５０５の送信権の制御を行
う。報告を要求するモジュールは、送信権を獲得（５０
６）して２サイクル後にその要求番号を要求番号信号
（５０７）に乗せる。引き続いて、未確定信号５０２、
保有信号５０３を０（５０８）にする。キャッシュ状態
を報告するためモジュールは、要求線が１（５０６）に
なっている２サイクル後の要求番号（５０７）を読む。
モジュールは、その要求番号（５０７）の示すラインが
キャッシュになければ、何もしないでリング１周のサイ
クルの２サイクル後の確定信号（５０４）を待つ。モジ
ュールは、その要求番号（５０７）の示すラインがキャ
ッシュにあれば、保有信号（５０３）を１（５０９）に
し処理を完了する。

【０１１６】図５２の未確定信号（５０２）のｘ（５１
０）は、０あるいは１を示す。図５２、図５３、図５４
において、リング３周の０サイクル目の受（５１１）は
送信モジュールが受信することを示す。モジュールは、
その要求番号（５０１）の示すキャッシュラインの存在
の有無の確認中は、未確定信号（５０２）に１（図５４
の５１２）を入れ、リング１周のサイクルの２サイクル
後の確定信号（図５４の５１３）を待つ。要求モジュー
ルは、リングの１周のサイクル後の未確定信号（５０
２）と保有信号（５０３）を受信する。要求モジュール
は、読み出した保有信号（５０３）が１（図５２の５０
９）か、未確定信号（５０２）が０（図５３の５１４）
ならば処理が終わったので、２サイクル後に確定信号
（５１５）、保有通知信号（図５２の５１６）を１にし
て処理を完了する。要求モジュールは保有信号（５０
３）が０（図５４の５１７）で未確定信号（５０２）が
１（図５４の５１２）ならば再び要求信号５００を１
（図５４の５１８）にして送信権を獲得して報告を要求
する。モジュールは、未確定信号（５０２）、保有信号
（５０３）に応答後リング１周のサイクルの２サイクル
後の確定信号５１５が１（図５２、図５３の５１５）に
なったら保有信号（５０３）、未確定信号（５０２）の
処理を中止或いは完了する。確定信号（５０４）が０
（５１３）なら、要求モジュールからの再要求に備え
る。モジュールは、保有信号（５０３）が１（５０９）
であれば最終状態であることをスヌープできる。メモリ
モジュールは、読み出しデータがあり、保有通知信号
（５１６）が１（図５２の５１６）であれば送信を抑止
する。メモリモジュールは、読み出しデータがあり保有
通知信号（５１６）が０（図５３５１９）であれば送信
する。

【０１１７】［論理的順序付け］キャッシュの所有権を
決めるため、全報知のパケットはその論理的な順序付け
を行い、各モジュールが認識する必要がある。全報知の
パケットは、リングを１周する間送信権が獲得されてい
るので必ずアドレス０のモジュールを通過する。アドレ
ス０のモジュールはパケットが通過する順に論理的順序
を定めることができる。受信モジュールはアドレス０の
モジュールの論理的順序に合わせる。受信モジュールと
アドレス０のモジュールとの間のモジュールが送信モジ
ュールがあると、アドレス０のモジュールを通過して、
受信モジュールを通過し送信モジュールに戻る。パケッ
トの受信時刻で論理的順序を定める。アドレス０のモジ
ュールと受信モジュールとの間に送信モジュールがある
と、受信モジュールを通過してアドレス０のモジュール
を通過し送信モジュールに戻る。アドレス０のモジュー
ルを通過する順序は、仮想的に送信モジュールから受信
モジュールまでパケットを送信する場合の順序になる。
パケットの受信時刻にリング１周のサイクル数を加えた
時刻で論理的順序を定める。送信モジュールのアドレス
は、リングの宛先のアドレス線に示されている。図５５
は、アドレス０のモジュール５５０を通過するパケット
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが各モジュールにおいて受信さ
れる順序（５５１）を示す。受信モジュールは、自アド
レスと宛先アドレスを比較して論理的順序を定める時刻
を（５５３）になるように定める。パケットＡ（５５
２）はアドレス２のモジュールが送信することを示す。
図５６は要求元アドレスと自アドレスを比較して自アド
レスが大きければ論理的順序づけの時刻は現時刻にリン
グ１周のサイクル数を加えたものになることを示す。

【０１１８】［選択リング］次に選択リングについて説
明する。基本リングの選択線による送信権獲得の代わり
に選択リングを用いてアドレス０のモジュールで集中的
に送信権の獲得を行うことができる。集中的に送信権獲
得を行うために１サイクルの間に２つのパケットの転送
を行うことができるのでスループットを向上できる。ま
た、アドレス０のモジュールで処理するので、論理的順
序付けは送信権の獲得順でよく、各モジュールで特別の
処理はいらない。選択線は分散的送信権獲得を行うのに
対し、選択リングは集中的送信権獲得を行う。要求モジ
ュールからアドレス０のモジュールまでの転送時間、ア
ドレス０のモジュールでの送信権処理時間、アドレス０
のモジュールから要求モジュールまでの転送時間がかか
るのでレイテンシは増加する。信号線の数も増加する。
選択線を用いた送信権はリング１周の間、獲得される。
全報知のパケット以外は要求元から宛先アドレス迄リン
グを占有する。宛先アドレスから要求元までは、別のパ
ケットを送信できる可能性がある。選択線を用いた送信
権制御は各サイクルの送信権をリング１周のサイクルで
処理する。送信権制御を集中するとリングの利用可能の
領域に別のパケットを送信できる。選択リングを設け、
集中送信権制御をアドレス０のモジュールで行う。集中
送信権制御では、１つの送信権の制御にリングの１周の
サイクルを使っているのを２つのパケットの送信権制御
を１サイクルで処理する。各モジュールからアドレス０
のモジュールには各モジュールからの送信要求を報告
し、アドレス０のモジュールから獲得した送信権を通知
する。キャッシュ制御を行うマルチプロセッサシステム
では、読み出しとキャッシュのライトバックは、同時に
発生することが多く、また通常のパケットは全報知であ
る場合が多い。全報知でない２つのブロックパケットを
リング１周に並行に転送し通常のパケットはアドレス０
から最終アドレスのモジュールの間に１つだけ転送する
方式を述べる。論理的順序づけは送信権の順に行われ
る。ブロックパケットの予約線とそれに付随する信号線
は必要でない。各モジュールからアドレス０のモジュー
ルへの送信要求の報告信号は、選択線（１本）及び送信
権報告線（１０本）である。送信権報告線（１０本）に
は、送信要求報告の時には送信要求（１本）、要求元ア
ドレス（３本）、宛先アドレス（３本）、ブロックパケ
ット（１本）、全報知（１本）を乗せる。送信権報告線
（１０本）には、ビジー報告の時には送信要求を０にし
てビジー報告（１本）、ビジー報告アドレス（３本）、
ブロックビジー（１本）、ビジー（１本）を乗せる。送
信権報告線には、ビジー解除報告の時には送信要求を０
にして、ビジー解除報告（１本）、ビジー解除報告アド
レス（３本）、ブロックビジー（１本）、ビジー（１
本）を乗せる。アドレス０のモジュールから各モジュー
ルへの送信要求通知信号は、送信権有効（１本）、送信
権通知線（１２本）である。送信権通知線は、送信要求
通知の時にはそのサイクルで獲得した送信権０と送信権
１の２つまで通知できる。送信権０は送信要求通知０
（１本）、要求元０アドレス（３本）、ブロックパケッ
ト０（１本）、全報知０（１本）を乗せる。送信権１は
送信要求通知１（１本）、要求元１アドレス（３本）、
ブロックパケット１（１本）、全報知１（１本）を乗せ
る。送信権通知線は、ビジー通知の時には送信要求通知
０を０にして１つのモジュールに対するビジー通知（１
本）、ビジー通知アドレス（３本）、ブロックビジー
（１本）、ビジー（１本）を乗せる。送信権通知線に
は、ビジー解除通知の時には送信要求通知０を０にし
て、１つのモジュールに対するビジー解除通知（１
本）、ビジー解除通知アドレス（３本）、ブロックビジ
ー（３本）、ビジー（１本）を乗せる。必要な信号線の
本数を要約すると報告に１１本、通知に１３本の合計２
４本である。２サイクルでパケットを転送する場合には
１３本が追加になる。フロー制御における送達確認は、
１サイクルに２つ並行転送することから受信不能（１
本）、受信不能通知（１本）をそれぞれ２本に拡張す
る。各モジュールからアドレス０のモジュールへパケッ
トの送達確認のため送信権０、送信権１に対応して受信
不能報告０（１本）、受信不能報告１（１本）を設け
る。各モジュールからアドレス０のモジュールへパケッ
トの送達確認のため送信権０、送信権１に対応して同様
に受信不能通知０（１本）、受信不能通知１（１本）を
設ける。各モジュールは、送信要求数と処理完了の応答
数の差から未処理送信要求数を監視してアドレス０の送
信要求バッファが満杯にならぬように送信要求を制御す
る。同一の要求元からの全報知のパケット、ブロックパ
ケットは要求の順に応答するので送信要求を要求番号ま
で特定する必要はない。

【０１１９】［送信権獲得処理］通常のパケットの集中
送信権制御の処理は基本リングで行われている処理をア
ドレス０のモジュール内の論理回路だけで実現する。ア
ドレス０のモジュールでの集中送信権制御を以下に示
す。サイクルのあるアドレス（起点）以降からそのサイ
クルの最後のアドレス（終点）の送信権を定める。選択
する送信要求がなければ、アドレス０をリング１周のサ
イクル後の送信権処理の起点としてそのサイクルの処理
を完了する。選択する送信要求の宛先がリングのアドレ
スの終点より先にあれば、宛先のアドレスをリング１周
のサイクル後の送信権処理の起点として処理を完了す
る。その宛先が終点より前にあれば、アドレス０をリン
グ１周のサイクル後の送信権処理のの起点としてそのサ
イクルの処理を完了する。

【０１２０】［高速の送信権獲得回路］送信権獲得のク
リティカルパスは２入力の論理和回路の従属接続にあ
る。図５７に各モジュール毎の送信権獲得論理を示す。
図５８に図５７の送信権獲得論理を８個従属接続して各
モジュールの送信要求から送信権を獲得する論理を示
す。図５９に接続数の多い場合に図５８の回路を並列に
４個接続して送信権を獲得する論理を示す。

【０１２１】［並列転送ブロックの選別］ブロックパケ
ットに対してはリング１周の間に最大２つのパケットの
送信権を処理する。最初のブロックパケットに対してそ
のサイクルのあるアドレス（起点）以降からそのサイク
ルの最後のアドレス（終点）の送信権を通常のパケット
と同様に定める。送信権を獲得したブロックパケットが
あれば、そのブロックの宛先アドレスから要求元迄の間
のリングの領域を使用するブロックパケットを並列転送
可能なブロックパケットを選別する。図６０に送信要求
の中で並列転送可能なパケットブロックの選別回路を示
す。

【０１２２】［並列転送ブロックの選択］並列転送可能
なパケットブロックのうちでアドレスの最も小さいブロ
ックパケットが送信権を獲得する。図６１は各モジュー
ルでの並列転送可能ブロックから並列転送ブロックを１
つ選択する回路を示す。図５９の並列転送可能ブロック
の選別回路を８個従属接続する。ブロックパケットの送
信権獲得のクリティカルパスは２入力の論理和回路の従
属接続にある。標準的なゲートによらず専用の回路を用
いて良い。

【０１２３】［並列転送ブロックの通知］２つのブロッ
クパケットが同一サイクルにあれば、送信権獲得を同時
にリングを用いて通知する。２つ目のパケットが次のサ
イクルにあれば、次のサイクルで通知する。ブロックパ
ケットは少なくとも２サイクル続くので、その送信権処
理に２サイクル使用する。

【０１２４】［フロー制御］フロー制御として、平均ビ
ジー率の低い場合は全報知を優先し、平均ビジー率の高
い場合はブロックパケット、全報知でないパケットを優
先する。平均ビジー率が高い場合は同のモジュールで定
められた数を越えて連続して送信権を獲得できない。

【０１２５】［階層接続］リング接続したプロセッサシ
ステムの能力を向上させるために階層接続する。プロセ
ッサシステムを副リングとして、副リング間を主リング
で階層的に接続する。副リング内で閉じる転送は主リン
グに影響しない。全体のレイテンシは主リングと副リン
グのレイテンシの和でレイテンシが決まる。主リングか
らのスループット要求を満たすために副リングのモジュ
ールの接続数を低く押える必要のある時には、副リング
をケーブル等で短絡してレイテンシを改善できる。副リ
ングは、多くの場合１つのバックプレーンに収容され
る。バックプレーン間を接続する主リングは、リングの
一つの特徴であるケーブルで接続できるので容易に実装
できる。規定の長さを超えて接続する場合は、延長のた
めのモジュールを追加する。図６２に階層接続の接続方
法を示す。主リングと副リングの接続機構は、副リング
のモジュールのアドレス０を持ち、副リングへの送信権
獲得の通知と主リングへの送信要求を同時に行うことが
できる。接続機構はパケットのヘッダより主リング内の
アドレス或いは副リング内のアドレスを生成する。な
お、副リングは通常のバス構造でも可能である。メッセ
ージのセマフォア、アドレスマップレジスタ、ＤＭＡレ
ジスタ等ＩＯアドレス空間を共有する場合は、キャッシ
ュしないので宛先が１つに定められパケットの転送は１
対１になる。分散共有メモリのように全報知のパケット
が生じる場合は、各副リングに必要なスループットは接
続する副リングの総数に直線的である。

【０１２６】図６３に階層接続のキャッシュ可能な共有
メモリを有する接続機構を示す。副リング７００内で閉
じるパケットは、主リング７０１には転送しない。当該
副リング７００に宛てた主リング７０１のパケットは、
副リング７００に転送する。全報知のパケットは、すべ
ての副リング、主リングに転送する。レイテンシを短く
できるがリングに必要なスループットは増加する。接続
機構にＳＣＩに定められたディレクトリ、プロトコルを
用いれば全報知パケットをなくすことができるが、レイ
テンシは増加し、ディレクトリは大きくなる。リングの
全報知能力を活かして接続機構にキャッシュ・コヒーレ
ンスのための全報知パケットを削減し、レイテンシの増
加を抑制し、適当な大きさのディレクトリを持つことが
できる。副リング７００に属するモジュールがその副リ
ングに属するローカル・メモリ７０３にアクセスする場
合、他の副リング７０４のキャッシュに写しがなければ
主リング７０１にそのパケットを転送しないでよい。副
リング７００に属するローカルメモリ７０３の写しを他
の副リング７０４のキャッシュに持っていないことを示
すローカル・ディレクトリ７０５を持てば、主リング７
０１へのパケットの転送を削減できる。ある副リング７
００に属するモジュールが、他の副リング７０６に属す
るローカル・メモリ７０７をアクセスする場合、アクセ
スされたローカルメモリ７０７を持つ他の副リング７０
６がその副リング７０４には写しを持っていないことを
通知すれば、その副リング７０４内にパケットを転送し
ないでよい。他の副リング７０６に属するローカルメモ
リ７０７が、その副リング７０４のキャッシュに写しの
ある状態を示すリモート・ディレクトリ７０６を持て
ば、その副リング７０４内に転送するパケットを削減で
きる。宛先の副リングは３６ビットの内の最初の４ビッ
トを用いて行われる。キャッシュ可能なメモリ領域であ
り実装されていることを確認してからディレクトリをア
クセスする。

【０１２７】［ローカル・ディレクトリ］メモリアドレ
スは３６ビット（６４ＧＢ）で、副リングに実装するロ
ーカルメモリのアドレスは３２ビット（４ＧＢ）、ライ
ンの大きさは６ビット（６４Ｂ）とする。ローカル・デ
ィレクトリのエントリ数は、３２ビットから６ビットを
引いた２６ビット（６４Ｍエントリ）である。

【０１２８】図６４にアドレスの関係を示す。ローカル
・ディレクトリのエントリには、写しビットと変更ビッ
トの２ビットを持つ。写しビットは、他の副リングのキ
ャッシュに写しがあれば１、なければ０を格納する。変
更ビットは、他の副リングのキャッシュに写しがあり変
更されている可能性があれば１、なければ０を格納す
る。ローカル・ディレクトリは、ローカルメモリの２５
６分の１の容量である。

【０１２９】図６５にローカル・ディレクトリを示す。
メモリアドレスを４０ビット（１０２４ＧＢ）に、副リ
ングに実装するローカルメモリのアドレスを３６ビット
（６４ＧＢ）に拡張する場合は、ローカル・ディレクト
リのエントリ数は３６ビットから６ビットを引いた３０
ビット（１０２４Ｍエントリ）になる。大容量であるの
で、ローカル・ディレクトリ・テーブルとしてローカル
メモリ内に格納してローカル・ディレクトリにはその写
しを持つ。ローカル・ディレクトリの写しは、ラインの
大きさと同じ６４Ｂ単位の大きさにする。６４Ｂ（５１
２ビット）には２５６（８ビット）のエントリを収容で
きる。ローカル・ディレクトリには、２６ビットから８
ビットを引いた１８ビット（２５６Ｋエントリ）の写し
を格納できる。ローカルメモリのアドレスの３６ビット
から８ビットと６ビットを引いた２２ビットを１８ビッ
トに変更するためにアドレス変換テーブルを持つ。

【０１３０】図６６にアドレスを拡張する場合を示す。
アドレス変換テーブルは、２５６Ｋエントリ（１８ビッ
ト）を持ち、各エントリには２２ビットのアドレスを持
つ。アドレス変換テーブルの１つのエントリは、２２ビ
ットから１８ビットを引いた４ビットに相当する１６単
位の内の１つの写しを示す。

【０１３１】図６７にアドレス変換テーブルを示す。ロ
ーカルディレクトリは、ローカルメモリのすべての範囲
のキャッシュの状態を格納しているのでディレクトリリ
ングは必要ない。アドレス変換テーブルのエントリ数
も、１８ビットのアドレスをハッシュすることにより減
らせる。

【０１３２】［リモート・ディレクトリ］各エントリに
は、副リングに属するローカルメモリの写しがその他の
副リングにあれば１、なければ０を主リング内の副リン
グのアドレス０からアドレス７まで順に格納する。この
８ビットを写しベクトルと呼ぶ。主リング内の副リング
（アドレス）を３１に拡張するときには、各ビットをグ
ループ単位に割り当てる。グループ内はＳＭＰでグルー
プ間はクラスタの場合等に効果がある。例えば第１ビッ
ト目は、アドレス０−３のグループの様に割り当てる。
４つのアドレスの中の１つにしか写しがなくても、４つ
のアドレスに対応する副リングすべてに写しがあるとし
て取り扱う。リモートディレクトリのエントリの数は、
再利用する頻度によって決められる。２２ビット（４Ｍ
エントリ）にする場合は、そのエントリを特定するため
にローカルアドレスの３２ビットから２２ビットと６ビ
ットを引いた４ビットを各エントリに格納する。ローカ
ルアドレスを３６ビットに拡張するには、エントリを特
定するために３６ビットから２２ビットと６ビットを引
いた８ビットを格納する。図６８にリモート・ディレク
トリを示す。

【０１３３】［写しベクトルの通知］副リングに属する
ローカルメモリにアクセスする全報知のパケットを主リ
ングに転送する時には写しベクトルをヘッダに格納して
転送する。副リングに属するローカルメモリにアクセス
する全報知のパケットを受け取った時には写しベクトル
をパケットを用いて通知する。写しベクトルは自身のア
ドレス位置には写しビットはいらないのでその位置が１
であれば有効であることを示す。

【０１３４】［ローカルメモリの種別］ローカル・ディ
レクトリによって、ローカルメモリは写し無し（Ｎ）、
写し有り（Ｃ）、変更有り（Ｍ）に分けられる。リモー
ト・ディレクトリによって、ローカルメモリの写し有り
（Ｃ）の一部は写しベクトル有り（ＣＨ）、変更有り
（Ｍ）の一部は写しベクトル有り（ＭＨ）に分けられ
る。図６９にディレクトリにより分けられるローカルメ
モリの種別を示す。

【０１３５】［ローカルメモリアクセス］副リング７０
５に属するモジュールがローカルメモリ７０３を写すパ
ケットを送信して、接続機構７０８がこれを受信した
ら、Ｎ、Ｃなら主リングへ転送しない。Ｍなら変更した
内容をキャッシュより書き戻す必要がある。このため、
写しベクトルをヘッダに格納して主リング７０１に全報
知のパケットを送信する。主リング７０１の他の副リン
グ７０４は、写しベクトルが有効で且つ０であれば副リ
ング７０４内にパケットを転送しない。写しベクトルが
有効で且つ０か無効であれば副リング７０４内にパケッ
トを転送する。他の副リングから書き戻される間、接続
機構において同一アドレスに対するアクセスは待たされ
る。書き戻されるとＣＨとなり処理が引き継がれる。副
リング７００に属するモジュールがローカルメモリ７０
３を変更するパケットを送信して、接続機構７０８がこ
れを受信した場合、Ｎなら主リングに転送しない。Ｃな
らキャッシュの写しを廃棄する必要がある。Ｍならキャ
ッシュの内容を書き戻した上で廃棄する必要がある。
Ｃ、Ｍなら写しベクトルをヘッダに格納して主リング７
０１に全報知のパケットを送信する。主リング７０１の
他の副リング７０４は、写しベクトルが有効で且つ０で
あれば副リング７０４内にパケットを転送しない。写し
ベクトルが有効で且つ０か無効であれば副リング７０４
内にパケットを転送する。Ｍなら書き戻されるのを待ち
Ｎに、ＣならそのままＮになる。以上で明らかな様に、
ローカルメモリで閉じる処理は他の副リングの影響を受
けない。

【０１３６】［リモートメモリ・アクセス］副リング７
００に属するモジュールが他の副リング７０６に属する
ローカルメモリ７０７（リモートメモリ）を写すパケッ
トを送信して接続機構７０８がこれを受信したら、主リ
ング７０１に転送する。ローカルメモリ７０７を有する
副リング７０６は、写しベクトルをパケットにより通知
する。主リング７０１の他の副リング７０４は、写しベ
クトルの受信してから受信してあるパケットの処理を行
う。写しベクトルが有効で且つ０であれば副リング７０
４内にパケットを転送しない。写しベクトルが有効で且
つ０か無効であれば副リング７０４内にパケットを転送
する。ローカルメモリ７０７の状態はＣＨになる。副リ
ング７００に属するモジュールが他の副リング７０６に
属するローカルメモリ７０７（リモートメモリ）を変更
するパケットを送信して接続機構７０８がこれを受信し
たら、主リング７０１に転送する。ローカルメモリ７０
７を有する副リング７０６の接続機構７０９は、パケッ
トを受信すれば副リング７０６内に転送する。ローカル
メモリ７０７を有する副リング７０６の接続機構７０９
は、Ｎならローカルメモリ７０７をアクセスし、また他
の副リング７０４でパケットの処理をしないで良いこと
をパケットにより通知する。Ｃならローカルメモリ７０
７をアクセスし、また他の副リング７０４のキャッシュ
に写しがあれば廃棄することを通知する。Ｍならば、書
き戻しを行ってから廃棄することを通知する。これらの
ため、キャッシュの写しベクトルをパケットにより通知
する。主リング７０１の他の副リング７０４は、パケッ
トから写しベクトルを受信してから受信してあるパケッ
トを処理する。写しベクトルが有効で且つ０であれば副
リング７０４内にパケットを転送しない。写しベクトル
が有効で且つ０か無効であれば、副リング７０４内にパ
ケットを転送する。ローカルメモリの種別はＭＨにな
る。以上で明らかな様にリモートメモリにアクセスする
処理は、レイテンシを遅くすることなくまた必要のない
副リングへのアクセスを行わない。

【０１３７】［双方向リング］モジュール間は、１対１
の１方向の伝送を行っている。双方向伝送回路を用いて
２つの独立する双方向リングを構成することができる。
双方向リングはリング接続の配線をそのままにして性能
の限界を２倍にする増設性を与える。２つのリングの同
期ができないと言う制約があり、伝送の方向性の弁別回
路の弁別精度、周波数特性の制約から動作周波数の限界
は低くなる。また弁別回路そのもの及び弁別回路が発生
する雑音のために中継モードのモジュールの数の制限が
厳しくなり、転送モードのモジュールの割合が増えてレ
イテンシが長くなる。全報知の通常パケットは１つのリ
ングを利用して論理的順序性の保障を行い、順序性の制
約のない通常のパケット、ブロックパケットを２つのリ
ングに分散させる。２つの並列接続リングの構成に比較
すれば、性能は若干低くなる。図７０に弁別回路の例を
示す。図７１に双方向リングのモジュール間の接続を示
す。

【０１３８】［構成変更］リング制御ユニットは、各モ
ジュールへのヘルスチェックのフレームを送信して、応
答のないことで構成変更が行われていることを検知す
る。リング制御ユニットは、各モジュールへのヘルスチ
ェックを行い、再応答により構成変更が完了したことを
知り、イニシャライズを行う。構成変更によって一般に
いくつかのパケットが失われるので、適当なリスタート
・ポイントまで遡る必要がある。リングの構成変更の際
に、計画停止してからリングの動作を停止しイニシャラ
イズを行った後に直ちに再開する方法を図７２に示す。
モジュールの引き抜きを早期に知るために、モジュール
の引抜レバーの引き起こしを引抜センサで検知してモジ
ュール制御ユニットを通じてリング制御ユニットに報告
する。リング制御ユニットは、引き抜きの報告により各
モジュールに対して新たな動作要求を開始せず、それ以
前の動作要求への応答は行いしかる後ハードウェア動作
を正常停止することを指示する。モジュールの引抜に連
動して短絡スイッチは短絡する。リング制御モジュール
は、ヘルスチェックによりモジュールの引抜の完了を自
動的に確認する。モジュールの引抜中もリングのクロッ
クは供給されるので引抜モジュール以外のモジュールの
正常停止状態は継続する。モジュールの引抜の報告より
アドレスを再設定し、スキュー補正の必要なモジュール
に対してイニシャライズを行い、回送モードのモジュー
ルでリングの１周のサイクル数を決める。リング制御ユ
ニットは、ハードウェア停止状態を解除し、新たな構成
情報を伝える。モジュールの挿入に際してもリングの動
作は停止する。モジュールの挿入を早期に知るために挿
入信号（１本）を設ける。挿入信号線はそのモジュール
のガイドから始まり、短絡コネクタがあればこれを経由
して次のモジュールに接続して終わる。挿入信号は、モ
ジュール間の接続を行うのでモジュールは転送しない。
モジュールのガイドを通過することを挿入センサで検知
して、挿入信号を一時的に短絡する。各モジュールは、
挿入信号が短絡されるかを常時監視していて、短絡され
れば前のモジュールが挿入されるはずであるということ
をリング制御ユニットに報告する。リング制御ユニット
は、各モジュールに対して新たな動作要求を開始せず、
以前の動作要求への応答を行いしかる後ハードウェア動
作を正常停止することを指示する。モジュールの挿入に
連動して、短絡スイッチを機械的にオフにする。リング
制御ユニットは、ヘルスチェックの応答により挿入の完
了とそのモジュールを特定する。モジュールの挿入中
も、リングのクロックは供給されるので挿入モジュール
以外のモジュールの正常停止状態は継続する。挿入の報
告よりアドレスを再設定しスキュー補正の必要なモジュ
ールに対してイニシャライズを行い、回送モードのモジ
ュールでリングの１周のサイクル数を決める。リング制
御ユニットは、ハードウェア停止状態を解除し新たな構
成情報を伝える。２つのリングを接続して、通常状態で
は同期、並行動作を行い、故障時は縮退運転を行うこと
ができる。２つのリングの同期のために回送モードにお
いて１サイクルの遅延ラッチを設けリングの１周のサイ
クル数を一致させ、リング制御ユニットの動作を同期さ
せる。階層接続の主リングを複数持てば拡張性は若干失
われるがスループット、信頼性が向上する。共通の基板
によらず、各スロット間をケーブルで接続することがで
きる。

【０１３９】［インターフェイス信号線の具体例］イン
ターフェイス信号の具体例を図７３に示す。この例で
は、メモリにディレクトリを持つのでディレクトリ・リ
ングはない。また、選択リングは採用していない。

【０１４０】［イニシャライズ］各モジュールのアドレ
ス、回送モード、転送モード、中継モード、位相調整回
路、サイクル調整回路、可変遅延回路、リングを一周す
るサイクル数、複数サイクルのパケットのクロックの同
期は、イニシャライズ時に設定する。リング制御ユニッ
トは、リング全体、モジュール間の相互関係、処理の同
期等を行うため各モジュールのモジュール制御ユニット
に指示を出す。モジュール制御ユニットは指示に基づき
可変遅延回路の設定などの処理を行う。

【０１４１】［リング制御ユニット］リング制御ユニッ
トは、リング制御のイニシャライズを制御、統括すると
ともに、クロックを各モジュールにリング状に配信す
る。リング制御ユニットはクロックが配信されているこ
とを確認するために受信する。各モジュールは、リング
制御ユニットからの指示を基に処理し、リング制御ユニ
ットに状態を応答する。リング制御ユニットは、フレー
ムを用いて指示を伝達する。指示は、ステップバイステ
ップで行う。フレームの内容は、コマンドバイト、アド
レスバイト、２バイトのギャップ、２バイトのデータで
ある。コマンドはリング制御ユニットの指示、応答要求
である。アドレスは各モジュールあるいは全報知を指定
する。２バイトのギャップは、モジュール制御ユニット
に応答の処理する時間を与える。データは、各モジュー
ルへの指示或いは各モジュールからの応答である。指示
のフレームではアドレスで指定されたモジュールはフレ
ームのデータを受信する。応答要求のフレームでは、ア
ドレスモジュールで指定されたモジュールはそのフレー
ムのデータ部に内容を入れて応答する。リング制御ユニ
ットと各モジュールはリング状に接続する。制御リング
は、各モジュールとの独立性を高めるためいわゆるリン
グバスの構造を取っている。フレームは、ビット、バイ
トからなる。ビット同期は、制御クロックで行う。制御
クロックの位相はフレームのビットの中央で立ち上が
る。バイトの同期は、同期パターン“００００００００
００００ＦＦ”で行う。フレームの同期は、“ＦＥｘｘ
ｘｘｘｘｘｘ”で行う。フレーム間は“００”を埋め
る。

【０１４２】［パワーオン・モード］リング制御ユニッ
トは、全報知で各モジュールにパワーオン・モードを指
示する。パワーオンモードでは回送モードと転送モード
のみを使用して動作の変動に対処する。

【０１４３】［モジュールアドレスの設定］リング制御
ユニットは、各モジュールに全報知でアドレス設定準備
の指示をだす。各モジュールは、あらかじめ挿入するス
ロット番号をもっている。アドレス設定準備の指示を出
されると各モジュールはアドレス部に対してスロット番
号で動作する。リング制御ユニットは、アドレス部にス
ロット番号を入れてモジュールの種類、論理アドレス等
の応答を要求する。指定されたモジュールは、データ部
にプロセッサ、ＩＯ、メモリ、プロセッササブシステム
等の種類を応答する。リング制御ユニットは、アドレス
部にスロット番号を入れてデータ部にモジュールのアド
レスを入れアドレス設定を指示する。リング制御ユニッ
トは、各モジュールに全報知でアドレス設定完了の指示
を出す。アドレス設定完了の指示を出されると各モジュ
ールはアドレス部に対して設定されたアドレスで動作す
る。リング制御ユニットは、回送モード、転送モード、
中継モードを設定する。

【０１４４】［受信線毎のスキュー補正］受信線毎のス
キュー補正を行う場合は、リング制御ユニットは回送モ
ード、転送モードのモジュールより１０００の繰り返し
パターンの送信を指示する。引き続くモジュールに対し
てスキュー補正を基本動作に分解して指示する。最初に
調整クロックの位相を初期設定する。可変遅延回路の遅
延量の０設定、位相調整回路の調整開始の指示、受信線
のすべての０の検出指示、位相調整回路の遅延量の１ス
テップ毎の走査、０検出の結果のステップ毎の報告によ
り調整クロックは初期設定される。次に最大の遅延の受
信線に遅延クロックの位相を合わせる。受信線のすべて
の１検出指示、位相調整回路の遅延量の１ステップ毎の
走査、１検出結果のステップ毎の報告により位相調整回
路の位相が最大の遅延の受信線に合わせられる。次に可
変遅延回路の遅延量の１ステップ毎の走査により１検出
の最後の遅延量が格納される。遅延量の走査の完了後、
格納された遅延量を戻してスキュー補正が完了する。こ
の場合は、遅延クロックの逆位相のクロックの供給によ
り受信位相も同時に決定する。この動作をリングの全モ
ジュールについて行い、スキュー補正の完了を指示して
遅延クロックを書くモジュールのリング制御部以外にも
供給する。

【０１４５】［受信位相の決定］前のモジュールに１０
００の設定パターンの送信を指示する。最初に最小の遅
延の受信線に、遅延クロックを合わせこれを前縁とす
る。次に最大の遅延の受信線に、遅延クロックを合わせ
て後縁とする。引き続き受信線の中間に遅延クロックを
合わせて、その逆位相のクロックを供給して受信位相が
決定する。モジュール制御ユニットは、基本動作に分解
してモジュール制御ユニットに指示する。

【０１４６】［サイクル調整回路］回送モードのモジュ
ールに１０の繰り返しパターンの送信を指示する。回送
モードのモジュールに、サイクル調整回路に内蔵してい
るクロックの規定時間前とクロックの規定時間後の入力
の検出回路により、それぞれを値を応答させる。２つの
値が同じであれば、サイクル調整ラッチを経由せずに回
送ラッチにラッチするように指示する。２つの値が同じ
でなければ、サイクル調整ラッチを経由して回送ラッチ
にラッチするように指示する。

【０１４７】［サイクル数の設定］リング制御モジュー
ルは、回送モードのモジュールに１つの１と引き続く指
定する数の０の繰り返しパターンの送信を指示する。リ
ング制御モジュールは回送モードのモジュールにリング
１周のサイクル数を１を受信する間隔で行うように指示
して、その報告を要求する。リング制御ユニットは、全
報知で各モジュールにリング１周のサイクル数を知らせ
る。

【０１４８】［複数サイクルの位相の設定］全報知で複
数サイクルの位相の設定の指示を出す。サイクル数に合
わせた１に続く０の繰り返しパターンを回送モードより
送信する。全報知で設定の完了を指示する。

【０１４９】［動作モードへの移行］リング制御ユニッ
トは、パワーオン直後のスキュー量が安定状態になる規
定の時間後にパワーオンモードを解除して動作モードに
移行する。リングの各モジュールに対して回送モード、
転送モード、中継モード、受信線毎のスキュー補正、受
信位相、サイクル調整回路、サイクル数を再度決定す
る。

【０１５０】［誤動作検出］制御リングは、ヘルスチェ
ックにより各モジュールを監視する。基本リング内の誤
動作の検出は、データ線についてはエラー検出コード、
選択線については送信権放棄が定期的に行われているか
の監視で行う。リングの回復不能或いは規定回数以上の
誤動作時はモジュール制御ユニットによりリング制御イ
ンターフェースを通じてリング制御ユニットに知らされ
る。リング制御ユニットよりリングの停止を指示してイ
ニシャライズを行う。リング制御ユニットは各モジュー
ルの固有の障害の報告をヘルスチェックにより受けて、
モジュール制御ユニットに切り離しを指示する。

【０１５１】

【発明の効果】本発明のリング接続を用いたデータ転送
方法及び情報処理システムによれば、プロセッサを経由
するためのレイテンシを短縮することができ、高性能な
情報処理システムを実現することができる。

【０１５２】また、リングが通常動作しなくなる切り替
え時にもリングよりモジュールに安定したクロックを供
給することできる。

【０１５３】さらに、本発明のリング接続を用いたデー
タ転送方法及び情報処理システムによれば、情報処理シ
ステムのスループットを向上させることができる。

【０１５４】さらに、本発明のリング接続を用いたデー
タ転送方法及び情報処理システムによれば、リングの構
成変更に伴うシステム停止時間を短縮することができ
る。

【図面の簡単な説明】

【図１】リング、バス及びスイッチの各プロセッサ間接
続技術の比較を示す図である。

【図２】リング接続におけるリングのインターフェイス
部の構成を示す図である。

【図３】転送のビット幅が１６ビットのリングを示す図
である。

【図４】転送のビット幅が６４ビットのリングを示す図
である。

【図５】従来技術のリングのフラグ処理を示す図であ
る。

【図６】本発明のリングのフラグ処理を示す図である。

【図７】本発明のリングの送受信を示す図である。

【図８】従来技術のリングのバッファを示す図である。

【図９】従来技術のリングのクロックの乗り換えを示す
図である。

【図１０】本発明のリングの送受信のクロックを示す図
である。

【図１１】本発明のクロックの位相の進行を示す図であ
る。

【図１２】本発明のクロックの系統を示す図である。

【図１３】従来技術のリングの転送を示す図である。

【図１４】本発明のリングの転送を示す図である。

【図１５】本発明の各モジュールの動作モードを説明す
るためのパケットの転送例を示す図である。

【図１６】本発明のスキュー補正を示す図である。

【図１７】本発明のリングの種類を示す図である。

【図１８】本発明のブロックパケットリングを示す図で
ある。

【図１９】本発明の並列転送の例を示す図である。

【図２０】本発明の並列転送パケットの選択論理方式を
示す図である。

【図２１】本発明のディレクトリリングを示す図であ
る。

【図２２】本発明のディレクトリへのアクセスを示す図
である。

【図２３】従来技術の冗長リングを示す図である。

【図２４】本発明の基本リングと制御リングを示す図で
ある。

【図２５】本発明によるレイテンシの改善内容を示す図
である。

【図２６】本発明による動作周波数に改善内容を示す図
である。

【図２７】本発明による増設性を示す図である。

【図２８】本発明の基本リングを示す図である。

【図２９】本発明の制御リングを示す。

【図３０】従来の送信権獲得方式を示す。

【図３１】本発明のゲート２段で転送する方式を示す。

【図３２】従来の受信方式を示す図である。

【図３３】本発明の送受信を並行する方式を示す図であ
る。

【図３４】本発明の選択線、アドレス線とデータ線との
関係を示す図である。

【図３５】本発明の受信方式を示す図である。

【図３６】本発明の受信動作のタイムチャートを示す図
である。

【図３７】本発明の送信動作の概念図を示す図である。

【図３８】本発明の送信動作を示す図である。

【図３９】本発明の送信動作の一例を示す図である。

【図４０】スキュー補正しない例を示す図である。

【図４１】本発明のクロックのスキュー補正する例を示
す図である。

【図４２】本発明の受信線毎にスキュー補正する例を示
す図である。

【図４３】従来方式の送受信方式を示す図である。

【図４４】本発明のリングのクロックに同期して動作す
る方式を示す図である。

【図４５】本発明の転送モードの送信動作の概念図を示
す図である。

【図４６】本発明のゲートの遅延を利用した位相調整回
路を示す図である。

【図４７】本発明のサイクル調整回路を示す図である。

【図４８】本発明の受信線毎にスキュー補正する転送モ
ードの概念図を示す。

【図４９】本発明の送達確認の説明を示す図である。

【図５０】本発明の独立した送信権が２つのブロック転
送を示す図である。

【図５１】本発明のリング１周より大きなブロック転送
を示す図である。

【図５２】本発明のディレクトリリングのキャッシュが
ある場合の動作の例を示す図である。

【図５３】本発明のディレクトリリングのキャッシュの
ない場合の動作の例を示す図である。

【図５４】本発明のディレクトリリングの未確定で再要
求の動作例を示す図である。

【図５５】本発明の各モジュールにおいて受信される順
序を示す図である。

【図５６】本発明の論理的順序の時刻の決定法を示す図
である。

【図５７】本発明の送信権獲得論理を示す図である。

【図５８】本発明の８モジュールの送信権獲得論理を示
す図である。

【図５９】本発明の接続数の多い送信権処理を示す図で
ある。

【図６０】本発明の並列転送可能ブロックの選別方式を
示す図である。

【図６１】本発明の並列転送ブロックの選択を示す図で
ある。

【図６２】本発明の階層接続の接続方法を示す図であ
る。

【図６３】本発明の階層接続の場合のキャッシュ可能な
アクセスをする接続機構を示す図である。

【図６４】本発明の階層接続のアドレスの関係を示す図
である。

【図６５】本発明のローカルディレクトリを示す図であ
る。

【図６６】本発明のアドレスの拡張を示す図である。

【図６７】本発明のアドレス変換テーブルを示す図であ
る。

【図６８】本発明のリモートディレクトリを示す図であ
る。

【図６９】本発明におけるディレクトリにより分けられ
るローカルメモリの種別を示す図である。

【図７０】本発明の双方向リングの弁別回路を示す図で
ある。

【図７１】本発明の双方向リングのモジュール間接続を
しめす図である。

【図７２】本発明のモジュールの挿入、引き抜きの早期
検出方式を示す図である。

【図７３】本発明のリングインターフェースの具体例を
示す図である。

【符号の説明】

１１…データ線、１２、２１、２２…論理積、１３…論
理和回路、１４、１５…受信ラッチ、１６…自分アドレ
ス、１７…一致論理、１８、１９、２０…ラッチ、２３
…受信パケット、１０１、１０２、１０４、１０５…モ
ジュール、７０１…主リング、７００、７０４、７０６
…副リング、７０３、７０７…ローカルメモリ、７０
５、７０６…リモートディレクトリ、７０８、７０９…
接続機構、７２０…選択線、７２８、７３６…論理和、
７２９、７３７…論理積、７３３…受信線。

Claims (9)

【特許請求の範囲】
1. 【請求項１】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いたデータ転送方法であって、送信権
   を獲得するためのフラグ用の独立する信号線を設け、前
   記フラグをセットして送信権を要求し、受信したフラグ
   がセットされていないことから前記送信権を先行して獲
   得したことを後から確認することで受信及び送信動作と
   前記リングの転送動作を並行して行うことを特徴とする
   リング接続を用いたデータ転送方法。
2. 【請求項２】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いたデータ転送方法であって、同一ク
   ロックを前記リングに配信し、転送及び送受信に使用す
   ることを特徴とするリング接続を用いたデータ転送方
   法。
3. 【請求項３】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いたデータ転送方法であって、位相調
   整回路によりクロックの位相を受信する信号に合わせ、
   前記クロックの乗り換えの遅延を不要にするためクロッ
   クを転送制御、受信制御、送信制御に同一位相で使用
   し、前記複数のモジュールのうちの少なくとも一つのモ
   ジュールは回送モードで前記リング１周の遅延を前記ク
   ロックの整数倍のサイクルに合わせることを特徴とする
   リング接続を用いたデータ転送方法。
4. 【請求項４】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いたデータ転送方法であって、前記複
   数のモジュールのうちの各モジュールはラッチせずに前
   記複数のモジュールのうちの次のモジュールに転送し、
   ラッチ前の位相に合わせて送信することを特徴とするリ
   ング接続を用いたデータ転送方法。
5. 【請求項５】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いた情報処理システムであって、送信
   権を獲得するためのフラグ用の独立する信号線を設け、
   前記フラグをセットして送信権を要求し、受信したフラ
   グがセットされていないことから前記送信権を先行して
   獲得したことを後から確認する手段を有することを特徴
   とするリング接続を用いた情報処理システム。
6. 【請求項６】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いた情報処理システムであって、クロ
   ックの位相を受信する信号に合わせる位相調整回路と、
   転送制御、受信制御、送信制御に同一位相で使用するク
   ロックを供給する手段と、前記リング１周の遅延を前記
   クロックの整数倍のサイクルに合わせる少なくとも一つ
   の回送モードのモジュールを有することを特徴とするリ
   ング接続を用いた情報処理システム。
7. 【請求項７】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いた情報処理システムであって、前記
   複数のモジュールのうちの各モジュールは、ラッチせず
   に前記複数のモジュールのうちの次のモジュールに転送
   する手段と、ラッチ前の位相に合わせて送信する手段と
   を有することを特徴とするリング接続を用いた情報処理
   システム。
8. 【請求項８】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いた情報処理システムであって、前記
   複数のモジュールのうちの各モジュールは、ラッチせず
   に前記複数のモジュールのうちの次のモジュールに転送
   する手段と、ラッチ前の位相に合わせて送信する手段と
   を有することを特徴とするリング接続を用いた情報処理
   システム。
9. 【請求項９】複数の信号線からなるリングでプロセッサ
   等のモジュールを複数接続した情報処理システムにおけ
   るリング接続を用いた情報処理システムであって、パケ
   ットを連続的に転送するブロック・パケットの送信権を
   獲得するための信号線と、前記送信権を獲得した２サイ
   クル後からブロック転送の間通常のパケットの送信要求
   を抑止させことを通知する信号線と、ブロックパケット
   の送信権の獲得後の４サイクル後からブロックパケット
   の送信を許可する手段とを有することを特徴とするリン
   グ接続を用いた情報処理システム。