JP2000501525A - 疎結合大量記憶コンピュータクラスター - Google Patents

Abstract

(57)【要約】 データを冗長的にストアする方法及び装置であって、少なくとも３つのプロセッサシステムにおいて、キャッシュプロセッサシステム（１３８、１４０、１５２）がポイント−トウ−ポイント２方向チャンネル相互接続において、前記各他のプロセッサシステムと接続されている。データは、冗長的な方式で、コンピュータシステムレベルとプロセッサシステムレベルでストアされる。したがって、１つのプロセッサの故障はデータの集合に不利を及ぼさない。コンピュータシステムはリング条に接続されたスイッチングシステム（１４２、１４４、１５４）も重なりあっており、スイッチレベルで単一の接続されたプロセッサシステムの故障に対する耐力をあたえる。したがって、耐故障データ分散システムを与える。

Description

【発明の詳細な説明】 疎結合大量記憶コンピュータクラスタブー発明の分野 本発明は、一般に、大量記憶装置の相互接続に係り、より詳細には、マルチプ ロセッサコンピュータクラスターにおいて供給帯域巾を広げ、故障許容度を与え そして入力／出力の負荷バランスをとる方法及び装置に係る。先行技術の説明 近代的な信頼性の高いコンピュータシステムは、大容量の大量記憶装置と、そ の大量記憶装置への広い帯域巾のアクセスとを必要とする。ディスクサイズは、 かなり増加しており、例えば、典型的なパーソナルコンピュータは、今日、ギガ バイト以上の記憶装置で構成できるのに対し、記憶装置のアクセスに使用できる 帯域巾は改善されてはいるものの、大巾な改善ではない。従って、大量の情報を 記憶できるが、記憶装置をアクセスできる速度は、一般的に、過去数年にわたっ て変化していない。特に、ＭＰＥＧ−２デジタル映像流のような一定ビットレー トの映像流を供給するためのデジタル映像システムの必要性を考慮すると、例え ば、ＡＴＭ ＯＣ−３ネットワークインターフェイスのようなデジタル映像ネッ トワークのデータ要件を受け入れるために広帯域巾を与えることが重要となる。 信頼性のある構成で充分な量のデータを与えるために種々の方法が使用されて いるが、おそらく、より一般的で且つ最も安価な解決策の１つは、ＲＡＩＤ−５ ストライピング及びパリティ技術を使用して、故障許容及び効率的な仕方でデー タを編成することである。ＲＡＩＤ（安価なディスクの冗長アレー）解決策は、 文献に充分に説明されていて、ＲＡＩＤ−５を含む種々のレベルの動作を有し、 そしてデータの編成は、故障許容及び負荷バランスのとれた仕方のデータ記憶を 達成することができる。 特に、ＲＡＩＤ−５は、記憶されたデータが３つ以上のディスクドライブの間 に冗長な仕方で分散されるようにし、従って、ディスクドライブの１つが故障し ても、ドライブに記憶されたデータは、他の記憶位置から効率的に且つエラーの ない仕方で回復することができる。又、この方法は、好都合にも、ＲＡＩＤ−５ ストライピングを用いると、ディスクドライブの各々を相対的に等しい且つ実質 的に並列な動作で使用することができる。従って、６ギガバイトのクラスター量 を有していて、それが３つのディスクドライブに及んでいる場合には、各ディス クドライブは、２ギガバイトのクラスター量にサービスする責任を負う。各２ギ ガバイトのドライブは、ＲＡＩＤ−５解決策に必要な冗長な、ひいては、故障許 容の動作を与えるために、１／３の冗長な情報で構成される。 ローカルＲＡＩＤ−５アレーから映像データオブジェクトを読み取るプロセッ サについて考える。通常の動作において、ＲＡＩＤ−５解決策を用いると、プロ セッサに接続された全てのディスクドライブにわたって分散した映像データオブ ジェクトをプロセッサがアクセスする必要があるときに、プロセッサは、各ディ スクドライブからラウンドロビン形態で映像データオブジェクトの一部分を読み 取る。例えば、映像データオブジェクトの最初の６４キロバイトのブロックは、 第１のドライブに記憶されて読み取ることができ、次の６４キロバイトブロック は、第２のドライブに記憶され、等々となる。しかしながら、更に、これも又、 ６４キロバイトブロックであるパリティチェック（実際には排他的オア機能）も 記憶され、従って、ｎ個のディスクドライブがある場合には、各ｎ−１のデータ ブロックごとに１つのパリティブロックが書き込まれる。 しかしながら、ディスクドライブを読み取るプロセッサは、依然として、比較 的狭い帯域巾で「往生」している。従って、読み取りできるデータの量は、ドラ イブが接続されたバスにより制限される。例えば、ＳＣＳＩバスは、何年も前の バスよりは著しい改善を与えるが、映像用途のニーズに比して依然として比較的 低速である。又、ローカルＲＡＩＤ−５コントローラを使用すると、多数のロー カルＳＣＳＩバスの出力を合成できるが、ローカルプロセッサの故障を受ける。 このような故障は、全てのデータへのアクセスを排除する。 そこで、本発明の目的は、改良され且つ増加された大量記憶装置読み取り及び 書き込み帯域巾（供給帯域巾）を有し、新規なトポロジーにおいて確実且つ故障 許容のプロトコルを用いて動作し、そして既知の受け入れられる技術に基づいて 多量のデータを読み取り及び書き込みできるような方法及び装置を提供すること である。本発明の他の目的は、比較的安価で、信頼性があり、構成が簡単で且つ 保守が容易な方法及び装置を包含する。発明の要旨 本発明は、少なくとも１つの中央処理ユニット及び少なくとも１つの大量記憶 サブシステムを各々有する少なくとも３つのプロセッサシステムを備えた分散型 のコンピュータシステムにおいてデータを冗長記憶するための方法及び装置に係 る。本発明の方法は、プロセッサシステムの各１つをプロセッサシステムの他の 各１つとポイント対ポイントの両方向チャンネル相互接続において相互接続し、 そして分散型の冗長記憶プロセスに基づいてプロセッサシステムにわたり入力デ ータを記憶するという段階を特徴とする。従って、データは各大量サブ記憶シス テムに記憶され、そしてデータのある冗長表示も、各プロセッサ大量記憶サブシ ステムに記憶される。 本発明の特定の観点において、上記方法は、ＲＡＩＤ−５プロセスに基づいて プロセッサシステムにわたりデータを記憶し、そして更に、ＲＡＩＤ−５プロセ スに基づいて各プロセッサシステム内にデータを記憶することを特徴とする。 上記方法は、更に、いずれのプロセッサシステムにも故障がない状態でデータ チャンネル相互接続の各々を経てコンピュータシステムからデータを読み取り、 これにより、読み取り段階は、プロセッサシステムにわたり負荷バランスを確立 することを特徴とする。プロセッサシステムの１つに故障が存在する場合には、 コンピュータシステムからのデータの読み取りは、データを記憶している各故障 のないプロセッサシステムからデータを読み取り、そして故障したプロセッサシ ステムに記憶されたデータに代わって、故障のないプロセッサシステムから冗長 なデータを読み取る段階を特徴とする。その後、故障したプロセッサシステムに 記憶された必要なデータを、故障のないプロセッサシステムから読み取ったデー タ及び冗長なデータを用いて再形成することができる。本発明のある実施形態に おいては、いずれかのプロセッサシステムに故障が生じた時間中に、上記方法で は、故障したプロセッサシステムがオンラインに復帰されるまで、いかなるプロ セッサシステムにおけるデータの書き込みも防止される。 別の観点において、本発明は、更に、最初に２つのプロセッサシステムしかな い限定ケースを特徴とする。本発明のこの特徴によれば、システムは、故障がな い場合に、交互のプロセッサから次々のデータブロックを順次に読み取ることに より増加した帯域巾を与え続け、そしてこのようにして、負荷バランスをとると 共に、典型的ないわゆる「鏡像」システムに比して増加された読み取り帯域巾を 与える。典型的な鏡像システムでは、データが一方のプロセッサから読み取られ るだけであり、他方のプロセッサは、バックアップとして働く。従って、本発明 によれば、データは、全てのプロセッサから読み取られ、これにより、増加され た読み取り帯域巾及び負荷バランスを与える。それ故、上記したように、本発明 の２プロセッサ構成は、多数のプロセッサを伴うシステムの全ての効果を与えな いが、容量が大きく、オーバーヘッドが少なくそして帯域巾の大きなプロセッサ システムへと容易に拡張することができる。 記憶段階の種々の観点において、上記方法は、データ記憶がディスクの抽象レ ベルでモデリングされる本発明のある実施形態では、コンピュータシステムの全 ての書き込み機能を行うように１つのプロセッサシステムを指定するか、各デー タ入力ごとにファイルを割り当てるように１つのプロセッサを指定しそして全て のプロセッサシステムがその関連する割り当てられたファイルの各々に入力デー タを書き込めるようにするか、或いは分散型ロックマネージャーを用いてプロセ ッサシステム間で書き込み動作を裁定するかのいずれかを特徴とする。 しかしながら、記憶段階の別の観点においては、データ入力が、名前の付けら れた断片ファイル、又は名前の付けられたファイルとして各プロセッサシステム に記憶される。名前の付けられた断片ファイル、又は名前の付けられたファイル として記憶されるときには、例えば、分散型コンピュータシステムにプロセス又 はシステムが追加されるときでも、それらをアクセスしそして再構成することが できる。システムは、プロセッサシステムの数、ネットワークインターフェイス の数及び記憶量が変化しても、記憶されたデータを出力流として供給し続ける。 これが可能となる理由は、モジュラス「Ｎ＋１」データ断片がモジュラス「Ｎ」 データ断片から形成されるときでも、本発明の方法は、ファイル名を使用して、 モジュラス「Ｎ」データ断片をモジュラス「Ｎ＋１」データ断片から区別するか らである。更に、本発明の方法は、プロセッサシステムが故障状態にあった間に 書き込まれたデータオブジェクトのみを再構成することにより、故障したプロセ ッサシステムを再構成する段階を特徴とする。 本発明による分散型コンピュータシステムは、データを冗長記憶するための少 なくとも３つのプロセッサシステムを有し、各プロセッサシステムは、少なくと も１つの中央処理ユニット及び少なくとも１つの大量記憶システムを有する。こ の分散型コンピュータシステムは、プロセッサシステムの各１つからプロセッサ システムの他の各１つへポイント対ポイントの両方向チャンネル相互接続を与え る相互接続チャンネルと、各プロセッサシステムにおけるデータ記憶コントロー ラとを特徴とする。コントローラは、分散型の冗長記憶プロセスに基づきプロセ ッサシステムのいずれか１つにデータ入力を記憶するように働き、これにより、 データは、各コンピュータプロセッサに記憶され、そしてデータのある冗長表示 も、各プロセッサに記憶される。好ましい実施形態では、記憶コントローラは、 ＲＡＩＤ−５プロセスに基づいて処理システムにわたりデータを記憶し、そして 更に、ＲＡＩＤ−５プロセスに基づいて各プロセッサシステムにおいてその関連 大量記憶サブシステムにデータを記憶することができる。 本発明の装置は、更に、いずれのプロセッサシステムにも故障がない場合に、 コントローラがコンピュータシステムからデータを読み取って、コンピュータシ ステムにわたり負荷バランスを維持しそして確立するようなシステムを特徴とす る。プロセッサシステムの１つに故障が存在する場合は、コントローラは、デー タを記憶している各故障のないプロセッサシステムからデータを読み取り（適当 な専用のネットワーク接続を経て）、そして故障したプロセッサシステムに記憶 されたデータに代わって、各故障のないプロセッサシステムから冗長データを読 み取る。次いで、要求を発しているプロセッサシステムは、その読み取られたデ ータ及び冗長データを使用し、故障したプロセッサに記憶されたデータを再形成 することができる。好ましい実施形態では、故障したプロセッサに記憶されたデ ータを再形成するのに「外部」プロセッサを使用することができ、これにより、 故障したプロセッサがあってもシステムの供給帯域巾を保持することができる。 別の観点において、本発明の装置は、入力データを名前の付けられた断片ファ イル又は名前の付けられたファイルとして分散型コンピュータシステムに記憶す る記憶コントローラを特徴とする。 又、本発明の装置は、少なくともｎ個の割り込み可能な入力と、ｎ個の割り込 み入力と、ｎ個の出力とを有する冗長スイッチにも係る。この冗長スイッチは、 ｎ＋１個のスイッチ式システムを特徴とし、各スイッチ式システムは、少なくと も２つの制御入力と、第１入力と、第２入力と、第３入力と、第４入力と、第１ 及び第２の出力とを有する。各スイッチ式システムは、その第２の出力がｎ割り 込み信号発生器に接続され、その関連信号発生器のｎ割り込み出力は、接続され たスイッチ式システムの第２入力に接続される。スイッチ式システムは、リング 構造で相互接続され、従って、各スイッチ式システムは、更に、ｎ個の割り込み 可能な入力信号がその第１入力に接続され、リングにおける第１の隣接するスイ ッチ式システムの第２入力が第３入力に接続され、リングにおける他の隣接する スイッチ式システムの割り込み可能な入力が第４の入力に接続され、そして各ス イッチ式システムは、制御入力に応答してその入力のいずれかを少なくともその 第１の出力に切り換えると共にその第１及び第４入力のいずれかをその第２出力 に接続するためのスイッチ回路を有する。コントローラは、スイッチ式システム の制御入力に制御信号を与えて、クロスバー動作を行えるようにする。 別の観点において、冗長スイッチは、ｎ＋１個のスイッチ式システムを有し、 各スイッチ式システムは、少なくとも２つの制御入力と、４つの信号入力と、２ つの信号出力とを有する。各スイッチ式システムは、その出力の１つが関連する 割り込み信号発生器に接続され、そして関連する信号発生器のｎ割り込み出力が その接続されたスイッチ式システムの入力に接続される。このスイッチ式システ ムは、リング構造で相互接続され、従って、各スイッチ式システムは、第１及び 第２の最も近い隣接するスイッチ式システムに接続される。各スイッチ式システ ムは、スイッチ式システムの制御入力に応答してその入力をその出力に選択的に 切り換えるスイッチ回路を有する。コントローラは、スイッチ式システムに制御 入力を与え、スイッチ式システムがリングをめぐる一方向又は両方向に信号スイ ッチ機能を１つの位置だけ効果的に回転できるようにする。これにより、故障し た信号発生器をバイパスすることができ、ｎ個の第１出力の信号を中断せずに続 けることができる。 別の観点において、本発明は、データを冗長記憶するための少なくとも３つの プロセッサシステムを有する分散型データ供給システムに係り、各プロセッサシ ステムは、少なくとも１つの中央処理ユニットと、１つの大量記憶システムとを 有する。相互接続データチャンネルは、プロセッサシステムの各１つからプロセ ッサシステムの他の各１つへのポイント対ポイントの両方向チャンネル相互接続 を与える。各プロセッサシステムのデータ記憶コントローラは、分散型冗長記憶 プロセスに基づきプロセッサシステムのいずれか１つからデータ入力を記憶し、 これにより、データがプロセッサシステムの各々に記憶されると共に、データの ある冗長表示も各プロセッサに記憶される。ｎ個の割り込み可能な入力ポート、 少なくともｎ＋１個の割り込み入力ポート及び少なくともｎ＋１個の出力ポート を有するスイッチ回路は、ｎ個の割り込み可能な入力信号が各一次プロセッサス テムに接続され、各一次プロセッサシステムの出力は、各割り込み入力に接続さ れる。プロセッサに故障が生じた場合に、そのプロセスのそれまで未使用のプロ セッサシステムを使用して、プロセッサシステムの各１つから得られる信号情報 でｎ個の割り込み可能な入力ポートの各々に選択的に割り込むためにスイッチ回 路に接続されたスイッチコントローラは、スイッチ回路が、故障したプロセッサ システムの割り込み可能な入力ポートを異なるプロセッサシステムに接続するよ うにすると共に、故障したプロセッサシステムの出力を別のプロセッサシステム の出力に置き換えるようにする。図面の簡単な説明 本発明の他の目的、特徴及び効果は、添付図面を参照した以下の特定の実施形 態の詳細な説明より明らかとなろう。 図１は、本発明による相互接続されたコンピュータシステムの概略ブロック図 である。 図２は、本発明によるプロセッサシステムの詳細なブロック図である。 図３は、本発明によるインデックスファイルを示すテーブルである。 図４は、本発明によるソフトウェアアーキテクチャーを示す図である。 図５は、本発明によるクラスターボリューム構成体を示す図である。 図６は、本発明によるクラスターボリューム「ホームブロック」フォーマット を示す図である。 図６Ａは、図６の「ホームブロック」フォーマットを定義するテーブルを示す 図である。 図６Ｂは、複数のブロックに分割されたデータオブジェクトを示す図である。 図６Ｃは、データオブジェクトとその記憶された名前付けされた断片ファイル との関係を示す図である。 図６Ｄは、本発明の１つの実施形態による名前付けされた断片ファイルのヘッ ダブロックを定義するテーブルである。 図６Ｅは、図６Ｄのデータオブジェクトフォーマットを定義するテーブルであ る。 図６Ｆは、クラスターメンバーから映像オブジェクトを読み取るところを示す 図である。 図７は、ＲＡＩＤ−５ストライピングプロトコルに基づくデータオブジェクト のデータ及びパリティ編成を示す図である。 図８は、図９のフローチャートに関連して使用される語彙を説明するテーブル である。 図９Ａ−９Ｃは、本発明によりデータ及びパリティブロックの位置を決定する ためのフローチャートである。 図１０は、本発明により再フォーマットする前後のクラスターボリュームを示 す図である。 図１１は、２ｎｘｎスイッチを示す図である。 図１２は、ある回路構成における２ｎｘ１スイッチを示す図である。 図１３は、本発明による２ｎｘｎシステムを示す図である。 図１４は、図１３のスイッチ式システムの詳細なブロック図である。 図１５は、本発明の別の実施形態によるリング構成の映像システムを示す図で ある。 図１６は、図１５のスイッチ式システムを詳細に示す図である。 図１７は、本発明による図１６のスイッチ式システムの真理値表である。好ましい実施形態の詳細な説明 図１を参照すれば、冗長な分散型コンピュータシステム１０は、ここに示す実 施形態では、複数のプロセッサシステム１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ ｅを有し、これらは、相互接続チャンネル１４ａ、１４ｂ、１４ｃ・・・１４ｊ により複数のポイント対ポイント相互接続において相互接続される。従って、各 プロセッサシステム１２は、ポイント対ポイント接続において他の各プロセッサ システムに直結される。本発明の他の実施形態では、更に多数又は少数のプロセ ッサシステムを使用できるが、実際の上限は、９ないし１３であり、そして下限 は、３である。（前記したように、２つのプロセッサシステムを使用して本発明 の幾つかの効果を達成できるが、以下の説明の目的上、３つ以上のプロセッサの 実施形態について説明する。） 各プロセッサシステム１２を詳細に参照しそして図２を参照すれば、各プロセ ッサシステム１２は、ＣＰＵ２０を有し、これは、ここに示す実施形態では内部 データ通信バス２２に接続され、このバスには、少なくともメモリ及び通信コン トローラ２４と、大量メモリ記憶ユニット２６が接続される。大量記憶ユニット は、通常、複数のディスクドライブユニット２８を有する。又、コントローラ２ ４は、複数のチャンネルインターフェイスユニット３０にも接続され、各チャン ネルインターフェイスユニット３０は、その各々を経て他のプロセッサシステム とのポイント対ポイント通信を確立するために異なる相互接続チャンネル１４に 接続される。 本発明のここに示す実施形態では、相互接続チャンネル１４は、高速イーサネ ットデータリンク装置上で実行されるプロトコルを使用する。このプロトコルは 比較的高い効率を与えると共に、プロセッサ間の通信を、ここに示す実施形態で は、１００メガビット／秒程度の帯域巾で行えるようにする。従って、図１を参 照すれば、４つの相互接続チャンネルに接続される各プロセッサ１２は、そのロ ーカル大量記憶装置２６に関するそれ自身の能力に加えて、外部プロセッサメモ リに対し約４００メガビット／秒（少ないオーバーヘッド）の帯域巾を有する。 図１に示すコンピュータシステムの１つの特定の用途では、映像入力情報及び データが、外部フィードライン、例えば、ネットワークフィード３２を経て１つ 以上のプロセッサシステム１２に送られ、これは、短い時間巾の映像データ（音 声を含む）を表しそして記憶するに必要な相当量のデータの広帯域巾記憶を必要 とする。特に、例えば、１分の映像データは、６６メガバイトの記憶を必要とす る。好都合なことに、図１に示されそしてここに述べる特定の実施形態は、映像 情報を種々のプロセッサシステム間に分散させることのできる実質的な帯域巾を 有し、従って、本発明の好ましい実施形態では、１つのプロセッサシステム１２ への映像データ入力は、実際には、多数のそして好ましくは全ての映像プロセッ サシステム１２に沿って記憶される。 本発明の特定の実施形態によれば、プロセッサシステム１２のコントローラ２ ４は、全コンピュータシステム１０のネットワークにわたり冗長形態でデータを 記憶するように個々にそして集合的に働き、従って、いずれか１つのプロセッサ システム１２が故障しても、残りのプロセッサシステムが全システムに得られる 全てのデータを再構成することができる。更に、この解決策は、以下に詳細に述 べるように、ここに示す実施形態において、種々の処理システムにわたり負荷バ ランスをとると共に、データの読み取り又は書き込みのいずれかを要求する１つ のプロセッサシステムが非常に広い帯域巾のメモリ通信チャンネルの能力を得る ことができるようにする。 本発明の好ましい実施形態では、ＲＡＩＤ−５のアーキテクチャーがシステム レベルで始めて実施され、分散型コンピュータシステムの目的を満足するに必要 な冗長性、負荷バランス及び帯域巾を与える。特定の用途では、プロセッサシス テム１２ｅにより入力ライン３０において映像データを受信すべきであると仮定 すると、コンピュータシステム１０は、データを受け取る前に、複数の異なる方 法の１つで各プロセッサシステムに割り当てられた記憶領域を有する。以下に述 べる好ましい方法ではない１つの方法においては、特定の容量を有する記憶クラ スターボリュームがプロセッサシステム１２間に配備される。例えば、記憶クラ スターボリュームが１０ギガバイトである場合には、図１の実施形態において、 各プロセッサシステムは、それ自身に使用するだけでなくクラスターの他のプロ セッサシステム即ちメンバーにも使用するために２ギガバイトのクラスターボリ ュームにサービスする責任を負う。 それ故、通常の動作条件のもとでは、システムは、データの書き込み及び読み 取りの両方のプロトコルを予め確立する。１つのプロトコルに基づき、システム は、クラスターボリュームに対する全てのデータを書き込むための１つのシステ ムを選択する。本発明の別の観点においては、分散型ロックを使用して、プロセ ッサシステム間の書き込み動作を裁定してもよい。第３の実施形態では、１つの プロセッサシステムが各データ入力に対してファイルを割り当て、その後に、各 プロセッサシステムがそれに関連した割り当てられたファイルに入力データを書 き込むことができる。 上記のクラスターボリュームは、クラスターメンバー（クラスターの異なるプ ロセッサシステム）間に共用された論理的ディスクブロック（幾つかはロ一カル そして幾つかはリモート）の集合である。この構成においては、各クラスターメ ンバーは、実行されるファイルシステムのインスタンスを有し、そして各ノード は、論理的ブロックの全セットへアクセスする。この解決策は一応機能するが、 多数の問題がある。第１に、１つのシステムしかクラスターボリュームに書き込 みできず、第２に、クラスターボリュームの統合性を厳密に管理しなければなら ず、そして第３に、ファイルシステム構造の変更（ファイルの形成又は削除）を 各クラスターメンバーにおいて実行されるファイルシステムの各インスタンスに 複製しなければならない。 上記のクラスターボリューム構造を使用するのではなく、本発明の好ましい実 施形態では、クラスターアーキテクチャーは、ファイルサーバがネットワークク ライエントに「ファイル」を与えるのと同様に、データオブジェクト及び名前の 付けられた断片ファイルにアクセスする。クラスターメンバーは、それらのファ イルシステムをプライベートに保持し、そしてデータオブジェクトへのアクセス しかエクスポートしないので、各クラスターメンバーは、クラスターの他のメン バーを妨げることなく、そのローカルファイルシステムのファイルを読み取り、 書き込み又は削除することができる。この方法には著しい問題はなく、クラスタ ーソフトウェアの複雑さを低減する。次いで、ＲＡＩＤ−５ストライピング及び パリティ技術を用いて、データオブジェクトが細分化されて、クラスターのメン バーに書き込まれ、各個々のデータオブジェクトを、他の全てのデータオブジェ クトに関わりなく、読み取り、回復し又は書き込むことができるようになる。更 に、全てのデータオブジェクトが独立して記憶されるので、あるクラスターオブ ジェクトがダウンしている間に書き込まれたデータオブジェクトを回復するだけ でよい。クラスターボリューム方法においては、以下に述べるように、全ローカ ルクラスターボリュームを再構成しなければならない。全クラスターボリューム の再構成は、ボリュームのサイズの基づいて数時問から数日までのいずれかで行 うことができる。データオブジェクトのみが記憶されるときには、データの小さ なサブセットのみを、もしそれがクラスターメンバーがダウンしている間に書き 込まれたならば、再構成するだけでよい。 冗長性、ひいては、故障許容性の記憶システムを達成するために、プロセッサ １２の各々は、たとえそれらがシステムレベルにあっても、ＲＡＩＤ−５のコン テクストにおいては、次のようにストライピングの状態にあるとみなす。各プロ セッサが６４キロバイトのブロックを書き込むと仮定すると、第１のブロックは プロセッサ１２ａへ送られてそれにより書き込まれ、第２のブロックは、プロセ ッサ１２ｂにより書き込まれ、第３のブロックは、プロセッサ１２ｃにより書き 込まれ、第４のブロックは、プロセッサ１２ｄにより書き込まれ、そして第５の ブロックである冗長ブロック即ち「パリティブロック」は、プロセッサ１２ｅに より書き込まれる。ＲＡＩＤ−５解決策によれば、プロセッサ１２ｅによりその 大量記憶装置に書き込まれるべき冗長ブロック即ち「パリティブロック」は、プ ロセッサ１２ａ、１２ｂ、１２ｃ及び１２ｄに送られたブロックの排他的オアと なる。明らかに、例えば、ハフマンコード及び他の冗長コード化方法の種々の形 態を含む他の冗長方法を使用することができ、従って、プロセッサの１つの故障 を考慮するだけでなく、多数のプロセッサ故障も考慮することができる。データ の書き込み及びおそらくは読み取りの両方を処理するには、当然、コストが増大 する。更に、重要なことに、各プロセッサは、ポイント対ポイントの両方向接続 において他の各プロセッサに接続されるので、５つのデータブロック全部を実質 的に並列に書き込むことができ、従って、書き込みコントローラに得られる帯域 巾を完全に使用すると同時に、書き込み負荷を全コンピュータシステムにわたり 実質的に等しく分散させることができる。 最初の４つのデータブロック（及び１つの冗長ブロック）が書き込まれた後、 次のデータブロック（「データブロック」）を例えばプロセッサシステム１２ｂ に書き込むことができ、第６のブロックをプロセッサシステム１２ｃに書き込む ことができ、第７のブロックをプロセッサシステム１２ｄに書き込むことができ そして第８のブロックをプロセッサシステム１２ｅに書き込むことができる。次 いで、パリティ即ち冗長ブロックがプロセッサシステム１２ａに書き込まれる。 このやり方によれば、冗長ブロックの各々は、ＲＡＩＤ−５処理プロトコルに基 づき、所定のラウンドロビンの回転方式で書き込まれる。ブロックの位置が図３ に示されている。以下に詳細に述べるように、短いアルゴリズムを用いて、特定 のブロックの位置を決定することができる。 更に、各プロセッサシステム内において、プロセッサは、ＲＡＩＤ−５プロト コルをその通常の良く知られた意味で使用して、そのプロセッサに関連した複数 のディスクドライブ装置２６の間にデータを記憶することができる。従って、良 く知られた記憶レベルだけでなく、新たなシステムレベルの両方において、ＲＡ ＩＤ−５技術を２回使用して、高信頼性の低コストコンピュータシステムを達成 するという新規な環境が与えられる。 ここに述べる図１の構造は、その適切な機能を維持するために多数の制約を有 する。第１に、各クラスターボリュームは、少なくとも３つのメンバーを有して いなければならない。第２に、クラスターは、ＲＡＩＤ−５プロトコルを使用す る場合に、２つ以上のクラスターメンバーが故障すると、動作を続けることがで きない。（他の複雑なプロトコルの使用は、この制約を若干緩和できる。）第３ に、現在の動作パラメータのもとでの実際の限界は、９ないし１３のクラスター メンバーであることが明らかである。それより多数のクラスターメンバーが使用 されるときは、ポイント対ポイントの配線が次第に困難になり且つ高価なものと なる。実際に、９つのクラスターメンバーは、３６の相互接続チャンネルを必要 とし、一方、１３のクラスターボリュームは、７８の相互接続チャンネルを有す ることになる。 図４を参照すれば、単一のプロセッサシステム１２（「クラスターメンバー」 とも称する）の重要なソフトウェア成分は、ポートドライバ５０、クラスドライ バ５２、リモートファイルプロバイダー５４、ローカルファイルプロバイダー５ ６、ファイルシステム５８（ＳｅａＦｉｌｅ、ＦＡＴ、ＮＴＦＳ）、ＳＣＳＩド ライバ６０、ＲＡＩＤコントローラ６２、高速イーサネットアダプタ６４、及び ＳｅａＮｅｔトランスポート６６を含む。 クラスターのアーキテクチャーは、ＲＡＩＤ−５技術を使用して、故障許容の 分散型システムを構成する。データオブジェクトは、クラスターのメンバーにわ たり名前の付けられた断片ファイルとして記憶される。データオブジェクトは、 ストライプ状にされ（ＲＡＩＤ−５プロトコルに基づき）、そしてパリティ情報 と共に記憶され、クラスターメンバーが故障した場合に欠落した名前付きの断片 ファイルを再構成できるようにされる。これは、以下に詳細に説明する。 透過的なデータオブジェクトアクセスを与えるために、ＲＡＩＤポートドライ バは、データオブジェクトが１組の名前付きの断片ファイルとして存在するとい う事実をマスクする。これは、名前付きの断片ファイルをデータオブジェクトバ イト流へと合体するためにマルチプレクス及びデマルチプレクスサービスを与え る。ＲＡＩＤポートドライバは、プロバイダー及びコンシューマーの両方として 登録される。クラスドライバがデータオブジェクトをオープンするよう試みると きには、システムの全てのプロバイダーポートドライバをコールする。ＲＡＩＤ ポートドライバは、コールされたときに、コンシューマーとなり、クラスドライ バを使用して、そのデータオブジェクトを構成するデータ断片の各々をオープン する。名前付けされた断片ファイルの各々に対してセッションが確立されると、 即ち各々の名前付けされた断片ファイルへアクセスが与えられると、ＲＡＩＤポ ートドライバは、データオブジェクトが使用できることをクラスドライバに通知 するためにオープンコールバックを実行する。 データ（映像）オブジェクトをアクセスする特定の用途では、ポートドライバ が、クラスターに記憶されたデータ（映像）オブジェクトをアクセスする。映像 の名前付けされた断片ファイルは、ローカル及びリモートプロバイダーからＲＡ ＩＤ−５方法を用いて読み取り又は書き込みされる。これは、他のポートドライ バ（例えば、映像デコーダ又はＡＴＭリンク）を故障からマスクする。というの は、欠落したデータ断片をリアルタイムで再構成するからである。リモートファ イルプロバイダーは、クラスター技術を使用することのある第三者アプリケーシ ョン又はデバイスドライバを表す。例えば、ロータス・ノート、医療アプリケー ション又はデータベースシステムが含まれる。クラスターボリューム（ファイル システム５４）のオンディスク構造は、ここに示す実施形態では、ＮＴＦＳ、 ＦＡＴ、ＳｅａＦｉｌｅ又は生のディスクアクセスのいずれかである。ファイル システム成分は、名前付けされた断片ファイルを記憶及び検索する責任を負う。 トランスポート成分６６は、他のクラスターメンバーに効率的なネットワーク サービスを与える。これは、故障を検出してリアルタイムでＲＡＩＤドライバに 報告する。高速イーサネットアダプタは、インターフェイスユニット３０を経て 各クラスターメンバー間に１００Ｍｂ／秒の全二重リンクを形成する。ＳＣＳＩ ドライバ、例えば、ＤＡＣ９６０は、ローカルディスク記憶装置へのアクセスを 与え、クラスターＲＡＩＤドライバがローカルファイルシステムマネージャーに 対するデータを読み取り又は書き込みできるようにする。 ＲＡＩＤコントローラは、名前付けされた断片ファイルへの効率的なアクセス を与える。データオブジェクトのローカル部分は、ＲＡＩＤコントローラにより 読み取り又は書き込みされる。ＲＡＩＤ制御ボリュームは、ここに示す実施形態 では、ＲＡＩＤ−０、ＲＡＩＤ−１、ＲＡＩＤ−５、ＲＡＩＤ−６又はＲＡＩＤ −７レベルのいずれかに構成することができ、そして上記のように、ＲＡＩＤ− ５プロトコルでボリュームを構成すると、たとえ単一のディスクが適切に機能し なかったとしても、クラスターメンバーを続けることができる。 上記したように、クラスターボリュームが使用されるときには、クラスターボ リュームは、多数のクラスターメンバー即ちプロセッサシステムに及ぶ論理的な ディスクボリュームである。映像データオブジェクトの記憶及び検索のような特 定のアプリケーションを考慮すると、クラスターボリュームにとって重要な設計 は、各プロセッサシステムメモリの一部分を各映像流に対して使用し、従って、 バランス型の拡張可能なシステムを形成することである。クラスターボリューム に記憶された映像データは、重要なミッションであるから、クラスターボリュー ムの完全性を入念に維持しなければならない。従って、１組のチェックを使用し て、クラスターメンバーがクラスターボリュームの一貫した意図に合意しそして １つのクラスターメンバーのみがクラスターボリュームに書き込むように確保す る。 本発明のここに示す実施形態においては、図５を参照すれば、クラスターボリ ュームの各クラスターメンバー、即ち各プロセッサシステム１２は、クラスター ボリュームの完全性を確保するためにそのクラスターボリューム「ホームブロッ ク」を維持しそして照合する。クラスターメンバーのプロセッサシステムがブー トするときには、クラスターボリューム「ホームブロック」の具現化及びボリュ ーム識別子を他のクラスターメンバーのプロセッサシステム「ホームブロック」 に対してチェックして、クラスターボリュームがダウンしている間にそれが変更 されなかったことを確保する。クラスターボリュームが変更された場合には、再 構成プロセスがその古いクラスターメンバーを修理することができる。 それ故、各クラスターメンバー３５は、本発明のここに示す実施形態では、各 クラスターボリュームごとに１つのクラスターボリューム「ホームブロック」３ ７を有する。図６及び６Ａを参照し、種々のオフセット及びバイト識別を本発明 の好ましい実施形態として詳細に述べる。クラスターボリュームは、クラスター のメンバーであるプロセッサシステムにわたりＲＡＩＤ−５プロトコルを用いて 編成される。（クラスターボリュームは、システム１０の全てのプロセッサ１２ にわたって延びる必要はないが、少なくとも３つのプロセッサ、又は鏡像関係が 許される場合には２つのプロセッサにわたって延びねばならないことに注意され たい。）コントローラはデータを編成し、そして書き込みコントローラは、上記 のように、クラスターボリュームに関与するクラスターメンバーにわたりラウン ドロビン形態でデータのブロックを書き込む。 上記のように、好ましい実施形態では、データオブジェクトが使用される。こ のシステムの各データオブジェクトは、１組の名前付けされた断片ファイルとし て記憶される。各断片ファイルは、名前付けされた断片ファイルがそれ自身を説 明できるようなヘッダブロックを含む。データオブジェクトは、それらがクラス ターに書き込まれるときに細分化される。図６Ｂ及び６Ｃは、データオブジェク トと、その名前の付けられた断片ファイルとの関係を示す。図示されたように、 個々のクラスターメンバーに書き込まれる断片ファイルは、名前の付けられた断 片へッダと、断片ファイルを構成する複数のブロックとを含む。この例では、デ ータオブジェクトが３つのファイルに細分化される。 １つのブロックのデータ量は、ボリュームストライプサイズと称する。本発明 のここに示す実施形態では、デフォールトストライプサイズが６４キロバイトで ある。ストライピングに加えて、ＲＡＩＤ−５プロトコルは、単一の故障から回 復するために「パリティブロック」を使用する。この「パリティブロック」は、 クラスターのプロセッサシステムメンバーの数をｎとすれば、ｎ−１ブロックご とに書き込まれる。従って、この技術は、上記のように、いずれか１つのクラス ターメンバーが故障したときにクラスターボリュームデータを再構成することが できる。本発明の好ましい実施形態では、パリティブロックは、ストライプレべ ルを形成するｎ−１個の「データブロック」を排他的オアすることにより形成さ れる。データがデータオブジェクトとして記憶される本発明の好ましい実施形態 の場合に、図６Ｄは、名前の付けられた断片ファイルのヘッダフォーマットを示 す。上記したように、ヘッダブロックは、断片の内容を示す。図６Ｅは、本発明 の１つの特定の実施形態の場合のヘッダの特定成分をテーブル形態で示す。 図６Ｆは、クラスターのメンバーにわたって分散された単一映像オブジェクト の「データブロック」の読み取りを示す。この映像オブジェクトを再生するため に、クラスターメンバーは、名前の付けられた各断片ファイルをオープンし、そ して例えば、クラスターメンバー０から第１ブロックを、クラスターメンバー１ から第２ブロックを、そしてパリティブロックがないと仮定すれば、クラスター メンバー２から第３ブロックを読み取る。この点において、読み取りプロセスは クラスターメンバー０に戻る。このプロセスの複雑さは、上記のように、ＲＡＩ Ｄポートドライバによりコンシューマーから隠される。上記説明において、名前 の付けられた断片ファイルと共に記憶されたパリティブロックは、実際に映像デ ータオブジェクトが読み取られるときに無視されるので、パリティブロックは、 スキップされ、そして実際のデータのみが読み取られる。従って、パリティブロ ックの編成は、注意しなければならない付加的な複雑さを導入する。又、パリテ ィ「データブロック」は、上記のように、１組のディスクヘッドが読み取りプロ セスの間にアイドル状態に保たれるのを回避するために、ラウンドロビン形態で 書き込まれる。 その結果、従って、図７を参照すると、パリティブロックが各クラスタメンバ の各名前が付けられたフラグメントに記憶されるような編成が示されている。故 障中に、ミッシングブロックを再構築するためにミッシングブロックに関連付け られたブロックが読み出される。例えば、クラスタメンバ２が利用できず、かつ ブロック７が要求されるならば、ミッシングブロックを生成するためにパリティ ブロック６／７及びブロック６が読み出されかつＥＸＣＬＵＳＩＶＥ ＯＲ（排 他的論理和）される。表を用いてＤａｔａＢ１ｏｃｋ（データブロック）の位置 を決定することが確実に可能であると同時に、本発明の好ましい実施例では、ア ルゴリズム処理が好ましくかつより速く動作する。この説明している実施例では 、名前が付けられたフラグメントファイルに記憶されるデータ及びパリティブロ ックを位置付けるために整数演算が採用される。 図８を参照すると、ブロックの位置を決定するために用いられるコンピュータ ソフトウェアプログラムで用いられる変数のリストが示されている。ここで、図 ９Ａに関してプログラムのフローチャートを説明する。最初に、３００にて、パ リティブロックの数は、クラスタサイズから１を引いたもので、位置決めされる べきブロック数を割り算することによって、まず決定される。これは、本質にお いて、見出されるべきブロックが存在する行を含まないがその行までのパリティ ブロックの数を供給する。割り算は、整数の割り算であって余りは、破棄される 。それゆえに、ＰＢＣは、ブロックの最後の完全な行を含みかつその行までのパ リティブロックの数を供給する。次に、通称、調整済みブロック番号は、見出さ れるべきブロックまでの、完全な行内のパリティブロックを含む、記憶されたブ ロックの合計数に等しく設定される。これは、３０２に示されている。 オプショナルパリティブロック計数が次に決定される。見出されるべきブロッ クの行における、パリティブロックが見出されるべきブロックの前または後に位 置決めされるかどうかを決定するために、ブロックモジュロの合計数、二乗され たクラスタメンバの数に等しい、数量ＡＢＮ_Lが３６４で生成される。オプショ ナルパリティブロック計数は、３０６で“０（ゼロ）”に設定され、かつ、クラ スタの数によって割り算されたＡＢＮ_LがＡＢＮ_Lモジュロ、３０８でのクラスタ の数以下ならば、オプショナルパリティ計数は、３１０で“１（ワン）”に設定 される。“０”オプショナルパリティ計数は、ブロックが行においてパリティブ ロックの前にあるということを示し、“１”オプショナルパリティ計数は、行 のパリティブロックの後にあるということを示す。これは、パリティが図６Ｃに 記載されたように構成されるということを想定する。 次いで、最終ブロック数は、調整済みブロック数にＯＰＣの値を加えたもので ある。これは、３２０に示されている。次いで、クラスタメンバは、最終ブロッ ク数モジュロ、クラスタの数を取ることによって計算することができる。これは 、３３０に示されている。次いで、そのクラスタ内のローカルブロック数は、ク ラスタの数で割り算された最終ブロック数である。これは、３４０で示されてい る。（最初のブロック数が“ゼロ”であるということを思い起こす。） 故障が発生したならば、バイナリブロック数に対するパリティブロック数を決 定しなければならない。これは、図９Ｂのフローチャートを参照して、以下に説 明するように行われる。まず、パリティブロック数は、分子が最終ブロック数で ありかつ分母がクラスタの数である、割り算の整数部分でクラスタの数を乗算す ることによって決定される。これは、４００に示されている。次に、繰り返しパ ターン内のパリティブロックオフセットが決定されかつ先に決定されたパリティ ブロック数（ＰＢＮ）に加えられる。これは、最終ブロック数モジュロ、２乗さ れたクラスタメンバの数を取りかつその数をクラスタの数で割り算することによ って達成される。次いで、その値は、パリティブロック数の最終値を得るために パリティブロック数に加えられる。これは、４２０に示されている。 パリティブロックに関連付けられたＤａｔａＢｌｏｃｋｓを位置決めすること も必要でありうる。図９Ｃを参照すると、これは、パリティブロック数（ＰＢＮ ）が見出されるような行を見出すことによって決定される。行は、パリティブロ ック数とクラスタの数の分数の整数値を取りかつその値をクラスタの数で乗算す ることによって決定される。これは、４３０で示される。パリティブロック位置 は、パリティブロックモジュロ、２乗されたクラスタの数、クラスタメンバの数 で割り算されたその数量、に等しい。これは、４４０に示されている。次いで、 以下のサブルーチン（Ｃ言語で書かれた）は、パリティブロックに関連付けられ たブロックを決定するために採り入れられる： ｆｏｒ（ｉ＝０；ｉ＜ＣＳ；ｉ＋＋） ｉｆ（ＰＢＮ_row＋ｉ！＝ＰＢＮ） ＦＢＮ＝ＰＢＮ_row＋ｉ クラスタプロセッサシステムメンバーが機能しなかったならば、データオブジ ェクト用の読出しコントローラは、ミッシングＤａｔａＢｌｏｃｋを回復するた めに先に示した段階を行う。この操作の出力は、ミッシング（機能しなかった） ＤａｔａＢｌｏｃｋをもたらす。 クラスタボリューム採り入れられるとき、上記したように、クラスタボジュー ムマスタは、クラスタボリュームの各ブロックへのアクセスを制御する。コンピ ュータシステム１０は、各ボリュームに対してクラスタボリュームマスタを決定 するためにプロトコルを供給する。各クラスタボリュームは、説明したかつ好ま しい実施例では、クラスタメンバの全てに関して書込み負荷を分配するために（ 可能な程度に）異なるプロセッサシステムメンバによって制御される。クラスタ ボリュームマスタがクラスタプロセッサシステムメンバが機能しなかったという ことを検出したときに、それは、（ＨｏｍｅＢｌｏｃｋにおいて）クラスタボリ ューム具現化を進めてかつクラスタボリューム状態のクラスタボリューム“ダー ティビット”をクリアするべく残りのクラスタメンバに指令する。クラスタボリ ュームへの次の書込み操作は、ダーティビットを設定させて、機能しないクラス タメンバがクラスタボリュームを再結合できる前に再構築処理を実行しなければ ならないということを表示する。クラスタメンバが機能しない状態である間に実 施したクラスタプロトコルがクラスタボリュームへの書込みを防ぐならば、機能 しないメンバを再構築する必要がない。 クラスターボリュームは、再構築（リビィルディング）操作中に書き込みロッ クされる必要はない。既に再構築されたデータブロックに対する書き込み操作は 、データブロックを単に更新する。まだ再構築されていないデータブロックに対 する書き込み操作は、単に無視することができ、それらは、後で再構成される。 しかしながら、再構成されている現在のデータブロックに対して書き込み操作を 扱う場合には、特別の注意が、必要とされる。この場合、再構成は完了されるべ きであり、書き込み操作は、再構成されたデータが書き込まれた後、及び後のみ に、実行されるべきである。 他方、システムがデータオブジェクト上で作動する時、システムは、必要な場 合にデータオブジェクトを修正しながら、作動を続ける。失敗したメンバーが復 元された場合、変更されたデータオブジェクトに対してだけ、システムは再構築 プロセスを実行する。残りのオブジェクトは影響されない。この様にして、故障 中であっても、書き込みを実行し続けることが出来、故障はユーザー又は消費者 に対してトランスペアレント（透過）になる。同様に重要なことは、再構築が、 オブジェクト毎に発生し、且つクラスターボリュームの全てが、何等かのファイ ルをボリューム内に書き込むことによって、不利益的に影響されることはないの で、再構築は、よりゆったりとしたペースで実行することができる。 クラスタープロセッサシステムメンバーが一度故障した場合は、如何なる他の クラスタプロセッサシステムメンバーの故障も、クラスターボリュームを、この 説明した実施の形態において読み出し不可能にする。従って、故障クラスターメ ンバーが再構成された後のみに、別の故障を本発明のこの実施の形態が扱うこと が出来る。しかしながら、上述した様に、本発明の他の実施の形態において、２ つ又はそれ以上の故障を扱うことが出来る。しかしながら、より複雑な、従って 、より長い再構成及び暗号化処理を採用することが必要な場合もある。 クラスターの拡張が要求される場合、例えば、クラスターボリュームが一杯と なる時、又はクラスターの容量が増大されることが必要とされる時、本発明の方 法及び装置が、「オンライン」記憶容量を増大するための処理を提供する。例え ば、記憶装置をクラスターに加えるために、ディスク駆動装置が各クラスターメ ンバー（即ち、各プロセッサーシステム１２）に加えられ、新たなクラスター又 は新たなデータオブジェクトを作りだすことが出来る。このことは、単純な操作 であり、現存するクラスターボリューム又はデータオブジェクトは、このアップ グレード中に故障許容性を維持する。しかしながら、新たなディスク駆動装置を 「見る」（即ち、認識する）ために、クラスターメンバーを再ブートする必要が 生じる場合もある。 しかしながら、本発明の方法及び装置は、操作中に新たなクラスタープロセッ サシステム（及びそれに関連する記憶装置）を加えることに更に対応することも 出来る。これは、より複雑な装置であり、以下の様に進めることが出来る。 図１に示される様に、新たなクラスターメンバーを、元のクラスタプロセッサ ーシステムメンバー１２の各々とネットワーク接続することによって、新たなク ラスタープロセッサシステムメンバーが、クラスター内に挿入される。各クラス ターボリュームは、次にボリュームの何れの場所への書き込みも禁止される様に 「書き込みロックされる」。各クラスターボリュームは、現在のクラスターボリ ュームフォーマットから新たなフォーマットへの変化を開始することによって、 再フォーマット化される。本質的に、この操作は、ｎ個のメンバークラスターボ リュームからｎ＋１メンバークラスターボリュームへの翻訳である。各データブ ロックが読み出され、再書き込みされ、新たなパリティーブロックが発生され、 再フォーマット操作中にシステム故障が発生する場合は進み具合がチェックポイ ントでチェックされる。何れのクラスターボリュームのサイズも、この操作によ っては増加されない。むしろ、各ローカルクラスターボリュームのサイズは減少 され、前記操作から残りのディスクスペースを更に追加のクラスターボリューム 内に構成することが出来る。最後に、クラスターボリュームの再フォーマッティ ングが完了した時、「書き込みロック」がクラスターボリュームから除去される 。図１０を参照する。典型的なシステムにおいて、クラスタープロセッサシステ ムメンバーの各々内のクラスターボリュームの種々のサイズが、再フォーマッテ ィングの前及び後の両方で、図示されている。 新たなクラスターメンバーが、記憶されたデータのフォーマットがデータオブ ジェクト内にあるシステムに加えられる時、現存するデータオブジェクトは、ｎ 個の名前付けフラグメントファイルをｎ＋１個の名前付けフラグメントファイル に、再フラグメント化される必要がある。この操作は、新たな名前付けフラグメ ントファイルが発生されるまで、元のデータオブジェクトにアクセスすることを 可能とするバックグラウンドアクティビィティとして生じことが出来る。新たな フラグメントファイルが存在しさえすれば、古いフラグメントファイルは削除す ることができる。この処理は、従って、「空き時間」に生じ、名前付けフラグメ ントファイルが使用不可能である時間は無い。 図１１乃至１３を参照する。図１の構造と関係して利用し得る切り換えシステ ムが図示されており、故障許容操作が、上述されたシステムに対して柔軟性(res iliency)及び耐久性(robust)、そして比較的低いコストを与える。 最も一般的な概念で、本発明が適用可能なビテオ挿入システムにおいては、２ ｎ個の入力の何れかをｎ個の出力の何れか上に設置することが出来る２ｎ×ｎク ロスバーシステムを有することが望まれる。この様なクロスバーシステム１００ は、図１１を参照すると、例えば、n個の（割込可能な）のネットワークフィー ド１０２、及びネットワークフィードを選択的に置き換えるのに使用するとこの 出来るn個の広告又は他の割込フィード１０４を有することが出来る。n個の出力 選択１０６の各々は、ネットワークフィードの一つを表す。このフィードは、割 込フィード１０４の一つと、時間経過と共に切り換えられる。ｎ個の出力は、例 えば、ケーブルネットワークを介して、送信用出力チャンネルと接続している。 柔軟性が劣り従ってある程度不利であるより簡単な方法が、図１２に図示され ている。２ｎ×ｎ個のスイッチ１０８は、ｎ個の２×１スイッチ１１０と置き換 えられている。この構成において、ネットワーク入力１１２が各２×１スイッチ １１０に与えられ、割込又は他の入力１１４が各２×１スイッチ１１０に同様に 与えられる。このシステムは、割込フィードの何れもが失われないと仮定した場 合に、上手く作動する（ライン１１４を介しての割込フィードは典型的にはプロ セッサシステム１２によって発生され、ネットワークフィードが信頼性があり且 つつねに存在すると暗黙的に仮定されている。）。プロセッサシステムの故障に より、割込フィードが失われると、割込フィードの代替的ソースが準備されてい ないので、ライン１１６を介しての出力は正しく無い。次に要約すると、典型的 なシステムにおいて、ライン１１２を介してのネットワークフィードは常に信頼 性があり且つ利用可能であると考えられる。従って、故障する可能性のあるのは ライン１１４を介しての割込フィードだけである。割込フィードは、例えばプロ セッサシステム１２によって通常設けられ、従って、プロセッサシステム１２が 故障する場合、図１２に構成される様なスイッチ１１０には、（例え、図１１に 与えられるクロスバースイッチであっても、故障したソースは置き換えることが 出来ないので、）回復するための柔軟性又は耐久性は無い。 しかしながら、本発明によれば、「スペア」スイッチドシステムが提供され、こ のシステムを用いて、図１２の実施例のフェールした割り込みフィードを耐久力 のある柔軟な方法で置き換えることができる。ここで、図１３を参照すれば明ら かなように、本発明は、１つの完全なスペアを設けることによってシステムプロ セッサからのフェールした挿入フィードを補償する方法と装置を提供するもので ある。このスペアシステムは、複数の作動システムをリング構造に相互に接続し て、耐久力のあるフォールトトレラント信号（例えば、ビデオ）デリバリシステ ムを作り出している。図１３は、局所プロセッサシステムによって発生された２ 個の割り込みフィードと２個のネットワークフィードとが存在するような制限型 ビデオデリバリシステムを示している。他の実施例では、より多くのネットワー ク割り込み可能・割り込みフィードを使用することができ、このシステムはそれ に応じて比例尺で設計され得る。ライン１３０、１３２上の、ＮＥＴ０、ＮＥＴ １で示されたネットワークフィードは、各ビデオ挿入フィードシステム１３４、 １３６へそれぞれ入力される。各ビデオ挿入フィードシステムは、１つのプロセ ッサシステム１３８、１４０（このプロセッサシステムは図１に関連して記述し たプロセッサシステム１２と同じものにすることができる）と１つのスイッチド システム１４２、１４４とを有しており、スイッチドシステム１４２、１４４は 、以下に記述されているような制御された方法で、その４つの入力の中の幾つか をその出力ライン上に配置することができる。 スイッチドシステムは、ＯＵＴ０，ＯＵＴ１として示されたネットワークフィ ード出力信号をライン１４６、１４８上に与える。図示実施例において、スペア ビデオ挿入フィードシステム１５０は、ビデオシステム１３４、１３６のプロセ ッサシステムとスイッチドシステムとの相互接続をミラーする(mirroring)スイ ッチドシステム１５４と、プロセッサシステム１５２と、を有しており、このス ペアビデオ挿入フィードシステム１５０は、以下に記述された状態下でフォール トトレラントを与える。 プロセッサシステム１３８、１４０、１５２は、ポイント・ツー・ポイント接 続によって相互に接続されており、また、これらのプロセッサシステムは、図１ に関連して示したより大きなコンピュータシステムについて記述されたものと同 じ方法で互いに動作する。従って、いずれのプロセッサシステム１３８、１４０ 、１５２も他のプロセッサシステムによって記憶されたビデオに対するアクセス を有し、また、このビデオは、好ましくはＲＡＩＤ−５プロトコルに従ってプロ セッサレベルで記憶される。図示実施例において、ビデオオブジェクトは、これ またＲＡＩＤ−５プロトコルに従ってプロセッサの局所ディスクアレイに記憶さ れる。各プロセッサシステムは、出力フィード（一般には、ネットワークフィー ド）をその関連するスイッチドシステムからライン１６０、１６２、１６４上で 受け取って、入力フィード、例えば、広告に応答して、ｎ割り込み出力をその関 連するスイッチドシステムにライン１６６、１６８、１７０上で与える。ライン １６０、１６２、１６４、１６６、１６８、１７０上で運搬される信号は以下に より詳細に述べるようにビデオ信号である。 ビデオシステム１３４、１３６、１５０は、それらのスイッチドシステムを通 じてリング構造で相互に接続されている。故に、各スイッチドシステムは、１７ ２、１７４、１７６で示された、リング構造の隣接するビデオシステムへの入力 となる、出力を与え、また、ビデオシステム１３４、１３６のネットワーク入力 は、他の入力として、リング上の他の隣接するスイッチドシステム（このスイッ チドシステムは、上に述べたように、自身とは別の隣接システムから入力信号を 受け取る）へ接続される。こうして、ＮＥＴ１入力は、スイッチドシステム１４ ４とスイッチドシステム１４２の両方に与えられ、一方、ＮＥＴ０入力は、スイ ッチドシステム１４２とスイッチドシステム１５４へ与えられる。出力１７３、 １７４、１７６はそれぞれ、システム１４４、１５４、１４２への入力として接 続される。各プロセッサシステムはまた、プロセッサ自身から、若しくは、一般 にはプロセッサＣＰＵによって制御されるオン・ボードコントローラ１２ａを通 じて、のいずれかにより、以下により詳細に記述されている２つのスイッチ制御 信号を与える。 図１４を参照すると、ここには、図１３の説明に関連して、ビデオシステムが 下方ラウンドロビン方向にスイッチできるようにする（つまり、ビデオシステム １３４やビデオシステム１３６がフェールした場合に、スペアビデオシステム１ ５０がビデオシステム１３４の動作を置き換えることができるという意味である ）ビデオシステムの好ましい実施例が示されている。上に述べたように、プロセ ッサのフェールによってビデオシステム１３４がフェールした場合（スイッチド システムはフェールしないと仮定する）、スペアビデオシステム１５０はそれを 置き換えて、訂正割り込みフィードをスイッチドシステム１４２へ与える。プロ セッサシステム故障によってビデオシステム１３６がフェールした場合、連鎖反 応で、ビデオシステム１３４は訂正割り込みフィードをスイッチドシステム１４ ４へ与えるように動作し、ビデオシステム１５０はその後、訂正割り込みフィー ドをビデオシステム１３４のスイッチドシステム１４２へ与えるように動作する 。この「下方」運動は、例えば、９つのネットワークフィード（この場合、回路 部品１３４のような９つのネットワークビデオシステムが存在する）とシステム １５０に対応するスペアビデオシステムとを有しているような、より大きな動作 システムに拡張され得る。他の実施例では、リングを、上方に、即ち、下に記述 されているように、運動するように構成を変更することができ、スイッチドシス テムは、リングの運動を、図１３に示されるように上方、若しくは、下方方向の いずれかに向けることができる。この後者の形態では、相互接続構造は以下に記 述されているようにより複雑である。 次に図１４を参照すると、この図示実施例では、図１３の各スイッチドシステ ムは、２つのマルチ入力シングル出力制御スイッチ素子１９０、１９２を有して いる。図１４では、参照番号は、図１３の参照番号、特に、図示されたビデオシ ステム１３４に対応する。 通常の動作では、ライン１３０上のネットワークフィードは、各スイッチ１９ ０、１９２のデフォルト、即ち、番号１位置へ向けられる。従って、ライン１３ ０上の信号は、スイッチ１９２を通じて送られ、ライン１４６上に出力される。 同時に、信号はスイッチ１９０を通じても送られ、ライン１６０上でプロセッサ システム１３８へ出力される。プロセッサシステムは、入力信号を分析し、ライ ン１３０上の信号に割り込んでそれを置き換えるような挿入を、ライン１６６上 に、正確な時間で与える。これはスイッチ素子１９２によって影響されるもので あり、このスイッチ素子１９２は、ライン１４６上の信号を、その番号１位置に 接続されているものから、その番号３位置に接続されているものへ変更する。( スイッチ１９０)１９２の出力をスイッチするためのコントローラ（及び制御ラ イン）は説明を明確にするため省略されている。しかしながら、各プロセッサは 、それに関連するスイッチと少なくとも１つの隣接スイッチのスイッチング機能 をリングがフェールアップするのか、フェールダウンするのか、若しくは、任意 にいずれかの方向にフェールするのかどうかに依存して制御するような２つ（若 しくは３つ）の制御ラインを有する。プロセッサは更に、好ましくは、イーサネ ットのような他の通信ラインを通じて相互に接続されているため、各プロセッサ は他の各プロセッサによって取られた状態や動作を知っている。これにより、本 明細書に記述されているようなフェールしたプロセッサに対する秩序立てられた 補償が可能である。）ライン１６６上の挿入（割り込み）ビデオが終了したとき 、スイッチ素子１９２はその「デフォルト」番号１位置へ戻る。このように、通 常の動作では、スイッチ１９２は、コントローラの制御下で、（図１に示された より複雑なシステムのより簡単な型として）図１３に示されているプロセッサ相 互接続に従って、プロセッサシステム１３８が訂正割り込みビデオを発生したと きに後方と前方をスイッチする。 図１３に関して、もし、ビデオシステム１３６のプロセッサ１４０が故障した ならば、フォルトトレラントシステムの第１の処置は、ビデオシステム１３４が スイッチドシステム１４４のために必要な挿入ビデオ信号を生成し、ライン１７ ２を介して、それらの挿入信号をスイッチドシステ１４４へ供給するように、ビ デオシステム１３４を変更することを定めている。従って、また、図１４に関し て、動作のこの故障状態では、ビデオシステム１３４に接続する、ビデオシステ ム１３６のためのネットワークフィーダー、すなわちライン１３２上のＮＥＴ１ は、ビデオシステム１３４のスイッチ素子１９０によって切り換えられ、スイッ チ素子１９０の出力、すなわちライン１６０に配置される。この新しいビデオに 応答して、プロセッサシステム１３８は、ライン１６６上に挿入ビデオを生成す る。その挿入ビデオは、ライン１７２上でもまた有効である。このように、その 挿入ビデオ信号は、スイッチドシステム１４４に供給され、それから、スイッチ ドシステム１４２のスイッチ１９２に対応するそのスイッチは、その対応するラ イン入力４の入力を、ライン１４６へ接続し、それを「ＯＵＴ１」としてライン １４６上に出力する。 しかしながら、この交換処理において、ビデオシステム１３４は、そのプロセ ッサシステム１３８の能力を失ってしまう。従って、それは予備のビデオシステ ム１５０及びそのプロセッサシステム１５２に変わる。そのプロセッサシステム は、スイッチドシステム１５４と組み合わさって、ライン１７６上に適切な挿入 ビデオを供給する（適当な挿入制御信号と同時に）。こうして、適当な時に、ス イッチ１９２は、その出力のライン１７６上で有効な挿入ビデオを、ライン１４ ６上に配置し、ＯＵＴ０になるように切り換える。挿入が終了した後、スイッチ １９２は、そのデフォルト値に戻り、そのネットワーク入力であるＮＥＴ０をス イッチ位置１にその出力として配置する。この方法では、ビデオシステム１３４ 、１３６、１５０は冗長性をもって互いの「代わり」をし、１つのプロセッサシ ステムの故障が、配布システムの動作に決して不都合に影響しないようにする。 スイッチドシステム１４２、１４４、１５４が環状構成に連結されるためだけ ではなく、プロセッサシステム自体が、図１の実施例に従って、冗長なやり方で 連結されて、動作するためにも、この環状の冗長性は動作する。このように、各 々のプロセッサシステムは、全てのネットワークフィーダーに対して、共有のシ ステムメモリに冗長性をもって記憶された必要な挿入ビデオ対象を完全に得るこ とができる。 図１３及び図１４で示される実施例は、「上り方向」に故障する。例えば、ビ デオシステム１３６は、そのネットワーク入力をビデオシステム１３４ではなく 、予備のビデオシステム１５０へ供給し、従って、ライン１７４上のその出力を 予備のビデオシステム１５０ではなく、ビデオシステム１３４へ供給するように 、「隣接する接続」を簡単に変更することによって、システムは、反対方向に故 障する。 ビデオ配布システムの第２の特定の実施例では、故障したシステムに応答して 、「両方向に」シフトできるより複雑なビデオスイッチドシステムが提供される 。これは、予備への故障の近さに応じて、環状接続が上りもしくは下りに故障し 、故障した状態を修正するための時間の遅延を減少するようにすることを意味す る。しかしながら、図１３及び図１４に関して、このシステムを使用する必要は なく、単一方向の故障システムは、殆どの故障状態で実質的に同様に動作すると いうことが分かるであろう。 相応して、図１５及び図１６に関して、両方向に故障可能な３つの構成要素の 環状システムを示す。このシステムは、図１３及び図１４に関して示されるビデ オ配送システムの方法に対応する方法で動作する。従って、その詳細な動作を説 明する必要はない。環状システムは、２つのビデオシステム２００及び２０２を 有し、それらの各々は、ビデオプロセッサ２０４、２０６及びスイッチドシステ ム２０８、２１０をそれぞれ有する。加えて、ビデオプロセッサ２１４及びスイ ッチドシステム２１６を有する予備のビデオシステム２１２がある。（図に他の 接続をより明確に示す目的のために、プロセッサ２０４、２０６、２１４間の２ 地点間、双方向、連結チャネル及びプロセッサコントローラは示されていない。 ）動作中、もし、故障が発生するならば、最も近い「下位の」隣のシステムまで 上方にシフトすることによって、もしくは、その他方の隣のシステムまで下方に シフトすることによって、故障システムを交換することができる。原則的に、シ フトの方向は、環のどこで故障が発生したかに応じて変わる。従って、ビデオ配 布システムの完全な動作を実現するために必要とされるわずかなシフトが、環に 沿ってシフトの方向を決める。 シフトの方向とは無関係に、図１５に関して、この図の実施例では、予備のビ デオプロセッサ２１２のプロセッサシステム２１４は、故障してしまったプロセ ッサシステムの代わりを務める。予備のシステム及び故障したシステムのための スイッチドシステムのスイッチ素子は、スチッチを再構成し、故障したシステム のためのネットワーク入力を予備システムに供給するようにする。その予備シス テムは、そのネットワーク入力を、そのプロセッサシステムに供給する。それか ら、プロセッサシステムのビデオ挿入出力は、予備のスイッチドシステムを介し て、配布のための故障したプロセッサに対応するスイッチシステムに、適当な時 間に、その出力に送られる。２つよりも多数の入力ネットワークフィーダーが使 用される時、より多数の構成要素の環状システムを使用することが可能である。 そして、図１３及び図１４の実施例のように、予備のビデオシステムが使用され るまで、そのビデオシステムは、故障したプロセッサの代わりを務める１番近い 隣のシステム、それから、１番近い隣のシステムのプロセッサの代わりを務める ように動作する次の２番目に近い隣のシステム、等々とつながる。 図１６に関して、本発明の特定の実施例の１つでは、上記で説明した切り換え が行われるようにするために、一般的なスイッチドシステムは、図１６で示され るように接続される４つの複数入力スイッチ１８０、１８２、１８４、１８６を 有する。図１７に関して、図１６の各々のスイッチに対して、スイッチが「通常 」状態で動作しているか、上方に故障状態で動作しているか、もしくは、下方に 故障状態で動作しているかどうかに応じてそのステータスを示す真理値表が提供 される。マトリックス内の数字は、図１６のスチッチに対して、出力に送るべき 入力を認定する。（「Ｘ」は、「処理不要」状態を示す。）スイッチ４（参照番 号１８６）に対して、選定される入力は、スイッチが、その出力ポートに、割り 込み可能な入力（「ノーインサート」）を配置することを要求されるか、割り込 む入力（「インサート」）を配置することを要求されるかに応じて変わる。シス テムの動作をより良く理解できるように、図１３及び図１４の回路のように、プ ロセッサコントローラ及びスイッチ１８０、１８２、１８４、１８６の各々への コントロールラインについては詳述しない。 本発明の好ましい実施例の付加、控除、他の変更は、当業者にとって明らかで あり、それらは、請求の範囲に記載した範囲内にある。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６１０ Ｈ０４Ｎ 7/173 ６１０Ｂ (72)発明者 カーロッジー マイケル ディー アメリカ合衆国 マサチューセッツ州 02021 キャントン フェンコート ロー ド 31 (72)発明者 イウォスクス ジョン エイ アメリカ合衆国 ニューハンプシャー州 03054 メリマック ハンソン ロード 22 (72)発明者 マックグラース エドワード ジェイ アメリカ合衆国 マサチューセッツ州 01778 ウェイランド オールド コネチ カット パース 68

Claims (1)

1. 【特許請求の範囲】 １．各々が少なくとも１つの中央処理装置および少なくとも１つの大容量記憶サ ブシステムを備える少なくとも３つのプロセッサシステムを有する分散形コンピ ュータシステムにおいて冗長性をもってデータを記憶する方法において、 前記プロセッサシステムを互いにポイント−ポイント二方向チャンネル相互接 続にて相互接続する相互接続ステップと、 データが前記プロセッサシステムの各々に記憶され且つデータの冗長表現のう ちのあるものが前記プロセッサの各々に記憶されるように、分散形冗長記憶プロ セスにしたがって前記プロセッサシステムのうちのいずれか１つにデータ入力を 記憶する記憶ステップと、 を含むことを特徴とする方法。 ２．前記記憶ステップは、ＲＡＩＤ−５プロセスにしたがって前記プロセッサシ ステムに亘ってデータを記憶するステップを含む請求項１記載の方法。 ３．ＲＡＩＤ−５プロセスにしたがって各プロセッサシステムにデータを記憶す るステップをさらに含む請求項２記載の方法。 ４．前記コンピュータシステムからデータを読み出すのに、前記プロセッサシス テムのいずれにも故障のない場合には、前記プロセッサシステムに亘ってロード バランスがとられるように、前記データチャンネル相互接続の各々を通して前記 プロセッサシステムの各々からデータを読み出すステップをさらに含む請求項１ 記載の方法。 ５．前記コンピュータシステムからデータを読み出すのに、前記プロセッサシス テムの１つに故障がある場合には、前記データを記憶している故障していないプ ロセッサシステムの各々からデータを読み出し、前記故障しているプロセッサシ ステムに記憶された前記データの代わりに、前記故障していないプロセッサシス テムから冗長データを読み出し、前記故障していないプロセッサシステムから読 み出されたデータおよび前記冗長データを使用して前記故障しているプロセッサ システムに記憶された前記データを作り直す請求項４記載の方法。 ６．前記データ入力を記憶するステップは、ＲＡＩＤ−５プロセスにしたがって 前記入力データを記憶するステップを含む請求項５記載の方法。 ７．前記各プロセッサシステムは、ＲＡＩＤ−５プロセスにしたがってその関連 した大容量記憶サブシステムにデータを記憶する請求項６記載の方法。 ８．前記プロセッサシステムのうちのいずれかが故障している間は、前記プロセ ッサシステムのうちのいずれかの前記大容量記憶サブシステムへのデータの書込 みを阻止するステップをさらに含む請求項５記載の方法。 ９．前記記憶ステップは、前記コンピュータシステムのためのすべての書込み機 能を行うように１つのプロセッサシステムを指定するステップを含む請求項１記 載の方法。 10．前記記憶ステップは、１つのプロセッサシステムに各データ入力のためのフ ァイルを割り当て、すべてのプロセッサシステムがその関連した割り当てられた ファイルへ入力データを書き込めるようにすることを含む請求項１記載の方法。 11．前記記憶ステップは、分散形ロックマネージャを使用して前記プロセッサシ ステムの間での書込みオペレーションをアービトレーションするステップを含む 請求項１記載の方法。 12．前記データ入力を記憶するステップは、前記各プロセッサシステムに指定フ ラグメントファイルとして前記入力データを記憶するステップを含む請求項１記 載の方法。 13．前記データ入力を記憶するステップは、ＲＡＩＤ−５プロセスにしたがって 前記入力データを記憶するステップをさらに含む請求項１２記載の方法。 14．前記分散形コンピュータシステムに１つのプロセッサシステムを加え、前記 分散形コンピュータシステムが１つの出力ストリームとして、アクティブに記憶 データを送出し続ける間に、前記指定フラグメントファイルを再構成して、すべ てのプロセッサシステムに亘るように拡張させる請求項１３記載の方法。 15．プロセッサシステムが故障状態にある間、データオブジェクトのみを再構成 することによって、該故障プロセッサシステムを再構成するステップをさらに含 む請求項１４記載の方法。 16．データを冗長的に記憶するための少なくとも３つのプロセッサシステムを有 する分散型コンピュータシステムであって、各プロセッサシステムは、少なくと も１つのＣＰＵと少なくとも１つの大容量記憶サブシステムを有しており、 前 記プロセッサシステムの各１つから前記プロセッサシステムの他の各１つへ、２ 点間の２方向チャネル相互接続を与える相互接続チャネル、及び 各プロセッサシステムにおけるデータ記憶制御装置であって、前記制御装置は 、分散型冗長記憶プロセスによる前記プロセッサしすめうのいづれか１つに入力 されたデータを記憶し、それにより、データは前記プロセッサシステムの各々に 記憶され、且つデータの冗長表現の幾つかが前記プロセッサの各々に記憶される ことを特徴とする分散型コンピュータシステム。 17．前記記憶制御装置はＲＡＩＤ−５プロセスによる前記プロセッサシステムを 横切ってデータを記憶することを特徴とする請求項１６に記載の分散型コンピュ ータシステム。 18．更に、前記制御装置は前記コンピュータシステムからデータを読み取り、前 記プロセッサシステムの何れかの故障のない場合、前記制御装置は前記相互接続 チャネルのそれぞれのものに関して前記プロセッサシステムの各々からデータを 読み取り、それにより前記制御装置は前記プロセッサシステムで負荷バランスを 確立することを特徴とする請求項１６に記載の分散型コンピュータシステム。 19．さらに、前記コントローラは、前記コンピュータシステムからのデータを、 前記プロセッサシステムのいずれもが故障のない場合には、前記相互接続チャン ネルのそれぞれを介して前記各プロセッサシステムからデータを読み込み、これ によって、前記コントローラが前記プロセッサシステムにわたる負荷バランスを 確立することを特徴とする請求項１６記載の装置。 20．前記制御装置は前記コンピュータシステムからのデータを読み取り、前記プ ロセッサの１つが故障の場合、前記制御装置は前記データを記憶する故障のない 各々のプロセッサシステムからデータを読み取り、また前記故障したプロセッサ システムに記憶された前記データの代わりに前記故障のないプロセッサシステム から冗長データを読み取り、且つ 要求するプロセッサシステムは、前記読み取りデータおよび前記冗長データを 用いて、前記故障したプロセッサシステムに記憶された前記データを再構築する ことを特徴とする請求項１６に記載の分散型コンピュータシステム。 21．前記データ記憶制御装置は、ＲＡＩＤ−５のプロセスによって、プロセッサ 間の前記入力データを記憶することを特徴とする請求項１８に記載の分散型コン ピュータシステム。 22．各々の前記プロセッサシステムの制御装置は、ＲＡＩＤ−５のプロセスによ って、その関連する大容量記憶装置上のデータを記憶することを特徴とする請求 項２１に記載の分散型コンピュータシステム。 23．前記記憶制御装置は、前記プロセッサシステムの何れかが故障している間、 前記処理システムの何れかの大容量記憶サブシステムの全てのデータの書き込み を阻止することを特徴とする請求項２０に記載の分散型コンピュータシステム。 24．１つのプロセッサシステムは、前記コンピュータシステムに対する全ての書 き込み機能に影響を与えるように選定されることを特徴とする請求項２０に記載 の分散型コンピュータシステム。 25．１つのプロセッサシステムは、各データ入力に対するファイルを割り当て、 且つ、 各プロセッサシステムは、その関連する割り当てられたファイルへ入力データ を書き込むことが可能であることを特徴とする請求項１６に記載の分散型コンピ ュータシステム。 26．前記制御装置は、分散型ロックを用いて前記プロセッサシステム間の書き込 み動作を調整することを特徴とする請求項１６に記載の分散型コンピュータシス テム。 27．更に、前記記憶制御装置は、前記分散型コンピュータシステムにおけるフラ グメントファイルと呼ばれる前記入力データを記憶することを特徴とする請求項 １６に記載の分散型コンピュータシステム。 28．前記記憶制御装置は、ＲＡＩＤ−５のプロセスにより前記プロセッサシステ ムにわたってフラグメントファイルと呼ばれる前記データオブジェクトを記憶す ることを特徴とする請求項２７に記載の分散型コンピュータシステム。 29．ｎ個のインタラプト可能な入力、ｎ個のインタラプト入力及びｎ個の出力を 有する冗長スイッチであって、 （ｎ＋１）個のスイッチドシステムを備え、各スイッチドシステムは、少なく とも２つの制御入力、第１の入力、第２の入力、第３の入力及び第４の入力、並 びに、第１の出力及び第２の出力を有し、各スイッチドシステムは、その第２の 出力においてインタラプト信号発生器に接続され、前記関連する信号発生器のイ ンタラプト出力は、前記接続されたスイッチドシステムの第２の入力に接続され 、 前記スイッチドシステムは、各スイッチドシステムが、さらに、第１の入力、 第３の入力に接続された第１の隣接スイッチドシステムの第２の入力、及び、第 ４の入力に接続されたリング上の他の隣接スイッチドシステムからのインタラプ ト可能な入力に接続されたインタラプト可能な入力信号を有するように、リング 構造に相互接続され、 各前記スイッチドシステムは、前記制御入力に応答してその入力のいずれか を少なくともその第１の入力にスイッチングするとともに、その第１と第４の入 力のいずれかをその第２の出力に接続するスイッチング回路を有し、 前記スイッチドシステムの前記制御入力を与える制御システムを備える、 ことを特徴とする冗長スイッチ。 30．ｎ個のインタラプト可能な入力、ｎ個のインタラプト入力及びｎ個の出力を 有する冗長スイッチであって、 （ｎ＋１）個のスイッチドシステムを備え、各スイッチドシステムは、少なく とも２つの制御入力、４つの信号入力、及び、２つの信号出力を有し、各スイッ チドシステムは、その出力の１つにおいて、関連するインタラプト信号発生器に 接続され、前記関連する信号発生器のインタラプト出力は、前記接続されたスイ ッチドシステムの入力に接続され、 前記スイッチドシステムは、各スイッチドシステムが第１と第２の隣接スイッ チドシステムに接続されるように、リング構造に相互接続され、 各前記スイッチドシステムは、前記制御入力に応答してその入力をその出力 に選択的にスイッチングするスイッチング回路を有し、 前記スイッチドシステムの前記制御入力を与えて、前記スイッチドシステムが 信号スイッチングファンクションをリングのまわりのいずれかの方向の１つの位 置へ選択的に回転できるようにし、それにより、故障した信号発生器がバイパス されて前記ｎ個の第１の出力上の信号がインタラプトされずに送り続けられるよ うになった制御システムを備える、 ことを特徴とする冗長スイッチ。 31．前記制御システムは、スイッチング信号ファンクションをリングのまわりの いずれかの方向に選択的に回転できることを特徴とする請求項３０に記載の冗長 スイッチ。 32．分散型データデリバリシステムであって、 データを冗長的に記憶する少なくとも３つのプロセッサシステムを備え、各プ ロセッサシステムは、少なくとも１つの中央処理装置と少なくとも１つの大量記 憶サブシステムを有し、 前記プロセッサシステムの各々１つから前記プロセッサシステムの各々他の１ つまでにポイント−ツウ−ポイントの２方向チャンネル相互接続を与える相互接 続データチャンネルを備え、 各プロセッサシステムにデータ記憶コントローラを備え、前記コントローラは 、分散された冗長記憶プロセスに従って前記プロセッサシステムのいずれか１つ にデータ入力を記憶し、それにより、データが前記プロセッサシステムの各々に 記憶され、そのデータの冗長表現が前記プロセッサの各々に記憶されるようにな っており、 ｎ個のインタラプト可能な入力ポート、少なくともｎ＋１個のインタラプト入 力ポート、及び、少なくともｎ＋１個の出力ポートを有するスイッチング回路を 備え、前記ｎ個のインタラプト可能な入力ポートは、それぞれの一次プロセッサ システムに接続され、前記一次プロセッサシステムの各々は、それぞれのインタ ラプト入力ポートに接続された出力を有し、 前記プロセッサシステムの各々は、前記スイッチング回路の２つに接続され、 前記プロセッサシステムのそれぞれ１つから得られる信号情報でｎ個のインタラ プト可能な入力ポートの１つを選択的にインタラプトすることが可能であり、 前記プロセッサシステムは、１つのプロセッサシステムにおいて故障が生じた 場合に、前記プロセッサシステムのうち以前に使用されていないものを使用して 、前記スイッチング回路に、故障したプロセッサシステムのインタラプト可能な 入力ポートを異なるプロセッサシステムに接続させるとともに、前記故障したプ ロセッサシステムの出力を前記異なるプロセッサシステムの出力と交換させるよ うにする、 ことを特徴とする分散型データデリバリシステム。 33．分散型データデリバリシステムであって、 データを冗長的に記憶する少なくとも３つのプロセッサシステムを備え、各プ ロセッサシステムは、少なくとも１つの中央処理装置と少なくとも１つの大量記 憶サブシステムを有し、 前記プロセッサシステムの各々１つから前記プロセッサシステムの各々他の１ つまでにポイント−ツウ−ポイントの２方向チャンネル相互接続を与える相互接 続データチャンネルを備え、 各プロセッサシステムにデータ記憶コントローラを備え、前記コントローラは 、分散された冗長記憶プロセスに従って前記プロセッサシステムのいずれか１つ にデータ入力を記憶し、それにより、データが前記プロセッサシステムの各々に 記憶され、そのデータの冗長表現が前記プロセッサの各々に記憶されるようにな っており、 （ｎ＋１）個のスイッチドシステムを備え、各スイッチドシステムは、少なく とも２つの制御入力、第１の入力、第２の入力、第３の入力、及び、第４の入力 、並びに、第１の出力及び第２の出力を有し、各スイッチドシステムは、その第 ２の出力において、プロセッサシステムに接続され、前記関連のプロセッサシス テムのインタラプト出力は、前記接続されたスイッチドシステムの第２の入力に 接続され、 前記スイッチドシステムは、各スイッチドシステムが、さらに、第１の入力、 第３の入力に接続された第１の隣接スイッチドシステムの第２の入力、及び、第 ４の入力に接続されたリング上の他の隣接スイッチドシステムからのインタラプ ト可能な入力に接続されたインタラプト可能な入力信号を有するように、リング 構造に相互接続され、 各前記スイッチドシステムは、前記制御入力に応答してその入力のいずれか を少なくともその第１の入力にスイッチングするとともに、その第１と第４の入 力のいずれかをその第２の出力に接続するスイッチング回路を有し、 前記プロセッサシステムは、前記スイッチドシステムの前記スイッチ制御入力 を与える、 ことを特徴とする分散型データデリバリシステム。 34．データを冗長に記憶するため少なくとも３つのプロセッサシステムから成り 、各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つの 大容量記憶サブシステムから成る分散型データデリバリシステムにおいて、 ポイントツーポイント・２ウエイ・チャンネル相互接続を、前記プロセッサシ ステムの１つから該プロセッサシステムの他の１つへ提供する、相互接続データ チャンネルと、 各プロセッサシステムに設けられたデータ記憶コントローラであって、データ が各プロセッサシステムに記憶されてデータの冗長表示がプロセッサの各々に記 憶されるように、分散、冗長記憶処理に従って、前記プロセッサシステムのいず れか１つにデータ入力を記憶するデータ記憶コントローラと、 （ｎ＋１）個のスイッチドシステムであって、各スイッチドシステムが、少な くとも２つの制御入力と４つの信号入力と２つの信号出力とを有し、且つ、該ス イッチドシステムの各々が、その出力の１つが関連のプロセッサシステムに接続 されており、該関連のプロセッサシステムのインタラプト出力が前記接続された スイッチドシステムの入力に接続されている、スイッチドシステムとを備え、 前記スイッチドシステムは、各スイッチドシステムが第１及び第２の隣接する スイッチドシステムに接続されるように、リング構造に相互接続されており、 各スイッチドシステムは、その入力をその出力に選択的にスイッチングするた めに、前記制御入力におけるスイッチ制御信号に応答するスイッチング回路を有 しており、 前記プロセッサは、故障した信号プロセッサシステムがバイパスされて且つ前 記ｎ個の第１出力の信号が損なわれずに連続するように、前記スイッチドシステ ムが、前記リング回りの１つの位置に信号スイッチング機能を有効に回転できる ようにする前記スイッチドシステムへの前記スイッチ制御入力出力を提供してい る ことを特徴とするシステム。 35．請求項２４に記載の分散型データデリバリシステムにおいて、前記プロセッ サは、前記リングの回りをいずれの方向にも信号スイッチング機能を有効に回転 することを特徴とするシステム。 36．少なくとも２つのプロセッサシステムを有し、各プロセッサシステムが少な くとも１つの中央処理ユニットと少なくと１つの大容量記憶サブシステムから成 る、分散型コンピュータシステムにデータを冗長に記憶する方法において、 ポイントツーポイント・２ウエイ・チャンネル相互接続において前記プロセッ サシステムのいずれか１つを該プロセッサシステムの他のいずれか１つに相互接 続するステップと、 データが各プロセッサシステムに記憶されてデータの冗長表示が該プロセッサ の各々に記憶されるように、分散、冗長記憶処理に従って、前記プロセッサシス テムのいずれか１つにデータ入力を記憶するステップと、 前記コンピュータシステムからデータを読み出すステップであって、前記プロ セッサシステムのいずれの故障もない場合に、前記プロセッサシステムの各々か ら前記データチャンネル相互接続の各々にわたってデータを読み出すステップと から成り、該読み出しステップが前記プロセッサシステムのロードバランスを確 立する ことを特徴とする方法。 37．請求項３６に記載の方法において、ＲＡＩＤ−５プロセスに従って、各プロ セッサシステムでデータを記憶するステップを含むことを特徴とする方法。 38．データを冗長に記憶する少なくとも２つのプロセッサシステムを有し、各プ ロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つの大容量 記憶サブシステムから成る、分散型コンピュータシステムにおいて、 前記プロセッサシステムのいずれか１つから該プロセッサシステムの他のいず れか１つへのポイントツーポイント・２ウエイ・チャンネル相互接続を提供する 相互接続チャンネルと、 各プロセッサシステムに設けられたデータ記憶コントローラとを備え、該コン トローラは、データが各プロセッサシステムに記憶されてデータの冗長表示がプ ロセッサの各々に記憶されるように、分散、冗長記憶処理に従って、前記プロセ ッサシステムのいずれか１つにデータ入力を記憶しており、 前記コントローラは、前記コンピュータシステムからデータを読み出して、前 記プロセッサシステムのいずれの故障もない場合に、前記プロセッサシステムの 各々から前記相互接続チャンネルの各々にわたってデータを読み出して、該コン トローラが前記プロセッサシステムのロードバランスを確立する ことを特徴とするコンピュータシステム。 39．請求項３８に記載のシステムにおいて、各記憶コントローラは、ＲＡＩＤ− ５プロセスに従って、各プロセッサシステムにデータを記憶することを特徴とす るシステム。 40．各プロセッサシステムが、少なくとも１つの中央処理ユニットと少なくとも １つの大容量記憶サブシステムを有する、少なくとも３つのプロセッサシステム を有する分散型コンピュータシステムにおける冗長的にデータをストアする方法 であって、 データ通信のためのネットワークを介して、前記プロセッサシステムのそれぞ れを、前記プロセッサシステムの他のそれぞれと相互接続し、 分散した、冗長的記憶プロセスにしたがって、前記プロセッサシステムの任意 の１つにデータ入力をストアし、これによって、データが前記プロセッサシステ ムのそれぞれにストアされ、データの冗長表示が前記プロセッサシステムのそれ ぞれにストアされるステップを備えていることを特徴とする方法。 41．前記ストアするステップが、ＲＡＩＤ−５プロセスに従う前記プロセッサシ ステムにわたってデータをストアするステップを備えていることを特徴とする請 求項４０に記載の方法。 42．さらに、ＲＡＩＤ−５プロセスに従うそれぞれのプロセッサシステムにデー タをストアするステップを備えていることを特徴とする請求項４１に記載の方法 。 43．さらに、いずれの前記プロセッサシステムにも故障がない場合には、前記デ ータ通信ネットワークを介して前記プロセッサシステムのそれぞれから前記コン ピュータシステムからのデータを読み出し、前記読出ステップが前記プロセッサ システムにわたって負荷バランスをとるステップを備えていることを特徴とする 請求項４０に記載の方法。 44．さらに、前記コンピュータシステムからのデータを読みだすステップを備え ており、 前記プロセッサシステムの一つに故障がある場合には、前記読出ステップは、 故障のある場合に、前記データをストアする故障していないのプロセッサシス テムのそれぞれからデータを読み出し、 前記故障したプロセッサシステムにストアされた前記データの代わりに前記故 障していないプロセッサシステムから冗長データを読み出し、前記冗長データ及 び前記故障していないプロセッサシステムから読み出されたデータを用いて前記 故障したプロセッサシステムにストアされたデータを再生するステップを備えて いることを特徴とする請求項４３に記載の方法。 45．前記データ入力ストアリングステップがＲＡＩＤ−５プロセスにしたがって 、前記入力データをストアするステップを備えていることを特徴とする請求項４ ４に記載の方法。 46．前記プロセッサシステムがＲＡＩＤ−５プロセスに従うこれと協働する大容 量記憶サブシステム上にデータをストアすることを特徴とする請求項４５に記載 の方法。 47．さらに、前記いずれかのプロセッサシステムに故障が存在している場合には 前記プロセッサシステムのいずれの大容量記憶サブシステムにあるいずれのデー タの書き込みも禁止するステップを有することを特徴とする請求項４４に記載の 方法。 48．前記ストアリングステップが、前記コンピュータシステムに対する全ての書 き込み機能を有効にするために１つのプロセッサシステムを指定するステップを 備えていることを特徴とする請求項４０に記載の方法。 49．前記ストアリングステップが、一つのプロセッサシステムにそれぞれのデー タ入力に対するファイルを割り当て、 すべてのプロセッサシステムが入力データをこれが協働する割り当てられたフ ァイルに書き込みできるようにするステップを備えていることを特徴とする請求 項４０に記載の方法。 50．前記ストアリングステップが、分散されたロックマネージャーを使用して前 記プロセッサシステム内の書き込み動作を調停するステップを備えていることを 特徴とする請求項４０に記載の方法。 51．前記データイッンプットストアリングステップが、前記各プロセッサシステ ムの名前付のフラグメントファイルとして前記入力データをストアするステップ を備えていることを特徴とする請求項４０に記載の方法。 52．前記データイッンプットストアリングステップがさらに、ＲＡＩＤ−５プロ セスにしたがって、前記入力データをストアするステップを備えていることを特 徴とする請求項５１に記載の方法。 53．さらに、前記分散型コンピュータシステムにプロセッサシステム付加し、 前記分散型コンピュータシステムがアウトプットストリームとしてストアされ たデータをアクティブにデリバーしつづける間、すべてのプロセッサシステムに 延在する前記名前付のフラグメントファイルを再構築するステップとを備えたこ とを特徴とする請求項５２に記載の方法。 54．さらに、プロセッサシステムが故障の状態にある間、書き込みされたデータ オブジェクトのみを再構築することによって、故障のプロセッサシステムを再構 築するステップを備えたことを特徴とする請求項５３に記載の方法。 55．データを冗長にストアするため少なくとも３つのプロセッサシステムから成 り、各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つ の大容量記憶サブシステムから成る分散型コンピュータシステムにおいて、 前記各プロセッサシステムから前記他の各プロセッサシステムに通信を与える 、相互接続データ通信ネットワークと、 各プロセッサシステムに設けられたデータ記憶コントローラであって、データ が各プロセッサシステムにストアされてデータの冗長表示がプロセッサの各々に ストアされるように、分散、冗長記憶処理に従って、前記プロセッサシステムの いずれか１つにデータ入力をストアするデータ記憶コントローラとを備えたコン ピュータシステム。 56．前記データ記憶コントローラがＲＡＩＤ−５プロセスにしたがって、前記プ ロセッサシステムにわたるデータをストアすることを特徴とする請求項５５に記 載の装置。 57．さらに、前記各データ記憶コントローラがＲＡＩＤ−５プロセスにしたがっ て、各プロセッサシステムにデータをストアすることを特徴とする請求項５６に 記載の装置。 58．さらに、前記コントローラが、前記コンピュータシステムからのデータを、 前記プロセッサシステムのいずれにも故障のない場合には、前記相互接続データ 通信ネットワークを介して前記各プロセッサシステムからデータを読み出し、こ れによって、前記コンピュータが前記プロセッサシステムの負荷バランスを確立 することを特徴とする請求項５５に記載の装置。 59．さらに、前記コントローラが、前記コンピュータからデータを読んでおり前 記プロセッサシステムの一つに故障が存在する場合には、前記コントローラは、 前記データをストアする故障していない各プロセッサシステムからデータを読む とともに、前記故障したプロセッサシステムの代わりに前記故障していないプロ セッサシステムから冗長データを読み、 前記要求プロセッサシステムは、前記読み込みデータ及び前記冗長データを使 用して前記故障したプロセッサシステムにストアされた前記データを再生するよ うになっていることを特徴とする請求項５８に記載の装置。 60．前記データ記憶コントローラがＲＡＩＤ−５プロセスに従って前記プロセッ サ内に前記入力データをストアすることを特徴とする請求項５７に記載の装置。 61．前記データ記憶コントローラがＲＡＩＤ−５プロセスに従ってこれと協働す る大容量記憶装置にデータをストアすることを特徴とする請求項６０に記載の装 置。 62．さらに、前記データ記憶コントローラが前記プロセッサシステムの故障が存 在している間は、前記プロセッサシステムのいずれにも前記大容量記憶サブシス テムに対していかなるデータの書き込みも禁止することを特徴とする請求項５９ に記載の装置。 63．１つのプロセッサシステムが前記コンピュータシステムに対してすべての書 き込みを有効にするために指定されていることを特徴とする請求項５５に記載の 装置。 64．一つのプロセッサシステムが各データ入力に対してファイルを割り当てると ともに、 各プロセッサシステムがこれと協働する割り当てられたファイルに入力データ を書き込むことができるようになっていることを特徴とする請求項５５に記載の 装置。 65．前記コントローラが分散したロックを用いて前記プロセッサシステム内の書 き込み機能を調停することを特徴とする請求項５５に記載の装置。 66．前記記憶コントローラが前記分散型コンピュータシステムの名前付フラグメ ントファイルとして前記インプットデータをストアすることを特徴とする請求項 ５５に記載の装置。 67．前記記憶コンピュータがＲＡＩＤ−５プロセスに従って、前記プロセッサシ ステムにわたり名前付フラグメントファイルとして前記データオブジェクトをス トアすることを特徴とする請求項６６に記載の装置。 68．データを冗長にストアするため少なくとも３つのプロセッサシステムから成 り、各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つ の大容量記憶サブシステムから成る分散型データデリバリシステムにおいて、 前記各プロセッサシステムから前記他の各プロセッサシステムに通信を与える 、相互接続データ通信ネットワークと、 各プロセッサシステムに設けられたデータ記憶コントローラであって、データ が各プロセッサシステムにストアされてデータの冗長表示がプロセッサの各々に ストアされるように、分散、冗長記憶処理に従って、前記プロセッサシステムの いずれか１つにデータ入力をストアするデータ記憶コントローラと、 ｎ個のインタラプト可能な入力ポート、少なくともｎ＋１個のインタラプト入 力ポート、及び、少なくともｎ＋１個の出力ポートを有するスイッチング回路を 備え、前記ｎ個のインタラプト可能な入力ポートは、それぞれの一次プロセッサ システムに接続され、前記一次プロセッサシステムの各々は、それぞれのインタ ラプト入力ポートに接続された出力を有し、 前記プロセッサシステムの各々は、前記スイッチング回路の２つに接続され、 前記プロセッサシステムのそれぞれ１つから得られる信号情報でｎ個のインタラ プト可能な入力ポートの１つを選択的にインタラプトすることが可能であり、 前記プロセッサシステムは、１つのプロセッサシステムにおいて故障が生じた 場合に、前記プロセッサシステムのうち以前に使用されていないものを使用して 、前記スイッチング回路に、故障したプロセッサシステムのインタラプト可能な 入力ポートを異なるプロセッサシステムに接続させるとともに、前記故障したプ ロセッサシステムの出力を前記異なるプロセッサシステムの出力と交換させるよ うにする、 ことを特徴とする分散型データデリバリシステム。 69．データを冗長にストアするため少なくとも３つのプロセッサシステムから成 り、各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つ の大容量記憶サブシステムから成る分散型データデリバリシステムにおいて、 前記各プロセッサシステムから前記他の各プロセッサシステムに通信を与える 、相互接続データ通信ネットワークと、 各プロセッサシステムに設けられたデータ記憶コントローラであって、データ が各プロセッサシステムにストアされてデータの冗長表示がプロセッサの各々に ストアされるように、分散、冗長記憶処理に従って、前記プロセッサシステムの いずれか１つにデータ入力をストアするデータ記憶コントローラと、 （ｎ＋１）個のスイッチドシステムを備え、各スイッチドシステムは、少なく とも２つの制御入力、第１の入力、第２の入力、第３の入力、及び、第４の入力 、並びに、第１の出力及び第２の出力を有し、各スイッチドシステムは、その第 ２の出力において、プロセッサシステムに接続され、前記関連のプロセッサシス テムのインタラプト出力は、前記接続されたスイッチドシステムの第２の入力に 接続され、 前記スイッチドシステムは、各スイッチドシステムが、さらに、第１の入力、 第３の入力に接続された第１の隣接スイッチドシステムの第２の入力、及び、第 ４の入力に接続されたリング上の他の隣接スイッチドシステムからのインタラプ ト可能な入力に接続されたインタラプト可能な入力信号を有するように、リング 構造に相互接続され、 各前記スイッチドシステムは、前記制御入力に応答してその入力のいずれか を少なくともその第１の入力にスイッチングするとともに、その第１と第４の入 力のいずれかをその第２の出力に接続するスイッチング回路を有し、 前記プロセッサシステムは、前記スイッチドシステムの前記スイッチ制御入力 を与える、 ことを特徴とする分散型データデリバリシステム。 70．データを冗長にストアするため少なくとも３つのプロセッサシステムから成 り、各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくと１つ の大容量記憶サブシステムから成る分散型データデリバリシステムにおいて、 前記各プロセッサシステムから前記他の各プロセッサシステムに通信を与える 、相互接続データ通信ネットワークと、 各プロセッサシステムに設けられたデータ記憶コントローラであって、データ が各プロセッサシステムにストアされてデータの冗長表示がプロセッサの各々に ストアされるように、分散、冗長記憶処理に従って、前記プロセッサシステムの いずれか１つにデータ入力をストアするデータ記憶コントローラと、 （ｎ＋１）個のスイッチドシステムを備え、各スイッチドシステムは、少なく とも２つの制御入力、４つの信号入力、並びに、２つの信号出力を有し、各スイ ッチドシステムは、その出力の１つにおいて、プロセッサシステムに接続され、 前記関連のプロセッサシステムのインタラプト出力は、前記接続されたスイッチ ドシステムの１つの入力に接続され、 前記スイッチドシステムは、各スイッチドシステムは、第１及び第２の隣接ス イッチドシステムに接続されるようにリング構造に相互接続され、 各前記スイッチドシステムは、入力と出力を選択的に切り換えるために前記 制御入力のスイッチ制御信号に応答するスイッチング回路を有し、 前記プロセッサシステムは、前記スイッチコントロール入力信号を前記スイッ チドシステムに与え、前記スイッチドシステムが効果的にリングの周りの１のポ ジションに信号切り換え機能を回転させ、これによって、故障した信号プロセッ サシステムがバイパスされ、前記ｎ個の第１出力の信号が損傷しない状態で継続 するようになったことを特徴とする、 ことを特徴とする分散型データデリバリシステム。 71．さらに、前記プロセッサが前記リングの周りのいずれかの方向に信号切り換 え機能を有効に回転させることを特徴とする請求項７０に記載の分散型データデ リバリシステム。 72．各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくとも１ つの大容量記憶サブシステムとを備えた、少なくとも２つのプロセッサシステム を有する分散型コンピュータシステムにおいてデータを冗長的にストアする方法 であって、 通信のためにデータ通信ネットワークを介して前記各プロセッサシステムと前 記各プロセッサシステムの他のものとを相互に接続し、 分散した、冗長記憶プロセスに従って、前記プロセッサシステムのいずれかに データ入力をストアし、これによって、データが前記各プロセッサシステムにス トアされ、該データの冗長的な表示が前記各プロセッサにストアされにようにな っており、 前記プロセッサシステムのいずれもが故障のない場合には、前記コンピュータ システムからのデータを、前記データ通信チャンネルを介して前記各プロセッサ システムから読み込み、これによって読み込みステップが前記プロセッサシステ ムをにわたって負荷バランスを確立するようになっていることを特徴とする方法 。 73．さらに、ＲＡＩＤ−５プロセスに従って各プロセッサシステムにデータをス トアするステップを備えていることを特徴とする請求項７２に記載の方法。 74．各プロセッサシステムが少なくとも１つの中央処理ユニットと少なくとも１ つの大容量サブシステムを有する、データを冗長的にストアする少なくとも２つ のプロセッサシステムを有する分散型コンピュータシステムであって、 前記各プロセッサシステムから前記各他のプロセッサシステムに通信を与える 相互に接続したデータチャンネル通信ネットワークと、 データが前記各プロセッサシステムにストアされ、データの冗長表示のいくつ かが前記各プロセッサにストアされるように、分散された、冗長記憶プロセスに したがって、前記プロセッサシステムのいずれかにデータ入力をストアする各プ ロセッサシステムにおける、データ記憶コントローラとを備え、 前記コントローラが前記コンピュータシステムからのデータを、前記プロセッ サシステムのいずれにも故障がない場合には、前記データ通信チャンネルを介し て前記各プロセッサシステムからデータを読み込み、これによって、前記コント ローラが前記プロセッサシステムにわたる負荷バランスを確立するようになった 分散型コンピュータシステム。 75．さらに、前記各コントローラがＲＡＩＤ−５プロセスにしたがって各プロセ ッサシステムにデータをストアすることをと特徴とする請求項７４に記載の装置 。