JP4877482B2 - ＰＣＩＥｘｐｒｅｓｓリンク、マルチホストコンピュータシステム、およびＰＣＩＥｘｐｒｅｓｓリンクの再構成方法 - Google Patents

Description

本発明は、コンピュータシステムのコンポーネント間を電気的に接続する内部インターフェースに関し、特に、PCI（Peripheral Component Interconnect） Express（商標または登録商標）リンクならびにPCI Expressリンクの動的再構成方法に関する。

複数のホストを有するマルチホストコンピュータシステムにおいて、ホスト対スロット部の組み合わせを切り替える動的Ｉ／Ｏ（入力／出力）再構成技術は、既存である。しかし、これまでの技術では、各スロット部に割り当てられる帯域幅は、スロット部毎に固定であった。このため、広い帯域幅を必要とするカードをいずれかのスロット部に適用するためには、その帯域幅を満たすハードウエアをシステムに実装する必要があった。

一方、シングルホストコンピュータシステムの例として、一つのホストブリッジと、これに対して用意された２またはそれを超える数のスロット部とを、再構成可能に接続するPCI Expressリンクを含むシステムが、特許文献１、２に開示されている。

特許文献１には、ホストブリッジと、複数のスロット部と、リンクコントローラとしてのスイッチと、リンク構成制御装置とを有するPCI Expressリンクが開示されている。

また、特許文献２には、画像処理システムにおいて、ホストブリッジと、複数のスロット部と、リンクコントローラとしての接続部と、経路制御や経路判断等を行うための制御部とを有するPCI Expressリンクが開示されている。

これら文献に開示されたPCI Expressリンクは、再構成の際に、各スロット部に対して割り当てる帯域幅を調整することができる。

特開２００５−１４１７３９号公報 特開２００５−２１０６５３号公報

特許文献１、２に開示されたPCI Expressリンクのどちらも、シングルホスト環境を前提としている。このため、仮に、これらPCI Expressリンクをマルチホストシステムに適用した場合は、ホスト毎に接続可能なスロット部が限定される。また、帯域の割り当てを調整できるスロット部は、同じホストに接続可能なスロット部に限られる。

例えば、ホストＡおよびＢと、スロット部ａ、ｂ、ｃ、およびｄとを有するPCI Expressリンクにおいては、ホストＡにはスロット部ａおよびｂのみが接続可能である一方、ホストＢにはスロット部ｃおよびｄのみが接続可能である。そして、スロット部ａとスロット部ｂとの間でのみ、帯域の割り当てが可能である一方、スロット部ｃとスロット部ｄとの間でのみ、帯域の割り当てが可能である。

即ち、一方のホストは、他方のホストの配下のスロット部に、接続することも帯域を割り当てることもできない。したがって、特許文献１、２に開示されたPCI Expressリンクのどちらも、スロット部に接続され得るカードの要求やシステムの障害に対して、それらの内容次第では、満足な再構成をなすことができない。

それ故、本発明の課題は、マルチホストコンピュータシステムにおいてホスト対スロット部の組み合わせをスロット部に接続され得るカードの要求やシステムの障害に対して満足に再構成することができるPCI Expressリンクを提供することである。

本発明によれば、複数のホストに複数のスロット部を、第１段および第２段の切替手段を介して、該複数のホストと該複数のスロットとの組み合わせならびに接続経路の帯域幅を変更可能に接続することを特徴とするPCI Expressリンクが得られる。

本発明によればまた、前記第１段の切替手段は、前記複数のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定し、前記第２段の切替手段は、前記複数のホストの前記入出力ポートに前記複数のスロット部を、該入出力ポートと該複数のスロットとの組み合わせを変更可能に接続する前記PCI Expressリンクが得られる。

前記PCI Expressリンクにおいて、前記複数のホストならびに前記複数のスロット部の各状態を監視すると共に、当該監視結果に応じて前記第１段および前記第２段の切替手段の各動作を制御する外部コントローラを有していてもよい。

前記PCI Expressリンクにおいて、前記外部コントローラは、前記複数のホストならびに前記複数のスロット部の監視結果と、当該監視結果に応じてとるべき前記第１段および前記第２段の切替手段の動作制御内容との対応を更新的に記憶する管理テーブルを備えていてもよい。

前記PCI Expressリンクにおいて、前記第２段の切替手段に障害が発生した場合に代わりに用いられる代替の切替手段を有していてもよい。

本発明によればさらに、前記複数のホストは、第１のホストと、第２のホストとを有し、前記第１段の切替手段は、前記第１のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第１のリンクコントローラと、前記第２のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第２のリンクコントローラとによって構成され、前記第２段の切替手段は、前記第１および前記第２のホストの前記入出力ポートに前記複数のスロット部を、該入出力ポートと該複数のスロットとの組み合わせを変更可能に接続するクロスポイントスイッチによって構成されている前記PCI Expressリンクが得られる。

本発明によればまた、前記複数のホストと、前記複数のスロット部と、請求項１乃至６のいずれか１つに記載の前記PCI Expressリンクとを有することを特徴とするマルチホストコンピュータシステムが得られる。

本発明によればさらに、複数のホストに複数のスロット部を、第１段および第２段の切替工程を経て、該複数のホストと該複数のスロットとの組み合わせならびに接続経路の帯域幅を変更可能に接続することを特徴とするPCI Expressリンクの再構成方法が得られる。

本発明によればまた、前記第１段の切替工程においては、前記複数のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定し、前記第２段の切替工程においては、前記複数のホストの前記入出力ポートに前記複数のスロット部を、該入出力ポートと該複数のスロットとの組み合わせを変更可能に接続する前記PCI Expressリンクの再構成方法が得られる。

前記PCI Expressリンクの再構成方法において、前記複数のホストならびに前記複数のスロット部の各状態を監視すると共に、当該監視結果に応じて前記第１段および前記第２段の切替工程の各処理を制御する外部コントロール工程を有していてもよい。

前記PCI Expressリンクの再構成方法において、前記外部コントロール工程においては、前記複数のホストならびに前記複数のスロット部の監視結果と、当該監視結果に応じてとるべき前記第１段および前記第２段の切替手段の動作制御内容との対応を更新的に記憶してもよい。

前記PCI Expressリンクの再構成方法において、前記第２段の切替手段に障害が発生した場合に代わりに実行される代替の切替工程を有していてもよい。

本発明によればさらに、前記複数のホストは、第１のホストと、第２のホストとを有し、前記第１段の切替工程は、前記第１のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第１のリンクコントロール工程と、前記第２のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第２のリンクコントロール工程とを含み、前記第２段の切替工程は、前記第１および前記第２のホストの前記入出力ポートに前記複数のスロット部を、該入出力ポートと該複数のスロットとの組み合わせを変更可能に接続するクロスポイントスイッチング工程を含む前記PCI Expressリンクの再構成方法が得られる。

本発明によるPCI Expressリンクは、マルチホストコンピュータシステムにおいて、想定され得るスロットに接続され得るカードの全ての要求やシステムの全ての障害に対して、全てのホスト対スロットの組み合わせをとることができる。このため、本発明によるPCI Expressリンクは、満足に再構成することができる。

つまり、本発明によるPCI Expressリンクは、システム内の全てのホストと全てのスロットの状態に応じて柔軟に帯域を割り当てることができることである。

例えば、ユーザの任意のタイミングで任意のスロットに帯域を割り当てることができる。即ち、昼間はネットワークコントローラに帯域を多く割り当ててネットワークサービスを重視した構成をとる一方、夜間はディスク接続カードに帯域を多く割り当ててバックアップを効率よく実施すること等が可能である。

本発明によるPCI Expressリンクは、複数のホストに複数のスロット部を、第１段および第２段の切替手段を介して、複数のホストと複数のスロットとの組み合わせならびに接続経路の帯域幅を変更可能に接続する。

第１段の切替手段は、複数のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する。第２段の切替手段は、複数のホストの入出力ポートに複数のスロット部を、入出力ポートと複数のスロットとの組み合わせを変更可能に接続する。

本PCI Expressリンクは、複数のホストならびに複数のスロット部の各状態を監視すると共に、当該監視結果に応じて第１段および第２段の切替手段の各動作を制御する外部コントローラをさらに有していてもよい。さらに、この外部コントローラは、複数のホストならびに複数のスロット部の監視結果と、当該監視結果に応じてとるべき第１段および第２段の切替手段の動作制御内容との対応を更新的に記憶する管理テーブルを備えていてもよい。

本PCI Expressリンクにおいて、複数のホストは、第１のホストと、第２のホストとを有している。第１段の切替手段は、第１のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第１のリンクコントローラと、第２のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第２のリンクコントローラとによって構成されている。第２段の切替手段は、第１および第２のホストの入出力ポートに複数のスロット部を、入出力ポートと複数のスロットとの組み合わせを変更可能に接続するクロスポイントスイッチによって構成されている。

以下、図面を参照して、本発明によるPCI Expressリンクについて詳細に説明する。

［実施例１］
図１を参照すると、本発明の実施例１によるPCI Expressリンクは、マルチホストコンピュータシステムに適用され、複数のホストＡおよびＢと複数のスロット部Ｆ、Ｇ、Ｈ、およびＩとの間を、第１段および第２段の切替手段を介して、ホストＡおよびＢとスロット部Ｆ、Ｇ、Ｈ、およびＩとの組み合わせならびに接続経路の帯域幅を変更可能に接続する。

ホストＡは、ホストブリッジ３と、リンクコントローラ５とを有している。ホストブリッジ３は、４レーン帯域を持つ二つのPCI Expressポートを有している。リンクコントローラ５は、ホストブリッジ３のPCI Expressポートと接続可能である。ホストＢは、ホストブリッジ４と、リンクコントローラ６とを有している。ホストブリッジ４は、４レーン帯域を持つ二つのPCI Expressポートを有している。リンクコントローラ６は、ホストブリッジ４のPCI Expressポートと接続可能である。

本PCI Expressリンクにおいて、第１段の切替手段は、ホストＡの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ５と、ホストＢの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ６とによって構成されている。

第２段の切替手段は、ホストＡおよびＢの入出力ポートにスロット部Ｆ、Ｇ、Ｈ、およびＩを、入出力ポートとスロット部Ｆ、Ｇ、Ｈ、およびＩとの組み合わせを変更可能に接続するクロスポイントスイッチ７によって構成されている。

さらに、本PCI Expressリンクは、複数のホストならびに複数のスロット部の各状態を監視すると共に、当該監視結果に応じて第１段および第２段の切替手段の各動作を制御するホストＡおよびＢならびにスロット部Ｆ、Ｇ、Ｈ、およびＩの各状態を監視すると共に、この監視結果に応じてリンクコントローラ５および６ならびにクロスポイントスイッチ７の各動作を制御する外部コントローラ８を有している。外部コントローラ８は、ホストＡおよびＢならびにスロット部Ｆ、Ｇ、Ｈ、およびＩの監視結果と、当該監視結果に応じてとるべきリンクコントローラ５および６ならびにクロスポイントスイッチ７の動作制御内容との対応を更新的に記憶する管理テーブル９を備えている。

図２は、図１に示されたリンクコントローラ５または６の詳細な構成の一例を示している。図２において、外部コントローラからの切り替え指示を受け付けるインターフェース２１は、切り替え部（MUltipleX switch）１６、１７を制御する。ホストブリッジ３または４とリンクコントローラ５または６との間は、それぞれ４レーン分の帯域を持つ二つのPCI Expressバス１４、１５によって接続可能である。また、リンクコントローラ５または６のＩ／Ｏ接続側ポート１９は、PCI Express４レーン分の帯域を持っている。

図３は、図１に示されたクロスポイントスイッチ７の接続の一例を示している。図３に示されるように、スロット部Ｆ、Ｇ、Ｈ、Ｉは、それぞれ４レーン分の帯域を持つPCI Expressバス２８、２９、３０、３１によって、クロスポイントスイッチ７と接続可能である。クロスポイントスイッチ７の設定は、外部コントローラ８からのクロスポイントスイッチ制御信号３２によってなされる。また、スロット部Ｆ、Ｇ、Ｈ、Ｉはそれぞれ、外部コントローラ８がPCI Expressカードの要求帯域を確認するための診断バス３３、３４、３５、３６を有している。尚、クロスポイントスイッチ７の詳細かつ具体的な構成は、当業者にとって知られており、また本発明の要旨と直接関係しないので、その詳細な説明は省略する。

尚、本実施例では、ホストブリッジからのPCI Expressポートとして４レーン帯域を持つ２ポートを想定しているが、さらに多数のポートおよび帯域を用意してもよい。

また、図２のリンクコントローラについては、クロスポイントスイッチによって構成してもよい。

（PCI Expressカード挿入）
次に、スロット部が持つ帯域以上の帯域を必要とするPCI Expressカードが新たに実装された時の動作を説明する。

図４（ａ）は、PCI Expressカードが実装される前のシステムを示す。

図４（ａ）において、ホストＡのホストブリッジ３およびホストＢのホストブリッジ４はそれぞれ、４レーン帯域のPCI Expressポートを二つ有している。

リンクコントローラ５は、図４（ｂ）中、破線によって示されるように、ホストブリッジ３のポート１および２から２レーン帯域ずつに絞って４レーン帯域の一つのPCI Expressリンク５２としている。

リンクコントローラ６も、図４（ｃ）中、破線によって示されるように、ホストブリッジ４のポート１および２から２レーン帯域ずつに絞って４レーン帯域の一つのPCI Expressリンク５３としている。

クロスポイントスイッチ７は、図４（ａ）中、破線によって示されるように、リンクコントローラ５、６の４レーン帯域の二つのPCI Expressリンクを２レーン帯域の４つのPCI Expressリンクとしている。クロスポイントスイッチ７の２レーン帯域の４つのPCI Expressリンクはそれぞれ、スロット部Ｆ、Ｇ、Ｈ、およびＩに接続されている。

現時点では、いずれのスロット部にもカードが挿入されていないため、全てのスロット部の電源は入っていない。

一方、ホストＡのホストブリッジ３は、そのPCI Expressポート１および２それぞれのリンク先であるスロット部ＦおよびＧに、電源が供給されているカードが挿入されているか否かを、定期的に監視している。ホストＢのホストブリッジ４も、そのPCI Expressポート１および２それぞれのリンク先であるスロット部ＨおよびＩに、電源が供給されているカードが挿入されているか否かを、定期的に監視している。

いま、スロット部ＧにPCI Expressカードが挿入される。このPCI Expressカードは、４レーン帯域を必要とするものである。

図５（ａ）を参照すると、PCI Expressカードがスロット部Ｇに挿入されると、スロット部ＧのPresence信号が変化し、外部コントローラ８に通知される。尚、この時点では、スロット部Ｇには電源が入っていない。

Presence信号の変化を検出した外部コントローラ８は、診断バスを介して、PCI Expressカードの使用帯域を読み出す。

外部コントローラ８は、管理テーブル９を参照して、PCI Expressカードの要求している帯域が、現在割り当てているスロット部の帯域よりも大きいと判断し、リンクコントローラ５およびクロスポイントスイッチ７に対して制御指示を出力する。

外部コントローラ８から制御指示を受けたリンクコントローラ５は、図５（ｂ）において示されるように、ホストブリッジ３のポート１とPCI Expressリンク５２との間の２レーン帯域のリンクならびにポート２とPCI Expressリンク５２との間の２レーン帯域のリンクを、ホストブリッジ３のポート１とPCI Expressリンク５２との間の４レーン帯域のリンクに変更する。

尚、図５（ｃ）中、破線によって示されるように、リンクコントローラ６におけるホストブリッジ４のポート１とPCI Expressリンク５３との間の２レーン帯域のリンクならびにポート２とPCI Expressリンク５３との間の２レーン帯域のリンクは、維持される。

外部コントローラ８から制御指示を受けたクロスポイントスイッチ７は、図５（ａ）において示されるように、ホストＡ（リンクコントローラ５のPCI Expressリンク５２）とスロット部ＦおよびＧのうちのスロット部Ｆとの間のリンクを解消する一方、ホストＡとスロット部Ｇとの間のリンクを２レーン帯域から４レーン帯域に変更する。

尚、クロスポイントスイッチ７におけるホストＢ（リンクコントローラ６のPCI Expressリンク５３）とスロット部ＨおよびＩとの間の２レーン帯域のリンクはそれぞれ、維持される。

外部コントローラ８は、これらのリンク変更制御後に、スロット部Ｇへの電源供給を開始する。

電源が供給されたスロット部Ｇは、ホストブリッジ３による監視に対して応答する。スロット部Ｇから応答を受けたホストブリッジ３は、そのPCI Expressポート１のリンク先であるスロット部Ｇに挿入されたPCI Expressカードに、リンク幅調停コマンドを発行する。そして、図５（ａ）および図５（ｂ）中、実線によって示されるように、リンクコントローラ５およびクロスポイントスイッチ７を介して、ホストＡとスロット部Ｇに実装されたPCI Expressカードとの間が４レーン帯域で接続され、そのPCI Expressカードを用いてシステムが稼働する。

（スロット部故障）
次に、スロット部が故障した時の動作を説明する。

図６（ａ）は、スロット部が故障する前のシステムを示す。

図６（ａ）において、スロット部ＧおよびＨにはそれぞれ、４レーン帯域を必要とするPCI Expressカードが挿入されている。いま、本システムにおいて、スロット部Ｇに挿入されたPCI Expressカードが使用されている一方、スロット部Ｈに挿入されたPCI Expressカードは予備として未使用である。

ホストＡのホストブリッジ３およびホストＢのホストブリッジ４はそれぞれ、４レーン帯域のPCI Expressポートを二つ有している。

リンクコントローラ５は、図６（ｂ）中、実線によって示されるようにホストブリッジ３のポート１から４レーン帯域のPCI Expressリンク５２としている一方、ポート２とPCI Expressリンク５２との間は０レーン帯域としている。

リンクコントローラ６は、図６（ｃ）中、破線によって示されるようにホストブリッジ４のポート１から４レーン帯域のPCI Expressリンク５３としている一方、ポート２とPCI Expressリンク５３との間は０レーン帯域としている。

クロスポイントスイッチ７は、図６（ａ）中、実線によって示されるようにリンクコントローラ５とスロット部Ｇとの間を４レーン帯域のPCI Expressリンクとすると共に、破線によって示されるようにリンクコントローラ６とスロット部Ｈとの間も４レーン帯域のPCI Expressリンクとしている。スロット部ＦおよびＩへは、０レーン帯域としている。

現時点では、スロット部Ｇにカードが挿入されているため、スロット部Ｇの電源が入っている。スロット部Ｈにもカードが挿入されているが、予備としてのスロット部Ｈには電源が入っていない。予備としてのスロット部Ｈに通常時には電源供給しないことは、外部コントローラ８の管理テーブル９に予め記憶されている。

一方、ホストＡのホストブリッジ３は、そのPCI Expressポート１および２それぞれのリンク先であるスロット部ＦおよびＧに、電源が供給されているカードが挿入されているか否かを、定期的に監視している。ホストＢのホストブリッジ４も、そのPCI Expressポート１および２それぞれのリンク先であるスロット部ＨおよびＩに、電源が供給されているカードが挿入されているか否かを、定期的に監視している。

電源が供給されたスロット部Ｇは、ホストブリッジ３による監視に対して応答する。スロット部Ｇから応答を受けたホストブリッジ３は、そのPCI Expressポート１のリンク先であるスロット部Ｇに挿入されたPCI Expressカードに、リンク幅調停コマンドを発行する。そして、図６（ａ）および図６（ｂ）中、実線によって示されるように、リンクコントローラ５およびクロスポイントスイッチ７を介して、ホストＡとスロット部Ｇに実装されたPCI Expressカードとの間が４レーン帯域で接続され、PCI Expressカードを用いてシステムが稼働している。

いま、図６（ａ）に示されたシステムのスロット部Ｇが故障し、使用不可能となった。

図７（ａ）を参照すると、スロットＧの故障を検出した外部コントローラ８は、管理テーブル９を参照してホストＢに割り当てられていた未使用のスロット部Ｈを認識し、クロスポイントスイッチ７に対して制御指示を出力する。

外部コントローラ８から制御指示を受けたクロスポイントスイッチ７は、図７（ａ）において示されるように、ホストＡ（リンクコントローラ５のPCI Expressリンク５２とスロット部Ｇとの間のリンクならびにホストＢ（リンクコントローラ６のPCI Expressリンク５３）とスロット部Ｈとの間のリンクを解消する一方、ホストＡとスロット部Ｈとの間の４レーン帯域のリンクを敷設する。

尚、図７（ｂ）中、実線によって示されるように、リンクコントローラ５におけるホストブリッジ３のポート１とPCI Expressリンク５２との間の４レーン帯域のリンクは、維持される。また、図７（ｃ）中、破線によって示されるように、リンクコントローラ６におけるホストブリッジ４のポート１とPCI Expressリンク５３との間の４レーン帯域のリンクも、維持される。

外部コントローラ８は、このリンク変更制御後に、スロット部Ｈへの電源供給を開始する。

電源が供給されたスロット部Ｈは、ホストブリッジ３による監視に対して応答する。スロット部Ｈから応答を受けたホストブリッジ３は、そのPCI Expressポート１のリンク先であるスロット部Ｈに挿入された予備のPCI Expressカードに、リンク幅調停コマンドを発行する。そして、図７（ａ）および図７（ｂ）中、実線によって示されるように、リンクコントローラ５およびクロスポイントスイッチ７を介して、ホストＡとスロット部Ｈに実装されたPCI Expressカードとの間が４レーン帯域で接続され、このPCI Expressカードを用いてシステムが稼働する。

（ホスト障害）
次に、ホストに障害が発生した時の動作を説明する。

現時点では、図８（ａ）および図８（ｂ）中、実線によって示されるように、リンクコントローラ５およびクロスポイントスイッチ７を介して、現用のホストＡとスロット部Ｇに実装されたPCI Expressカードとの間が４レーン帯域で接続され、そのPCI Expressカードを用いてシステムが稼働している。

一方、図８（ａ）および図８（ｃ）中、破線によって示されるように、リンクコントローラ６およびクロスポイントスイッチ７を介して、予備のホストＢとスロット部ＨおよびＩとの間に２レーン帯域のリンクがそれぞれ、敷設されている。

いま、図８（ａ）に示されたシステムのホストＡに障害が発生した。

図９（ａ）を参照すると、ホストＡの障害を検出した外部コントローラ８は、管理テーブル９を参照して、予備のホストＢを認識し、リンクコントローラ６およびクロスポイントスイッチ７に対して制御指示を出力する。

外部コントローラ８から制御指示を受けたリンクコントローラ６は、図９（ｃ）において示されるように、ホストブリッジ４のポート１とPCI Expressリンク５３との間の２レーン帯域のリンクならびにポート２とPCI Expressリンク５３との間の２レーン帯域のリンクを、ホストブリッジ４のポート１とPCI Expressリンク５３との間の４レーン帯域のリンクに変更する。

尚、ホストＡに障害が発生したため、図９（ｂ）に示されるように、リンクコントローラ５は動作不能である。

外部コントローラ８から制御指示を受けたクロスポイントスイッチ７は、図９（ａ）において示されるように、ホストＡ（リンクコントローラ５のPCI Expressリンク５２）とスロット部Ｇとの間のリンク、ならびに、ホストＢ（リンクコントローラ６のPCI Expressリンク５３）とスロット部ＨおよびＩとの間の２レーン帯域のリンクを解消する一方、ホストＢとスロット部Ｇとの間の４レーン帯域のリンクを敷設する。

スロット部Ｇは、予備のホストブリッジ４による監視に対して応答する。スロット部Ｇから応答を受けたホストブリッジ４は、そのPCI Expressポート１のリンク先であるスロット部Ｇに挿入されたPCI Expressカードに、リンク幅調停コマンドを発行する。そして、図９（ａ）および図９（ｃ）中、実線によって示されるように、リンクコントローラ６およびクロスポイントスイッチ７を介して、ホストＢとスロット部Ｇに実装されたPCI Expressカードとの間が４レーン帯域で接続され、そのPCI Expressカードを用いてシステムが継続的に稼働する。

この切り替えのメリットは、次の通りである。例えば、図８（ａ）に示されたシステムが、スロット部Ｇに挿入されたPCI Expressカード独自のＭＡＣ（Media Access Control）アドレスをキーとするアプリケーションを実行するものである場合、現用系のホストＡの障害を契機に待機系のホストＢに切り替える際に、同じＭＡＣアドレスを持つPCI Expressカード、即ち、スロット部Ｇに挿入されたPCI Expressカードを使用しなければ、アプリケーションが使用不可能となる。本発明においては、図９（ａ）に示されるように、待機系のホストＢへの切り替えと同時に接続経路をも自動的に変更する。このため、現用系のホストＡに用いていた特定のＭＡＣアドレスが付されたスロット部Ｇに挿入されていたPCI Expressカードを、待機系のホストＢのために用意されているスロット部ＨまたはＩに物理的に差し替える必要がない。

［実施例２］
本発明の実施例２によるPCI Expressリンクは、実施例１によるPCI Expressリンクと基本的には同様の構成であるが、第２段の切替手段の構成に特徴を有している。このため、実施例１と同様の構成については、説明を省略する。

図１０（ａ）を参照すると、本PCI Expressリンクにおいて、第１段の切替手段は、ホストＡの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ５と、ホストＢの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ６とによって構成されている。

第２段の切替手段は、ホストＡおよびＢの入出力ポートにスロット部Ｆ、Ｇ、Ｈ、およびＩを、入出力ポートとスロット部との組み合わせを変更可能に、接続するクロスポイントスイッチ７１、７２によって構成されている。

クロスポイントスイッチ７１と７２とは二重化され、クロスポイントスイッチに障害が発生した場合の可用性が向上されている。

（クロスポイントスイッチ障害）
以下に、ロスポイントスイッチに障害が発生した時の動作を説明する。

現時点では、図１０（ｂ）中、実線によって示されるように、ホストＡのリンクコントローラ５は、それぞれ２レーン帯域の２本のPCI Expressリンク６１および６２を有している。PCI Expressリンク６１および６２はそれぞれ、クロスポイントスイッチ７１および７２に接続されている。図１０（ａ）および図１０（ｂ）中、実線によって示されるように、ホストＡとスロット部Ｆに実装されたPCI Expressカードとの間は、リンクコントローラ５およびクロスポイントスイッチ７１および７２を介して、それぞれ２レーン帯域の２本のPCI Expressリンクで接続され、そのPCI Expressカードを用いてシステムが稼働している。

一方、図１０（ｃ）中、破線によって示されるように、ホストＢのリンクコントローラ６は、それぞれ２レーン帯域の２本のPCI Expressリンク６３および６４を有している。PCI Expressリンク６３および６４はそれぞれ、クロスポイントスイッチ７１および７２と接続されている。図１０（ａ）および図１０（ｃ）中、破線によって示されるように、ホストＢとスロット部Ｇとの間には、リンクコントローラ６およびクロスポイントスイッチ７１および７２を介して、それぞれ２レーン帯域の２本のPCI Expressリンクが敷設されている。尚、スロット部Ｇには予備のPCI Expressカードが挿入されているが、このPCI Expressカードには、電源が入っていない。予備としてのスロット部Ｇに通常時には電源供給しないことは、外部コントローラ８の管理テーブル９に予め記憶されている。

尚、図１０（ａ）において示されたスロット部ＨおよびＩは、予備のスロットとなっており、ホストＡおよびＢのどちらとも接続されていない。

いま、クロスポイントスイッチ７１に障害が発生した。

図１１（ａ）〜（ｃ）を参照すると、クロスポイントスイッチ７１の障害を検出した外部コントローラ８は、管理テーブル９を参照して、クロスポイントスイッチ７１を切り離す処理を行う。PCI Expressはその仕様上、リンクのレーン数がデグレードしても動作継続可能である。このため、ホストＡは、クロスポイントスイッチ７１の切り離し後も、クロスポイントスイッチ７２のみを介してスロット部Ｆと２レーン帯域の接続が維持される。したがって、ホストＡとスロット部Ｆとの接続は途絶えることなく、システムは、レーンデグレードしたまま動作を継続する。

ホストＢについても、クロスポイントスイッチ７１の切り離し後も、クロスポイントスイッチ７２のみを介してスロット部Ｇとの間のリンクが維持される。したがって、ホストＢとスロット部Ｇとの間の２レーン帯域のリンクが維持される。

予備のスロット部ＨおよびＩは、ホストＡおよびＢのどちらとも接続されていないため、クロスポイントスイッチ７１の障害の影響を何等受けない。

このような暫定可動中に、ユーザは、障害が生じたクロスポイントスイッチ７１をシステムから取り外し、それを修理したものか、あるいは、別の正常なクロスポイントスイッチを、クロスポイントスイッチ７４として用意する。

いま、ユーザによってクロスポイントスイッチ７４がシステムに挿入された。

図１２（ａ）〜（ｃ）を参照すると、正常なクロスポイントスイッチ７４が挿入されたことを検出した外部コントローラ８は、クロスポイントスイッチ７４に対して制御指示を出力する。

外部コントローラ８から制御指示を受けたクロスポイントスイッチ７４は、図１２（ａ）において示されるように、ホストＡ（リンクコントローラ５のPCI Expressリンク６１とスロット部Ｆとの間の２レーン帯域のリンクならびにホストＢ（リンクコントローラ６のPCI Expressリンク６３）とスロット部Ｇとの間の２レーン帯域のリンクを敷設する。

この後、スロット部Ｆは、ホストブリッジ３による監視に対して応答する。スロット部Ｆから応答を受けたホストブリッジ３は、そのPCI Expressポート１および２のリンク先であるスロット部Ｆに挿入されたPCI Expressカードに、リンク幅再調停コマンドを発行する。

かくして、図１２（ａ）および図１２（ｂ）中、実線によって示されるように、ホストＡとスロット部Ｆに実装されたPCI Expressカードとの間は、リンクコントローラ５およびクロスポイントスイッチ７４および７２を介して、それぞれ２レーン帯域の２本のPCI Expressリンクで接続され、そのPCI Expressカードを用いてシステムが稼働する。

また、図１２（ａ）および図１２（ｃ）中、破線によって示されるように、ホストＢとスロット部Ｇとの間には、リンクコントローラ６およびクロスポイントスイッチ７４および７２を介して、それぞれ２レーン帯域の２本のPCI Expressリンクが敷設される。尚、スロット部Ｇには予備のPCI Expressカードが挿入されているが、このPCI Expressカードには、電源が入っていない。

このように、本実施例では、ホストが使用するレーンをクロスポイントスイッチで二重化してスロット部に接続しているため、クロスポイントスイッチ故障時にホストとPCI Expressカードとの間のリンクが途切れることがない。

［実施例３］
本発明の実施例３によるPCI Expressリンクは、実施例１によるPCI Expressリンクと基本的には同様の構成であるが、第２段の切替手段およびその下位側の構成に特徴を有している。このため、実施例１と同様の構成については、説明を省略する。

本発明の実施例３によるPCI Expressリンクは、可用性よりもスロット部数が要求される場合に適した構成である。

図１３（ａ）を参照すると、本PCI Expressリンクにおいて、第１段の切替手段は、ホストＡの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ５と、ホストＢの入出力ポートのレーンアサインおよびレーン数を変更可能に設定するリンクコントローラ６とによって構成されている。

第２段の切替手段は、ホストＡおよびＢの入出力ポートにスロット部Ｆ、Ｇ、Ｈ、およびＩを、入出力ポートとスロット部Ｆ、Ｇ、Ｈ、およびＩとの組み合わせを変更可能に接続するクロスポイントスイッチ７１と、ホストＡおよびＢの入出力ポートにスロット部Ｊ、Ｋ、Ｌ、およびＭを、入出力ポートとスロット部Ｊ、Ｋ、Ｌ、およびＭとの組み合わせを変更可能に接続するクロスポイントスイッチ７２とによって構成されている。

図１３（ｂ）において示されるように、ホストＡのリンクコントローラ５は、それぞれ２レーン帯域の２本のPCI Expressリンク６１および６２を有している。PCI Expressリンク６１および６２はそれぞれ、クロスポイントスイッチ７１および７２に接続されている。また、図１３（ｃ）において示されるように、ホストＢのリンクコントローラ６は、それぞれ２レーン帯域の２本のPCI Expressリンク６３および６４を有している。PCI Expressリンク６３および６４はそれぞれ、クロスポイントスイッチ７１および７２と接続されている。

（クロスポイントスイッチ障害）
通常時には、図１３（ａ）〜（ｃ）中、実線によって示されるように、ホストＡとスロット部Ｆに実装されたPCI Expressカードとの間は、リンクコントローラ５およびクロスポイントスイッチ７１を介して、２レーン帯域の１本のPCI Expressリンクで接続されている。また、ホストＢとスロット部Ｇに実装されたPCI Expressカードとの間は、リンクコントローラ６およびクロスポイントスイッチ７１を介して、２レーン帯域の１本のPCI Expressリンクで接続されている。かくして、スロット部ＦおよびＧに挿入された２枚のPCI Expressカードを用いてシステムが稼働している。

尚、スロット部ＪおよびＫには予備のPCI Expressカードが挿入されているが、これらのPCI Expressカードには、電源が入っていない。通常時には予備としてのスロット部ＪおよびＫに電源供給しないことは、外部コントローラ８の管理テーブル９に予め記憶されている。

いま、クロスポイントスイッチ７１に障害が発生した。

クロスポイントスイッチ７１の障害を検出した外部コントローラ８は、図１４（ａ）において示されるように、管理テーブル９を参照して、クロスポイントスイッチ７１およびその下位のスロット部Ｆ〜Ｉを切り離す処理を行うと共に、クロスポイントスイッチ７２に対して制御指示を出力する。

外部コントローラ８から制御指示を受けたクロスポイントスイッチ７２は、ホストＡとスロット部Ｊに実装されたPCI Expressカードとの間に、２レーン帯域の１本のPCI Expressリンクを敷設すると共に、ホストＢとスロット部Ｋに実装されたPCI Expressカードとの間に、２レーン帯域の１本のPCI Expressリンクを敷設する。

この後、スロット部ＪおよびＫに電源が投入される。

電源が供給されたスロット部Ｊは、ホストブリッジ３による監視に対して応答する。同様に、電源が供給されたスロット部Ｋは、ホストブリッジ４による監視に対して応答する。

スロット部Ｆから応答を受けたホストブリッジ３は、そのPCI Expressポート２のリンク先であるスロット部Ｊに挿入されたPCI Expressカードに、リンク幅再調停コマンドを発行する。同様に、スロット部Ｋから応答を受けたホストブリッジ４は、そのPCI Expressポート２のリンク先であるスロット部Ｋに挿入されたPCI Expressカードに、リンク幅再調停コマンドを発行する。

かくして、図１４（ａ）〜（ｃ）中、実線によって示されるように、ホストＡとスロット部Ｊに実装されたPCI Expressカードとの間は、リンクコントローラ５およびクロスポイントスイッチ７２を介して、２レーン帯域の１本のPCI Expressリンクで接続される。また、ホストＢとスロット部Ｋに実装されたPCI Expressカードとの間は、リンクコントローラ６およびクロスポイントスイッチ７２を介して、２レーン帯域の１本のPCI Expressリンクで接続される。かくして、スロット部ＪおよびＫに挿入された２枚のPCI Expressカードを用いてシステムが稼働する。

クロスポイントスイッチ７１および７２のうちの一方に障害が発生した時にホストＡおよびＢ共にスロットを一つずつ失うが、平常時（障害が発生していない時点）には、実施例２と比較して二倍のスロット数を使用できる。

このように本発明を応用することにより、ユーザの業務体系に応じて、可用性と運用性能を自由に選択することができる。

以上説明した実施例においては、第１および第２の切替手段が外部コントローラ８からの制御指示に応じて動作しているが、本発明においては、ユーザが第１および第２の切替手段を操作してもよい。

以上説明した実施例に限定されることなく、本発明は、当該特許請求の範囲に記載された技術範囲内であれば、種々の変形が可能であることは云うまでもない。

本発明の実施例１によるPCI Expressリンクを示す図である。 図１におけるリンクコントローラを詳細に示す図である。 図１におけるクロスポイントスイッチを説明するための図である。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、PCI Expressカードが挿入される前のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、PCI Expressカードが挿入された後のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、スロット部が故障する前のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、スロット部が故障した後のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、ホストに障害が発生する前のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例１によるPCI Expressリンクの動作を説明するための図であり、ホストに障害が発生した後のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例２によるPCI Expressリンクの動作を説明するための図であり、クロスポイントスイッチに障害が発生する前のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例２によるPCI Expressリンクの動作を説明するための図であり、クロスポイントスイッチに障害が発生した後のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例２によるPCI Expressリンクの動作を説明するための図であり、正常なクロスポイントスイッチ７４が挿入された後のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例３によるPCI Expressリンクの動作を説明するための図であり、クロスポイントスイッチに障害が発生する前のPCI Expressリンクを示す。 （ａ）〜（ｃ）は、本発明の実施例３によるPCI Expressリンクの動作を説明するための図であり、クロスポイントスイッチに障害が発生した後のPCI Expressリンクを示す。

符号の説明

３、４ ホストブリッジ
５、６ リンクコントローラ
７、７１、７２、７４ クロスポイントスイッチ
８ 外部コントローラ
９ 管理テーブル
１８ コントロールユニット
１６、１７ ＭＵＸ
Ａ、Ｂ ホスト
Ｆ〜Ｉ スロット部
Ｊ〜Ｍ スロット部

Claims (11)

1. レーン数Ｘの入出力ポートおよびレーン数Ｙの入出力ポートをそれぞれ備えた第１および第２のホストと、それぞれ合計レーン数Ｘおよび合計レーン数Ｙである第１および第２の複数のスロット部とを接続対象とするPCI Expressリンクであって、
   前記第１のホストの入出力ポートのレーンアサインおよび最大Ｘまでのレーン数を変更可能に設定する一方、前記第２のホストの入出力ポートのレーンアサインおよび最大Ｙまでのレーン数を変更可能に設定する第１段の切替手段を有するPCI Expressリンクにおいて、
   前記第１段の切替手段と前記第１および前記第２の複数のスロット部との間に挿入配置され、前記第１のホストの前記入出力ポートおよび前記第２のホストの入出力ポートのそれぞれと、該第１および該第２の複数のスロット部とを組み合わせならびに接続経路の帯域幅を変更可能に接続する第２段の切替手段をさらに有することを特徴とするPCI Expressリンク。
2. 前記第１および前記第２のホストならびに前記第１および前記第２の複数のスロット部の各状態を監視すると共に、当該監視結果に応じて前記第１段および前記第２段の切替手段の各動作を制御する外部コントローラを有する請求項１に記載のPCI Expressリンク。
3. 前記外部コントローラは、前記第１および前記第２のホストならびに前記第１および前記第２の複数のスロット部の監視結果と、当該監視結果に応じてとるべき前記第１段および前記第２段の切替手段の動作制御内容との対応を更新的に記憶する管理テーブルを備えている請求項１または２に記載のPCI Expressリンク。
4. 前記第２段の切替手段に障害が発生した場合に代わりに用いられる代替の切替手段を有する請求項１乃至３のいずれか１つに記載のPCI Expressリンク。
5. 前記第１段の切替手段は、前記第１のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第１のリンクコントローラと、前記第２のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第２のリンクコントローラとによって構成され、
   前記第２段の切替手段は、クロスポイントスイッチによって構成されている請求項１乃至４のいずれか１つに記載のPCI Expressリンク。
6. 前記第１および前記第２のホストと、前記第１および前記第２の複数のスロット部と、請求項１乃至５のいずれか１つに記載の前記PCI Expressリンクとを有することを特徴とするマルチホストコンピュータシステム。
7. レーン数Ｘの入出力ポートおよびレーン数Ｙの入出力ポートをそれぞれ備えた第１および第２のホストと、それぞれ合計レーン数Ｘおよび合計レーン数Ｙである第１および第２の複数のスロット部とを接続対象とするPCI Expressリンクの再構成方法であって、
   前記第１のホストの入出力ポートのレーンアサインおよび最大Ｘまでのレーン数を変更可能に設定する一方、前記第２のホストの入出力ポートのレーンアサインおよび最大Ｙまでのレーン数を変更可能に設定する第１段の切替工程を有するPCI Expressリンクの再構成方法において、
   前記第１段の切替工程後に、前記第１のホストの前記入出力ポートおよび前記第２のホストの入出力ポートのそれぞれと、該第１および該第２の複数のスロット部とを組み合わせならびに接続経路の帯域幅を変更可能に接続する第２段の切替工程をさらに有することを特徴とするPCI Expressリンクの再構成方法。
8. 前記第１および前記第２のホストならびに前記第１および前記第２の複数のスロット部の各状態を監視すると共に、当該監視結果に応じて前記第１段および前記第２段の切替工程の各処理を制御する外部コントロール工程を有する請求項７に記載のPCI Expressリンクの再構成方法。
9. 前記外部コントロール工程においては、前記第１および前記第２のホストならびに前記第１および前記第２の複数のスロット部の監視結果と、当該監視結果に応じてとるべき前記第１段および前記第２段の切替手段の動作制御内容との対応を更新的に記憶する請求項７または８に記載のPCI Expressリンクの再構成方法。
10. 前記第２段の切替手段に障害が発生した場合に代わりに実行される代替の切替工程を有する請求項７乃至９のいずれか１つに記載のPCI Expressリンクの再構成方法。
11. 前記第１段の切替工程は、前記第１のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第１のリンクコントロール工程と、前記第２のホストの入出力ポートのレーンアサインおよびレーン数を変更可能に設定する第２のリンクコントロール工程とを含み、
    前記第２段の切替工程は、前記第１および前記第２のホストの前記入出力ポートに前記複数のスロット部を、該入出力ポートと該複数のスロットとの組み合わせを変更可能に接続するクロスポイントスイッチを用いて実行される請求項７乃至１０のいずれか１つに記載のPCI Expressリンクの再構成方法。

Images