JP4981009B2 - スケーラブルネットワーク制御及び管理のためのバーチャルクラスタリング - Google Patents

スケーラブルネットワーク制御及び管理のためのバーチャルクラスタリング Download PDF

Info

Publication number
JP4981009B2
JP4981009B2 JP2008248776A JP2008248776A JP4981009B2 JP 4981009 B2 JP4981009 B2 JP 4981009B2 JP 2008248776 A JP2008248776 A JP 2008248776A JP 2008248776 A JP2008248776 A JP 2008248776A JP 4981009 B2 JP4981009 B2 JP 4981009B2
Authority
JP
Japan
Prior art keywords
cluster
level
node
network
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008248776A
Other languages
English (en)
Other versions
JP2009163710A (ja
Inventor
ヴィンセンテ ジョン
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2009163710A publication Critical patent/JP2009163710A/ja
Application granted granted Critical
Publication of JP4981009B2 publication Critical patent/JP4981009B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0894—Policy-based network configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Storage Device Security (AREA)

Description

本発明の実施例は、一般に複雑なコンピュータネットワークに関し、より詳細には、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化することに関する。
複雑なネットワークを管理するための各種機構が存在する。ネットワーク制御及び管理に使用される２つの広範に使用される技術は、中央管理及び分権若しくは分散管理機構である。複雑なネットワークの制御及び管理の問題を観察すると、制御はしばしばポリシーに関連付けされ、又はコンフィギュレーション管理は状態評価若しくは状態特徴付けに関連付けされる。今日、多数のネットワーク管理ツールが存在し、各種の複雑なネットワークに使用されている。多くのツールは、通常は中央当局及び管理者が存在する集中システムのコンセプトに基づく。クライアントは、中央当局により状態又はポリシー決定に基づき中央システムに入る。
非集中ネットワークがまた、例えば、ピア・ツー・ピアモデルにおいて使用される。しかしながら、大部分のネットワーク管理システムは、集中モデルに基づく。ネットワーク管理及び制御に対して２つのサイドが存在する。自律的システムは、しばしば一方のサイドにおいてシステムの状態が決定され、他方サイドにおいてシステムがあるタイプのポリシー若しくはコンフィギュレーションを介し制御される制御システムモデルを表す。システムが自律的であるとき、ループはある意味において閉じられている。このため、状態サイドと制御サイドが存在する。
典型的には、ネットワーク管理システムは中央化又は分散化されている。しかしながら、今日実現されるように、集中モデルネットワークと非集中モデルネットワークの双方による問題点が存在する。例えば、集中モデルは、超大規模複合システムに対して良好にスケーリングできない。非集中ネットワークでは、例えば、ピア・ツー・ピア及びメッシュネットワーク、ノード又はクライアントシステムは、インフラストラクチャサーバ又はインフラストラクチャルータから独立に動作する。かなり複雑な環境が、しばしば制御及び管理に関してもたらされる。
本発明の課題は、上記問題点に鑑み、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化する技術を提供することである。
上記課題を解決するため、本発明の一特徴は、バーチャルクラスタリング及びネットワーク制御のためのシステムであって、階層ネットワークにおける複数の計算ノードを有し、各ノードは、前記ネットワークにおける自律的な自己引き上げ及び引き下げのためのロジックと、クラスタｋのクラスタヘッドに引き上げられたノードにおいて、前記クラスタｋのピアノードに管理及び制御サービス機能を提供するロジックと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルの他のノードに管理及び制御サービス機能を提供するロジックとから構成され、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらないシステムに関する。
また、本発明の他の特徴は、複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための方法であって、ノードが、前記ノードが前記ネットワーク階層において引き上げられるべきか、引き下げられるべきか又は同一レベルに留まるべきか自律的に判断するステップと、前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
を有し、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらない方法に関する。
さらに、本発明のさらなる他の特徴は、複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための命令を有するマシーン可読記憶媒体であって、前記命令がマシーンにおいて実行されると、前記マシーンに、ノードが、前記ノードが前記ネットワーク階層において引き上げられるべきか、引き下げられるべきか又は同一レベルに留まるべきか自律的に判断するステップと、前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップとを実行させ、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらないマシーン可読記憶媒体に関する。
本発明によると、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化する技術を提供することができる。
本発明の実施例は、新たなクラスのネットワーク制御（ポリシー）及び（状態）管理サービスを構成するための新規なフレームワークに関するシステム及び方法である。このフレームワークは、非集中（メッシュ）ネットワークをサポートするためのいくつかの自己管理サービスを構成するのに利用されるかもしれない。少なくとも１つの実施例では、本発明は、クラスタリングを用いてより安定的でロウバストなネットワーク環境を生成するための集中ネットワークモデルと非集中ネットワークモデルとを組み合わせるものである。
明細書における本発明の「一実施例」又は「実施例」という表現は、当該実施例に関して説明される特定の機能、構成又は特徴が本発明の少なくとも１つの実施例に含まれることを意味する。このため、明細書全体に現れる「一実施例では」という表現の出現は、必ずしもすべてが同一の実施例を参照しているとは限らない。
説明のため、具体的な構成及び詳細が本発明の完全な理解を提供するため与えられる。しかしながら、本発明の実施例がここに与えられた具体的な詳細なしに実現可能であることは当業者には明らかであろう。さらに、周知の機能は、本発明を不明りょうにしないため、省略又は簡単化される。本記載を通じて、各種具体例が与えられる。これらは単に、本発明の特定の実施例の説明にすぎない。本発明の範囲は、与えられた具体例に限定されるものでない。
本発明の実施例は、メッシュネットワークやピア・ツー・ピアネットワークなどの非集中ネットワークに適用可能である。これらのタイプのネットワークの複雑さのため、新たな制御及び管理アプローチが必要とされる。本発明の実施例は、より詳細に以下で説明されるように、集中モデルと非集中モデルの双方の長所を利用することによって、既存の大規模非集中ネットワークの管理問題のいくつかを解決する。
クラスタの概念は、ピア・ツー・ピア、センサベース及びワイヤレスメッシュネットワークにおいて以前から利用されている。センサネットワークは、ボディセンサ、環境センサ、施設センサなどの小型装置を利用して、情報を収集し、解析のため中央位置に情報を提供する。ワイヤレスメッシュネットワークは、典型的には、通信のためのインフラストラクチャを利用しない。ワイヤレスメッシュネットワークでは、各種クライアント装置は、ピア的に互いに通信するだけである。このとき、装置がネットワークから離れると、その他のネットワーク装置は互いに依然として通信するかもしれない。ピア・ツー・ピアネットワークは、通信ピア接続（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｅｅｒｉｎｇ）に基づくものでなく、計算ピア接続（ｃｏｍｐｕｔｉｎｇ ｐｅｅｒｉｎｇ）に基づくものである。しかしながら、本発明の実施例は、集中化された状態管理と非集中状態管理と共に、中央制御と分権制御の双方を利用して、集中フレームワークと非集中フレームワークの双方の特徴を組み合わせたモデルを改良する。実施例では、クラスタ階層の自己プロモーション、自律的プロモーション及び再構成が利用される。
本発明の実施例は、従来のネットワーク制御及び管理に対するバーチャルクラスタリングアプローチを利用する。これは、中央化及び分散化された管理及び制御のハイブリッドモデルである。図１に示されるように、論理階層の複数レベルにおいて、クラスタが形成及び統合される。図示されるように、物理的ネットワークノード１１０は、階層のボトムにあり、クラスタリングセマティックに参加しない（物理レベルでは）。物理ネットワークレイヤ１１０のノードは、非集中ノードとしてみなされるかもしれない。このレイヤ１１０では、集中システム又は制御なしにノードがピア接続される。
右側の矢印１０１は、状態又はネットワーク管理状態を表す。ネットワークにおいて動作が起こると、ノードの状態がノードのクラスタを介して発生及び統合する。左側の矢印１０３は、ポリシーを表す。例えば、システムが非効率的に動作している場合、システムをより効率的に動作させるようシステムを制御するため、より上位レベルのクラスタヘッドからノードに下って実施される。自律的システムはしばしば、状態や制御などの例示されるような表現を利用する。実際には、検知サイド１０１と起動サイド１０３が存在する。
ネットワークプロバイダは、階層的システムを構成する。しかしながら、これらのシステムは、物理的に階層的である。このため、システムが構成され統計的に規定されると、例えば、ノード又は装置の追加など、人間がネットワークを物理的に変更するまでそのままの状態に留まる。通信システム及び計算システムは、しばしば物理的な階層フレームワーク上に構成される。それらは物理的に方向付けされる。非集中システムでは、しばしば不安定であるが、制御又は当局は存在しない。さらに、今日使用されるクラスタリングは、ネットワーク階層の制御及び管理でなく、データの伝送に関するものであるかもしれない。
本発明の実施例では、システムの構成は、具体的にはバーチャルクラスタリングを利用して、物理モデルでなくバーチャルモデルを用いて生成される。バーチャルクラスタリングは、複数の方法により実現される。本発明の実施例は、オーバレイ（ｏｖｅｒｌａｙ）又は分散バーチャルマシーン（ＤＶＭ）を用いてバーチャルクラスタを実現する。クラスタリングは、非集中管理構成ストラテジーと純粋に集中化された構成ストラテジーの各長所の間をバランスするよう利用されるかもしれない。クラスタ階層上に状態管理及び制御ポリシーを構成することによって、ピア・ツー・ピアダイナミックス及びさら集中化されたダイナミックスの各長所が、クラスタ１５０の階層ツリーのルートに向かって進行することにより実現される。
図１を再び参照するに、クラスタレベル０（ルートレベル）１５０と、クラスタレベル１（１４０ａ〜ｂ）と、クラスタレベル２（１３０ａ〜ｃ）と、クラスタレベル３（１２０ａ〜ｃ）及び物理ネットワークレイヤと、クラスタレベルｎ＝４（１１０）との５つのクラスタレベルを有するネットワークの一例となる階層が示される。クラスタ内の各ノードはまた、上位に引き上げられるとき、下位のクラスタに論理的に属する。ノードが上位クラスタに引き上げられた場合であっても、それは依然として下位のクラスタ内の機能的責任を有している。例えば、クラスタ１４０ａは、１つのリーダ（クラスタヘッド１４１）と、１３１や１３３などの下位のクラスタからのリーダを有している。クラスタヘッド１４１はまた、他の下位レベルのクラスタ（図示せず）と共に、階層におけるそれより下位のクラスタ１３０ａのクラスタヘッドとなる。この例では、クラスタ１４０ａは、１３０ａ，１３０ｂ及び１３０ｃからのリーダ（それぞれ１４１，１３１及び１３３）を有する。ルートクラスタのリーダに引き上げられたノードは、ネットワークにおいて動作的に最も回復機能のあるノードとなるであろう。各クラスタは、非集中システム１１０のノードのサブセットを有し、このため、クラスタは容易に制御及び最適化可能となり、混乱は少ない。これらのコンセプトが以下でより十分に説明される。
各クラスタノードに係る独立性（発生）が存在し、各クラスタレベル及びクラスタバブルは、自律的であり、直接のピア、ペアレント及びチャイルドクラスタに対する動作を観察するが、複数レベルに引き上げられるノードを除いて、複数階層のコンテクストを有しない。例えば、クラスタヘッド１４１は、クラスタ１４０ａと１３０ａにおけるノードと通信可能であるが、クラスタ１４０ｂについて直接的には認識又は制御しない。クラスタヘッド１４１はまた、ルートクラスタ１５０に引き上げられなければ、ルートクラスタ１５０を見ることはできない。ノード１４１はクラスタ１３０ａと１４０ａの双方のクラスタヘッドであることがわかるかもしれない。ノード１３１及び１３３はそれぞれ、上位レベルのクラスタ１４０ａのピアノードのみによるクラスタ１３０ｂ及び１３０ｃのクラスタヘッドであり、ノード１４１に従属する。
クラスタは、引き上げられたクラスタヘッドによりプロキシー処理され、クラスタヘッドはクラスタのために動作する。クラスタヘッドは、先導的なものであり、それらがヘッドとなる深さ（ツリー）、幅（レベル）及び固有のクラスタに参加する。これは、クラスタヘッドのみがクラスタの外部の制御及び管理通信に関与すればよいため、ノード通信のコンプレクシティレベルを軽減する。クラスタヘッドは、あたかもそれが単一のノードであるかのように、クラスタを表現する。
状態管理及び制御ポリシーの上記分離を通じて、自己組織化性質は、階層の各レベルに導入され、このような動作は、ピア、ペアレント（グローバル）及びチャイルド（ローカル）クラスタからのポリシー及び状態の影響にもかかわらず、各クラスタに集約される。複数の論理レベル又はクラスタ処理の重複が存在するため、上位レベルのクラスタ及びクラスタヘッドは、物理ノードでなく基礎となるクラスタヘッドから構成される。ルートレベルにおけるクラスタヘッドと基礎となるすべてのレベルは特定の物理ノードに結び付けされないことに留意すべきである。動作効率の検知は、システム内のノードの引き上げと引き下げの起動及び変動をトリガーする。より回復機能のあるノードが引き上がられ、回復機能の弱いノードが階層において引き下げられる。
収集された状態に基づく変更を起動させるのに必要な情報は、１つの中央サーバの制御の下で１つのデータベースに常駐するのでなく、クラスタの各ノードに分散される。ノードのすべてが情報のすべてを有しているとは限らない。ノードは関連情報を受け取る。ノードｎがクラスタＣに参加する場合、ノードｎはクラスタＣに関連する情報を有することとなる。
クラスタリングマネージャ（ＣＭ）は、クラスタ階層の深さと幅とを管理する分散オーバレイ又は分散バーチャルマシーン（ＤＶＭ）サービスである。ＣＭは、ノードのサブセットに分散化されるかもしれないが、すべてのノードに参加機能が与えられる。一般に、信頼性が期待されるが、ＣＭについては、動作決定はコンセンサスでなくグローバル状態同調によって１つのエンティティとして処理される。クラスタアドレス処理、クラスタリング処理及びクラスタヘッド選択の具体的な機能が、ＣＭを介し管理される。ＣＭは、ネットワークノードの物理ドメインをサポートする論理的なクラスタリング階層のライフサイクル全体を実現する軽量なサービス機能である。このライフサイクルは、必要に応じて、クラスタアドレス処理の実現、クラスタノード間の（モバイル）移動又はクラスタの生成及び破壊を通じたネットワークノードのグループ化又は再グループ化の調整を含む。しかしながら、通常のインターネットサービス（ＤＮＳなど）と同様に、ＣＭは、クラスタリング処理及び管理の階層的組織化を主として調整するための制御管理機能を提供する。
［クラスタヘッド選択：動作優位性］
クラスタヘッドの選択は、動作優位性又はランクに基づくかもしれない。軍事又は企業ランクと同様に、上位にランク付けされたクラスタヘッドノードの基礎は行動にネットワーク化され、高い信頼性、安定性及び優位性を有する実行者となるようノードの機能によって確立される。すなわち、より高い（ａ）到達性、（ｂ）安定性及び（ｃ）実行効率性を示すノードが、クラスタヘッドに引き上げられる。この自己組織化された配置は、ネットワークのコアにあるノードが高い利用性（９９．９９９％など）を示し、高い到達性と極めて低い遅延を示す必要がある従来の階層的通信ネットワークにおけるネットワークノードの人手による組織化とは異なっていない。このため、ｉ）到達性状態、ｉｉ）安定性状態及びｉｉｉ）パフォーマンス状態が、動作ランクと優位性を決定するための数量的順序付けの基礎となることが予想される。
一実施例では、最も高いランクにおける最も高いアドレス結果など、他の人工的な基準を用いて、バーチャルクラスタを備えたネットワークがまず生成されるかもしれない。到達性、安定性及びパフォーマンス効率性を用いて引き上げ及び引き下げを決定する自然な進行は、少なくともこれらの基準について最適化されたネットワークを最終的にもたらすであろう。異なるタイプのネットワークについて他の基準が利用又は異なる重み付けがなされることが想定される。
いくつかの実施例では、システムはノードの信頼性に依拠する。例えば、ノードが自ら優位性を宣言すると、その他のノードは同意するであろう。他の実施例では、システムは、クラスタの他のノードのパフォーマンスを観察するノードに依拠する。この場合、他のノードはノードをランク付けすることを申し出るかもしれない。ノードは他のノードの到達性をランク付けすることができる。
クラスタ階層を上がるに従って、時間的及び空間的な状態の集約が行われ、上位レベルのクラスタヘッドの選択が変更され、動作寿命、より抽象的な状態管理及びポリシー制御を有する各ノードが区別される。企業又は軍事アナロジーを利用するため、経験のある又は「全体像」のスタッフが、引き上げられ、組織におけるリーダーシップと変化の影響の上位ランクにおいて動作する可能性が高い。
さらに、１０００個のノードがそれぞれ１つのノードを有した１０００のレベルのクラスタに引き上げられることに対する禁止又は反対するルールはない。しかしながら、本発明の実施例では、これは起こるべきでない。安定的システムは、多数のレベルを有し、非対称的であるかもしれない。ネットワークにより解決されるべき問題セットに応じて、各種階層又は可変的レベルが出現する可能性が想定される。例えば、故障管理を実行するシステムについては、より少ないレベルが効率的であるかもしれない。異なる管理及び制御システムについては、異なる戦略が利用可能である。大きなデータセンターが動作可能時間の９９．９９９％が引き上げのために安定性基準により大きな重み付けをされることを要求することが望ましいかもしれない。ＤＮＳサーバシステムについては、おそらく到達性が引き上げのためにより大きな重み付けをされるであろう。また、変数の重み付けに関係なく、上記クラスタリングが自然に行われることが想定される。このタイプのクラスタリングは、統計的システムにおいて自然であると証明されてきた。
［クラスタ識別］
一実施例では、シングルクラスタアドレッシングスキームがクラスタ階層において存在する。階層の最低レベルでは（図１、１１０）、物理ネットワークがクラスタレベルｎであるクラスタＣ（ｎ，０）としてラベル付けされる。ここで、０≦ｎ＜ｙであり、ｙは出現する階層のレベル数である。この説明のため、ツリーの最低レベルがクラスタリング管理動作に参加するが、完全性のため、このネットワークアドレッシングが維持され、例えば、物理ネットワークサービスの配信のためなどに利用可能である。ネットワーク化されたノードはクラスタレベルｎにおいてバーチャルに分割及びクラスタ化されるため、次のレベル（アップ）はクラスタレベルｎ−１となる。レベルｎ−１のクラスタ数に応じて、ｎ−１レベルクラスが、クラスタドメインｍに割り当てられる。ここで、０≦ｍ＜ｙであり、ｙは当該階層レベルにおけるクラスタ数に等しい。図１に示される例では、ｎ＝４であり、クラスタレベル２（１３０ａ〜ｃ）について、このレベルに示されるクラスタは３つであるため、ｍ＝３となる。従って、階層における任意のクラスタがＣ（ｎ，ｍ）とラベル付けされる。この処理が続けられ、最終的な最も高い又はルートクラスタがＣ（０，０）に割り当てられる。クラスタレベルの分割（及びアドレス処理）の継続される分離は、対照的なツリー階層に必ずしも従う又は反映するものでないかもしれない。すなわち、各クラスタレベルは、環境のシステムダイナミックに応じて、それのレベルの下位のクラスタの個数より少ないクラスタ数に収束するかもしれない。さらに、特定のクラスタに割り当てられるネットワークノード（最下位レベルｎにおける）又はクラスタヘッド（レベル＜ｎにおける）は、Ｃ（ｎ，ｍ）を用いてこのクラスタのノード（又はクラスタヘッド）と通信するか、又は具体的にはＣ（ｎ，ｍ）を管理するため割り当てられたクラスタヘッドと通信する。
ペアレントクラスタに係るクラスタノード又はクラスタヘッドは、クラスタ動作通信を受信及び応答するためのクラスタアドレスを利用するかもしれないが、グローバルクラスタヘッドしか、動作通信の発信又はクラスタリング制御若しくは管理のためのクラスタアドレスを利用するかもしれない。要約すると、グローバルクラスタヘッドのみが、クラスタ間及びクラスタ内通信に参加することができ、当該クラスタ、ピア又はチャイルドクラスタのグローバル動作に直接影響を及ぼしうる。他のノード又はクラスタヘッド（当該グローバルクラスタに係る）は、グローバルクラスタのメンバーとしてそれらのクラスタ内（ローカル）参加のみを介し間接的に影響を与えるかもしれない。
このアドレッシングスキームは、Ｃ（ｎ，−）通信がレベルｎのすべてのピアクラスタヘッドと通信するクラスタヘッドにおけるマルチキャストをサポートする。さらに、クラスタヘッドは、階層系統を認識しているクラスタのノードのみであり、このため、それらの系統とピアクラスタヘッドに沿って通信する。従って、それらは、それらのレベルと系統の外部のより広範なクラスタセットを認識していない。あるいは、出現した階層において動作的に支配し続け、ルートクラスタＣ（０，０）に割り当てられたクラスタヘッドは、階層のすべてのクラスタにおける状態又はポリシーと通信及びアクセスすることが可能である。このため、ノードは動作優位性を追求するだけでなく、寿命全体におけるそれらの配置を向上させるため、ピア及び配下との信頼性を示す明らかな効果及びインセンティブが存在する。
クラスタ間通信及びクラスタ内通信（すなわち、クラスタに固有の制御及び管理メッセージ処理）が、上述されるように、クラスタヘッドに割り当てられた特定のアドレスに従って行われる。クラスタバーチャルネットワーク化を実現するオーバレイ構成が任意数のスキームに基づくことは、本開示を参照した後に当業者により理解されるであろう。一般に、メッセージ処理はオーバレイではピア・ツーピアのように見えるが、論理的には、動作メッセージ処理は、状態及びポリシーベース通信をサポートし、クラスタリング構造に基づき階層的又はピア形式によりクラスタ内、クラスタ間で行われる。制御（ポリシー）及び管理（状態）メッセージは、非同期であり、以降のセクションにおいて説明されるように、協力的、集約及びピア処理アルゴリズムをサポートするであろう。
［クラスタリング処理］
上述されるように、クラスタの目的は、ピア・ツー・ピアと階層組織化制御とのバランスを介してネットワーク制御及び管理を実現することである。状態管理機能は、例えば、安定化、最適化及び接続性状態管理を含むかもしれない。クラスタヘッドノードは、クラスタ状態条件を受け取り、各自のクラスタ又はクラスタノード（すなわち、レベルｎを超えるクラスタヘッド）内の集約及び相関を実行する。クラスタヘッドは、統計的計算技術を介しクラスタ状態解析を実行し、ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持する。クラスタ状態は、グローバルクラスタヘッドに上位に伝搬され、又はローカルクラスタ動作を制御又は影響を与えるため、ポリシーベース強化を用いたローカル及びグローバルポリシーの統合を介し作用する。
クラスタ化された階層の各レベルでは、制御及び管理動作の新規性は、実行される時間的及び空間的（状態、ポリシー）集約の双方を有するクラスタレベル間で独立に示される。空間的集約は、グローバルクラスタと提携する複数のローカルクラスタを表現又は説明し、時間的集約は、ローカルクラスタが従う周期期間を説明する。このため、クラスタ集約が行われると、クラスタ階層の上位エンドのクラスタによりゆっくりとした状態変化効果が観察でき、人間の知識の経験を通じて通常観察される動作又は階層的構成における意志決定を模倣する。
情報技術（ＩＴ）ネットワーク制御及び管理コミュニティにおける長く続いている設計選択は、ネットワーク管理又はポリシーベース管理ツールに設計される集中又は非集中制御又は管理のレベルである。双方のアーキテクチャ的な選択に対して長所と短所があるが、本発明の実施例は、ピア・ツー・ピア及びセンサベースネットワーク化システムに以前に適用されたバーチャルクラスタリング方法に基づく全く新たなアプローチを求める。このため、アーキテクチャ的な選択としてのクラスタリングが、状態管理とポリシーベース管理の双方の非集中構成戦略と純粋に集中的な構成戦略の長所の間のバランスをとるのに利用される。（図１を参照されたい。）ツリーのルートに向かって進行する間に、クラスタ、階層の下位部分の非集中ダイナミックス及びより集中化されたダイナミックの各階層に対する状態管理及び制御ポリシーの組織化は、ハイブリッドネットワークの長所を実現する。さらに、この階層及び分離を通じて、階層の各レベルにおいて、ペアレントからチルドへのクラスタ分離性質が生成され、自己組織化動作が、ピア、ペアレント又はチャイルドクラスタからのポリシー及び状態影響にもかかわらず、各自のクラスタに集約されるかもしれない。さらに、分散管理及び制御のオーバヘッドは、グローバルな分散制御及び管理の利益を失うことなくローカライズされる。クラスタヘッドは、各クラスタ内の集中管理を実現するための集中機能として動作する。
図２を参照するに、階層的ネットワークの他の表現が示される。この一例となるシステムは、４つのクラスタレベル０〜３を備え、レベル３クラスタがメッシュネットワークとなっている。クラスタレベル０のノードのクラスタは、２点鎖線２０１により包囲される。クラスタレベル１は、破線２０３により表される。クラスタレベル２は、グレイの破線２０５により表され、メッシュレベル３は、矢印付きの稲妻状の線２０７により表される。クラスタヘッド又はリーダが示される。クラスタ０のリーダ２１０はまた、クラスタ１（２２０と共に）とクラスタ２（２３０ａ，２２０，２３０ｂと共に）のリーダである。
他の実施例では、ネットワーク設計者は、自己引き上げを実行するため、到達性、安定性及びパフォーマンス効率性又はそれらの一部に加えて、さらなる基準を利用することを選択するかもしれない。各要因の他の組み合わせが、一部のネットワークについて最適であるか、又はコスト若しくはメンテナンスの理由のため好まれるかもしれない。
図３は、一例となるノードアーキテクチャ３００のブロック図である。プロセッサ３１０は、フロントサイドバス３０１を介しノースブリッジとしても知られるＭＣＨ（Ｍｅｍｏｒｙ Ｃｏｎｔｒｏｌｌｅｒ Ｈｕｂ）３１４と通信する。ＭＣＨ３１４は、システムメモリ３１２とメモリバス３０３を介し通信する。ＭＣＨ３１４はまた、グラフィックスバス３０５を介しＡＧＰ（Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）３１６と通信してもよい。ＭＣＨ３１４は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス３０７を介しサウスブリッジとしても知られているＩＣＨ（Ｉ／Ｏ Ｃｏｎｔｒｏｌｌｅｒ Ｈｕｂ）３２０と通信する。ＩＣＨ３２０は、ＰＣＩハードドライブ（図示せず）などの１以上のコンポーネント、ＩＤＥ３２２、ＵＳＢ３２４、ＬＡＮ３２６、オーディオ３２８などの従来のコンポーネント、及びＳＩＯ（Ｓｕｐｅｒ Ｉ／Ｏ）コントローラ３５６とＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス３５６を介し接続されるかもしれない。
プロセッサ３１０は、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどのソフトウェアを実行可能な何れかのタイプのプロセッサであるかもしれない。図３は１つのプロセッサ３１０しか示していないが、プラットフォームハードウェアには１以上のプロセッサが存在してもよく、プロセッサの１以上は、複数のスレッド、複数のコアなどを有してもよい。
メモリ３１２は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ又はプロセッサ３１０により可読な他の何れかのタイプの媒体であるかもしれない。メモリ３１２は、本発明の方法の実施例を実行するための命令を格納するかもしれない。
フラッシュメモリ３５２などの不揮発性メモリが、ＬＰＣバス３０９を介しＩＰコントローラに接続される。ＢＩＯＳファームウェア３５４は、典型的には、フラッシュメモリ３５２に常駐し、フラッシュ又はファームウェアからの命令をブートアップが実行する。
いくつかの実施例では、プラットフォーム３００は、サーバにより可能なサーバ管理タスクである。このプラットフォームの実施例は、ＬＰＣ３０９を介しＩＣＨ３２０に接続されるＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）３５０を有するかもしれない。他の実施例では、プラットフォーム３００は、ＩＣＨ３２０に接続されるマイクロプロセッサ又はＭＥ（Ｍａｎａｇｅａｂｉｌｉｔｙ Ｅｎｇｉｎｅ）コントローラ３３０を有するかもしれない。このＭＥコントローラ３３０は、Ｉｎｔｅｌ（登録商標）Ａｃｔｉｖｅ Ｍａｎａｇｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ（ｉＡＭＴ）アーキテクチャであるかもしれない。いくつかの実施例では、ＢＭＣ３５０又はｉＡＭＴ３３０が、ノードがクラスタヘッドに引き上げられるべきか、階層においてどの程度まで引き上げられるか特定するのに利用するため、プラットフォーム３００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、ネットワークサービスを実行するかもしれない。階層の各レベルは上位レベルから独立して動作し、上位レベルに対する可視性又は認識を有しないことに留意すべきである。従って、引き上げは１つのレベルのみに固有のものである。
図４は、本発明の一実施例によるバーチャル化技術（ＶＴ）アーキテクチャを有する一例となるノードのブロック図である。図４は、従来のハイパバイザＶＭＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ Ｍｏｎｉｔｏｒ）アーキテクチャプラットフォーム４００を示すブロック図である。いくつかのゲストＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）４０１、４０３、４０５及び４０７が同時にプラットフォーム４００上で実行されるかもしれない。ＶＭＭ４１０は、プロセッサ／プラットフォームバーチャル化レイヤ４１１を介しハードウェア４２０へのゲストＶＭのアクセスを制御する。いくつかのバーチャル装置モデル４１３及び４１５が、ＶＭＭ４１０内に存在するかもしれない。ＶＭＭ４１０は、最も高い優先レベルにおいて動作する。ＶＭＭ４１０は、後述されるように、ファイルシステム４１７、メモリ及びすべての装置へのアクセスを制御する。ＶＭＭ４１０は、典型的には、プラットフォーム上の各ハードウェア装置のためのデバイスドライバ４１９を有する。
ＶＭＭ４１０及びゲストＶＭ４０１、４０３、４０５及び４０７が、プラットフォームハードウェア４２０上で実行される。プラットフォームハードウェア４２０は、プロセッサ４２２、メモリ４２４並びに１以上のＩ／Ｏ装置４２６及び４２８を有するかもしれない。プラットフォームハードウェア４２０は、パーソナルコンピュータ（ＰＣ）、メインフレーム、携帯装置、ポータブルコンピュータ、セットトップボックス又は他の何れかの計算システムであるかもしれない。
プロセッサ４２２は、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどのソフトウェアを実行可能な何れかのタイプのプロセッサであるかもしれない。図４は１つのプロセッサ４２２しか示していないが、プラットフォームハードウェア４２０には１以上のプロセッサが存在するかもしれず、プロセッサの１以上は複数のスレッド、複数のコアなどを含むかもしれない。
メモリ４２４は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ又はプロセッサ４２２により可読な他の何れかのタイプの媒体であるかもしれない。メモリ４２４は、本発明の方法の実施例を実行するための命令を格納するかもしれない。
１以上のＩ／Ｏ装置４２６と４２８は、例えば、ネットワークインタフェースカード、通信ポート、ビデオコントローラ、システムバス（ＰＣＩ、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＡＧＰなど）上のディスクコントローラ、チップセットロジック若しくはプロセッサに統合されたデバイス（リアルタイムクロック、プログラマブルタイマー、パフォーマンスカウンタなど）又はプラットフォームハードウェア４２０上の他の何れかの装置であるかもしれない。１以上のＩ／Ｏ装置４２６と４２８は、Ｉ／Ｏ命令、メモリマッピングされたＩ／Ｏアクセス又は既知の他の何れかの手段を介しアクセスされるかもしれない。
本発明の一実施例では、プラットフォーム４００のバーチャルマシーン（ＶＭ）は、ノードがクラスタヘッドに引き上げられるべきか、階層のどの程度の高さに引き上げられるか特定するのに利用するため、プラットフォーム４００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するためのネットワークサービスを実行するかもしれない。いくつかの実施例では、このＶＭは、引き上げられたセキュリティレベルで実行されるバーチャルアプライアンスであってもよく、他の実施例では、ゲストＶＭで単に実行されるものであるかもしれない。
図５は、本発明の一実施例によるＰＲＬ（Ｐｌａｔｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌａｙｅｒ）又は埋め込みパーティションアーキテクチャを有する一例となるノードのブロック図である。ＰＲＬアーキテクチャ又は埋め込みパーティションアーキテクチャでは、プラットフォームの各種コンポーネントが、プロセッサ、メモリ及び他のリソースのパーティション化を可能にするためエンハンスされる。図５を参照するに、本発明の一実施例によるＰＲＬアーキテクチャの一例となるブロック図が示される。パーティション化をより良く示すため、メインパーティション５１０に利用可能なコンポーネントは実線のブロックにより示される。埋め込み又はシステムパーティション５２０に利用可能なコンポーネントは、太字の実線ブロックにより示される。双方のパーティションに利用可能なコンポーネントが、ドットとダッシュとの交互のブロックにより示される。
この実施例では、プラットフォーム又はノードはソケット０〜３に４つのマルチコアプロセッサ（５３１〜５３４）を有する。本例は４つのプロセッサソケットしか示していないが、本発明の実施例を実現するため、プロセッサとコアの各種コンフィギュレーションが利用可能であることが当業者に明らかであろう。例えば、ソケット０（５３１）は、４つの処理コア５３５ａ〜ｄを有するかもしれない。実質的に、本例では、図示された実施例はプラットフォーム上に１６個の有効なプロセッサを有している（各ソケットに４つのコアを有する４つのソケットなど）。本例では、ソケット０〜２（５３１〜５３３）は、メインパーティション５１０のみに利用可能である。ソケット３（５３４）は、メインパーティション５１０と埋め込みパーティション５２０の双方に利用可能である。ソケット３（５３４）の内部において、コア０はメインパーティション５１０のみに利用可能であり、コア１〜３は埋め込みパーティション５２０のみに利用可能である。埋め込みパーティション５２０は、上述及び後述されるように、プロモーションエージェント又はクラスタリングマネージャ５１２を有するかもしれない。一実施例では、埋め込みパーティションはまた、到達性、安定性及びパフォーマンス効率性を決定するため、他のエージェント又はサービスを有するかもしれない。これらのサービスは、同一の埋め込みパーティションの一部であるかもしれず、又は１以上の個別のパーティションに分離されるかもしれない。複数のバーチャルクラスタのメンバー又はクラスタヘッドであるノードについて、当該ノードがメンバーとなる各クラスタについて実行されるプロモーションエージェント又は他のサービスの複数のインスタンス（図示せず）が存在するかもしれない。
本実施例では、プラットフォームは、メモリ５０２に接続されるＭＣＨ５０１（ノースブリッジとしても知られる）を有する。メモリ５０２は、２つのパーティションＭＥＭ１（５０３）とＭＥＭ２（５０５）とを有するかもしれない。メモリパーティションＭＥＭ１（５０３）は埋め込みパーティションのみに利用可能であり、メモリパーティションＭＥＭ２（５０５）はメインパーティションのみに利用可能である。ＭＣＨを含むチップセットは、ソフトウェア構成を利用するＶＭＭソリューションと対照的に、ハードウェア構成を用いてメモリをパーティションするよう構成される。メモリ５０２は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ、ＲＯＭ、フラッシュメモリ又はプロセッサにより可読な他の何れかのタイプの媒体であるかもしれないということは理解されるであろう。メモリ５０２は、本発明の実施例を実行するための命令を格納するかもしれない。本例では２つのパーティションしか示されていないが、各自のパーティションにおいて実行される複数のゲストＯＳが存在してもよいことが理解されるであろう。
ＭＣＨ５０１は、ＰＣＩバスを介しサウスブリッジとしても知られているＩＣＨ５０７と通信するかもしれない。ＩＣＨ５０７は、ＰＣＩハードドライブなどの１以上のコンポーネント、ＩＤＥ、ＵＳＢ、ＬＡＮ及びＡｕｄｉｏなどの従来のコンポーネント、及びＬＰＣバス（図示せず）を介しＳＩＯコントローラに接続されてもよい。本例では、ハードディスクドライブ５０９とＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）５１１に接続されるＩＣＨ５０７が示される。
ＭＣＨ５０１は、メモリへのアクセスを制御するよう構成され、ＩＣＨ５０７は、Ｉ／Ｏアクセスを制御するよう構成される。埋め込みパーティションアーキテクチャでは、チップセットは、ブートされるとプラットフォーム上の各種リソースをパーティションするようファームウェアにより構成される。いくつかのケースでは、１つのパーティションしか存在せず、ほとんどの点についてプラットフォームは従来のプラットフォームと同様に動作する。図示された具体例では、メインパーティション５１０と埋め込みパーティション５２０の２つのパーティションが存在する。指定された各パーティションには、一意的なパーティション識別子（ＩＤ）が与えられる。
埋め込みパーティションコンフィギュレーションによって、装置がアラートを送信すると、この情報はブート時に符号化されているため、チップセットはアラートを適切なパーティションに適切にルーティングするかもしれない。ＶＭＭ対応システムでは、ハードウェアは装置アラートをＶＭＭ（バーチャル化された装置）にわたし、ソフトウェアが情報を各種バーチャルマシーンに適切にルーティングする。埋め込みパーティションは、ハードウェアにより支援されたバーチャル化として機能するかもしれない。
一実施例では、プロモーションエージェントは、プラットフォーム上で実行されるすべてのゲストオペレーティングシステム（ＯＳ）とゲストバーチャルマシーン（ＶＭ）とを制御するＶＭＭ内に実現される。他の実施例では、プロモーションエージェントは、各ＯＳに対するＩ／Ｏリクエストを制御する優先的なパーティション、プロセス又はハイパバイザに実現される。すべてのケースにおいて、プロモーションエージェントは、プラットフォーム５００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、各動作及びパフォーマンスデータを測定する。この決定は、上位クラスタレベルにノード５００を引き上げるか否か決定するため、ノード５００が自ら引き上げを行うか、又はそれの指標をおそらくクラスタヘッドである他のノードに少なくともわたすことを可能にする。
図６を参照するに、プロモーションエージェント６２１がＶＭＭに常駐する一例となるバーチャル化プラットフォームが示される。この実施例では、バーチャルマシーン（ＶＭ）６１０はゲストＯＤ６１１を有する。各種ユーザアプリケーション６１３がゲストＯＳ６１１の下で実行される。ＯＳは、ＶＭＭ６２０内にバーチャル化されるデバイスドライバ６１５を有する。プラットフォームハードウェア６３０へのアクセスは、ＶＭＭの使用を必要とする。上述されるようなクラスタ環境における階層的引き上げの場合、ＶＭＭ６２０内のプロモーションエージェント６２１は、プラットフォーム６００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、各動作及びパフォーマンスデータを測定する。この決定は、上位クラスタレベルにノード６００を引き上げるか否か決定するため、ノード６００が自ら引き上げを行うか、又はそれの指標をおそらくクラスタヘッドである他のノードに少なくともわたすことを可能にする。
同様に、自らのＯＳ６４１、ユーザアプリケーション６４３、デバイスドライバ６４５を有するプラットフォームパーティション又はより優先度の高いパーティション６４０が示される。このプラットフォームパーティションはまた、ＶＭＭ６２０を介しバーチャル化されたデバイスを有するかもしれない。
図示された実施例では、ＶＭＭは、プロモーションエージェントを有するよう示される。他の実施例では、プロモーションエージェントは、プラットフォーム上のＶＭ内で実行される。ＶＭＭ又は個別のＶＭはまた、例えば、到達性、安定性及びパフォーマンス効率性を決定するため、他のエージェント又はサービスを有するかもしれない。これらのサービスは、同一のＶＭの一部であってもよく、又は１以上の個別のＶＭに分散化されてもよい。メンバー、クラスタヘッド又は複数のバーチャルクラスタであるノードについて、当該ノードがメンバーとなる各クラスタに対して実行される複数のプロモーションエージェントのインスタンス又は他のサービスが存在するかもしれない。
一実施例では、到達性、安定性及びパフォーマンス効率性サービスは、各種管理目的に使用される個別サービス又はプロモーションエージェントの一部であるかもしれない。図４を再び参照するに、例えば、ＶＭＭの実施例４００では、ノードはクラスタレベル０とクラスタレベル１の両方におけるクラスタの一部であるかもしれない。各クラスタレベル４５１及び４５３について、プロモーションエージェントの個別のインスタンスが存在するかもしれない。いくつかの実施例では、これらのインスタンスは異なるＶＭ又はパーティション４５１及び４５３において実行されるかもしれない。他の実施例では、複数のインスタンスが同一のＶＭ、パーティション又はＶＭＭにおいて実行されるかもしれない。プロモーションエージェントは、特定のサービス又はエージェントのユーザが到達性４５５、安定性４５７及びパフォーマンス効率性４５９のデータを提供することを要求するかもしれない。これらのエージェントは、同一のパーティション若しくはＶＭ又は異なるパーティション若しくはＶＭにおいて実行されるかもしれない。いくつかの実施例では、サービスはプロモーションエージェント又は当該サービスを要求する他のコンポーネント内に組み込まれてもよい。
図４に示されるように、到達性エージェント４５５、安定性エージェント４５７及びパフォーマンス効率性エージェント４５９が、同一のＶＭ４０３において実行される個別エージェントとして示される。ここでの記載を参照した後、開示された発明の範囲内で各種置換及び実施例が実現可能であることが当業者に理解されるであろう。一実施例では、バーチャル化プラットフォームは、バーチャルアプライアンス、セキュアＶＭ又はサービスオペレーティングシステム（ＳＯＳ）と、１以上のケイパビリティオペレーティングシステム（ＣＯＳ）又はユーザ環境を有してもよい。これらの実施例では、エージェントはすべて同一のバーチャルアプライアンス又はＳＯＳにおいて実行されてもよい。
上述されるように、クラスタリングフレームワークの範囲内では、安定性は２つの方法により実現されるかもしれない。Ｊｏｈｎ Ｖｉｃｅｎｔｅによる同時に出願された同時係属中の出願（代理人整理番号Ｐ２６３９７）“ＥＮＴＲＯＰＹ−ＢＡＳＥＤ （ＳＥＬＦ−ＯＲＧＡＮＩＺＩＮＧ） ＳＴＡＢＩＬＩＴＹ ＭＡＮＡＧＥＭＥＮＴ”が、バーチャルクラスタの自己管理的な階層的ネットワークを管理するため、安定性指標を確認する問題を解決するため適用されるかもしれない。まず、各クラスタは、１以上の測定周期の期間中にクラスタ全体における静的トポロジーコンフィギュレーション及び動作一様性を維持することによって、同一クラスタ内の他のノード又はクラスタヘッドとの相対的に一様なレベルの動作ディスパリティを保証することによって、ネットワークの広範な部分に対するあるレベルの安定に独立に到達可能である。あるいは、外部のノードダイナミクスは、不安定なノードの減少（出発）又はより安定したノードの増加（到着）を通じて、同一クラスタ内の他のノード又はクラスタヘッドに対する不安定性のレベルを低下させることが可能である。このため、エントロピーの策定は双方のダイナミックスを考慮し、熱力学系における孤立した（クラスタ内）システムとオープンシステム（クラスタ間）との双方の等化及び散逸動作を模倣することが不可欠である。図７及び８は、これらの影響を示す。
図７を参照するに、クラスタのサブネットワークがそれのトポロジーコンフィギュレーションの外部の影響を受けないクラスタ階層が示される。本実施例では、ノード７０３がクラスタヘッドであり、ノード７０１ａ〜ｇがクラスタ内の配下ノードである。このクラスタは、ほとんど静的であり、クラスタ内外へのノードの移動はない。図８は、メッシュが施されたノードがダブルのクロスハッチが施されたノードにより表される環境（８０１，８０３，８０５，８０７）に入り、シングルハッチが施されたノードにより表される環境（８１１，８１３）に出るクラスタ階層を示す。何れのケースでも、クラスタの合計エントリピーは、ノード間の統計的な利用性又は信頼性のそれらの相対的な指標に基づき、均衡レベルと均衡ノードとを反映することができる。
クラスタの安定性又はエントリピーを特徴付けするため、キーとなる指標はクラスタノード間の相対的な利用性又は信頼性である。「信頼性（ｄｅｐｅｎｄａｂｉｌｉｔｙ）」という一般的な用語は、以下の説明においてこれを説明するのに使用される。クラスタノード間の相対的な信頼性又はノード間サービスの信頼性を表すため、複数の指標が独立して又は組み合わせて利用されてもよい。
Figure 0004981009
 テーブル１に示されるように、サービス信頼性は、ローカルノード及びリンクインパクトによって、しかしながらより重要には複数のメッシュが施されたノードを探索するアプリケーション及びネットワークサービスに対する複数の安定性又は環境制約を有するかもしれない。自己組織化クラスタの観点から、このような制約が与えられた場合、クラスタ全体におけるダイナミックス又は安定性のレベルの特徴付けに関心がある。従って、ノード間のサービス信頼度を特徴付ける合成された指標を使用するか、又はクラスタ安定性又はエントリピーを特徴付けるのに最も重要な制約（ノード利用性など）に対して選択的となるよう選択することができる。
テーブル１は、関心がもたれる制約の具体例であるが、網羅的ではない。例えば、安定性の制約は高フェーディング条件であるかもしれない。この条件の１つの指標はロスレートであるが、他のものであってもよい。過剰なロード又は混雑の指標は、利用性であるが、他の指標もまた利用可能である。
クラスタエントロピーを構成するのに、エントロピー期間について、ΔＴとＤｍ，ｎ（ΔＴ）のｔ１とｔ２の間の期間が時点ｔ２におけるノードｎに関するノードｍの平均的な相対信頼性として定義される。ここで、ｍ及びｎは同じクラスタＣｉ，ｊのメンバーであり、これらのノードはエントリピー期間ΔＴの期間内の複数のΔτインターバルの期間中に相対信頼性サンプルｄｍ，ｎ（Δτ）をやりとりする。ノード間の相対信頼性の差分しか重要でないため、実際の信頼性指標と測定ユニットは無関係であることに留意すべきである。より詳細には、クラスタＣｉ，ｊのエントロピー情報を最終的に定義するため、両方の指標が以下に定義される。
インターバルΔｔの期間中のノードｎに関するノードｍにおけるサンプルの相対信頼性は、
Figure 0004981009
 として定義される。
図９において、ノード変更が示される。ここでは、変化Δτが変化のインターバルを反映し、サービス信頼性の相対的な変化が、当該インターバルの期間中のノードｍとｎの双方について反映される。
期間ΔＴ上で平均化されたノードｍとノードｎの間の絶対的な相対信頼性は、
Figure 0004981009
 として定義される。ここで、ＮはΔＴにおけるサンプルの個数に等しく、ｔｉは各サンプルΔτのエンドでの離散時点である。
これはまた図１０に示され、対象となるノードｎｉがハイライとされ、エントロピー評価の期間における１つのみのノード間信頼性関係を示している（１００１）。しかしながら、クラスタＣｉｊに属するその他のノードに対する同一の指標がまたやりとりされ、ノードｍｉに関して評価される（１００３）。Ｃｉｊのその他のノードの完全な（絶対的に相対的な）信頼性の表現は、ノードｍｉに関するイベントスペースを説明すべきである。
ここで、安定性を特徴付けるため、イベントスペースに適用されるシャノンの統計的エントロピーの一般化された形式が使用され、具体的には、
Figure 0004981009
 である。ここで、ｐｉはイベントスペースＥにおけるイベントｅｉの確率である。シャノンの情報理論に関するさらなる情報は、ＵＲＬ“ｅｎ＊ｗｉｋｉｐｅｄｉａ＊ｏｒｇ／ｗｉｋｉ／Ｉｎｆｏｒｍａｔｉｏｎ＿ｔｈｅｏｒｙ”においてパブリックインターネットを含む各種ソースから求められるかもしれない。本記載において、不意なハイパーリンクを回避するため、ＵＲＬにおけるピリオドはアスタリスクと置換されている。このコンセプトをノードｍの信頼性イベントスペースに適用することは、
Figure 0004981009
 を設定する。ここで、ｘは、クラスタＣｉｊのノードｍのすべてのピアノードについて評価され、このため、
Figure 0004981009
 となる。ここで、Ｃ（Ｃｉｊ）はクラスタの濃度である。
一般に、Ｈｍ（ｔ，ΔＴ）は、クラスタＣｉｊにおけるエントロピー指標ΔＴの特定期間におけるノードｍのエントロピーとして計算され、［０，１］の間で正規化される。このエントロピーの表現は、安定状態評価期間ΔＴの期間中の絶対的な相対信頼性についてのノードｍに関する所望される安定性の指標である。定義されるように、相対信頼性の変化がより大きな変動を示すときにエントロピーは小さく、大きなエントロピーの値はより大きな相対安定性を示す。
最後に、クラスタの１つのノードのエントロピーを計算すると、クラスタＣｉｊのその他のノードのエントロピーが同様に評価されるかもしれない。クラスタの全体的な安定性の指標を評価するため、γという用語が定義され、Ｃｉｊに係るクラスタヘッドにより取得される。
Figure 0004981009
 ここで、ＣＨはＣｉｊのクラスタヘッドであり、ｉ＝（（Ｃｉｊ−ＣＨ）のすべてのノード）である。
上述した式は実施例に対応するものであり、限定的なものとみなされるべきでないことに留意すべきである。開示及び図示された原理による他の実施例では、同様の又は関連するエントロピー式が適用可能である。
現在のネットワーク管理システムは、ユーザ管理及び人手による制御に大きく依存している。ダイナミックメッシュネットワークでは、自己組織化システムの商業的な利用性は今日ほとんどなく、おそらく、安定状態を管理するためのエントロピーベース技術を適用するものはない。さらに、新興国では、人手による制御及び管理を必要とすることは、情報技術（ＩＴ）ツール及び処理がしばしば十分でないため、有効でない。このため、自動エントロピーベース安定性管理エンジンを利用する自己組織化ネットワークの利用が効果的である。
クラスタは、バーチャルネットワークとしてみなされるかもしれない。一実施例では、クラスタＣ（ｎ，ｍ）のクラスタヘッドは、それが引き上げられた下位のクラスタのクラスタヘッドとして複数のクラスタを制御するかもしれない。この場合、各クラスタの管理及び制御サービスは、異なるバーチャルマシーン又は異なる埋め込みパーティションにおいて実行されるかもしれない。この実現形態は、新たなＶＭ又はパーティションを動的に生成する機能を有するプラットフォーム上で最も良好に機能する。クラスタヘッドが上位レベルクラスタに引き上げられるに従って、新たなＶＭ又はパーティションが、新たなクラスタの管理及び制御をするため生成されるかもしれない。これは、分散されたクラスタの制御及び管理が他のクラスタの動作との混同又は改善から隔離及び保護されることを可能にする。例えば、クラスタ管理が異なるスレッド又はコアに隔離されるマルチスレッド又はマルチコアアーキテクチャなどの他のアーキテクチャが所望されるかもしれない。
クラスタヘッドが降格される例では、上位クラスタの制御及び管理に使用されたＶＭ、パーティション又はスレッドが非アクティブ化又は削除されるかもしれない。
他の実施例では、信頼性、安定性及びパフォーマンスの各指標の検知がまた、個別のＶＭ、バーチャルアプライアンス、パーティション、コア又はスレッドにおいて実行されてもよい。このコンポーネントは、引き上げ／引き下げ決定をし、又はコレクションの結果及び／若しくはデータの評価がその後、引き上げ／引き下げについて最終的に決定する他のＶＭ、バーチャルアプライアンス、パーティション、コア又はスレッドに提供されるかもしれない。
ここに記載した技術は、何れか特定のハードウェア又はソフトウェアコンフィギュレーションに限定されるものでなく、任意の計算、家電又は処理環境における適用性を見出すかもしれない。これらの技術は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現可能である。
シミュレーションのため、プログラムコードは、設計されたハードウェアがどのように実行するか予想されるモデルを実質的に提供するハードウェア記述言語又は他の機能記述言語を用いたハードウェアを表すかもしれない。プログラムコードは、アセンブリ又は機械語であってもよく、又はコンパイル及び／若しくはインタープリットされるデータであってもよい。さらに、アクションを実行し、又は結果を生じさせるものとして一形式によるソフトウェアということは当業者に通常のことである。このような表現は、プロセッサにアクションを実行させ、又は結果を生成される処理システムによるプログラムコードの実行を説明する単なる簡略化された方法である。
各プログラムは、処理システムと通信するため、ハイレベル手続き型又はオブジェクト指向型プログラミング言語により実現されるかもしれない。しかしながら、プログラムは、所望される場合には、アセンブリ又は機械語により実現されてもよい。何れのケースでも、言語はコンパイル又はインタープリットされるかもしれない。
プログラム命令は、命令によりプログラムされる汎用又は特定用途処理システムにここに記載した処理を実行させるのに利用されるかもしれない。あるいは、これらの処理は、当該処理を実行するための配線論理を含む特定のハードウェアコンポーネントによって、又はプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントとの何れかの組み合わせによって実行されるかもしれない。ここに記載された方法は、本方法を実行するよう処理システム又は他の電子装置をプログラムするのに利用可能な命令を格納したマシーンアクセス可能媒体を含むコンピュータプログラムプロダクトとして提供されるかもしれない。
プログラムコード又は命令は、例えば、記憶装置などの揮発性及び／又は不揮発性メモリなどに格納されてもよく、及び／又はソリッドステートメモリ、ハードドライブ、フロッピー（登録商標）ディスク、光ストレージ、テープ、フラッシュメモリ、メモリスティック、デジタルビデオディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などを含む付属のマシーン可読若しくはマシーンアクセス可能な媒体及びマシーンアクセス可能な生体状態保存ストレージなどのより特殊な媒体に格納されてもよい。マシーン可読媒体は、マシーンにより可読な形式による情報を格納、送信又は受信するための任意の機構を有してもよく、プログラムコードを符号化する電気、光、音響若しくは他の形式の伝搬信号若しくは搬送波が通過する、アンテナ、光ファイバ、通信インタフェースなどの有形な媒体を含んでもよい。プログラムコードは、パケット、シリアルデータ、パラレルデータ、伝搬信号などの形式により送信されてもよく、圧縮若しくは暗号化形式により利用されてもよい。
プログラムコードは、モバイル又は固定されたコンピュータ、携帯情報端末、セットトップボックス、携帯電話及びポケベル、家電機器（ＤＶＤプレーヤー、パーソナルビデオレコーダ、パーソナルビデオプレーヤー、衛星受信機、ステレオ受信機、ケーブルテレビ受信機を含む）、及びプロセッサ、プロセッサにより可読な揮発性及び／又は不揮発性メモリ、少なくとも１つの入力装置及び／又は１以上の出力装置を含む他の電子装置など、プログラム可能なマシーン上で実行されるプログラムにより実現されるかもしれない。プログラムコードは、記載された実施例を実行し、出力情報を生成するため、入力装置を用いて入力されたデータに適用されるかもしれない。出力情報は、１以上の出力装置に適用されてもよい。当業者は、開示された主題の実施例が、マルチプロセッサ若しくはマルチコアプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、実質的に任意の装置に埋め込み可能な汎用若しくはミニチュアコンピュータ若しくはプロセッサを含む各種コンピュータシステムコンフィギュレーションにより実現可能であることを理解するかもしれない。開示された主題の実施例は、通信ネットワークを介しリンクしたリモート処理装置によってタスク又はその一部が実行される分散計算環境において実現可能である。
各処理は逐次的プロセスとして説明されるが、これらの処理の一部は、シングル若しくはマルチプロセッサマシーンによりアクセスされるローカル及び／又はリモートに格納されたプログラムコードによって実際にはパラレルに、同時に及び／又は分散環境により実行されてもよい。さらに、いくつかの実施例では、各処理の順序は、開示された主題の趣旨から逸脱することなく再構成されるかもしれない。プログラムコードは、埋め込みコントローラによって又はそれと共に利用されてもよい。
本発明が例示的な実施例を参照して説明されたが、本記載は限定的な意味に解釈されるべきでない。これら例示的実施例の各種改良と共に、本発明の属する分野の当業者に明らかな他の実施例は、本発明の趣旨及び範囲内に属するとみなされる。
図１は、本発明の一実施例による論理階層の複数のレベルに構成及び統合されるクラスタを示すブロック図である。 図２は、本発明の一実施例による階層ネットワークの他の表示を示すブロック図である。 図３は、本発明の一実施例による一例となるノードアーキテクチャのブロック図である。 図４は、本発明の一実施例によるバーチャル化技術（ＶＴ）アーキテクチャを有する一例となるノードのブロック図である。 図５は、本発明の一実施例によるＰＲＬ（Ｐｌａｔｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌａｙｅｒ）又は埋め込みパーティションアーキテクチャを有する一例となるノードのブロック図である。 図６は、プロモーションエージェントがバーチャルマシーンモニタに常駐する一例となるバーチャル化プラットフォームのブロック図である。 図７は、本発明の一実施例によるクラスタのサブネットワークがそれのとポロ木カルコンフィギュレーションの外部の影響を受けないクラスタ階層の図である。 図８は、本発明の一実施例によるメッシュが施されたノードが環境に入退出するクラスタ階層を示す。 図９は、本発明の一実施例によるノードにおける相対依存性のサンプルを示す。 図１０は、本発明の一実施例によるノード信頼性関係を示す。

Claims (20)

  1. バーチャルクラスタリング及びネットワーク制御のためのシステムであって、
    階層ネットワークにおける複数の計算ノードを有し、
    各ノードは、
    （ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関するノードの動作に基づき、前記階層ネットワークにおける現在のクラスタレベルから新たなクラスタレベルへの前記対応するノードの自律的な自己引き上げ及び引き下げのためのロジックと、
    クラスタｋのクラスタヘッドに引き上げられたノードにおいて、前記クラスタｋのピアノードに管理及び制御サービス機能を提供するロジックと、
    前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルの他のノードに管理及び制御サービス機能を提供するロジックと、
    から構成され、
    引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
    引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
    前記階層ネットワークにおける自律的な自己引き上げ及び引き下げのためのロジックは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサの１つにおいて実行されるシステム。
  2. 前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ Ｍａｎａｇｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１記載のシステム。
  3. ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１記載のシステム。
  4. 物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される、請求項１記載のシステム。
  5. クラスタｋの各ノードとクラスタｋのペアレントクラスタに係るクラスタヘッドとは、クラスタ動作の通信を受信及び応答するため前記クラスタアドレスを使用するよう構成され、
    グローバルクラスタヘッドは、動作の通信並びにクラスタリング制御及び管理を送信するため前記クラスタアドレスを使用する、請求項４記載のシステム。
  6. 前記クラスタｋのペアレントクラスタに係るクラスタヘッドは、同一のクラスタレベルにあるピアクラスタヘッドと通信する、請求項５記載のシステム。
  7. 前記クラスタｋのペアレントクラスタに係るクラスタヘッドは、クラスタ状態の条件を受信し、前記クラスタヘッドに係る各クラスタ内で統合及び相関を実行し、
    前記クラスタヘッドは、統計計算技術を介しクラスタ状態の解析を実行し、ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持する、請求項６記載のシステム。
  8. 前記階層ネットワークは、集中ネットワークフレームワークと非集中ネットワークフレームワークの双方を合成したものであり、
    クラスタレベルにおけるバーチャルクラスタ内のクラスタヘッドへのノードの自己引き上げにより実行される集中化と非集中化が、前記階層ネットワークの最下位クラスタレベルと共に、各ノードがピア・ツー・ピアのように通信する各クラスタ内に存在する、請求項１記載のシステム。
  9. 複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための方法であって、
    ノードが、前記ノードが前記階層ネットワークのネットワーク階層において新たなクラスタレベルに引き上げられるべきか若しくは引き下げられるべきか、又は現在のクラスタレベルに留まるべきか自律的に判断するステップと、
    前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、
    前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
    を有し、
    引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
    引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
    物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される方法。
  10. 自己引き上げ及び引き下げは、（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関するノードの動作に基づく、請求項９記載の方法。
  11. 前記ノードにより自律的に判断するステップは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサにおいて実行され、
    前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ Ｍａｎａｇｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１０記載の方法。
  12. ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１０記載の方法。
  13. クラスタｋの各ノードとクラスタｋのペアレントクラスタに係るクラスタヘッドとを、クラスタ動作の通信を受信及び応答するため前記クラスタアドレスを使用して構成するステップをさらに有し、
    グローバルクラスタヘッドは、動作の通信並びにクラスタリング制御及び管理を送信するため前記クラスタアドレスを使用する、請求項９記載の方法。
  14. 前記ペアレントクラスタに係るクラスタヘッドが、同一のクラスタレベルにあるクラスタヘッドと通信するステップをさらに有する、請求項１３記載の方法。
  15. 前記ペアレントクラスタに係るクラスタヘッドが、クラスタ状態の条件を受信するステップと、
    前記クラスタヘッドに係る各クラスタ内で統合及び相関を実行するステップと、
    前記クラスタヘッドが、統計計算技術を介し解析を実行するステップと、
    ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持するステップと、
    をさらに有する、請求項１４記載の方法。
  16. 前記階層ネットワークは、集中ネットワークフレームワークと非集中ネットワークフレームワークの双方を合成したものであり、
    クラスタレベルにおけるバーチャルクラスタ内のクラスタヘッドへのノードの自己引き上げにより実行される集中化と非集中化が、前記階層ネットワークの最下位クラスタレベルと共に、各ノードがピア・ツー・ピアのように通信する各クラスタ内に存在する、請求項９記載の方法。
  17. 複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための命令を有するマシーン可読記憶媒体であって、前記命令がマシーンにおいて実行されると、前記マシーンに、
    ノードが、（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関する前記ノードの動作に基づき、前記階層ネットワークのネットワーク階層において前記ノードが新たなクラスタレベルに引き上げられるべきか若しくは引き下げられるべきか、又は現在のクラスタレベルに留まるべきか自律的に判断するステップと、
    前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、
    前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
    を実行させ、
    引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
    引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
    前記ノードにより自律的に判断するステップは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサの１つにおいて実行されるマシーン可読記憶媒体。
  18. 前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ Ｍａｎａｇｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１７記載の記憶媒体。
  19. ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１８記載の記憶媒体。
  20. 物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される、請求項１７記載の記憶媒体。
JP2008248776A 2007-09-28 2008-09-26 スケーラブルネットワーク制御及び管理のためのバーチャルクラスタリング Expired - Fee Related JP4981009B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/864,805 2007-09-28
US11/864,805 US7996510B2 (en) 2007-09-28 2007-09-28 Virtual clustering for scalable network control and management

Publications (2)

Publication Number Publication Date
JP2009163710A JP2009163710A (ja) 2009-07-23
JP4981009B2 true JP4981009B2 (ja) 2012-07-18

Family

ID=40280670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008248776A Expired - Fee Related JP4981009B2 (ja) 2007-09-28 2008-09-26 スケーラブルネットワーク制御及び管理のためのバーチャルクラスタリング

Country Status (6)

Country Link
US (1) US7996510B2 (ja)
EP (1) EP2043298B8 (ja)
JP (1) JP4981009B2 (ja)
CN (1) CN101414928B (ja)
AT (1) ATE497291T1 (ja)
DE (1) DE602008004711D1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782654B2 (en) 2004-03-13 2014-07-15 Adaptive Computing Enterprises, Inc. Co-allocating a reservation spanning different compute resources types
US9558042B2 (en) 2004-03-13 2017-01-31 Iii Holdings 12, Llc System and method providing object messages in a compute environment
US20070266388A1 (en) 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
US8176490B1 (en) 2004-08-20 2012-05-08 Adaptive Computing Enterprises, Inc. System and method of interfacing a workload manager and scheduler with an identity manager
US8271980B2 (en) 2004-11-08 2012-09-18 Adaptive Computing Enterprises, Inc. System and method of providing system jobs within a compute environment
US8631130B2 (en) 2005-03-16 2014-01-14 Adaptive Computing Enterprises, Inc. Reserving resources in an on-demand compute environment from a local compute environment
US8863143B2 (en) 2006-03-16 2014-10-14 Adaptive Computing Enterprises, Inc. System and method for managing a hybrid compute environment
US9231886B2 (en) 2005-03-16 2016-01-05 Adaptive Computing Enterprises, Inc. Simple integration of an on-demand compute environment
CA2603577A1 (en) 2005-04-07 2006-10-12 Cluster Resources, Inc. On-demand access to compute resources
US8645514B2 (en) * 2006-05-08 2014-02-04 Xerox Corporation Method and system for collaborative self-organization of devices
US8041773B2 (en) 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
US20090265449A1 (en) * 2008-04-22 2009-10-22 Hewlett-Packard Development Company, L.P. Method of Computer Clustering
CN102047640B (zh) * 2008-05-28 2016-04-13 汤姆逊许可证公司 多个头的分层级集群化的对等现场流式传输系统
US8997205B1 (en) * 2008-06-27 2015-03-31 Symantec Corporation Method and apparatus for providing secure web transactions using a secure DNS server
US9842004B2 (en) * 2008-08-22 2017-12-12 Red Hat, Inc. Adjusting resource usage for cloud-based networks
US8996909B2 (en) * 2009-10-08 2015-03-31 Microsoft Corporation Modeling distribution and failover database connectivity behavior
ES2478824T3 (es) * 2009-10-16 2014-07-23 Nokia Solutions And Networks Oy Método de gestión de políticas de privacidad para un dispositivo de usuario
US10877695B2 (en) 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US11720290B2 (en) 2009-10-30 2023-08-08 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US8966027B1 (en) * 2010-05-24 2015-02-24 Amazon Technologies, Inc. Managing replication of computing nodes for provided computer networks
EP2613264B1 (en) * 2010-09-01 2019-06-19 Fujitsu Limited Management device, management program and management method for managing overlay networks
US8701107B2 (en) 2011-06-14 2014-04-15 Vmware, Inc. Decentralized management of virtualized hosts
US9026630B2 (en) * 2011-06-14 2015-05-05 Vmware, Inc. Managing resources in a distributed system using dynamic clusters
US8856784B2 (en) 2011-06-14 2014-10-07 Vmware, Inc. Decentralized management of virtualized hosts
US8717887B2 (en) * 2011-08-08 2014-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Scrambling code planning device and method for using same in wireless communication network
US9292350B1 (en) * 2011-12-15 2016-03-22 Symantec Corporation Management and provisioning of virtual machines
US8861527B1 (en) * 2011-12-30 2014-10-14 Emc Corporation Network-assisted routing for topology-aware overlay networks
US9032061B1 (en) 2011-12-30 2015-05-12 Emc Corporation Policy based intelligent data placement
US8675672B1 (en) 2011-12-30 2014-03-18 Emc Corporation Hierarchical cluster tree overlay network
FR2987530B1 (fr) * 2012-02-28 2014-03-28 Sagemcom Energy & Telecom Sas Reseau de dispositifs formant un systeme de diagnostic
CN102647418A (zh) * 2012-04-01 2012-08-22 中国科学院上海应用物理研究所 一种控制系统环境的虚拟架构
US9477529B2 (en) 2012-06-20 2016-10-25 International Business Machines Corporation Job distributed within a grid environment using mega-host groupings of execution hosts based on resource attributes
US9119023B2 (en) 2012-08-17 2015-08-25 Illinois Tool Works Inc. Wireless communication network association and security for control of industrial equipment in harsh environments
US9449498B2 (en) * 2012-08-17 2016-09-20 Illinois Tool Works Inc. Wireless communication network power optimization for control of industrial equipment in harsh environments
US9712947B2 (en) 2012-08-17 2017-07-18 Illinois Tool Works Inc. Wireless communication network improved robustness for control of industrial equipment in harsh environments
US9270520B2 (en) 2012-08-17 2016-02-23 Illinois Tool Works Inc. Wireless communication network sensor information for control of industrial equipment in harsh environments
US10286475B2 (en) 2012-08-17 2019-05-14 Illinois Tool Works Inc. Wireless communication network for control of industrial equipment in harsh environments
US9444748B2 (en) * 2013-03-15 2016-09-13 International Business Machines Corporation Scalable flow and congestion control with OpenFlow
US9197601B2 (en) * 2013-06-05 2015-11-24 Bat Blue Networks, Inc. System and method for providing a single global borderless virtual perimeter through distributed points of presence
WO2016033173A1 (en) * 2014-08-26 2016-03-03 Harper, Matthew, Hayden Multi-node distributed network access server designed for large scalability
US10038629B2 (en) 2014-09-11 2018-07-31 Microsoft Technology Licensing, Llc Virtual machine migration using label based underlay network forwarding
US9794331B1 (en) * 2014-09-29 2017-10-17 Amazon Technologies, Inc. Block allocation based on server utilization
US9923800B2 (en) 2014-10-26 2018-03-20 Microsoft Technology Licensing, Llc Method for reachability management in computer networks
US9936014B2 (en) 2014-10-26 2018-04-03 Microsoft Technology Licensing, Llc Method for virtual machine migration in computer networks
US9798567B2 (en) 2014-11-25 2017-10-24 The Research Foundation For The State University Of New York Multi-hypervisor virtual machines
US10363627B2 (en) 2014-12-16 2019-07-30 Illinois Tool Works Inc. Systems and methods for providing location services for a welding power supply
US10369652B2 (en) 2015-07-24 2019-08-06 Illinois Tool Works Inc. Wireless and powerline communications in a welding-type system
KR101704638B1 (ko) * 2015-09-03 2017-02-08 재단법인 실감교류인체감응솔루션연구단 병렬 필드 버스 네트워크 기반 모터 제어 시스템
US9864624B2 (en) * 2015-12-21 2018-01-09 International Business Machines Corporation Software-defined computing system remote support
US10819558B2 (en) * 2016-04-05 2020-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Method and agent for sharing information about cloudlet properties in distributed cloud environments
US10466984B2 (en) 2017-05-01 2019-11-05 At&T Intellectual Property I, L.P. Identifying and associating computer assets impacted by potential change to a particular computer asset
EP3410238B1 (en) * 2017-06-02 2023-02-15 Siemens Schweiz AG Grouping of actors in a building automation system
WO2019171256A1 (en) * 2018-03-05 2019-09-12 Quanta Networks Inc. Communications system and devices for routing data
US11016798B2 (en) 2018-06-01 2021-05-25 The Research Foundation for the State University Multi-hypervisor virtual machines that run on multiple co-located hypervisors
US11269917B1 (en) 2018-07-13 2022-03-08 Cisco Technology, Inc. Secure cluster pairing for business continuity and disaster recovery
CN109885684B (zh) * 2019-01-31 2022-11-22 腾讯科技（深圳）有限公司 一种类簇处理方法及装置
WO2020176525A1 (en) 2019-02-25 2020-09-03 Emory University Systems, devices, and methods for autonomic formation of wireless networks

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664106A (en) 1993-06-04 1997-09-02 Digital Equipment Corporation Phase-space surface representation of server computer performance in a computer network
US5727051A (en) 1995-07-14 1998-03-10 Telefonaktiebolaget Lm Ericsson (Publ.) System and method for adaptive routing on a virtual path broadband network
AU7558196A (en) 1995-11-16 1997-06-19 Nicholas Dawes Method of determining the topology of a network of objects
US5918017A (en) * 1996-08-23 1999-06-29 Internatioinal Business Machines Corp. System and method for providing dynamically alterable computer clusters for message routing
US6266694B1 (en) * 1997-06-19 2001-07-24 Nortel Networks Limited Architecture for network manager
US6986137B1 (en) 1999-09-28 2006-01-10 International Business Machines Corporation Method, system and program products for managing logical processors of a computing environment
US6519660B1 (en) 1999-09-28 2003-02-11 International Business Machines Corporation Method, system and program products for determining I/O configuration entropy
US6711409B1 (en) 1999-12-15 2004-03-23 Bbnt Solutions Llc Node belonging to multiple clusters in an ad hoc wireless network
US6829222B2 (en) 2000-04-25 2004-12-07 Board Of Regents The University Of Texas System Clusterhead selection in wireless ad hoc networks
AU2001259402A1 (en) 2000-05-02 2001-11-12 Sun Microsystems, Inc. Cluster membership monitor
US7733818B2 (en) * 2000-12-22 2010-06-08 Terahop Networks, Inc. Intelligent node communication using network formation messages in a mobile Ad hoc network
WO2002087172A1 (en) * 2001-04-20 2002-10-31 Motorola, Inc. Protocol and structure for self-organizing network
US6877107B2 (en) 2001-07-05 2005-04-05 Softwired Ag Method for ensuring operation during node failures and network partitions in a clustered message passing server
US6744740B2 (en) * 2001-12-21 2004-06-01 Motorola, Inc. Network protocol for wireless devices utilizing location information
US7346056B2 (en) 2002-02-01 2008-03-18 Fujitsu Limited Optimizing path selection for multiple service classes in a network
US7904556B2 (en) 2002-03-05 2011-03-08 Computer Associates Think, Inc. Method and apparatus for role grouping by shared resource utilization
GB0205284D0 (en) 2002-03-06 2002-04-17 Lucent Technologies Inc Entropy based complexity measurement for behaviour analysis of distributed self-organizing systems in telecommunication networks
US7277400B2 (en) 2002-03-06 2007-10-02 Lucent Technologies Inc. Method of monitoring state of a telecommunications network comprising a plurality of nodes, and a corresponding telecommunications network
DE10214629A1 (de) * 2002-04-02 2003-10-16 Philips Intellectual Property Verfahren zum Organisieren der Topologie eines Netzwerkes mit einer Vielzahl von Stationen, die in Cluster gruppiert sind
US7764617B2 (en) * 2002-04-29 2010-07-27 Harris Corporation Mobile ad-hoc network and methods for performing functions therein based upon weighted quality of service metrics
US6788650B2 (en) * 2002-06-06 2004-09-07 Motorola, Inc. Network architecture, addressing and routing
US20050152305A1 (en) * 2002-11-25 2005-07-14 Fujitsu Limited Apparatus, method, and medium for self-organizing multi-hop wireless access networks
US20040100917A1 (en) 2002-11-26 2004-05-27 Perkins Matthew R. Coordinator device election process for wireless sensor networks
US20040157557A1 (en) 2003-02-07 2004-08-12 Lockheed Martin Corporation System for a dynamic ad-hoc wireless network
US7962914B2 (en) 2003-11-25 2011-06-14 Emc Corporation Method and apparatus for load balancing of distributed processing units based on performance metrics
JP4506387B2 (ja) * 2004-09-30 2010-07-21 ブラザー工業株式会社 情報通信システム、ノード装置、及びオーバーレイネットワーク形成方法等
FI118291B (fi) * 2004-12-22 2007-09-14 Timo D Haemaelaeinen Energiatehokas langaton anturiverkko, solmulaitteita sitä varten sekä menetelmä tietoliikenteen järjestämiseksi langattomassa anturiverkossa
EP1705799A1 (en) 2005-03-22 2006-09-27 Fondazione Torino Wireless A method and system for information processing
US7440436B2 (en) * 2005-05-13 2008-10-21 Natural Lighting Systems, Inc. Self-organizing multi-channel mesh network
KR20080066653A (ko) 2005-06-29 2008-07-16 트러스티스 오브 보스턴 유니버시티 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법
JP4473199B2 (ja) * 2005-09-06 2010-06-02 日本電信電話株式会社 品質測定方法およびノード装置
US8271412B2 (en) 2005-12-21 2012-09-18 University Of South Carolina Methods and systems for determining entropy metrics for networks
US8566447B2 (en) 2006-04-10 2013-10-22 Bank Of America Corporation Virtual service switch
US20070298821A1 (en) 2006-06-21 2007-12-27 Lockheed Martin Corporation System for boolean network configuration of a wireless network
US7792137B2 (en) * 2006-07-05 2010-09-07 Abidanet, Llc Self-organized and self-managed ad hoc communications network
US20080028472A1 (en) * 2006-07-25 2008-01-31 International Business Machines Corporation Heterogeneous evolutionary self-formatting Internet protocols
US7894926B2 (en) 2006-09-22 2011-02-22 Pdf Solutions, Inc. Global predictive monitoring system for a manufacturing facility
US7990927B2 (en) * 2006-10-31 2011-08-02 Infineon Technologies Ag Method and apparatus for transmitting data in a communication system
US8041773B2 (en) * 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids

Also Published As

Publication number Publication date
EP2043298B1 (en) 2011-01-26
EP2043298B8 (en) 2011-04-13
US20090089300A1 (en) 2009-04-02
EP2043298A3 (en) 2009-04-29
CN101414928B (zh) 2011-12-14
DE602008004711D1 (de) 2011-03-10
JP2009163710A (ja) 2009-07-23
CN101414928A (zh) 2009-04-22
US7996510B2 (en) 2011-08-09
ATE497291T1 (de) 2011-02-15
EP2043298A2 (en) 2009-04-01

Similar Documents

Publication Publication Date Title
JP4981009B2 (ja) スケーラブルネットワーク制御及び管理のためのバーチャルクラスタリング
JP4807650B2 (ja) エントロピーに基づく（自己組織化）安定度管理
Guim et al. Autonomous lifecycle management for resource-efficient workload orchestration for green edge computing
US11740949B2 (en) Distribution of events in edge devices
Zhu et al. SDN controllers: Benchmarking & performance evaluation
US11693721B2 (en) Creating robustness scores for selected portions of a computing infrastructure
Schmid et al. Exploiting locality in distributed SDN control
Povedano-Molina et al. DARGOS: A highly adaptable and scalable monitoring architecture for multi-tenant Clouds
Chen et al. The handbook of engineering self-aware and self-expressive systems
US11627166B2 (en) Scope discovery and policy generation in an enterprise network
Qu et al. An experimental study on microservices based edge computing platforms
Mikkilineni et al. The Turing O-Machine and the DIME Network Architecture: Injecting the Architectural Resiliency into Distributed Computing.
Balis et al. A development and execution environment for early warning systems for natural disasters
Dandona et al. Graph based root cause analysis in cloud data center
Capelastegui et al. An online failure prediction system for private IaaS platforms
Nikolopoulos et al. A system of systems architecture for the internet of things exploiting autonomous components
Pahl et al. VSL: A data-centric internet of things overlay
Alsheikh et al. Distributed Software-Defined Networking Management: An Overview and Open Challenges
Jumnal et al. Cluster-based optimal VM placement using crow search algorithm for cloud data centres
Zeng et al. A simulation method for social networks
Castro Mechanisms for Latency Reduction in Fog Environments
Micheal Reinforcement Learning Approaches to Dynamic CAP Configuration in Edge–Cloud Architectures
Sondur Configuration Modeling and Diagnosis in Data Centers
CN116775553A (zh) 拟态设备的构件池分配方法、设备及可读存储介质
CN119336411A (zh) 一种操作系统安装系统、方法、存储介质及程序产品

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4981009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees