JP2000293497A - クラスタ・ノード救援信号発生システム - Google Patents
クラスタ・ノード救援信号発生システムInfo
- Publication number
- JP2000293497A JP2000293497A JP2000073269A JP2000073269A JP2000293497A JP 2000293497 A JP2000293497 A JP 2000293497A JP 2000073269 A JP2000073269 A JP 2000073269A JP 2000073269 A JP2000073269 A JP 2000073269A JP 2000293497 A JP2000293497 A JP 2000293497A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- rescue
- node
- message
- preformed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
- Small-Scale Networks (AREA)
- Radar Systems Or Details Thereof (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Abstract
救援システム及び方法。 【解決手段】クラスタにおけるノードの障害発生時、ク
ラスタ・ノード救援信号を供給する。これは、非コミュ
ニケーティング・ノードが障害を生じたか、クラスタか
ら仕切られただけなのかを、適切に決定することを可能
にする。クラスタ・ノード救援システムは、ノードの差
し迫った障害の検出時、クラスタにおける他のノードに
迅速に送られるノード救援信号を供給し、そのノードが
全面的に障害を生じる前にノード救援信号が発生する確
率を改良する。ノード救援信号が効果的にクラスタに送
られる時、クラスタは、そのノードが障害を生じたので
あってクラスタから仕切られたのではないということを
決定することができる。これは、管理者による少ない介
入しか必要とせずに、クラスタが正しく一次的責任を他
のノードに割り当てて応答することを可能にする。
Description
ンピュータをクラスタ化することに関し、詳しくいえ
ば、クラスタ通信のための救援信号発生に関するもので
ある。
報のために、社会はコンピュータ・システムに依存して
いる。ハードウエア(例えば、半導体、回路ボード等)
及びソフトウエア(例えば、コンピュータ・プログラ
ム)の種々の組み合わせに基づいて、コンピュータ・シ
ステムは設計が広範囲に変わる。今日の多くのコンピュ
ータ・システムは、他のコンピュータ・システムと「ネ
ットワーク化する」ように設計されている。ネットワー
クキングを通して、単一のコンピュータ・システムが他
のコンピュータ・システムにおいて記憶及び処理された
情報をアクセスすることができる。従って、ネットワー
キングの結果、極めて多数のコンピュータ・システムが
極めて多数の電子リソースへのアクセスを持つことにな
る。
テム相互間の物理的「ルート」及び通信「プロトコル」
に関する合意を得た使用によって可能にされる。どのよ
うなプロトコルが選択されるかは、ネットワーク化され
たコンピュータ・システムの数、それらのコンピュータ
・システムを隔てている距離、及びそれらのコンピュー
タシステム相互間における情報交換という目的を含む要
因に依存する。少数のコンピュータ・システムだけが近
接してネットワーク化されている場合、通信プロトコル
は極めて単純なものになり得る。しかし、非常に多数の
コンピュータ・システムが付加されている時、及びコン
ピュータ・システムが大きな距離よって隔てられている
時、これらの通信プロトコルは更に複雑なものになる。
プによっても変わる。例えば、或るプロトコルは大量の
情報を送る時の精度を高めるし、一方、別のプロトコル
は情報転送の速度を強化する。コンピュータ・システム
・ネットワーク上で稼働するアプリケーションの通信要
件は、どのようなタイプのプロトコルが選択されるかを
決定する。リアル・タイムの、しかも信頼性の高い情報
転送を必要とするコンピュータ・アプリケーションの1
つの例は「クラスタ」管理アプリケーションである。
能性を提供するための及びワークロードを分配するため
のコンピュータ・システムのネットワーキングである。
コンピュータ・システムのクラスタは、コンピュータ・
システム・ユーザの視点からは1つのコンピュータ・シ
ステムのように見えるが、実際には、相互にバックアッ
プするコンピュータ・システムのネットワークである。
クラスタ内の1つのコンピュータ・システムにおけるオ
ーバロード又は障害の場合、クラスタ管理アプリケーシ
ョンは、障害のあるコンピュータ・システムに対する処
理責任を、そのクラスタにおける他のコンピュータ・シ
ステムに自動的に再割り振りする。従って、ユーザの視
点からは、リソースの使用可能性における割り込みは存
在しない。
がアプリケーション(例えば、データベース、サーバ)
に対する一次的責任を割り振られ、他のノードがバック
アップ責任を割り振られる。或るアプリケーションに対
する一次ノードが障害を生じた時、そのクラスタにおけ
るバックアップ・ノードがそのアプリケーションに対す
る責任を引き継ぐ。これは、そのアプリケーションの高
い使用可能性を保証する。
ョン・プログラムが1つのクラスタにおける各コンピュ
ータ・システム上で稼働することによって可能にされ
る。これらのアプリケーションは、クラスタのアクティ
ビティを制御するためにクラスタ・ネットワーク全域に
わたってクラス・メッセージの往来を中継する。クラス
タ・メッセージングは、そのクラスタにおけるどのコン
ピュータシステムがどのような一次的責任及びバックア
ップ責任を有するかに関する最新情報を分配するために
も使用される。
ンの高い使用可能性を保証するために、そのクラスタ
は、クラスタにおけるすべてのノードのステータスを追
跡できることが必要である。これを行うために、クラス
タにおける各コンピュータ・システムは、同じクラスタ
における他の各コンピュータ・システムを連続的に監視
し、各々が活性状態であること及びそれに割り当てられ
た処理を遂行しようとしていることを保証する。従っ
て、クラスタにおける或るノードが障害を生じた時、そ
れの一次的責任をバックアップ・ノードに割り当てるこ
とが可能である。
障害を生じたことを知らせることがいつも可能であるわ
けでない。例えば、或るノードとそのクラスタにおける
残りのノードとの間のネットワーク接続が障害を生じた
場合、クラスタは、そのノードが適正に動作しているか
どうかを知らせることが最早できないであろう。或るノ
ードが依然として動作しているがそのクラスタにおける
他のノードへのそれのネットワーク接続が障害を生じた
場合、そのノードはクラスタから仕切られているといえ
る。或るノードがそのクラスタにおける残りのノードと
コミュニケートすることを不意に停止した場合、そのノ
ードが障害を生じたのか或いは単にそのクラスにおける
残りのノードから仕切られただけなのかを容易に決定す
ることはできない。そのノードが障害を生じたものとク
ラスタが誤って仮定し、しかもアプリケーションに対す
る一次的責任をバックアップ・ノードに割り当てる場
合、クラスタは、2つのノードの両方とも、それらが一
次ノードであるものと信じさせたままにすることがあり
得る。この結果、両方のノードがクラスタに対するリク
エストに応答するので、データベースにおけるデータ不
整合が生じることがあり得る。一方、そのノードが依然
としてそれの一次アプリケーションを遂行しており、し
かも単にクラスタから仕切られただけであって、バック
アップ・ノードに一次的責任を割り当ててないものとク
ラスタが誤って仮定した場合、それらのアプリケーショ
ンは最早そのクラスタのクライアントにとって利用可能
ではないであろう。従って、多くの場合、クラスタは、
管理者による手操作介入なくして非コミュニケーティン
グ・ノードに正しく応答することができない。
コンピュータ・システム・ネットワーク全域にわたって
アクセス可能になる時、そのようなネットワーク・リソ
ースへの連続的なアクセスに対する要求が増えるであろ
う。そのようなネットワーク・リソースに連続的な使用
可能性を与えるための手段として、クラスタに対する要
求も対応して増えるであろう。クラスタのノードのステ
ータスを決定する改良された方法がない場合、これらの
リソースに対する連続的な使用可能性は十分には実現さ
れないであろう。
タの信頼性を改良するクラスタ・ノード救援システムが
提供される。そのクラスタ・ノード救援システムは、ク
ラスタにおけるノードが障害を生じようとしている時、
クラスタ・ノード救援信号を供給する。これは、非コミ
ュニケーティング・ノードが障害を生じたか或いは単に
クラスタから仕切られただけなのかどうかを、そのクラ
スタがより適切に決定することを可能にする。望ましい
クラスタ・ノード救援システムがオペレーティング・シ
ステムに深く組み込まれ、そのノードの差し迫った障害
が検出される時、クラスタにおける他のノードに迅速に
送られる事前形成されたノード救援信号を供給する。こ
れは、そのノードが全面的に障害を生じる前にノード救
援信号が発生する確率を改良する。ノード救援信号が効
果的にクラスタに送られる時、クラスタは、そのノード
が障害を生じたのであってクラスタから仕切られたので
はないということを正確に決定することができる。これ
は、クラスタが正しく、即ち、一次的責任を他のノード
に割り当てることによって応答することを可能にし、し
かも管理者による少ない介入しか必要としない。従っ
て、望ましい実施例は、クラスタの信頼性の改良及び管
理者に対する依存度の減少を提供する。
発明の望ましい実施例において述べられるように、しか
も添付図面に示されるように、下記の更に詳細な説明か
ら明らかであろう。
のである。クラスタ化の概念に一般的に精通してない個
人のために、下記の「概要」セクションは、本発明の望
ましい実施例を理解する助けになると思われる多くの基
本的な概念及び用語を示す。クラスタ化の分野における
当業者は、この「概要」をスキップして本明細書の「詳
細な説明」のセクションに直接に進んでもよい。
相互にバックアップとして作用することを可能にすると
いう意味でコンピュータ又はコンピュータのグループを
連係させることである。このように、クラスタは、たと
えクラスタにおける1つ又は複数のコンピュータが障害
を生じてもコンピュータ・システムが動作し続けること
及びサービスを提供し続けることを可能にする。コンピ
ュータ・ユーザの視点から、コンピュータ・システムの
クラスタは1つのコンピュータ・システムのように見え
る。クラスタ化はコンピュータ・クラスタのユーザにと
って透明であり、それらのユーザは、それらが1つのコ
ンピュータ・システムを使用しているのか又は複数のコ
ンピュータ・システムを使用しているのかに関して知る
必要がない。その代わり、コンピュータ・クラスタのユ
ーザにとって重要なことは、そのようなデータベース、
プリンタ、ファイル等のようなそれらが必要とするリソ
ースへのアクセスをそれらが有するということである。
コンピュータ・システムをクラスタ化することによっ
て、必要なリソースに対する連続的な使用可能性を得る
ことが可能になる。
ことには多くの利点がある。第1に、しかも最も重要な
こととして、クラスタは、クラスタ内のコンピュータ・
システムが相互にバックアップすることを可能にするこ
とによって、より高い使用可能性を提供する。第2に、
クラスタ化は、処理パワーを改良するために必要とされ
るだけの付加的なコンピュータ・システムが追加される
ことを可能にすることによって、拡張容易性(scal
ability)を増大させる。第3に、クラスタにお
けるコンピュータ・システム相互間でワークロードを平
衡させることが可能である。
ムは「ノード」とも呼ばれる。一般に、ノードという用
語は、プロセッサ、通信コントローラ、又はターミナル
を呼ぶことがある。しかし、クラスタを目的とする場
合、ノードはクラスタにおける個々のコンピュータ・シ
ステムの1つを呼ぶ。一般に、クラスタにおける各ノー
ドは、そのクラスタの支持で一次的責任及びバックアッ
プ責任を割り当てられる。割り当てられる責任は、デー
タへのアクセスを行うこと、コンピュータ・アプリケー
ションを実行すること、或いは、プリンタ、スキャナ、
又はファックス・マシンのようなハードウエア・リソー
スへのアクセスを行うことのような1つ又は複数の機能
に対するものであってもよい。クラスタにおけるノード
は、すべてのノードが機能しているということ、即ち、
各ノードにおけるクラスタリング・ソフトウエアが活動
的であること及び一次的責任からバックアップ責任への
切り替えを必要とする条件を積極的に監視することを保
証するためにコミュニケートする。
バックアップ責任を割り当てられる。各アプリケーショ
ンに対する一次ノードは、タスクを遂行し且つそのクラ
スタのクライアントと対話するノードである。一次ノー
ドがそれの割り当てられた機能を遂行することができな
くなる時、クラスタ管理アプリケーションは、遂行する
ことができないノードに割り当てられたリソースへのア
クセスをそのクラスタが依然として有することを保証す
るように作用しなければならない。これは、そのリソー
スに対するバックアップ・ノードの1つを一次的責任に
切り替えることを伴う。この場合、クラスタ・ユーザ
は、たとえ必要なリソースを提供する一次的責任を持つ
コンピュータ・システムが利用可能でない時でも、依然
として、その必要なリソースへのアクセスを有する。
のノード間の通信設備は、クラスタがユーザの視点から
は単一のコンピュータ・システムとして動作することを
可能にする。例えば、メッセージは、クラスタにおける
他のノードに関する状況を知らせるためにすべてのノー
ドに送られる。メッセージは、どのノードが特定のアプ
リケーションに対する一次的責任及びバックアップ責任
を有するかに関して最新のものを追跡するためにすべて
のノードに送られる。これは、複数のノードが特定のア
プリケーションに対する一次ノードとして振る舞おうと
するというように、複数のノードが矛盾したオペレーシ
ョンを遂行することのないようにする。2つのノードが
共に一次ノードであると考えて動作することが許される
場合、データの不整合のような問題が生じることがあ
る。従って、1つのノードがそれの割り当てられた責任
を遂行することができない時にどのようなアクションを
取るべきかに関してすべてのノードが同意状態にあるよ
うに、メッセージがすべてのノードに送られる。クラス
タが適切に機能することを保証するために、クラスタに
おけるすべてのノードがこれらのクラスタ・メッセージ
を正しい順序で受けなければならない。
イプは、「ハートビート」と呼ばれる。ハートビート
は、クラスタにおけるノード相互間で送られる低レベル
のメッセージであり、どのノードが現在適正に遂行して
いるかをクラスタが追跡することを可能にする。例え
ば、各ノードは、一般には、ハートビート信号を論理的
に隣接したノードに規則的な間隔で送るであろう。従っ
て、クラスタにおける各ノードは、それの論理的に隣接
したノードからハートビート信号をこれらの同じ規則的
な間隔で受けるものと期待する。ノードが適正なハート
ビート信号を或る延長した期間の間に受けなかった場
合、そのノードは、それの近隣のノードに関して潜在的
な問題が存在することを知る。このようにハートビート
を受けることができないことが継続する場合、クラスタ
管理システムは適切なアクションを取ろうとするであろ
う。
つの方法はメッセージ・タイマによるものである。例示
的なクラスタ化・システムでは、或るノードに送られた
メッセージが障害を生じた場合、それは、設定された期
間の間自動的に再試行されるであろう。更に、複数の試
行の後に、メッセージが依然として配送されない場合、
クラスタ管理システムは、再び問題があることを知るで
あろうし、適切なアクションを取ろうとするであろう。
どのようなものであるかをクラスタ管理システムが知る
ということがいつも可能であるわけではない。例えば、
ノードとクラスタにおける残りのノードとの間のネット
ワーク接続が障害を生じた場合、クラスタは、そのノー
ドが適正に動作しているかどうかを最早知らせることが
できないであろう。ノードが依然として動作している
が、クラスタにおける他のノードへのそれのネットワー
ク接続が障害を生じた場合、そのノードはクラスタから
仕切られているといえる。或るノードがクラスにおける
残りのノードとコミュニケートすることを不意に停止す
る時、そのノードが障害を生じたのか、或いは単にクラ
スタにおける残りのノードから仕切られただけであるの
かを容易に決定することはできない。ノードが単に仕切
られただけである時にそのノードが障害を生じたものと
クラスタが誤って仮定し、その仕切られたノードのアプ
リケーションに対する一次的責任をバックアップ・ノー
ドに割り当てる場合、クラスタは、2つのノードの両方
とも、それらが一次ノードであるものと信じさせたまま
にすることがあり得る。更に、両方のノードはクラスタ
へのリクエストに応答するので、これはデータの不整合
を生じさせることがある。
にそれが仕切られていたものとクラスタが誤って仮定し
た場合、それらのアプリケーションは最早そのクラスタ
のクライアントには利用可能ではないであろう。従っ
て、多くの場合、クラスタは、管理者による手操作介入
なくして非コミュニケーティング・ノードに正しく応答
することができない。
・ノード救援システムが提供される。クラスタ・ノード
救援システムは、クラスタにおけるノードが障害を生じ
ようとしている時、クラスタ・ノード救援信号を供給す
る。これは、非コミュニケーティング・ノードが障害を
生じたのか又は単にクラスタから仕切られただけである
のかをクラスタがより適切に決定することを可能にす
る。望ましいクラスタ・ノード救援システムはオペレー
ティング・システムに深く組み込まれ、そのノードの差
し迫った障害が検出された時、それはクラスタにおける
他のノードに迅速に送出可能な事前形成されたノード救
援信号を発生する。これは、ノードが全面的に障害を生
じる前にノード救援信号が発生する確率を改善する。ノ
ード救援信号がクラスタに有効に送られる時、クラスタ
は、ノードが障害を生じ、しかもそのクラスタから仕切
られてないということを正確に決定することができる。
これは、クラスタが正しく、即ち、他のノードに一次的
責任を割り当てることにより、管理者のより少ない介入
でもって応答することを可能にする。従って、望ましい
実施例はクラスタの信頼性の改善及び管理者への依存度
の減少をもたらす。
例によるコンピュータ・システム100はAS/400
中型コンピュータ・システムである。しかし、本発明の
方法及び装置が任意にコンピュータ・システムに、その
コンピュータ・システムが複雑なマルチユーザ・コンピ
ューティング装置であるか、或いは、パーソナル・コン
ピュータ又はワークステーションのようなシングル・ユ
ーザの装置であるかに関係なく、等しく適用することは
当業者には明らかであろう。例えば、これらの機能がI
BM社のOS/2、OS/390、及びRS/600
0、マイクロソフト社のWindowsNT、ノベル社
のNetWare、Linux、及び他の種々のUni
xの変種のような他のシステムに設けられてもよいこと
は当業者には明らかであろう。コンピュータ・システム
100は、プロセッサ110、メイン・メモリ120、
メモリ・コントローラ130、補助記憶装置インターフ
ェース140、ターミナル・インターフェース150、
及びネットワーク・インターフェース190を適宜に含
む。これらの装置はすべてシステム・バス160を介し
て相互接続される。図1に示されたコンピュータ・シス
テム100に対して、キャッシュ・メモリ又は他の周辺
装置の追加のような種々の修正、追加、又は削除を、本
発明の技術的範囲において行い得ることに留意してほし
い。図1は、コンピュータ・システム100の顕著な特
徴のいくつかを簡単に説明するために示される。
ム100の計算機能及び制御機能を遂行し、適当な中央
処理ユニット(CPU)を含む。プロセッサ110は、
マイクロプロセッサのような単一の集積回路を含み得る
し、或いはプロセッサの機能を達成するために協同して
働く任意の適当な数の集積回路又は回路ボードを含み得
るものである。プロセッサ110は、必要に応じてメイ
ン・メモリ120におけるコンピュータ・プログラムを
適切に実行する。
コンピュータ・システム100が磁気ディスク(例え
ば、ハード・ディスク又はフロッピ・ディスク)又は光
学的記憶装置(例えば、CD−ROM)のような補助記
憶装置に情報を記憶し及び補助記憶装置から情報を検索
することを可能にする。1つの適切な記憶装置はダイレ
クト・アクセス記憶装置(DASD)170である。図
1に示されるように、DASD170は、フロッピ・デ
ィスク180からプログラム及びデータを読み取ること
ができるフロッピ・ディスク・ドライブであってもよ
い。完全に機能的なコンピュータ・システムに関連して
本発明を説明した(及び説明を続ける)けれども、本発
明の機構がプログラム製品として種々な形式で配布可能
であること、及び本発明が、実際に配布を行うためには
特定のタイプの信号保持媒体に関係なく、等しく適用す
ることは当業者には明らかであろう。信号保持媒体の例
は、フロッピ・ディスク(例えば、ディスク180)及
びCD−ROMのような記録可能なタイプの媒体及びワ
イヤレス通信リンクを含むディジタル及びアナログ通信
・リンクのような伝送タイプの媒体を含む。
サ110とは別のプロセッサ(図示されてない)を使用
することによって、リクエストされた情報をメイン・メ
モリ120から又は補助記憶装置インターフェース14
0を通してプロセッサ110に移動させる責任がある。
説明の便宜上、メモリ・コントローラ130は別個のエ
ンティティとして示されるけれども、実際には、メモリ
・コントローラ130によって与えられる機能の一部分
がプロセッサ110、メイン・メモリ120、又は補助
記憶インターフェース140と関連する回路にあっても
よいことは当業者には明らかであろう。
システム管理者及びコンピュータ・プログラマが、通常
はプログラム可能なワークステーションを介してコンピ
ュータ・システム100とコミュニケートすることを可
能にする。図1に示されたシステム100は単一のメイ
ン・プロセッサ110及び単一のシステム・バス160
しか含まないけれども、複数のプロセッサ及び複数のシ
ステム・バスを有するコンピュータ・システムにも本発
明が同様に適用することを理解すべきである。同様に、
その望ましい実施例のシステム・バス160は一般的に
配線されたマルチドロップ・バスであるけれども、コン
ピュータ関連の環境における双方向通信をサポートする
任意の接続手段が使用されてもよい。
コンピュータ・システム100とネットワーク195に
おけるリモート・コンピュータ・システムとの間の情報
の転送をサポートする。望ましい実施例では、ネットワ
ーク195における1つ又は複数のノードが、クラスタ
としてコンピュータ・システム100と共に働くように
同様に設定される。ネットワーク190は1つ又は複数
のネットワーク・インターフェース・アダプタ193を
適宜に含み、ネットワーク・インターフェース・アダプ
タ193の各々は、一般に、コンピュータ・システム1
00のようなコンピュータ・システムに容易に付加する
ことができる拡張カードとして実装される。ネットワー
ク・インターフェース・アダプタ193の例は、ペリフ
ェラル・コンポーネント・インターコネクト(PCI)
拡張カード、インダストリ・スタンダード・アーキテク
チャ(ISA)拡張カード、財産権のあるアダプタ・カ
ード、及び現在知られている又は将来発明される任意の
タイプのアダプタを含む。ネットワーク・インターフェ
ース190の機能がメイン・メモリ120及びプロセッ
サ110の一部として直接にインプリメント可能である
ことは当業者には明らかであろう。ネットワーク195
は当業者に知られた任意のタイプのネットワークを表
す。これは、インターネット、イントラネット、ローカ
ル・エリア・ネットワーク(LAN)、広域ネットワー
ク(WAN)、又はコンピュータ・システムを相互にコ
ミュニケートさせるための現在知られている又は将来開
発される任意の構成のハードウエア及びソフトウエアを
含む。ネットワーク195上には、クラスタにおける他
のノードが存在するであろう。
プリケーション・プログラム121、クラスタ管理アプ
リケーション122、及びクラスタ・ノード救援信号発
生手段124を含むオペレーティング・システム123
を適宜に含む。メモリ120におけるこれらのプログラ
ムはすべてそれの最も広い意味において使用され、ソー
ス・コード、中間コード、マシン・コード、及び他の任
意の表示のコンピュータ・プログラムを含む任意の及び
すべての形式のコンピュータ・プログラムを含む。
ン・プログラム121は、信頼性及び拡張容易性の向上
を提供するためにクラスタ化を使用する任意のプログラ
ムを含み得るものである。このように、アプリケーショ
ン・プログラム121は、一般に、コンピュータ・シス
テム100を一次ノード又はバックアップ・ノードとす
るすべてのプログラムを含むであろう。そのようなアプ
リケーション・プログラムの例は、ウェブ・サーバ、フ
ァイル・サーバ、データベース・サーバ等を含む。
クラスタを作成及び管理するために必要な機構を提供す
る。これは、コンピュータ・クラスタの管理を求める管
理的なリクエストの処理を含むであろう。例えば、これ
は、クラスタを作成するための機構、クラスタにノード
を付加するための機構、及びクラスタからノードを除去
するための機構等を含むことが望ましい。
ド救援信号手段124はオペレーティング・システム1
23と統合され、或るノードの差し迫った障害が検出さ
れた時にノード救援信号を送出するための最も速い且つ
最も効率的な手段を提供する。
べての機構のすべての部分を必ずしも含むわけではない
ことは理解されるべきである。例えば、アプリケーショ
ン・プログラム121、クラスタ管理アプリケーション
122、及びオペレーティング・システム123の一部
分は、プロセッサ110が実行するために命令キャッシ
ュ(図示されてない)にロードされてもよく、一方、別
のファイルが磁気ディスク記憶装置又は光ディスク記憶
装置(図示されてない)に完全に記憶されてもよい。更
に、コンピュータ・プログラムはすべて同じメモリ・ロ
ケーションにあるように示されているけれども、メイン
・メモリ120が異種のメモリ・ロケーションより成る
ものでもよいことは勿論である。本願において使用され
る「メモリ」という用語は、システム100の仮想メモ
リ空間における任意の記憶ロケーションを呼ぶ。
における各ノードの例示的なものであること、及びその
クラスタにおける各ノードが、それの障害の場合にその
クラスタにおける他のノードにノード救援信号を迅速に
送る能力を有することも理解されるべきである。そこ
で、他の各ノードにおけるクラスタ管理アプリケーショ
ン122が、そのクラスタにおける他のノードに適切な
一次的責任を割り当てることによって適切に応答するこ
とが可能である。
ド救援信号発生手段124の望ましい実施例が更に詳細
に示される。上述のように、クラスタ・ノード救援信号
発生手段124は、ノードの差し迫った障害時にクラス
タ内の他のノードに救援信号を送ることを必要とするメ
カニズムを提供する。これは、クラスタ管理アプリケー
ション122(そのクラスタの他のノードにおける)が
非応答ノードが障害を生じ且つクラスタからまだ仕切ら
れてないことを正確に決定する。
援信号発生手段124はオペレーティング・システム1
23に統合され、それがノードの差し迫った障害に迅速
に応答することを可能にする。望ましい実施例では、ク
ラスタ・ノード救援信号発生手段124は救援信号送出
メソッド、事前形成された救援メッセージ、及びそのメ
ッセージを送るための専用の救援信号を含む。
ソッドの2つの利用可能な実施方法がある。1つのメソ
ッドは救援メッセージを同期的に送ることであり、それ
は、そのメッセージが送られたということが確認される
まで、シャットダウン中に遂行されるべき他のすべての
方法が待機状態にされることを意味する。もう1つのメ
ソッドは救援信号を非同期的に送ることであり、それ
は、クラスタ・ノードが救援信号送出メソッドの開始後
に他のタスクを処理し続けることができるということで
ある。
ドは、ノードを順序正しくシャットダウンするに十分な
時間がある時に使用される。その非同期的メソッドを使
用することは、救援メッセージが送られつつある間、現
在の実行スレッドがシャットダウンに備えて他のタスク
を遂行することを可能にする。救援信号を作成及び送出
する間そのノードの現在の実行スレッドが他のタスクを
遂行し続けることを可能にすることは、その結果とし
て、より順序正しいシャットダウンを生じるという利点
を有するが、救援信号が実際に送られる前に潜在的に長
い遅延を生じるという欠点を有する。逆に、同期的メソ
ッドは、障害が差し迫っていて、救援メッセージが直ち
に送られなければならない時に望ましい。その同期的メ
ソッドは、救援メッセージが送られるまで、現在の実行
スレッドに関する他のすべての処理を待機状態におき、
その結果としてノード救援メッセージの迅速な送出を生
じさせる。
リのバックアップ電力がある場合、救援メッセージが非
同期的に送られることを可能にするための比較的多くの
時間が障害前に存在するであろう。これは、他のシャッ
トダウンプロシージャのようなより多くの並列的アクシ
ョンが遂行されて、より順序正しいシャットダウンを提
供することを可能にする。
エア障害であるか、又はIPスタックの終了である場
合、待つべき時間がないかもしれず、救援メッセージを
同期的に送ることが望ましい。これは、事前形成された
救援メッセージの即時送出を生じさせて、そのメッセー
ジが送られるまで現在の実行スレッドが他のプロセスに
進むことがないようにする。これは、救援メッセージが
できるだけ速く送られることを可能にし、場合によって
は、救援メッセージが送られる前にノードがシャットダ
ウンしないようにする。
メッセージが現在の実行タスクにおいて処理され、メッ
セージが更に迅速に送られることを可能にする。更に詳
しく云えば、現在のタスクはそのメッセージを直ちに送
ることができ、一方、待機する専用の救援タスクは、そ
のメッセージが送られる前に呼び出されなければならな
いであろう。しかし、現在のタスクは、救援メッセージ
が送られるまでそれが進行することを可能にすることな
くそのメッセージを送るために使用されるので、遂行さ
れる必要のある他のアクションが待機状態になるであろ
う。従って、救援信号メッセージを送るために同期的メ
ソッドを使用することは、障害事象が生じる前に、しか
し他のプロセスを犠牲にして、メッセージが送られる機
会を改善する。
の救援信号タスクのためのタスク・キューに送られ、そ
れに関連して作動する。一般に、このタスクはそのメッ
セージの送出前に遂行するために呼び出される必要があ
るであろうが、それのキューには他になにも存在しない
ので、それは非専用タスクを使用するよりも依然として
速いであろう。一旦、非同期呼び出しが専用の救援タス
クに対して行われると、現在のタスクは、救援メッセー
ジが送られるのを待つことなく、それの別のプロセスを
続けることができる。
号タスクは、オペレーティング・システムにおける1つ
のプロセスとして機能する低レベルの実行スレッドを含
むことが望ましい。これは、呼び出された時に実行され
るのを待つ1つのインスタンス化されたタスク・オブジ
ェクトとしてインプリメント可能である。その非同期救
援信号メソッドが呼び出される時、それはタスク・オブ
ジェクト・メッセージ・キューを呼び出す。利用可能な
次のプロセッサはこのメソッドによって定義されたコー
ドをピックアップし、それを実行するであろう。そのノ
ード救援信号を送るための専用のタスクが存在するの
で、そのメソッドがタスク・オブジェクト・メッセージ
・キューにおいて待機しなければならない可能性はあり
得ない。その代わり、それは次の利用可能なプロセッサ
によって実行されるであろう。一般的なオペレーティン
グ・システムは、任意の所与の時間に実行するために利
用可能な多くの種々なタスクを有するが、一時に1つの
タスクしか各プロセッサによって実行され得ない。プロ
セッサが何かを待たなければならない時、現在のタスク
は無視され、プロセッサは次のタスクに進む。
くは、障害事象の場合に送られる準備ができている予め
インスタンス化されたメッセージ・オブジェクトを含
む。そのメッセージは、それがノード救援メッセージあ
ることを表すヘッダ及びその救援メッセージを送ったノ
ードのIDを含むことが望ましい。更に、そのメッセー
ジは、それの障害の理由がわかる場合にはそれに関する
データを、たとえこれが必要なくても、含むことが可能
である。
従ってノード救援信号を送るための方法500が示され
る。第1ステップ502はクラスタ・ノードが障害事象
を経験した時のステップである。次のステップ504
は、そのノードのシステムが障害を検出し、クラスタ・
ノード救援信号発生手段における救援信号メソッドを呼
び出すステップである。
答に対するすべてのタイプの障害事象を所定時間内に十
分に検出することはできないけれども、いくつかのタイ
プの障害事象を検出することはできる。例えば、1つの
タイプの障害事象は停電である。ノード・コンピュータ
・システムは、クラスタ・ノード救援信号を送るには十
分に長いオペレーションを維持しながら停電を検出する
ことができることが望ましい。上述のように、クラスタ
・ノード救援信号は事前形成された信号を含むので、ノ
ード救援信号は、従来の機構が可能であった速度よりも
ずっと速く送られる。これは、ノードが完全に障害を生
じてしまう前にそのメッセージを送るための時間内に障
害事象が検出される可能性を増大させる。障害事象のも
う1つの例として、ノード・コンピュータ・システムが
救援メッセージを呼び出し且つ送出するようになるずっ
と前に、そのノードの他のメンバとコミュニケートする
ために使用されるプロトコル・スタックの分解(tak
edown)をそのノード・システムが検出することが
できる。
号を送るに十分な高度の警報を備えたノード・システム
によって検出され得る3つのタイプの障害事象である。
他の障害事象はオペレーティング・システムにおける切
迫したクラッシュ、1つ又は複数のハードウエア・コン
ポーネント(例えば、ドライブ、ネットワーク・アダプ
タ等)であってもよい。従って、本発明の望ましい実施
例が、救援信号を送るには十分に前に予め検出可能な任
意のタイプの障害に適用可能であること、及び事前形成
された救援信号を迅速に送出する望ましい実施例の能力
が従来のシステムおいて必要とされた事前警報をかなり
減少させるということは当業者には明らかであろう。
は、障害が生じる前の時間の大きさに従って、それが適
切な救援信号送出メソッド(即ち、非同期的な又は同期
的な)を呼び出すことができるように、発生しようとし
ている障害事象のタイプを認識する。更に、オペレーテ
ィング・システムがその障害のタイプを、非同期的に応
答される障害のタイプであると認識しなかった場合、そ
れは、障害が生じる前に救援メッセージが送られること
を保証するために同期的メソッドを呼び出すことが望ま
しい。
スクを使用して1つの事前形成された救援信号をクラス
タにおける任意の視聴者に送るためのステップである。
その事前形成された救援信号は、そのメッセージを送る
ノードの名前を含むインスタンス化されたメッセージ・
オブジェクトを含むことが望ましい。これは、そのメッ
セージが最初に形成されるのを待つことなく、救援信号
がプロトコル・スタック上に迅速に置かれることを可能
にする。
検出された障害事象のタイプ及び事前形成された救援信
号を送るための残っている時間の量に従って、非同期的
又は同期的に遂行可能である。
一次的責任及びバックアップ責任を中止することを救援
信号メソッドが保証するためのステップである。更に、
複数のノードすべてが或るアプリケーションに対する一
次機能を遂行しようとすることは望ましくない。従っ
て、ノード救援信号を送ることによって、このノード
は、それが最早利用可能ではなく、適切なバックアップ
・ノードによって置換されなければならないといことを
他のノードに知らせる。何らかの理由でこのノードが回
復する場合、おそらく他のノードがそれの以前からの一
次ノードを遂行し始めていると思われるので、それは依
然としてそれ自身をオフラインであると見なさなければ
ならない。
スタ・ノード救援システム及びクラスタの信頼性を改善
する方法を提供する。クラスタ・ノード救援システム
は、クラスタ上の或るノードが障害を生じようとしてい
る時、クラスタ・ノード救援信号を供給する。これは、
非コミュニケーティング・ノードが障害を生じたか又は
単にクラスタから仕切られただけであるかをクラスタが
より的確に決定することを可能にする。その望ましいク
ラスタ・ノード救援システムはオペレーティング・シス
テムに深く組み込まれ、そのノードの差し迫った障害が
検出された時にクラスタにおける他のノードに迅速に送
られる事前形成されたノード救援信号を供給し、そのノ
ードが全面的に障害を生じる前にノード救援信号が送出
される確率を改善する。ノード救援信号がクラスタに効
果的に送られる時、クラスタは、そのノードが障害を生
じてそのクラスタから未だ仕切られてないことを正確に
決定することができる。これは、クラスタが正しく、即
ち、他のノードに一次的責任を割り当てることによって
応答することを可能にし、管理者による必要な介入を少
なくする。
詳しく示し、説明したけれども、本発明の精神及び技術
的範囲から逸脱することなく形式及び詳細に関する種々
の変更を行い得ることは当業者には明らかであろう。
の事項を開示する。
なくとも1つのプロセッサに接続されたメモリと、前記
メモリ内にあって、クラスタにおけるノードの障害を表
す事前形成された救援メッセージを含み、障害事象が検
出された時に前記クラスタにおける他のノードに前記事
前形成された救援メッセージを送るクラスタ・ノード救
援信号発生手段と、を含む装置。 (2)前記クラスタ・ノード救援信号発生手段は、障害
事象が検出された時、前記事前形成された救援メッセー
ジを送るために待機する専用の救援信号実行タスクを含
む、上記(1)に記載の装置。 (3)前記クラスタ・ノード救援信号発生手段は前記事
前形成された救援メッセージを非同期的に送るためのメ
ソッド及び前記事前形成された救援メッセージを同期的
に送るためのメソッドを含む、上記(1)に記載の装
置。 (4)前記事前形成された救援メッセージを非同期的に
送るためのメソッドは現在の実行タスクを使用して前記
事前形成された救援メッセージを送り、前記事前形成さ
れた救援メッセージを同期的に送るためのメソッドは待
機する専用の救援信号実行タスクを使用する、上記
(3)に記載の装置。 (5)前記クラスタ・ノード救援信号発生手段は、前記
障害事象が存在する前に十分な時間がある時にはより順
序正しいシャットダウン・プロシージャを可能にするた
めに、前記事前形成された救援メッセージを非同期的に
送るためのメソッドを使用し、前記障害事象が存在する
前に十分な時間がない時には前記事前形成された救援メ
ッセージを同期的に送るためのメソッドを使用する、上
記(4)に記載の装置。 (6)前記クラスタ・ノード救援信号発生手段は前記ク
ラスタ救援信号が前記クラスタにおける他のノードに送
られた後に前記ノードがそれ自身を前記クラスタから除
去することを保証するための機構を含む、上記(1)に
記載の装置。 (7)前記クラスタ・ノード救援信号発生手段は前記メ
モリにあるオペレーティング・システムの統合部分を含
む、上記(1)に記載の装置。 (8)前記事前形成された救援メッセージは予めインス
タンス化されたメッセージ・オブジェクトを含む、上記
(1)に記載の装置。 (9)少なくとも1つのプロセッサと、少なくとも1つ
のプロセッサに接続されたメモリと、前記メモリ内にあ
って、クラスタ・ノード装置の障害を表す事前形成され
た救援メッセージを含むクラスタ・ノード救援信号発生
手段と、を含み、前記クラスタ・ノード救援信号発生手
段は、現在の実行タスクを使用して前記事前形成された
救援メッセージを非同期的に送るためのメソッド及び待
機する専用の救援信号実行タスクを使用して前記事前形
成された救援メッセージを同期的に送るためのメソッド
を含み、前記クラスタ・ノード救援信号発生手段は、障
害事象が検出された時に前記クラスタにおける他のノー
ドに前記事前形成された救援メッセージを送る、クラス
タ・ノード装置。 (10)前記クラスタ・ノード救援信号発生手段は、前
記障害事象が存在する前に十分な時間がある時にはより
順序正しいシャットダウン・プロシージャを可能にする
ために前記事前形成された救援メッセージを非同期的に
送るためのメソッドを使用し、前記障害事象が存在する
前に十分な時間がない時には前記事前形成された救援メ
ッセージを同期的に送るためのメソッドを使用する、上
記(9)に記載のクラスタ・ノード装置。 (11)前記クラスタ・ノード救援信号発生手段は、前
記クラスタ救援信号が前記クラスタにおける他のノード
に送られた後に前記クラスタ・ノード装置がそれ自身を
前記クラスタから除去することを保証するための機構を
含む、上記(9)に記載のクラスタ・ノード装置。 (12)前記クラスタ・ノード救援信号発生手段は前記
メモリにあるオペレーティング・システムの一部分であ
る、上記(9)に記載のクラスタ・ノード装置。 (13)前記事前形成された救援メッセージは予めイン
スタンス化されたメッセージ・オブジェクトを含む、上
記(9)に記載のクラスタ・ノード装置。 (14)クラスタにおけるノードが障害事象を経験しよ
うとしていることを表す事前形成された救援メッセージ
を提供するステップと、差し迫った障害事象が検出され
た時、前記事前形成された救援メッセージを送るステッ
プと、を含む方法。 (15)前記事前形成された救援メッセージを処理して
送るために専用の救援信号タスクを提供するステップを
含む、上記(14)に記載の方法。 (16)前記事前形成された救援メッセージを送るステ
ップは、前記差し迫った障害事象が存在する前に十分な
時間がある時にはより順序正しいシャットダウン・プロ
シージャを可能にするために前記事前形成された救援メ
ッセージを非同期的に送るステップ、及び前記差し迫っ
た障害事象が存在する前に十分な時間がない時には前記
事前形成された救援メッセージを同期的に送るステップ
を含む、上記(14)に記載の方法。 (17)前記クラスタ救援信号が前記クラスタにおける
他のノードに送られた後に前記ノードがそれ自身を前記
クラスタから除去することを保証するステップを含む、
上記(14)に記載の方法。 (18)差し迫った障害事象のタイプを決定するステッ
プを含む、上記(14)に記載の方法。 (19)クラスタにおけるノードが障害事象を経験しよ
うとしていることを表す事前形成された救援メッセージ
を供給するステップと、前記事前形成された救援メッセ
ージを処理して送るために専用の救援信号タスクを供給
するステップと、差し迫った障害事象を検出するステッ
プと、前記検出された差し迫った障害事象が存在する前
に十分な時間がある時には前記事前形成された救援メッ
セージを前記クラスタにおける他のノードに非同期的に
送り、前記検出された差し迫った障害事象が存在する前
に十分な時間がない時には前記事前形成された救援メッ
セージを前記他のノードに同期的に送るステップと、前
記クラスタ救援信号が前記クラスタにおける他のノード
に送られた後に前記ノードがそれ自身を前記クラスタか
ら除去することを保証するステップと、を含む方法。 (20)前記事前形成された救援メッセージを非同期的
に送るステップは前記専用の救援信号タスクを使用し、
前記事前形成されたメッセージを同期的に送るステップ
は現在の実行タスクを使用する、上記(19)に記載の
方法。 (21)前記事前形成された救援メッセージは予めイン
スタンス化されたメッセージ・オブジェクトを含む、上
記(19)に記載の方法。 (22)(A)クラスタにおけるノードの障害を表す事
前形成された救援メッセージを含み、障害事象が検出さ
れた時に前記クラスタにおける他のノードに前記事前形
成された救援メッセージを送るクラスタ・ノード救援信
号発生手段と、(B)前記クラスタ・ノード救援信号発
生手段を保持する信号保持媒体と、を含むプログラム製
品。 (23)前記信号保持媒体は伝送媒体を含む、上記(2
2)に記載のプログラム製品。 (24)前記信号保持媒体は記録可能な媒体を含む、上
記(22)に記載のプログラム製品。 (25)前記クラスタ・ノード救援信号発生手段は、障
害事象が検出された時に前記事前形成された救援メッセ
ージを送るための待機する専用の救援信号実行タスクを
含む、上記(22)に記載のプログラム製品。 (26)前記クラスタ・ノード救援信号発生手段は前記
事前形成された救援メッセージを非同期的に送るための
メソッド及び前記事前形成された救援信号を同期的に送
るためのメソッドを含む、上記(22)に記載のプログ
ラム製品。 (27)前記事前形成された救援メッセージを非同期的
に送るためのメソッドは現在の実行タスクを使用して前
記事前形成された救援メッセージを送り、前記事前形成
された救援メッセージを同期的に送るためのメソッドは
待機する専用の救援信号実行タスクを使用する、上記
(26)に記載のプログラム製品。 (28)前記クラスタ・ノード救援信号発生手段は、前
記障害事象が存在する前に十分な時間がある時には前記
事前形成された救援メッセージを非同期的に送るための
メソッドを使用してより順序正しいシャットダウン・プ
ロシージャを可能にし、前記障害事象が存在する前に十
分な時間がない時、前記事前形成された救援メッセージ
を同期的に送るためのメソッドを使用する、上記(2
7)に記載のプログラム製品。 (29)前記クラスタ・ノード救援信号発生手段は、前
記クラスタ救援信号が前記クラスタにおける他のノード
に送られた後に前記ノードがそれ自身を前記クラスタか
ら除去することを保証するための機構を含む、上記(2
2)に記載のプログラム製品。 (30)前記クラスタ・ノード救援信号発生手段は前記
メモリにあるオペレーティング・システムの統合部分を
含む、上記(22)に記載のプログラム製品。 (31)前記事前形成された救援メッセージは予めイン
スタンス化されたメッセージ・オブジェクトを含む、上
記(22)に記載のプログラム製品。 (32)(A)クラスタ・ノード装置の障害を表す事前
形成された救援メッセージを含み、現在の実行タスクを
使用して前記事前形成された救援メッセージを非同期的
に送るためのメソッド及び待機する専用の救援信号実行
タスクを使用して前記事前形成された救援メッセージを
同期的に送るためのメソッドを含み、障害事象が検出さ
れた時、前記事前形成された救援メッセージを前記クラ
スタにおける他のノードに送るクラスタ・ノード救援信
号発生手段、及び(B)前記クラスタ・ノード救援信号
発生手段を保持する信号保持媒体と、を含むプログラム
製品。 (33)前記信号保持媒体は伝送媒体を含む、上記(2
2)に記載のプログラム製品。 (34)前記信号保持媒体は記録可能な媒体を含む、上
記(22)に記載のプログラム製品。 (35)前記クラスタ・ノード救援信号発生手段は、前
記障害事象が存在する前に十分な時間がある時には前記
事前形成された救援メッセージを非同期的に送るための
メソッドを使用してより順序正しいシャットダウン・プ
ロシージャを可能にし、前記障害事象が存在する前に十
分な時間がない時には記事前形成された救援メッセージ
を同期的に送るためのメソッドを使用する、上記(3
2)に記載のプログラム製品。 (36)前記クラスタ・ノード救援信号発生手段は、前
記クラスタ救援信号が前記クラスタにおける他のノード
に送られた後に前記クラスタ・ノード装置がそれ自身を
前記クラスタから除去することを保証するための機構を
含む、上記(32)に記載のプログラム製品。 (37)前記クラスタ・ノード救援信号発生手段は前記
メモリにあるオペレーティング・システムの統合部分を
含む、上記(32)に記載のプログラム製品。 (38)前記事前形成された救援メッセージは予めイン
スタンス化されたメッセージ・オブジェクトを含む、上
記(32)に記載のプログラム製品。
図である。
ード救援信号発生手段を示す概略図である。
号メソッドの流れ図である。
Claims (38)
- 【請求項1】少なくとも1つのプロセッサと、 少なくとも1つのプロセッサに接続されたメモリと、 前記メモリ内にあって、クラスタにおけるノードの障害
を表す事前形成された救援メッセージを含み、障害事象
が検出された時に前記クラスタにおける他のノードに前
記事前形成された救援メッセージを送るクラスタ・ノー
ド救援信号発生手段と、 を含む装置。 - 【請求項2】前記クラスタ・ノード救援信号発生手段
は、障害事象が検出された時、前記事前形成された救援
メッセージを送るために待機する専用の救援信号実行タ
スクを含む、請求項1に記載の装置。 - 【請求項3】前記クラスタ・ノード救援信号発生手段は
前記事前形成された救援メッセージを非同期的に送るた
めのメソッド及び前記事前形成された救援メッセージを
同期的に送るためのメソッドを含む、請求項1に記載の
装置。 - 【請求項4】前記事前形成された救援メッセージを非同
期的に送るためのメソッドは現在の実行タスクを使用し
て前記事前形成された救援メッセージを送り、 前記事前形成された救援メッセージを同期的に送るため
のメソッドは待機する専用の救援信号実行タスクを使用
する、 請求項3に記載の装置。 - 【請求項5】前記クラスタ・ノード救援信号発生手段
は、前記障害事象が存在する前に十分な時間がある時に
はより順序正しいシャットダウン・プロシージャを可能
にするために、前記事前形成された救援メッセージを非
同期的に送るためのメソッドを使用し、前記障害事象が
存在する前に十分な時間がない時には前記事前形成され
た救援メッセージを同期的に送るためのメソッドを使用
する、請求項4に記載の装置。 - 【請求項6】前記クラスタ・ノード救援信号発生手段は
前記クラスタ救援信号が前記クラスタにおける他のノー
ドに送られた後に前記ノードがそれ自身を前記クラスタ
から除去することを保証するための機構を含む、請求項
1に記載の装置。 - 【請求項7】前記クラスタ・ノード救援信号発生手段は
前記メモリにあるオペレーティング・システムの統合部
分を含む、請求項1に記載の装置。 - 【請求項8】前記事前形成された救援メッセージは予め
インスタンス化されたメッセージ・オブジェクトを含
む、請求項1に記載の装置。 - 【請求項9】少なくとも1つのプロセッサと、 少なくとも1つのプロセッサに接続されたメモリと、 前記メモリ内にあって、クラスタ・ノード装置の障害を
表す事前形成された救援メッセージを含むクラスタ・ノ
ード救援信号発生手段と、 を含み、 前記クラスタ・ノード救援信号発生手段は、現在の実行
タスクを使用して前記事前形成された救援メッセージを
非同期的に送るためのメソッド及び待機する専用の救援
信号実行タスクを使用して前記事前形成された救援メッ
セージを同期的に送るためのメソッドを含み、 前記クラスタ・ノード救援信号発生手段は、障害事象が
検出された時に前記クラスタにおける他のノードに前記
事前形成された救援メッセージを送る、 クラスタ・ノード装置。 - 【請求項10】前記クラスタ・ノード救援信号発生手段
は、前記障害事象が存在する前に十分な時間がある時に
はより順序正しいシャットダウン・プロシージャを可能
にするために前記事前形成された救援メッセージを非同
期的に送るためのメソッドを使用し、前記障害事象が存
在する前に十分な時間がない時には前記事前形成された
救援メッセージを同期的に送るためのメソッドを使用す
る、請求項9に記載のクラスタ・ノード装置。 - 【請求項11】前記クラスタ・ノード救援信号発生手段
は、前記クラスタ救援信号が前記クラスタにおける他の
ノードに送られた後に前記クラスタ・ノード装置がそれ
自身を前記クラスタから除去することを保証するための
機構を含む、請求項9に記載のクラスタ・ノード装置。 - 【請求項12】前記クラスタ・ノード救援信号発生手段
は前記メモリにあるオペレーティング・システムの一部
分である、請求項9に記載のクラスタ・ノード装置。 - 【請求項13】前記事前形成された救援メッセージは予
めインスタンス化されたメッセージ・オブジェクトを含
む、請求項9に記載のクラスタ・ノード装置。 - 【請求項14】クラスタにおけるノードが障害事象を経
験しようとしていることを表す事前形成された救援メッ
セージを提供するステップと、 差し迫った障害事象が検出された時、前記事前形成され
た救援メッセージを送るステップと、 を含む方法。 - 【請求項15】前記事前形成された救援メッセージを処
理して送るために専用の救援信号タスクを提供するステ
ップを含む、請求項14に記載の方法。 - 【請求項16】前記事前形成された救援メッセージを送
るステップは、前記差し迫った障害事象が存在する前に
十分な時間がある時にはより順序正しいシャットダウン
・プロシージャを可能にするために前記事前形成された
救援メッセージを非同期的に送るステップ、及び前記差
し迫った障害事象が存在する前に十分な時間がない時に
は前記事前形成された救援メッセージを同期的に送るス
テップを含む、請求項14に記載の方法。 - 【請求項17】前記クラスタ救援信号が前記クラスタに
おける他のノードに送られた後に前記ノードがそれ自身
を前記クラスタから除去することを保証するステップを
含む、請求項14に記載の方法。 - 【請求項18】差し迫った障害事象のタイプを決定する
ステップを含む、請求項14に記載の方法。 - 【請求項19】クラスタにおけるノードが障害事象を経
験しようとしていることを表す事前形成された救援メッ
セージを供給するステップと、 前記事前形成された救援メッセージを処理して送るため
に専用の救援信号タスクを供給するステップと、 差し迫った障害事象を検出するステップと、 前記検出された差し迫った障害事象が存在する前に十分
な時間がある時には前記事前形成された救援メッセージ
を前記クラスタにおける他のノードに非同期的に送り、
前記検出された差し迫った障害事象が存在する前に十分
な時間がない時には前記事前形成された救援メッセージ
を前記他のノードに同期的に送るステップと、 前記クラスタ救援信号が前記クラスタにおける他のノー
ドに送られた後に前記ノードがそれ自身を前記クラスタ
から除去することを保証するステップと、 を含む方法。 - 【請求項20】前記事前形成された救援メッセージを非
同期的に送るステップは前記専用の救援信号タスクを使
用し、 前記事前形成されたメッセージを同期的に送るステップ
は現在の実行タスクを使用する、 請求項19に記載の方法。 - 【請求項21】前記事前形成された救援メッセージは予
めインスタンス化されたメッセージ・オブジェクトを含
む、請求項19に記載の方法。 - 【請求項22】(A)クラスタにおけるノードの障害を
表す事前形成された救援メッセージを含み、障害事象が
検出された時に前記クラスタにおける他のノードに前記
事前形成された救援メッセージを送るクラスタ・ノード
救援信号発生手段と、 (B)前記クラスタ・ノード救援信号発生手段を保持す
る信号保持媒体と、 を含むプログラム製品。 - 【請求項23】前記信号保持媒体は伝送媒体を含む、請
求項22に記載のプログラム製品。 - 【請求項24】前記信号保持媒体は記録可能な媒体を含
む、請求項22に記載のプログラム製品。 - 【請求項25】前記クラスタ・ノード救援信号発生手段
は、障害事象が検出された時に前記事前形成された救援
メッセージを送るための待機する専用の救援信号実行タ
スクを含む、請求項22に記載のプログラム製品。 - 【請求項26】前記クラスタ・ノード救援信号発生手段
は前記事前形成された救援メッセージを非同期的に送る
ためのメソッド及び前記事前形成された救援信号を同期
的に送るためのメソッドを含む、請求項22に記載のプ
ログラム製品。 - 【請求項27】前記事前形成された救援メッセージを非
同期的に送るためのメソッドは現在の実行タスクを使用
して前記事前形成された救援メッセージを送り、 前記事前形成された救援メッセージを同期的に送るため
のメソッドは待機する専用の救援信号実行タスクを使用
する、 請求項26に記載のプログラム製品。 - 【請求項28】前記クラスタ・ノード救援信号発生手段
は、前記障害事象が存在する前に十分な時間がある時に
は前記事前形成された救援メッセージを非同期的に送る
ためのメソッドを使用してより順序正しいシャットダウ
ン・プロシージャを可能にし、前記障害事象が存在する
前に十分な時間がない時、前記事前形成された救援メッ
セージを同期的に送るためのメソッドを使用する、請求
項27に記載のプログラム製品。 - 【請求項29】前記クラスタ・ノード救援信号発生手段
は、前記クラスタ救援信号が前記クラスタにおける他の
ノードに送られた後に前記ノードがそれ自身を前記クラ
スタから除去することを保証するための機構を含む、請
求項22に記載のプログラム製品。 - 【請求項30】前記クラスタ・ノード救援信号発生手段
は前記メモリにあるオペレーティング・システムの統合
部分を含む、請求項22に記載のプログラム製品。 - 【請求項31】前記事前形成された救援メッセージは予
めインスタンス化されたメッセージ・オブジェクトを含
む、請求項22に記載のプログラム製品。 - 【請求項32】(A)クラスタ・ノード装置の障害を表
す事前形成された救援メッセージを含み、現在の実行タ
スクを使用して前記事前形成された救援メッセージを非
同期的に送るためのメソッド及び待機する専用の救援信
号実行タスクを使用して前記事前形成された救援メッセ
ージを同期的に送るためのメソッドを含み、障害事象が
検出された時、前記事前形成された救援メッセージを前
記クラスタにおける他のノードに送るクラスタ・ノード
救援信号発生手段、及び (B)前記クラスタ・ノード救援信号発生手段を保持す
る信号保持媒体と、 を含むプログラム製品。 - 【請求項33】前記信号保持媒体は伝送媒体を含む、請
求項32に記載のプログラム製品。 - 【請求項34】前記信号保持媒体は記録可能な媒体を含
む、請求項32に記載のプログラム製品。 - 【請求項35】前記クラスタ・ノード救援信号発生手段
は、前記障害事象が存在する前に十分な時間がある時に
は前記事前形成された救援メッセージを非同期的に送る
ためのメソッドを使用してより順序正しいシャットダウ
ン・プロシージャを可能にし、前記障害事象が存在する
前に十分な時間がない時には記事前形成された救援メッ
セージを同期的に送るためのメソッドを使用する、請求
項32に記載のプログラム製品。 - 【請求項36】前記クラスタ・ノード救援信号発生手段
は、前記クラスタ救援信号が前記クラスタにおける他の
ノードに送られた後に前記クラスタ・ノード装置がそれ
自身を前記クラスタから除去することを保証するための
機構を含む、請求項32に記載のプログラム製品。 - 【請求項37】前記クラスタ・ノード救援信号発生手段
は前記メモリにあるオペレーティング・システムの統合
部分を含む、請求項32に記載のプログラム製品。 - 【請求項38】前記事前形成された救援メッセージは予
めインスタンス化されたメッセージ・オブジェクトを含
む、請求項32に記載のプログラム製品。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/281026 | 1999-03-30 | ||
| US09/281,026 US6442713B1 (en) | 1999-03-30 | 1999-03-30 | Cluster node distress signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000293497A true JP2000293497A (ja) | 2000-10-20 |
Family
ID=23075659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000073269A Pending JP2000293497A (ja) | 1999-03-30 | 2000-03-16 | クラスタ・ノード救援信号発生システム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6442713B1 (ja) |
| JP (1) | JP2000293497A (ja) |
| KR (1) | KR100358663B1 (ja) |
| CA (1) | CA2290289C (ja) |
| SG (1) | SG90111A1 (ja) |
| TW (1) | TW466399B (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007305123A (ja) * | 2000-10-24 | 2007-11-22 | Microsoft Corp | 共同ロケーション施設システム |
| US7630877B2 (en) | 2003-03-06 | 2009-12-08 | Microsoft Corporation | Architecture for distributed computing system and automated design, deployment, and management of distributed applications |
| US7669235B2 (en) | 2004-04-30 | 2010-02-23 | Microsoft Corporation | Secure domain join for computing devices |
| US7684964B2 (en) | 2003-03-06 | 2010-03-23 | Microsoft Corporation | Model and system state synchronization |
| US7778422B2 (en) | 2004-02-27 | 2010-08-17 | Microsoft Corporation | Security associations for devices |
| US7802144B2 (en) | 2005-04-15 | 2010-09-21 | Microsoft Corporation | Model-based system monitoring |
| US7886041B2 (en) | 2003-03-06 | 2011-02-08 | Microsoft Corporation | Design time validation of systems |
| US7941309B2 (en) | 2005-11-02 | 2011-05-10 | Microsoft Corporation | Modeling IT operations/policies |
| US8489728B2 (en) | 2005-04-15 | 2013-07-16 | Microsoft Corporation | Model-based system monitoring |
| US8549513B2 (en) | 2005-06-29 | 2013-10-01 | Microsoft Corporation | Model-based virtual system provisioning |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7032022B1 (en) | 1999-06-10 | 2006-04-18 | Alcatel | Statistics aggregation for policy-based network |
| US6678835B1 (en) * | 1999-06-10 | 2004-01-13 | Alcatel | State transition protocol for high availability units |
| US6789213B2 (en) * | 2000-01-10 | 2004-09-07 | Sun Microsystems, Inc. | Controlled take over of services by remaining nodes of clustered computing system |
| US6594786B1 (en) * | 2000-01-31 | 2003-07-15 | Hewlett-Packard Development Company, Lp | Fault tolerant high availability meter |
| US6691244B1 (en) * | 2000-03-14 | 2004-02-10 | Sun Microsystems, Inc. | System and method for comprehensive availability management in a high-availability computer system |
| US6952766B2 (en) * | 2001-03-15 | 2005-10-04 | International Business Machines Corporation | Automated node restart in clustered computer system |
| US6918051B2 (en) * | 2001-04-06 | 2005-07-12 | International Business Machines Corporation | Node shutdown in clustered computer system |
| JP4491167B2 (ja) * | 2001-04-27 | 2010-06-30 | 富士通株式会社 | 通信システムにおける管理装置のバックアップシステム |
| US6880100B2 (en) * | 2001-07-18 | 2005-04-12 | Smartmatic Corp. | Peer-to-peer fault detection |
| US6925582B2 (en) | 2001-08-01 | 2005-08-02 | International Business Machines Corporation | Forwarding of diagnostic messages in a group |
| US7409427B2 (en) * | 2003-02-25 | 2008-08-05 | Bea Systems, Inc. | Systems and methods for lightweight conversations |
| US7689676B2 (en) | 2003-03-06 | 2010-03-30 | Microsoft Corporation | Model-based policy application |
| US7657781B1 (en) * | 2003-07-25 | 2010-02-02 | Cisco Technology, Inc. | System and method for providing redundant data load sharing in a distributed network |
| US7302607B2 (en) * | 2003-08-29 | 2007-11-27 | International Business Machines Corporation | Two node virtual shared disk cluster recovery |
| US7228462B2 (en) * | 2004-01-23 | 2007-06-05 | Hewlett-Packard Development Company, L.P. | Cluster node status detection and communication |
| DE102004032450B4 (de) * | 2004-06-29 | 2008-01-17 | Otten, Gert, Prof. Dr.med. | Chirurgische Vorrichtung zum Abklemmen organischen Gewebes, insbesondere von Blutgefäßen |
| US20060235664A1 (en) * | 2005-04-15 | 2006-10-19 | Microsoft Corporation | Model-based capacity planning |
| US7797147B2 (en) * | 2005-04-15 | 2010-09-14 | Microsoft Corporation | Model-based system monitoring |
| US8082340B2 (en) * | 2006-01-30 | 2011-12-20 | Cisco Technology, Inc. | Technique for distinguishing between link and node failure using bidirectional forwarding detection (BFD) |
| US7801997B2 (en) | 2006-03-30 | 2010-09-21 | International Business Machines Corporation | Asynchronous interconnect protocol for a clustered DBMS |
| US8312135B2 (en) * | 2007-02-02 | 2012-11-13 | Microsoft Corporation | Computing system infrastructure to administer distress messages |
| US7937610B2 (en) * | 2007-04-27 | 2011-05-03 | International Business Machines Corporation | Fast node failure detection via disk based last gasp mechanism |
| CN103297396B (zh) * | 2012-02-28 | 2016-05-18 | 国际商业机器公司 | 群集系统中管理故障转移的装置和方法 |
| CN105574127A (zh) * | 2015-12-12 | 2016-05-11 | 天津南大通用数据技术股份有限公司 | 分布式数据库系统准实时的双活方法 |
| CN113822395A (zh) * | 2021-08-19 | 2021-12-21 | 中铁二十四局集团上海电务电化有限公司 | 一种海底隧道电力物联网智慧管理系统 |
| CN114095392B (zh) * | 2021-12-02 | 2022-04-08 | 深圳市光网视科技有限公司 | 一种基于物联网的通信电源监控方法和系统 |
| US12242733B1 (en) | 2023-10-23 | 2025-03-04 | International Business Machines Corporation | Determining a memory contention state of a node |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4486826A (en) * | 1981-10-01 | 1984-12-04 | Stratus Computer, Inc. | Computer peripheral control apparatus |
| US5117352A (en) | 1989-10-20 | 1992-05-26 | Digital Equipment Corporation | Mechanism for fail-over notification |
| US5371852A (en) * | 1992-10-14 | 1994-12-06 | International Business Machines Corporation | Method and apparatus for making a cluster of computers appear as a single host on a network |
| US5440726A (en) * | 1994-06-22 | 1995-08-08 | At&T Corp. | Progressive retry method and apparatus having reusable software modules for software failure recovery in multi-process message-passing applications |
| US5590277A (en) * | 1994-06-22 | 1996-12-31 | Lucent Technologies Inc. | Progressive retry method and apparatus for software failure recovery in multi-process message-passing applications |
| US5627962A (en) * | 1994-12-30 | 1997-05-06 | Compaq Computer Corporation | Circuit for reassigning the power-on processor in a multiprocessing system |
| US5996075A (en) * | 1995-11-02 | 1999-11-30 | Sun Microsystems, Inc. | Method and apparatus for reliable disk fencing in a multicomputer system |
| US5805785A (en) * | 1996-02-27 | 1998-09-08 | International Business Machines Corporation | Method for monitoring and recovery of subsystems in a distributed/clustered system |
| JP3197279B2 (ja) * | 1996-06-20 | 2001-08-13 | 富士通株式会社 | 業務引継システム |
| KR19980058552A (ko) * | 1996-12-30 | 1998-10-07 | 김영환 | 두 시스템간의 클러스터링(Clustering) 구현장치 |
| US6151688A (en) * | 1997-02-21 | 2000-11-21 | Novell, Inc. | Resource management in a clustered computer system |
| US6108699A (en) * | 1997-06-27 | 2000-08-22 | Sun Microsystems, Inc. | System and method for modifying membership in a clustered distributed computer system and updating system configuration |
| US6003075A (en) * | 1997-07-07 | 1999-12-14 | International Business Machines Corporation | Enqueuing a configuration change in a network cluster and restore a prior configuration in a back up storage in reverse sequence ordered |
| US6192483B1 (en) * | 1997-10-21 | 2001-02-20 | Sun Microsystems, Inc. | Data integrity and availability in a distributed computer system |
| US6122735A (en) * | 1998-05-21 | 2000-09-19 | Intel Corp. | Fault resilient boot circuit using ring counter |
-
1999
- 1999-03-30 US US09/281,026 patent/US6442713B1/en not_active Expired - Lifetime
- 1999-11-22 CA CA002290289A patent/CA2290289C/en not_active Expired - Fee Related
- 1999-12-23 TW TW088122708A patent/TW466399B/zh not_active IP Right Cessation
-
2000
- 2000-03-13 SG SG200001455A patent/SG90111A1/en unknown
- 2000-03-16 JP JP2000073269A patent/JP2000293497A/ja active Pending
- 2000-03-22 KR KR1020000014476A patent/KR100358663B1/ko not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1202175A3 (en) * | 2000-10-24 | 2009-09-30 | Microsoft Corporation | System and method for distributed management of shared computers |
| US7606898B1 (en) | 2000-10-24 | 2009-10-20 | Microsoft Corporation | System and method for distributed management of shared computers |
| US7739380B2 (en) | 2000-10-24 | 2010-06-15 | Microsoft Corporation | System and method for distributed management of shared computers |
| JP2007305123A (ja) * | 2000-10-24 | 2007-11-22 | Microsoft Corp | 共同ロケーション施設システム |
| JP2011055523A (ja) * | 2000-10-24 | 2011-03-17 | Microsoft Corp | 共同ロケーション施設システムの安全な通信方法 |
| US8122106B2 (en) | 2003-03-06 | 2012-02-21 | Microsoft Corporation | Integrating design, deployment, and management phases for systems |
| US7630877B2 (en) | 2003-03-06 | 2009-12-08 | Microsoft Corporation | Architecture for distributed computing system and automated design, deployment, and management of distributed applications |
| US7684964B2 (en) | 2003-03-06 | 2010-03-23 | Microsoft Corporation | Model and system state synchronization |
| US7886041B2 (en) | 2003-03-06 | 2011-02-08 | Microsoft Corporation | Design time validation of systems |
| US7890543B2 (en) | 2003-03-06 | 2011-02-15 | Microsoft Corporation | Architecture for distributed computing system and automated design, deployment, and management of distributed applications |
| US7778422B2 (en) | 2004-02-27 | 2010-08-17 | Microsoft Corporation | Security associations for devices |
| US7669235B2 (en) | 2004-04-30 | 2010-02-23 | Microsoft Corporation | Secure domain join for computing devices |
| US7802144B2 (en) | 2005-04-15 | 2010-09-21 | Microsoft Corporation | Model-based system monitoring |
| US8489728B2 (en) | 2005-04-15 | 2013-07-16 | Microsoft Corporation | Model-based system monitoring |
| US8549513B2 (en) | 2005-06-29 | 2013-10-01 | Microsoft Corporation | Model-based virtual system provisioning |
| US9317270B2 (en) | 2005-06-29 | 2016-04-19 | Microsoft Technology Licensing, Llc | Model-based virtual system provisioning |
| US9811368B2 (en) | 2005-06-29 | 2017-11-07 | Microsoft Technology Licensing, Llc | Model-based virtual system provisioning |
| US10540159B2 (en) | 2005-06-29 | 2020-01-21 | Microsoft Technology Licensing, Llc | Model-based virtual system provisioning |
| US7941309B2 (en) | 2005-11-02 | 2011-05-10 | Microsoft Corporation | Modeling IT operations/policies |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2290289C (en) | 2005-07-12 |
| KR20010006847A (ko) | 2001-01-26 |
| TW466399B (en) | 2001-12-01 |
| CA2290289A1 (en) | 2000-09-30 |
| KR100358663B1 (ko) | 2002-10-30 |
| US6442713B1 (en) | 2002-08-27 |
| SG90111A1 (en) | 2002-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000293497A (ja) | クラスタ・ノード救援信号発生システム | |
| US6983324B1 (en) | Dynamic modification of cluster communication parameters in clustered computer system | |
| US6502203B2 (en) | Method and apparatus for cluster system operation | |
| US5784617A (en) | Resource-capability-based method and system for handling service processor requests | |
| US6868442B1 (en) | Methods and apparatus for processing administrative requests of a distributed network application executing in a clustered computing environment | |
| CN103201724B (zh) | 在高可用性虚拟机环境中提供高可用性应用程序 | |
| US6918051B2 (en) | Node shutdown in clustered computer system | |
| EP1117039B1 (en) | Controlled take over of services by remaining nodes of clustered computing system | |
| US7194652B2 (en) | High availability synchronization architecture | |
| US20030005350A1 (en) | Failover management system | |
| CN1175353C (zh) | 一种双机备份的实现方法 | |
| US7716222B2 (en) | Quorum-based power-down of unresponsive servers in a computer cluster | |
| US20050108593A1 (en) | Cluster failover from physical node to virtual node | |
| US20030065708A1 (en) | Exactly once JMS communication | |
| US20050229024A1 (en) | System and method for communicating a software-generated pulse waveform between two servers in a network | |
| JP2004519024A (ja) | 多数のノードを含むクラスタを管理するためのシステム及び方法 | |
| CN113515408B (zh) | 一种数据容灾方法、装置、设备及介质 | |
| US7065673B2 (en) | Staged startup after failover or reboot | |
| JP2005209191A (ja) | 高可用性システムの遠隔エンタープライズ管理 | |
| US20090252047A1 (en) | Detection of an unresponsive application in a high availability system | |
| US11349706B2 (en) | Two-channel-based high-availability | |
| US7240088B2 (en) | Node self-start in a decentralized cluster | |
| CN109474694A (zh) | 一种基于san存储阵列的nas集群的管控方法及装置 | |
| JPWO1997049034A1 (ja) | 業務引継システム | |
| JP2006014310A (ja) | 冗長接続サービスの提供方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040419 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040528 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061226 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20061226 |