JPH0281157A - 分散処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、ネットワークにより結合された複数のプロセ
サからなる分散処理システムにおいて、異なるプロセサ
に多重に配置されたファイル間での内容の整合性をネッ
トワーク障害発生／回復時にも保証するための分散処理
方式に関する。

［従来の技術］ 複数のプロセサにより、一連の処理を分散して実行する
分散処理システムにおいて、同一処理を実行するプログ
ラムを複数のプロセサに配置し、これらプログラムを非
同期に走らせることにより、処理のノンストップ化を図
るための方式が、例えば、特願昭６１−１７３６４２号
明細書に示すものが考えられている。ここでは、同一処
理を実行するプログラムが非同期に出力する多重データ
を識別し、一つにしぼるためのボーティング方式が示さ
れている。

［発明が解決しようとする課題］ 上記従来技術では、同一処理を実行する各プログラムが
各々のファイルを扱っていた場合、各プログラムにより
非同期に更新されるファイル間での内容の整合性を保つ
ための考慮がなされておらず、ネットワーク障害発生時
、上記ファイル間で不整合が発生するという問題があっ
た。

本発明の目的は、分散処理システムにおいて、ネットワ
ーク障害発生時にも、多重化されたファイル間での整合
性を保証するための分散処理方式を提供することにある
。

［課題を解決するための手段］ 上記目的を達成するために、本発明は、各プロセサに、
（１）自内ファイルが多重化されているファイルである
か否かを検出する手段、（２）ネットワーク障害発生を
検出し、その内容を分析する手段をもたせることに特徴
がある。

［作用］ 上記（１）、（２）手段により、各プロセサは、ネット
ワーク障害発生時に、白肉の多重化ファイルの更新を抑
制することが可能となるため、多重化ファイル間の整合
性を保証することが可能となる。

［実施例］ 以下１本発明を実施例により詳細半に説明する。

第２図は本発明が適用されるシステムの全体構成を示す
図である。１０，２０．３０・・・・・・は処理を実行
するプロセサであり、それぞれ、ＣＲＴ端末１１．２１
．３１・・・・・・及びディスク１２，２２゜３２・・
・・・・が接続されている。また、これら各プロセサは
各々、ネットワーク接続用のトランシーバ１５．２５．
３５を介してネットワーク１に接続されている。なお１
本実施例では、ネットワークとしてパス型を適用した例
を示すが、これはリング型ネットワークであってもがま
、わない。第２図（ｂ）にネットワーク１上を流れるメ
ツセージのフォーマットを示す、Ｆ３１０，３０８はメ
ツセージの始めと終了を示すフラグである。ＣＣ３０２
は内容コードでデータの内容や機能に対応したコードで
ある。各プロセサは本内容コードに基づき、ネットワー
クからの受信データが自らに必要なものであるか否かを
判断する。５Ａ３０３はメツセージを発生したプロセサ
の番号（発生源アドレス）であり、Ｃ３０４は伝導上必
要となる通番である。データＤ３０６は、本メツセージ
により転送されるべき情報を格納するりエアであり、Ｆ
ｅ２３０７は誤り検知用のデータである。また、ＥＮ３
０５は、処理レベルの通番であり、イベント番号を呼ぶ
、イベント番号はプロセサ番号エリアＰＮ３０５１１及
びメツセージ発生通番エリアＭＮ３０５１２とから成る
。なお、本エリアには前もって定められた個数のプロセ
サ番号とメツセージ番号通番の対を格納できるだけのエ
リアがとられている。

第１図（ａ）はプロセサ１０の内部構成を示す図である
。なお、プロセサ２０．３０・・・・・・も同じ構成で
ある。伝送制御ユニット１０１は、プロセサ１０とネッ
トワーク１間でのデータ転送を行うためのユニットであ
る。また、この伝送制御ユニット１０１内には、トラン
シーバ１５とプロセサ１０間の回線１０１０の障害をメ
ツセージ送受信時に検出するテストユニット１０１１が
組み込まれている。伝送制御ユニット１０１は、ネット
ワークより受信したメツセージのうち、自らに必要なメ
ツセージを内容コードテーブル１０８に基づき選択し受
信バッファ１０２に格納する。また。

送信バッファ１０４内のメツセージをネットワークに送
出すると同時に、そのメツセージが自プロセサ内アプリ
ケーションプログラムで必要とする場合は、受信バッフ
ァ１０２にも格納する。処理ユニット１０３は、受信バ
ッファ１０２内のメツセージを入出力データ格納エリア
１０５内に格納するとともに、この入出力データ格納エ
リア１０５内のデータにより実行可能となったプログラ
ムを実行する。プログラム実行エリア１０６は、ディス
ク１０２内よりプログラムをローディングし実行するた
めのエリアである。また、本システムでは、プログラム
を多重化し複数のプロセサに配置し、各プロセサで非同
期に実行することを可能としており、この場合、同一内
容をもつ複数のメツセージ（すなわち、多重化されたプ
ログラムからの出力メッセージ：以後多重メツセージと
呼ぶ）ガネットワーク上を流れることになる。処理ユ二
ット１０３は、これら多重メツセージを受信メツセージ
内のイベント番号ＥＮ（第２図（ｂ）３０５）に基づき
識別し、それらのうちから一つを選択する機能をもつ。

ディスク制御ユニット１０７゜端末制御ユニット１１４
は、それぞれ、ディスク１２とプロセサ１０．端末１１
とプロセサ１０間でのデータ転送を行うためのユニット
である。端末処理ユニツｌ−１１３は、端末１１からの
入力データを端末制御ユニット１１４を介して取り込み
、ネットワーク上を流れるメツセージのフォーマットに
変換した後、送信バッファ１０４に格納する。

送信バッファに格納されたこのメツセージは伝送制御ユ
ニットによりネットワークに送出されるとともに、この
メツセージ用いるプログラムが自内に存在する場合は、
受信バッファ１０２に格納される。また、入出力データ
格納エリア内の端末出力データを端末に出力する。ネッ
トワーク接続フラグ１０９は、自プロセサがイ也プロセ
サとネットワークを介して互いにメツセージ交換を行え
るか否かを示すフラグであり、ネットワーク障害フラグ
１１０は、ネットワーク１上に障害が発生しているか否
かを示すフラグであり、回線障害フラグ１１５はネット
ワークとプロセサ間の回線に障害が発生しているか否か
を示すフラグである。なお、このフラグ１１０，１１５
はプロセサ立ち上げ時は障害検知状態がセットされてい
るものとする。

また、テストユニット１０１１はネットワークとの送受
信時にプロセサとネットワーク間の回線異常を検出する
とフラグ１１５に障害状態をセットする。逆に障害回復
を検出するとフラグ１１５をリセットする。自プロセサ
番号格納エリア１１１は、自プロセサにユニークに割り
当てられた番号を格納するエリアであり、通番エリア１
１２は、端末処理ユニット１１３が送信バッファに格納
するメツセージにつける通番を格納しておくエリアであ
る。また、プロセサ１０に接続されているディスク１２
内には、自プロセサで実行するアプリケーションプログ
ラム１０００．２０００・・・・・・及びこれらアプリ
ケーションプログラムが用いるファイル１５００．２５
００・・・・・・が格納されている。

また、これら各プログラム、ファイルごとに、多重化さ
れたものであるか否が、すなわち、システム内に同一プ
ログラム、ファイルが存在するか否か、また、存在する
場合には、それらに関する情報を格納しておくための多
重情報テーブル（プログラム＝１００１，２００１・・
・・・・、ファイル：１５０１．２５０１．・・・・・
・）も格納されている。

次に、この多重情報テーブルの内容を第１図（ｂ）に示
す。多重情報テーブルは、システム内に存在する同一プ
ログラム又は、ファイルの数を示すエリア１００１１、
及び、多重プログラム、又は。

ファイルが格納されているプロセサのプロセサ番号で格
納するエリア１００１２より構成される。

次に、入出力データ格納エリア１０５の内容を第１図（
ｃ）に示す。エリア１行目１０５１は。

アプリケーションプログラム１０００に対する入出力デ
ータ格納エリアである。１０５１１には入力データが、
１０５１２には出力データが格納される。プログラムエ
リア１０５１３には、１０５１１に格納された入力デー
タを用いて処理を実行するプログラム（すなわち、１０
００）を示すエリアである。ファイルエリア１０５１４
は１０５１３に示されているプログラムがアクセスする
ファイルを示すエリアである。エリア１０５１３゜１０
５１４の内容はあらかじめ設定されているものとする。

フラグエリア１０５１５は、１０５１３に示されている
プログラムの実行可否を示すフラグである。２行目１０
５２はアプリケーションプログラム２０００の入出力デ
ータを格納するエリアである。以下、同様に各アプリケ
ーションプログラムごとに入出力データを格納するエリ
アがとらえられる。なお、端末に出力されるデータの場
合は、プログラムエリア１０５１３に端末処理ユニット
を示す情報が設定される。第１図（ｄ）は入力データ格
納エリア１０５１１のフォーマットを示す図である。エ
リア１０５１１１には入力データの内容コードがあらか
じめ設定されている。

エリア１０５１１２は入力データが格納されているか否
かを示すフラグのためのエリアであり、エリア１０５１
１３はイベント番号を格納するためのエリア、エリア１
０５１１４は、ネットワークより受信したメツセージ内
のデータ部内容を格納するためのエリアである。アプリ
ケーションプログラムが複数の入力データを用いる場合
は、上記各エリア１０５１１１〜１０５１１４が各入力
データごとにとらえる。なお、出力データ格納エリアも
同一フォーマットである。

次に、各プロセサにおける多重メツセージの処理方式に
ついて簡単に示す、なお、以下に示す多重メツセージ処
理方式については、例えば、特願昭６１−１７３６４２
号明細書に詳しく示されている。

（１）端末処理ユニット１１３ 端末より入力されたデータにより、第２図（ｂ）に示し
たフォーマットのメツセージを生成する。

この際、メツセージ内イベント番号エリアのＰＮ部（第
２図（ｂ）３０５１１）に自プロセサ番号格納エリア（
第１図（ａ）１１１）内容を、ＭＮ部（第２図（ｂ）３
０５１２）に通番エリア内容（第１図（ａ）１１２）を
設定する。また、通番エリア内容を１増加させる。

（２）処理ユニット１０３ （ｉ）イベント番号中継 プログラム実行エリア（第１図（ａ）１０６）内で実行
されているアプリケーションプログラムが出力するデー
タから第２図（ｂ）に示したフォーマットのメツセージ
を生成する。この際、メツセージ内イベント番号エリア
に、そのプログラムの入力メツセージ内のイベント番号
エリア内容をコピーする。

（ｎ）多重メツセージ識別 処理ユニット１０３は、ネットワークより受信したメツ
セージのうちから、同一内容コード及び同一イベント番
号をもつメツセージ（すなわち、多重メツセージ）を識
別し、これらのうちから１つのメツセージを選択する。

第３図は、第２図で示したシステｔ１構成において、ネ
ットワーク障害が発生した場合にファイル間で不整合が
発生する場合の一例で示したものである。第３図（ａ）
は、障害が発生していない場合の状態を示したものであ
る。プロセサ１Ｏ２２０で同一のアプリケージ滋ンプロ
グラムＰ工を実行しており、これら各プログラムはそれ
ぞれ自プロセサディスク内のファイルＦ工をアクセスし
ている。また、プロセサ１０．２０内の両プログラムと
もプロセサ１０に接続されている端末１１とデータ交換
を行っている。ここで、プロセサ１０には、自内プログ
ラムからの端末１１への出力データのみでなく、プロセ
サ２０からの端末１１への出力データもネットワークよ
り到達するが、これらのデータは前述した多重メツセー
ジ処理方式により１つの選択され端末１１に出力される
。

第３図（ｂ）、（０）はそれぞれ、ネットワーク障害、
プロセサ１０とネットワーク間回線障害が発生した場合
を示す、いずれの場合も、従来方式ではプロセサ１０は
自内のみで処理を続行してしまうため、プロセサ１０の
ファイルＦ８とプロセサ２０のファイルＦ２の間に不整
合が発生する。

以下、本発明方式を第４図以降を用いて詳細に説明する
。

第４図は、各プロセサの立ち上げ時の処理を示すフロー
である。処理ユニット（第１図（ａ）１０３）は自プロ
セサ立ち上げ時、ます、入出力データ格納エリアのプロ
グラム部（第１図（Ｃ）１０５１３）、ファイル部（第
１図（ｃ）１０５１４）より、自内のアプリケーション
プログラム及び、それらがアクセスファイルを示す情報
をデータ部（第２図（ｂ）３０６）にもつメツセージを
作成しく処理４０１）、送信バッファに格納（処理４０
２）した後、前もって設定された時間Ｔ、のタイマをセ
ットする（処理４０３）。本メツセージには、立ち上げ
情報であることを示す内容コードがつけられている。本
メツセージは伝送制御ユニットによりネットワークに送
出される。

第５図は、ネットワークよりメツセージ受信時の処理ユ
ニット１０３の処理フローを示す図である。処理ユニッ
トはまず、受信バッファ（第１図（ａ）１０２）より自
内にメツセージを取り込み、その内容コードを判定する
（処理５０１）。この内容コードが、第４図で示したプ
ロセサ立ち上げ時のメツセージの内容コードである場合
は、そのデータ部に示されているファイルと同一ファイ
ルが自内に存在するか否かを判定する（処理５０４）。

自内に存在しない場合はデータ部内に受信メツセージの
発生源プロセサ番号をセットした確認応答メツセージを
生成し、送信バッファにセットする（処理５０７））。

存在する場合は、そのファイルに対応する自ディスク内
の多重情報テーブル（第１図（ａ）１５０１，２５０１
．＝ｉのＮ。

部（第１図（ｂ）１００１１）を１増加させるとトモニ
、ＰＨ１部（第１図（ｂ）１００１２）　に、受信メツ
セージ内ＳＡ部の内容（すなわち、発生源プロセサ番号
）を登録する（処理５０５）。次に、ファイル応答メツ
セージを生成し送信バッファにセットする（処理５０６
）、ここで、ファイル応答メツセージとは、データ部に
、受信した立ち上げ時メツセージの発生源プロセサ番号
と、処理５０５で検出した自内同−フアイルの情報をも
つメツセージのことである。

次に、第４図の示した立ち上げ情報メツセージを送出し
たプロセサの立ち上げ情報メツセージ送出後の処理につ
いて、同じく、第５図を用いて説明する。立ち上げプロ
セサは、システム内に同一ファイルをプロセサが存在す
る場合は、上述したファイル応答情報をネットワークよ
り受（ｉする。

このときの処理を以下に示す。まず、処理ユニットは、
受信バッファ内のメツセージを自内にとりこみ、その内
容コードを判定する（処理５０１）。

内容コードが、ファイル応答メツセージであることを示
すものである場合、まず、そのメツセージのデータ部内
に自プロセサ番号が設定されているか否かを判定する（
処理５０８）。自プロセサ番号が設定されていない場合
はそのまま処理を終了する。自プロセサ番号が設定され
ている場合は、メツセージ内データ部に設定されている
ファイルと同一の自ディスク内のファイルに対応する多
重情報テーブルを更新する（処理５０９）（更新方法は
処理５０５と同一）。

次に、第４図４０３でセットしたタイマがＴ１経過によ
りタイムアウトとなった場合の処理を以下に示す。この
場合、処理ユニットは第１図（ａ）に示したネットワー
ク障害フラグ１１０及び＠線障害フラグ１１５をチエツ
クし、両方とも障害状態がセットされていなければ、そ
のまま処理を続行する。逆に、どちらか、あるいは両方
の障害状態が設定されている場合は、そこで処理を中断
し、自プロセサに接続されている端末に自プロセサが孤
立状態にあることを表示し、処理継続の可否をオペレー
タに問う。

次に、確認応答メツセージ受信時の処理ユニットの処理
について同じく第５図を用いて示す。受信メツセージの
内容コードが確認応答メツセージを示すものである場合
（処理５０１）は、第１図（ａ）１１０のネットワーク
障害フラグをリセット（すなわち、無障害状態を示す）
する（処理５１１）。

次に、各プロセサにおけるネットワーク障害発生検出方
法を以下の２ケースに分けて示す。

（１）自プロセサ接続端末からのプログラム実行時（第
３図プロセサ１０） （ｉ）他プロセサからの端末出力メツセージを受信しな
いことにより障害を検出する、（ｎ）回線障害フラグ（
第１図（ａ）１．１５）がセットされたことにより、自
プロセサとネットワーク間の回線障害を検出する。

（２）ネットワークデータによるプログラム実行時 （ｉ）端末からのデータ読み込み時に、端末からの応答
無しにより障害を検出する。

（ｉｉ）上述した（ｉ）−（ｉｉ）と同様にして回線障
害を検出する。

上記で（１）−（ｉ）で障害を検出したプロセサは、デ
ータ部に自プロセサ番号を設定した確認メツセージを出
力する。この処理を第６図に示す。

まず、ネットワーク障害フラグ（第１図（ａ）１１０）
を障害状態に設定（処１！ｉ！６０１）した後、現在ア
クセスファイルのうち、多重情報テーブル内ＮＯ（第１
図（ｂ）１０１１１）の値が２以−Ｆのファイルの更新
を抑止する（処理６０２）。吹に確認メツセージを生成
し、送信バッファに設定することによりネットワークに
送出しく処理６０３）、前もって設定された時間Ｔ２の
タイマセットする（処理６ｏ４）。この確認データを受
信した各プロセサは第５図の処理５０２により確認応答
メツセージ（処理５０７と同一）をネットワークに送出
する。ネットワークより、この確認応答メツセージを受
信した上記障害検出プロセサは。

第５図の処理５１１を行い、ネットワーク障害フラグを
リセットする。次に、第６図の処理６０４でセットした
タイマのタイムアウトを検出した上記障害検出プロセサ
は、自内ネットワーク障害フラグをチエツクし、フラグ
がリセットされていればファイル更新抑止を解除し、そ
のまま処理で続行する。リセットされていない場合は第
７図処理を行う。

また、（１）　−（ｉｉ）で自プロセサとネットワーク
間の回線の障害を検出したプロセサも、山内多重ファイ
ル更新を抑止状態とした後、第７図処理を行う。まず、
抑止状態となっているファイルをアクセスするアプリケ
ーションプログラムを、入出力データ格納エリアのプロ
グラム部（第１図（ｃ）１０５１３）、ファイル部（第
１図（ｃ）１０５１４）の情報により検出しく処理７０
１）検出したプログラムが実行中である場合は（処理７
０２）、ファイル内容をユーザプログラムＵＰ実行前に
回復する（処理７０４）。次々検出したプログラムに対
応する入出力データ格納エリアのフラグエリア１０５１
５に実行不可をセットする（処理７０３）。

以上の処理により、ネットワーク障害によりシステム内
で孤立状態となったプロセサは、多重化されているファ
イル、すなわち、他プロセサに同一内容のファイルが存
在するファイルに関しては、自プロセサ内のみで勝手に
更新してしまうことがなくなる。このため、ネットワー
ク障害を回復して、孤立したプロセサをネットワークに
復帰させる際は、−旦、システムを止め、復帰プロセサ
内の多重化ファイルに対してはシステム内の同一内容フ
ァイルをコピーするのみでファイル回復が可能となる。

また、この、ファイル回復をシステムを止めることな（
自動的に行うことも可能である。これは、孤立プロセサ
に、孤立状態解消を検出し、解消検出時に、第４図で示
した立ち上げ情報メツセージを発生することにより達成
される。ここで、立ち上げ情報メツセージは次のタイミ
ングで発生する。

■ネットワーク障害フラグセラト時：ネットワークより
メツセージ受信時 ■回線障害フラグセット時：テストユニット（第１図（
ａ）ｌｏｒｔ）により回線障害回復検出時 立ち上げ情報メツセージを受信した各プロセサは第５図
処理５０６の後に、立ち上げ情報メツセージ内のファイ
ルと同一の自内ファイルの内容をネットワークに送出す
る（ファイルコピーメツセージ）、一方、立ち上げ情報
メツセージを発生したプロセサは、ネットワークよりフ
ァイルコピーメツセージを受信するとそれを自ディスク
内に格納する。また、ネットワーク障害回復検出からフ
ァイルコピーメツセージ受信までに、ネットワークから
受信したファイル更新メツセージを自内バッファにバッ
ファリングしておき、このバッファリングメツセージと
、ファイルコピーメツセージに基づき自内ファイル内容
を回復する。なお、この障害回復検出後のファイル回復
方式については、例えば特開昭６２−１０２３４２号公
報に詳細に示されている。

［発明の効果］ 本発明によれば、分散処理システムにおいて、ネットワ
ークから孤立したプロセサが、他プロセサ内ファイルと
関連する自内ファイルを自プロセサ内のみでローカルに
更新してしまうことがなくなるため、ファイル間での整
合性を保証することが容易になる。また、孤立したプロ
セサがシステムに復帰する場合、このプロセサ内のファ
イル回列をオンラインで自動的に行うことが可能となる
。

【図面の簡単な説明】

第１図は、プロセサ内構成を示す図、第２図はシステム
全体構成を示す図、第３図はシステム運用状態を示す図
、第４図〜第７図は本発明方式の処理フローを示す図で
ある。 ＣＣ・・・内容コード ＥＮ・・・イベント番号 Ｄ　ａｔａ・・・データ部 第７目 Ｃｂ） （ｃ） Ｃｄ） 第２目 （ＩＬ） υ） （Ａ） 茅／；を目 第乙目

Claims (1)

1. 【特許請求の範囲】 １、複数のプロセサをネットワークで統合した分散処理
   システムにおいて、各プロセサが、自らがシステムから
   孤立した状態であるか否かを検出することで特徴とする
   分散処理方式。 ２、各プロセサが、自内フィルムが他プロセサ内ファイ
   ルと関連するものであるか否かを検出することを特徴と
   する請求項１記載の分散処理方式。 ３、各プロセサは、自らがシステムから孤立したことを
   検出した時に、自内のプログラムの実行の可否を判定す
   ることを特徴とする請求項１記載の分散処理方式。 ４、各プロセサは、自らが、孤立状態から回復したこと
   を検出することを特徴とする請求項３記載の分散処理方
   式。