JPH02113362A

JPH02113362A - 分散処理システム

Info

Publication number: JPH02113362A
Application number: JP63267581A
Authority: JP
Inventors: Shigeki Yamada; 茂樹山田; Tatsuro Murakami; 村上　龍郎; Nobuo Araki; 荒木　伸夫
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1988-10-24
Filing date: 1988-10-24
Publication date: 1990-04-25

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、分散処理システムに関し、特に通信網や大規
模コンピュータネットワーク等の各種の通信媒体が混在
する大規模システムに適した柔軟性のある高効率の分散
処理システムに関するものである。

〔従来の技術〕

分散処理システムは、一般に、地理的に離れた複数の計
算機（以後、プロセッサシステムあるいは処理ノードと
呼ぶ）を通信回線で結合し、これらの処理ノードにそれ
ぞれ処理を分担させることにより、全体として所望の機
能を達成するための処理システムである。さらに、広義
の分散処理システムとしては、複数のプロセッサを用い
たマルチプロセッサシステム（あるいは、コンピュータ
コンプレックス）も含まれ、この場合には、各プロセッ
サに同種の仕事を分担させる負荷分散処理方式と、各プ
ロセッサにそれぞれ別個の仕事を分担させる機能分散処
理方式とがある。

近年は、マイクロプロセッサを始めとして各種ハードウ
ェアのコスト低下や、各種システム間の接続を簡単化す
るためのＯ８Ｉ技術（解放型システム間相互接続の技術
）の標準化等を背景にして、各種の分散処理システムが
構築されている。

これらの分散処理システムを実現する方法としては、プ
ログラムを複数の並列実行可能なプロセスに分割して、
それらのプロセス間で通信が必要になった場合には、メ
ツセージと呼ばれる論理情報を交信し合って処理を進め
るメツセージ結合型処理方式が多く用いられている。メ
ツセージ結合型処理方式の利点は、各プロセス間のイン
タフェースをメツセージという論理的な情報のみに制限
することによって、各プロセスの切れがよくなって、モ
ジュール性が高めら九ることであり、その結果、処理が
分散し易くなるという点である。

オブジェクト指向プログラムでは、一般にプロセスをオ
ブジェクトと呼び、メツセージ通信をメツセージパッシ
ングと呼ぶ。

第２図は、従来の分散処理システムの構成例を示す図で
ある。

第２図において、１，２，３は処理ノードであり、それ
らを結合する４、５．６は各処理ノード相互間を結合す
るための通信回線である。各処理ノード１，２．３は、
それぞれＣＰＵ１ａ、２ａ。

３ａとメインメモリｌｂ、２ｂ、３ｂとデータリンクコ
ントローラｌｃ、２ｃ、３ｃとから構成される。これら
のうち、メインメモリｌｂ、２ｂ。

３ｂはオブジェクトやメツセージを記憶し、データリン
クコントローラｌｃ、２ｃ、３ｃは通信回線４，５．６
を経由してメツセージの送受信を行う。

いま、この分散処理システムにおいて、処理ノード１の
メインメモリ１ｂに記憶されているオブジェクトＪ１が
ＣＰＵＩ　ａで実行された後、処理ノード２のメインメ
モリ２ｂに記憶されているオブジェクトＪ２に対してメ
ツセージｍ１を送信する場合を考えてみる。

ＣＰＵ１ａでは、オペレーティングシステム（Ｏ８）に
処理を切り替えて、メツセージｍ１の受信先である受信
オブジェクトＪ２が処理ノード２に存在することを識別
しくノード識別）、データリンクコントローラ１ｃにお
ける処理ノード２に接続された通信回線４を選択してこ
れを起動し、この通信回線４を介してメツセージｍ１を
送出する。

処理ノード２では、通信回線４を介して送られてきたメ
ツセージｍ１をデータリンクコントローラ２ｃで受信し
て、これをメインメモリ２ｂに格納する。ＣＰＵ２ａの
Ｏ８は、このメツセージｍ１が受信オブジェクトｊ２に
対して実行できる状態にあるか否かを判定し、実行でき
る状態にあれば。

実行レディキューに登録して、ＣＰＵリソースが割り当
てられる順番を待つ。また、まだ実行できない状態にあ
れば、実行ベンディングキューに登録し、実行可能にな
るまで待ち合わせる。

なお、ここで、メツセージが実行できない状態とは、メ
ツセージを受信するオブジェクトが例えば下記（ｉ）（
ｉｉ）のような状態にあることを言う。

すなわち、（ｉ）他のメツセージにより当該オブジェク
トが実行されている状態・・・・・この場合には、それ
が終了するまで次のメツセージを実行することはできな
い。（ｉｉ）当該オブジェクトが、返答メツセージの返
送されるのを待機している状態・・・・・・この場合に
は、返答メツセージが返送されて、その処理が完了する
までは、当該オブジェクト宛の他のメツセージは実行す
ることができない。

なお、従来のメツセージ管理ソフトウェアの一例として
は、甲斐他「実時間システム用並列オブジェクト実行モ
デルの考察ｊ電子通信学会交換研究会５Ｅ８６−１１１
、ｐｐ、６７〜７２．１９８６に記載されたものがある
。また、プロセス間でメツセージ通信を行うことにより
、多数のプロセスを並列的に実行するシステムにおいて
、メツセージの実行管理を高速に効率よく行うメツセー
ジパッシング管理方式については、本発明者が提案した
特願昭６３−８００４７号明細書および図面を参照され
たい。

〔発明が溶洗しようとする課題〕

上述のような分散処理システムにおいては、下記（ａ）
（ｂ）のような課題が生じる。

（ａ）上記メッセ・−ジの転送に伴う各種の処理（例え
ば、ノード識別、メツセージ転送のための通信回線の起
動、メツセージの送受信制御（リンクプロトコル制御）
メツセージの実行可否判断処理等）は全てソフトウェア
により実行されるため、処理ノード間で処理を分散して
も、ＣＰＵのオーバヘッドが大きくなり、システム全体
としての処理能力は向上できない。

（ｂ）従来のメツセージパッシングでは、送信側が受信
側に合わせてアプリケーションプログラムを作成してい
たため、処理が複雑となり、また別の処理ノードに移す
ときには、アプリケーションプログラムを変更する必要
があるため、柔軟性を欠いていた。すなわち、従来の分
散処理システムでは、メツセージパッシングは物理的、
時間的に遠隔地にある処理ノード間の通信にのみ使用し
ており、同一処理ノード内にあるオブジェクト間の通信
ではメツセージパッシング以外の通信方法を使用してい
た。例えば、送信／受信オブジェクトが同一の処理ノー
ドにある場合には、メツセージパッシング方式ではなく
、共有メモリを設けて、この共有メモリに対して送信側
／受信側オブジェクトがメモリライト／リードを行うこ
とにより（共有メモリ方式）、簡単な通信を行っていた
。このように、受信先オブジェクトが物理的、時間的に
近距離にあるか、遠距離にあるかに応じて異なる通信方
法を用いるため、受信側が必要とする通信方法を送信側
が十分に意識してアプリケーションプログラムを作成し
ており、従って複雑な処理が必要である。さらに、ある
オブジェクトを他の処理ノードに移し替えたい場合には
、そのオブジェクトに送信する全てのオブジェクトのア
プリケーションプログラムを変更する必要があるため、
著しく柔軟性を欠いていた。また、オブジェクト指向プ
ログラムでは、多数のメツセージを交信するため、メツ
セージを受信して、これをＣＰＵに実行させるまでのメ
ツセージスケジュールリングが複雑であり、かつＣＰＵ
の実行時のオーバヘッドが大きくなるという問題があっ
た。

本発明の目的は、これら従来の課題を解決し、目的や用
途により異なる動作をさせることができ、極めて柔軟性
と汎用性が高く、高性能なモジュールを備えた分散処理
システムを提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本発明の分散処理システムは
、複数のオブジェクト間でメツセージを交信して処理を
進めるメツセージ結合型プログラムを、複数の処理ノー
ドで分散実行する分散処理システムにおいて、各処理ノ
ードに、該処理ノード間のメツセージを物理転送するメ
ツセージ転送手段と、自処理ノード内のオブジェクト宛
に非同期で送られてきた複数のメツセージの実行スケジ
ューリングをそれぞれ管理するメツセージスケジューリ
ング手段と、各メツセージで指示された内容に従ってオ
ブジェクトを実行するオブジェクト実行手段とを設け、
メツセージ送信側の処理ノードが上記メツセージ転送手
段からメツセージを送出すると、該メツセージを受信す
る側の処理ノードは、上記メツセージ転送手段で該メツ
セージを受信し、該メツセージのスケジューリング情報
を受信側の上記メツセージスケジューリング手段に登録
し、該メツセージスケジューリング手段は複数の受信メ
ツセージのうち優先度の高いものから順次、受信側の上
記オブジェクト実行手段に通知することにより、該オブ
ジェクト実行手段が処理を実行することに特徴がある。

また、上記送信側処理ノードから受信側処理ノードに送
られるメツセージが、返答メツセージを必要とする型で
ある場合、予め送信側メツセージスケジューリング手段
に返答メツセージのスケジューリング情報を登録してお
き、受信側処理ノードから送信側処理ノードに返答メツ
セージが返送された時、送信側メツセージ転送手段から
送信側メツセージスケジューリング手段にこのことを通
知することにより。

送信側メツセージスケジューリング手段は上記返答メツ
セージを識別して、送信側オブジェクト実行手段に通知
し、それにより該オブジェクト実行手段が該返答メツセ
ージに対する処理を実行することにも特徴がある。

〔作　　用〕

本発明においては、第１に、分散処理システムのオブジ
ェクト間の全ての通信をメツセージパッシングという１
種類の形式に統一する。第２に、各処理ノードごとに専
用のメツセージスケジューリング手段を設けて、その処
理ノードに到来した全てのメツセージの実行スケジュー
リング管理を分担させる。第３に、各処理ノードごとに
、メツセージの物理転送媒体に合わせてメツセージの物
理転送を行う専用のメツセージ転送手段を設ける。

これらの３つの特徴を備えることにより、送受信オブジ
ェクトが互いに同一の処理ノード内にあるか、あるいは
処理ノード間にまたがっているか、に関係なく、またメ
ツセージの物理媒体が何であるか（ＬＡＮ、プロセッサ
バス、あるいは通信回線等）に関係なく、これらをアプ
リケーションプログラムに全く意識させないで分散処理
システムを構成することができる。さらに、オブジェク
ト指向によるＣＰＵのオーバヘッドを軽減することによ
り、高性能な分散処理システムを実現する。

〔実施例〕

以下１本発明の実施例を、図面により詳細に説明する。

第１図は、本発明の一実施例を示す分散処理システムの
構成図である。

第１図において、１０，２０．３０はそれぞれ処理ノー
ドであって、第２図の処理ノード１，２゜３と異なる点
は、データリンクコントローラの代りにメツセージパッ
シング処理装置１３，２３゜３３を設けていることであ
り、その内部にメツセージ転送ユニット（ＭＴＵ）１６
，２６．３６を設けて、互いに通信回線で各処理ノード
１０，２０゜３０を結合している。その他に、メツセー
ジスケジューリングユニット（ＭＳＵ）１５，２５．３
５も内蔵されている。

すなわち、各処理ノード１０，２０，３０は、ＣＰＵＩ
Ｉ、２１，３１と、メインメモリ１２゜２２．３２と、
メツセージパッシング処理装置１３゜２３．３３と、こ
れらを接続するバス１４，２４゜３４とから構成される
。前述のように、メツセージパッシング処理袋＠１３，
２３．３３は、メツセージ結合型プログラムのメツセー
ジを各処理ノードごとに管理制御するための装置であっ
て、それぞれメツセージスケジューリングユニット（Ｍ
ＳＵ）１５，２．５．３５とメツセージ転送ユニット（
ＭＴＵ）１６，２６，３６とを含んでいる。

ＭＳＵ１５，２５．３５は、その処理ノードで受信した
メツセージの状態を管理しておき、どのメツセージを先
にＣＰＵに実行させるべきかというスケジューリングを
実行する。各処理ノードのＭＳＵ１５，２５，３５は、
その処理ノードに記憶されているオブジェクトに送られ
てきた全てのメツセージを管理する。また、ＭＴＵ１６
，２６゜３６は、ＭＳＵ１５，２５．３５と協力して、
他の処理ノードとの間でメツセージを実際に転送する（
物理転送と呼ぶ）。

第３図、第４図および第５図は、それぞれ第１図におけ
るＣＰＵとＭＳＵとＭＴＵの内部処理を示す動作フロー
チャートである。

先ず、第３図において、ＣＰＵの処理は、アプリケーシ
ョンプログラムの実行（ステップ５１〜５５）とＯ８の
実行（ステップ６０〜６８）の２つに大別される。前者
は、メツセージの到着によりオブジェクトを起動ないし
再開させ、これを処理するステップ群であり、後者は、
これらのオブジェクトを実行するための準備と、ＭＳＵ
およびＭＴＵとのインタフェース制御を行うステップ群
である。すなわち、処理要求があると、それがアプリケ
ーションプログラムの場合には、オブジェクトを実行し
くステップ５１）、送出メツセージがあるか否かを判断
しくステップ５２）、あればメツセージをメインメモリ
に設定した後（ステップ５３）、Ｏ８を呼び出しくステ
ップ５４）、Ｏ８からのリターンで最初に戻る（ステッ
プ５５）、後者のＯ８は、ＣＰＵに入力する各種の処理
要求を受は付け、処理状態に応じて次にどの処理を実行
するかを決定するためのディスパッチャ機能も備えてい
る。このディスパッチャ機能は、第３図におけるステッ
プ６０で示される。ステップ６１〜６５では、アプリケ
ーションプログラムで作成されたメツセージを受は付け
て、そのメツセージを受信する処理ノードの存在場所を
識別し、それに応じて処理を振り分けている。すなわち
、メツセージ受信オブジェクトのノードを判定しくステ
ップ６１）、自処理ノードであれば、自ＭＳＵにメツセ
ージ到着通知を行う（ステップ６２）。また、他処理ノ
ードであれば、メツセージタイプを識別しくステップ６
３）、返答要求型のときには、自ＭＳＵに返答メツセー
ジスケジューリング管理情報を登録しくステップ６４）
、ＭＴＵを起動して、メツセージ物理転送を開始する（
ステップ６５）。また、ディスパッチャ処理（ステップ
６０）において、自ＭＳＵからメツセージスケジューリ
ング管理情報を削除するか（ステップ６６）、自Ｍ　Ｓ
　Ｕから実行可メツセージを読取るか（ステップ６７）
、Ｏ８の呼び元の直後にリターンするか（ステップ６８
）が選択される。

第４図において、ＭＳＵの処理は、（イ）ＣＰＵからメ
ツセージ到着コマンドを受信した場合（ステップ１０１
〜１０４）、（ロ）ＣＰＵから返答メツセージスケジュ
ーリング管理情報登録コマンドを受信した場合（ステッ
プ１１０）、（ハ）メツセージスケジューリング管理情
報削除コマンドを受信した場合（ステップ１１１）、（
ニ）実行可メツセージ読み取りコマンドを受信した場合
（ステップ１１２）、（ホ）自ＭＴＵからメツセージ到
着通知コマンドを受信した場合（ステップ１１３〜１工
５）に分けられる。

第５図において、各ＭＴＵの処理は、（ｉ）自ＣＰＵか
らメツセージの物理転送要求があった場合に、相手ＭＴ
Ｕとの間でメツセージ物理転送を行うステップ群（ステ
ップ１２１〜１２３）と、（ｉｉ）相手ＭＴＵからメツ
セージ物理転送の要求があった場合に、そのメツセージ
を自処理ノードに取り込む処理を行うステップ群（ステ
ップ１２４〜１２６）の２つに分けられる。

第６図は、送受信オブジェクト間で処理ノードにまたが
って返答要求型メツセージを処理する場合のシーケンス
チャートであり、第７図は本発明で使用するメツセージ
の形式（フォーマット）を示す図であり、第８図は、Ｍ
ＳＵに記憶されるメツセージスケジューリング管理情報
の構成を示す図である。

第７図（ａ）に示すように、各メツセージは、メツセー
ジを送出するオブジェクトの識別番号フィールド（送信
オブジェクトＩＤ）、メツセージを受信するオブジェク
トの識別番号フィールド（受イ８オブジェクトＩＤ）、
メツセージの種類を示すメツセージタイプフィールド、
メツセージの処理の優先度を指定する優先レベルフィー
ルド、メツセージ内容フィールドより構成される。また
、第７図（ｂ）に示すように、メツセージのフォーマッ
トには、返答不要型、返答要求型、返答型の３種類があ
る。

第８図に示すように、メツセージスケジューリング管理
情報は、１つのメツセージごとに５つのフィールド（Ｉ
ｐ、ＲＰＹ、ＬＶＬ、ＳＴＴ、ＰＡ）からなり、これら
の管理情報はＭＳＵ内に記憶される。そして、新しくメ
ツセージが発生したり、あるいはメツセージの実行が完
了する度に、ＭＳＵはこれらの管理情報を更新して、実
行可能なメツセージはどれかを判定して、これを保存す
る。

次に、第６図のシーケンスチャートに従って、第３図、
第４図および第５図の処理フローを参照しながら、時刻
順序で処理の流れを説明する。

−例として、第１図の処理ノード１０にある送信オブジ
ェクトｊ１から処理ノード２ｏにある受信オブジェクト
ｊ２に返答要求型メツセージｍ１を送信する場合につい
て詳述する。

■第６図の時刻ｔｌ（メツセージの設定）送信側ＣＰＵ
ＩＩは、第３図に示すように、送信オブジェクトを実行
しくステップ５１）、送出すべきメツセージがあること
を識別して（ステップ５２）、時刻ｔ１でメツセージを
送信側のメインメモリ１２に設定する（ステップ５３）
。

■時刻ｔ２（送信側ＭＳＵへの登録）次に、Ｏ８を呼び出すと（ステップ５４）、Ｏ８はメイ
ンメモリ上のメツセージの受信オブジェクトよりフィー
ルド（第７図）を参照して、受信オブジェクトがどの処
理ノードにあるかを判定する（ステップ６１）。オブジ
ェクトの存在する処理ノードの識別方法としては、例え
ば受信オブジェクトよりの上位ビットを処理ノード番号
とする方法や、各オブジェクトＩＤとノード番号とのペ
アを変換テーブルとしてメインメモリに記憶しておき。

必要なときに、この変換テーブルを検索する方法等があ
る。ここでは、オブジェクトＩＤの上位ビットでノード
番号を識別する方法を用いる。この例では、受信オブジ
ェクトが他の処理ノード２０に存在することが識別され
たので、第７図（ｂ）のメツセージタイプを識別する（
ステップ６３）。ここでは、メツセージタイプが返答要
求型であるため、第６図の時刻ｔ２で返答メツセージス
ケジューリング管理情報登録コマンドを送信側ＭＳＵＩ
５に送る（ステップ６４）。送信１１１ＩＭＳＵ１５で
は、第４図でＣＰｔＪからの返答メツセージ管理情報登
録要求（ステップ１００）により、第８図に示す返答メ
ツセージスケジューリング管理情報を登録する（ステッ
プ１１０）。この場合、メツセージの送信オブジェクト
ＩＤと、返答メツセージをまだ受信していないという状
態表示（第８図における５ＴＴ＝０１）がＭＳＵ内に記
憶される。この送信オブジェクトＩＤは、返答メツセー
ジの宛先である受信オブジェクトＩＤと一致する。従っ
て、このオブジェクトＩＤを送信側ＭＳＵ１５に予め記
憶しておくことにより、返答メツセージが到着するまで
の間、このオブジェクト宛に来た他のメツセージを実行
させない等のメツセージスケジューリング管理を行うこ
とができる。

■ｔ３．ｔ４．ｔ５．ｔ６．ｔ７　（メツセージの物理
転送）送信側ＣＰＵｌ５では、時刻ｔ３に自ＭＴＵ（送信１１
１ＭＴＵ１６）を起動すると（ステップ６５）、ＭＴＵ
１６は第５図に示すように１時刻ｔ４から相手ＭＴＵ（
受信側ＭＴＵ２６）に対してメツセージ受信バッファ要
求の信号を送出する（ステップ１２１）。受信側ＭＴＵ
２６は、メツセージ受信バッファエリアを確保しくステ
ップ１２４）、これを第６図の時刻ｔ５で相手ＭＴＵ　
（送信側ＭＴＵ１６）に知らせる。これにより、送信側
ＭＴＵ１６は、時刻ｔ６からメツセージ物理転送を開始
する（ステップ１２２）。すなわち、送信側のメインメ
、モリ１２からメツセージを読み出し、これを順次受信
側ＭＴＵ２６に送信する。受信側ＭＴＵ２６は、第５図
に示すように、受は取ったメツセージを受信側メインメ
モリ２２に書き込んでいく　（ステップ１２５）。メツ
セージ物理転送が終了すると、送信側ＭＴＵ１６は、時
刻ｔ７で送信側ｃｐＵｌｌにメツセージ転送完了通知を
送る（ステップ１２３）。これを受けて、送信側ＣＰＵ
Ｉ　１は、第３図に示すように、Ｏ８の呼び元の直後に
リターンして（ステップ６８）、ステップ５５に復帰し
、引続き残りの仕事を実行する（ステップ５１）。そし
て、返答メツセージを受信しなければ、これ以上ＣＰＵ
が処理を進めることができなくなると、Ｏ８を呼び出し
て処理を引き継ぎ（ステップ５４）、このオブジェクト
の実行を一時中断する（ステップ６０）。

■時刻ｔＳ（受信側ＭＳＵへの登録）受信側ＭＴＵ２６は、メツセージ物理転送が終了すると
、時刻ｔ８で自ＭＳＵ（受信ＭＳＵ２５）にメツセージ
スケジューリング管理情報登録コマンドを送る（ステッ
プ１２６）。これを受けると、受信ＭＳＵ２５は、第３
図に示すように、メツセージタイプの識別を行う（ステ
ップ１１３）、この場合には返送要求タイプであるため
、このメツセージのスケジューリング管理情報（第８図
）を受信ＭＳＵ２５に記憶する（ステップ１１５）。す
なわち、受信オブジェクトＩＤと、このメツセージをま
だ実行していないという状態表示（第８図に示す５ＴＴ
＝１０）をＭＳＵに記憶する。受信オブジェクトＩＤで
示されるオブジェクトが自処理ノードに存在することは
、前の処理（第３図のステップ６１）で確認しているの
で、受信オブジェクトが存在する処理ノードに、メツセ
ージが確実に届けられることになる。

■時刻ｔ９（受信側ＣＰＵからの実行可メツセージの読
み取り）時刻ｔ９で、受信側ＣＰＵ２１は、第３図に示すように
、受信側ＭＳＵ２５に実行可メツセージ読み取りコマン
ドを送ると（ステップ６７）、受信側ＭＳＵ２５は、第
４図に示すように、実行可能なメツセージをサーチし、
複数個あれば、そのうちの最優先に実行すべきメツセー
ジを識別して、それをＣＰＵ２１に通知する（ステップ
１１２）。

すなわち、返答メツセージ（ＲＰＹ＝１および５ＴＴ＝
１０）があれば、それを最優先とし、それが複数個あれ
ば、優先レベル情報（ＬＶＬ）に従って最優先のものを
選択する。返答メツセージがなければ、それ以外のタイ
プのメツセージのうち、その宛先オブジェクトで他のメ
ツセージの処理に実行していないもの（ＲＰＹ＝Ｏおよ
び５ＴＴ＝１０）を選択し、そのうち優先レベル情報（
ＬＶＬ）に従って最優先のものを選択し、それを受信側
ＣＰＵ２１に通知する。

■時刻ｔｌｏ（返答メツセージの設定）受Ｍ　鍔ＣＰ　
Ｕ　２１は、このメツセージを読み取り、第３図に示す
ように、受信オブジェクトの実行を開始する（ステップ
５１）。この場合、メツセージタイプが返答要求型であ
るため、時刻ｔｌ。

で返答メツセージを受信側メインメモリ２２に設定する
（７＞テップ５２，５３）、ここで注意すべきことは、
返答メツセージの送信オブジェクトＩＤと受信オブジェ
クトＩＤが、最初のメツセージの場合と入れ替って逆の
形になっていることである。

■時刻ｔｌｌ、ｔ１２．ｔ１３．ｔ１４．ｔ１５゜ｔ１
７（返答メツセージの物理転送）受信側ＣＰＵ２１は、メツセージをメインメモリに設定
した後（ステップ５′３）、Ｏ８を呼び出す（ステップ
５４）。○Ｓでは、受信オブジェクトが処理ノード１０
（他処理ノード）にあることを識別しくステップ６１）
、次に返答タイプであることを識別しくステップ６３）
、時刻ｔｌｌで自ＭＴＵ（受信側ＭＴＵ２６）を起動す
る（ステップ６５）。

受信側ＭＴＵ２６は、最初のメツセージの場合と全く同
じ手順でメツセージ受信バッファの確保要求を行った後
、エリア確保の返答を受け（時刻し１２、ｔ　１３）、
時刻ｔ１４で第５図に示すように、返答メツセージを受
信側メインメモリ２２から送信側（相手ＭＴＵ１６）に
物理転送する（ステップ１２１．１２２）。同じように
、相手ＭＴＵ１６でも、第５図に示すように、返答メツ
セージを送信側メインメモリ１２に書き込む（ステップ
１２４゜１２５）。このメツセージ物理転送が終了する
と、受信側ＭＴＵ２６では、時刻ｔ１５で受信側ｃｐＵ
２１にメツセージ転送完了を通知する（ステップ１２３
）。受信側ＣＰＵ２１は、第３図のステップ６８，５５
．５１を経由して、残りの仕事を実行し、送信メツセー
ジがないときには（ステップ５２）、Ｏ８を呼び出して
（ステップ５４）、仕事をＯ８に引継ぎ、時刻ｔ１７で
メツセージ実行完了コマンドを受信側ＭＳＵ２５に送っ
て（ステップ６６）、返答メツセージスケジューリング
管理情報を受信側ＭＳＵ２５から削除する。

■時刻ｔ１６（送信側ＭＳＵへの通知）一方、返答メツ
セージを受信した側のＭＴＵ（送信側ＭＴＵ１６）では
、第５図、第６図に示すように、時刻ｔ１６で送信側Ｍ
ＳＵ１５に返答メツセージの到着を通知する（ステップ
１２６）。送借倒ＭＳＵ１５では、第４図に示すように
、返答タイプであることを識別して（ステップ１１３）
。

返答メツセージに対応するスケジューリング管理情報（
第８図）を取り出して、これが実行可能となったことを
表示する（ＳＴＴ＝１０）（ステップ１１４）。

■時刻ｔ１８．ｔ１９　（送信側ＣＰＵからの実行可メ
ツセージ読み取りとメツセージスケジューリング制御情
報の削除）時刻ｔ１８で、送信側ＣＰＵＩ　１は第３図、第６図に
示すように、送信側ＭＳＵ１５に実行可メツセージ読み
取りコマンドを送ると（ステップ６７）、送信側ＭＳＵ
１５では、第４図に示すように、その返答メツセージを
選択して送信側ＣＰＵ１１に通知する（ステップ１１２
）。送信側ＣＰＵ１１では、第３図に示すように、ステ
ップ５５゜５１．５２を経由して返答メツセージに関す
る処理を実行し、ステップ５４，６０．６６を経由して
、時刻ｔ１９に、送信側Ｍ　Ｓ　Ｕ　１５からメツセー
ジスケジューリング管理情報を削除する（ステップ６６
）。

以上で、返答要求型のメツセージの分散処理の実行が完
了した。

このように、各メツセージは、受信先の処理ノードに内
蔵されたＭＳＵで一元的に管理されるので、例えば返答
型メツセージの場合には、そのメツセージのスケジュー
リング管理情報は受信側ＭＳＵに記憶されるが、返答メ
ツセージのスケジューリング管理情報は送信側ＭＳＵに
記憶される。

つまり、メツセージがどの処理ノードに存在しても、ま
たメツセージが返答要求型のような複雑な形態のもので
あっても、極めて簡単に分散処理することができる。

なお、第５図における処理のうち、ステップ１２１．１
２４では、異なる処理ノード間でメツセージ転送を行う
前に、受信バッファを確保する動作を行っているが、シ
ステムによっては、受信バッファを最初から非常に大き
く確保しているため、このようなバッファの確保の確認
・応答シーケンスを不要とする場合もある。このときに
は、ステップ１２４，１２５を省略して、いわゆる軽い
送受信プロトコルを用いることも可能である。逆に、処
理ノード間で誤り制御等を必要とする重い送受信プロト
コルを用いることもでき、このような場合には、ステッ
プ１２４，１２５の代りに、これらの誤り制御ステップ
を行わせることになる。このように、送受信プロトコル
の違いは、ＭＴＵ内の処理で全て吸収することが可能で
ある。

なお、返答不要型のメツセージの処理は、第６図のシー
ケンスのうち、時刻し１．ｔ３．ｔ４゜ｔ５．ｔ６．ｔ
７．ｔ８．ｔ９．ｔ１７のみが実行されるので、前述の
説明から該当する処理を抜き出せばよく、ここでは説明
を省略する。

第９図は、本発明の他の実施例を示す分散処理システム
のブロック図である。

第９図においては、処理ノード間が物理的に近距離にあ
り、かつ処理ノード間で高頻度にメツセージを転送する
場合に有利な構成となっている。

また、第９図の各処理ノードのＭＴＵは、２人力２出力
のパケットスイッチ（２１０〜２２１）で相互結合され
ている。各パケットスイッチ２１０〜２２１では、受信
オブジェクトＩＤをもとにして行き先を判定し１行き先
きが衝突した場合（２つの入力からの出力が同じになっ
た場合）には、片方の入力を待ち合わせる機能、つまり
自己ルーチング機能を備えている。このような構成の処
理ノード間結合は、大量なメツセージを同時に蓮ぶこと
が可能であるため、処理ノード間のトラヒックが高いシ
ステムに適用すれば、極めて効果的である。

第９図の転送方式では、第１図の場合と異なるメツセー
ジ転送手順を用いているので、この手順の違いをＭＴＵ
　２５０で吸収する必要がある。すなわち、処理ノード
２００の中のＭＴＵ２５０については、第１図のＭＴＵ
と異なるものを新たに設計する必要があるが、残りのＣ
ＰＵ、メインメモリおよびＭＳＵともに、第１図のもの
と同一の構成にすることができる第１０図は、本発明のさらに他の実施例を示す分散処理
システムの構成図である。

この方式は、処理ノード３００〜３０３間がローカルエ
リアネットワークで接続されている。

第１０図の場合には、各処理ノードが物理的に中距離で
離れており、かつ処理ノード間のメツセージ通信頻度が
比較的少ない場合に有効である。

第１０図の構成においても、第９図の場合と同じように
、ＭＴＵの部分のみを新たに設計するだけで、残りのＣ
ＰＵ、メインメモリおよびＭＳＵは、第１図のものと同
一の構成にすればよい。

その他の方式としては、各処理ノード間を共通バスで結
合した分散処理システムがあるが、やはり第９図、第１
０図と同じように、ＭＴＵの変更だけで実現することが
できる。また、第１図、第９図、第１０図等の各種の処
理ノード間結合構成を混在させた分散処理システムも考
えられる。この場合、対向する処理ノード間では同種類
のＭＴＵを使用することになる。

なお、以上の実施例では、オブジェクトを実行するＣＰ
Ｕが各処理ノードに１台のみが含まれているシステムに
ついて述べたが、負荷の量が多いときには、各処理ノー
ドにマルチプロセッサを含ませることも可能であるにのように１本発明においては、（イ）各メツセージが受
信先の処理ノードのＭＳＵで一元管理されるので、返答
要求型メツセージの場合には、そのメツセージのスケジ
ューリング管理情報が受信側ＭＳＵに記憶されるが、返
答メツセージのスケジューリング管理情報は送信側ＭＳ
Ｕに記憶される。従って、同じ宛先のメツセージは同一
のＭＳＵで一元管理されることになるため、メツセージ
がどの処理ノードに存在しても、メツセージが返答要求
型のような複雑な形態のもであっても、極めて単純に分
散処理システムを構成できる。（ロ）さらに、メツセー
ジ物理転送部（ＭＴＵ）を高価ではあるが高速転送機構
として構成することも、また低速ではあるが安価な転送
機構として構成することも可能であり、目的や用途に応
じてＭＳＵのみを変更するだけで、非常に柔軟性のある
分散処理システムを実現できる。特に、メツセージパッ
シング処理機構を、ＭＴＵとＭＳＵに分離することによ
り、システム構成を変更した場合でも、ＭＳＵとＣＰＵ
、メインメモリ、ＭＳＵとのインタフェースを全く同一
にしたままで、アプリケーションプログラムも変更せず
に、ＭＴＵのみを変更するだけでよいので、極めて経済
的となる。（ハ）また、対向するＭＴＵどうしを同種の
型のＭＴＵで構成するだけで、その他の処理ノード間の
インタフェース制限条件がないので、各種のＭＴＵが混
在した分散処理システムを実現するこζができる。従っ
て、特に通信網および大規模コンピュータネットワーク
、ＶＡＮ等の各種通信媒体が混在した大規模システムに
適用すれば、極めて有効である。

〔発明の効果〕

以上説明したように１本発明によれば、オブジェクト間
の通信を処理ノード間や処理ノード内にかかわらず、メ
ツセージの形式で統一し、各オブジェクトの存在場所や
処理ノード間のメツセージ転送機構に関係なく、アプリ
ケーションプログラムで同じように処理することができ
るので、極めて柔軟性のある分散処理システムを実現で
きる。

さらに、メツセージスケジューリング管理部を備えてい
るので、メツセージスケジューリングに関するソフトウ
ェアの負荷を減少させることができ、高性能な分散処理
システムを実現できる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す分散処理システムの構
成図、第２図は従来の分散処理システムの構成例を示す
図、第３図は第１図におけるｃｐＵの処理フローチャー
ト、第４図は第１図におけるメツセージスケジューリン
グユニット（ＭＳＵ）の処理フローチャート、第５図は
第１図におけるメツセージ転送ユニット（ＭＴＵ）の処
理フローチャート、第６図は本発明における異なるオブ
ジェクト間の返答要求型メツセージの分散処理シーケン
スチャート、第７図は本発明におけるメツセージのフィ
ールド構成を示す図、第８図はＭＳＵに記憶されるメツ
セージスケジューリング制御情報のフィールド構成を示
す図、第９図は本発明の他の実施例を示す分散処理シス
テムの構成図、第１０図は本発明のさらに他の実施例を
示す分散処理システムの構成図である。１．２，３，１０，２０，３０：処理ノード、ｌａ、２
ａ、３ａ、１１，２１，３１：ＣＰＵ、ｌｂ、２ｂ、３
ｂ、１２，２２，３２：メインメモリ、ｌｃ、２ｃ、３
ｃ：データリンクコントローラ、４，５，６　：通信回
線、１３，２３，３３　：メツセージパッシング処理装
置、１４，２４．３４　：バス、１５，２５．３５：メ
ツセージスケジューリングユニット（ＭＳＵ）、１６，
２６，３６：メツセージ転送ユニット（ＭＴＵ）、２０
０〜２０７゜３００〜３０３：処理ノード、２１０〜２
２１：パケットスイッチ、３１０：ローカルエリアネッ
トワーク。特許出願人　日本電信電話株式会社４７ぐ、。；

Claims

【特許請求の範囲】

（１）複数のオブジェクト間でメッセージを交信して処
理を進めるメッセージ結合型プログラムを、複数の処理
ノードで分散実行する分散処理システムにおいて、各処
理ノードに、該処理ノード間のメッセージを物理転送す
るメッセージ転送手段と、自処理ノード内のオブジェク
ト宛に非同期で送られてきた複数のメッセージの実行ス
ケジューリングをそれぞれ管理するメッセージスケジュ
ーリング手段と、各メッセージで指示された内容に従っ
てオブジェクトを実行するオブジェクト実行手段とを設
け、メッセージ送信側の処理ノードが上記メッセージ転
送手段からメッセージを送出すると、該メッセージを受
信する側の処理ノードは、上記メッセージ転送手段で該
メッセージを受信し、該メッセージのスケジューリング
情報を受信側の上記メッセージスケジューリング手段に
登録し、該メッセージスケジューリング手段は複数の受
信メッセージのうち優先度の高いものから順次、受信側
の上記オブジェクト実行手段に通知することにより、該
オブジェクト実行手段が処理を実行することを特徴とす
る分散処理システム。
（２）上記送信側処理ノードから受信側処理ノードに送
られるメッセージが、返答メッセージを必要とする型で
ある場合、予め送信側メッセージスケジューリング手段
に返答メッセージのスケジューリング情報を登録してお
き、受信側処理ノードから送信側処理ノードに返答メッ
セージが返送された時、送信側メッセージ転送手段から
送信側メッセージスケジューリング手段にこのことを通
知することにより、送信側メッセージスケジューリング
手段は上記返答メッセージを識別して、送信側オブジェ
クト実行手段に通知し、それにより該オブジェクト実行
手段が該返答メッセージに対する処理を実行することを
特徴とする請求項１記載の分散処理システム。