JPH09160889A - マルチプロセッサシステムの制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 機能分散型マルチプロセッサシステムにおい
て負荷バランスを最適化する。 【解決手段】 キャッシュメモリ１１９とホストコンピ
ュータ１０１、チャネル制御装置１０２との間のデータ
転送を行う同期チャネルジョブを専ら実行する機能プロ
セッサ群１０４と、キャッシュメモリ１１９とドライブ
１２０〜１２２との間のデータ転送を行う同期／非同期
コマンドジョブを専ら実行する機能プロセッサ群１１１
と、共用メモリ１１８を含む、機能分散型マルチプロセ
ッサシステムのディスク制御装置１０３において、ディ
スク制御装置１０３の構成を管理する構成管理ジョブ、
およびキャッシュメモリ１１９上の空きスペースを管理
するキャッシュ管理ジョブの実行を特定の機能プロセッ
サ群１０４または１１１のいずれにも固定せず、負荷の
低い方の機能プロセッサ群で実行させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチプロセッサ
システムの制御技術に関し、特に、ジョブ毎に当該ジョ
ブを実行する機能プロセッサ群が固定されている機能分
散型マルチプロセッサシステム等に適用して有効な技術
に関する。

【０００２】

【従来の技術】たとえば、岩波書店、１９９０年５月２
５日発行、「岩波情報科学辞典」Ｐ４３８〜Ｐ４３９、
等の文献にも記載されているように、情報処理技術の分
野では、複数のプロセッサ（処理装置）を並列に動作さ
せることで、高性能で、信頼性、拡張性等の点で優れた
情報処理システムを構築することが可能なマルチプロセ
ッサシステムが知られている。このようなマルチプロセ
ッサシステムでは、各プロセッサ間の負荷を均一に維持
することがシステムの処理効率の向上に不可欠である。

【０００３】従来の機能分散型のマルチプロセッサシス
テムにおける負荷バランス制御としては、たとえば、特
開平６−３５８７１号公報の「マルチプロセッサシステ
ム」に記載されているように、ジョブ毎に機能プロセッ
サ群を固定し、ジョブに起動要求があるとき当該ジョブ
を固定された機能プロセッサ群内のプロセッサで実行す
るときに、その機能プロセッサ群内での負荷バランスを
制御しようとする技術が知られている。

【０００４】

【発明が解決しようとする課題】上述の従来技術では、
機能プロセッサ群間の負荷バランス制御については考慮
されていない。すなわち、上記従来技術は、いずれの機
能プロセッサ群にも属さないジョブであっても実行する
機能プロセッサ群が固定されているため、当該ジョブの
起動要求があるとき固定された機能プロセッサ群内のプ
ロセッサ間で負荷バランス制御を行って当該ジョブを実
行することとなる。当該機能プロセッサ群に属するプロ
セッサの負荷が、その他の機能プロセッサ群に属するプ
ロセッサの負荷より高くても当該ジョブの起動を行わな
ければならないので、本機能プロセッサ群がシステムの
ボトルネックになる。このように上記従来技術では、シ
ステム内のプロセッサ群間の負荷分散、負荷バランスの
点について配慮されておらず、システム性能低下が懸念
される、という技術的課題があった。

【０００５】本発明の目的は、機能分散型マルチプロセ
ッサシステムにおいて、複数の機能プロセッサまたは機
能プロセッサ群の間の負荷バランスを均一化して、シス
テム全体の処理性能を向上させることが可能なマルチプ
ロセッサシステムの制御技術を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、ジョブ毎にそ
のジョブを実行する機能プロセッサまたは機能プロセッ
サ群（実行プロセッサ群）を固定させているマルチプロ
セッサシステムにおいて、いずれの機能プロセッサ群に
も属さないジョブは、機能プロセッサまたは機能プロセ
ッサ群を固定せず、任意の機能プロセッサまたは機能プ
ロセッサ群で実行させるようにしたマルチプロセッサシ
ステムである。いずれの機能プロセッサまたは機能プロ
セッサ群にも属さないジョブの実行要求があるとき、シ
ステム内の機能プロセッサまたは機能プロセッサ群の中
で負荷の低い機能プロセッサまたは機能プロセッサ群に
当該ジョブを実行させるように負荷バランスを制御す
る。

【０００７】上述の負荷バランスの制御を実現するため
には、一例として、以下に示す４つの手段を用いること
ができる。すなわち、（１）いずれの機能プロセッサ群
にも属さないジョブを、いずれの機能プロセッサ群でも
起動できる手段、（２）各機能プロセッサ群の負荷管理
を行う手段、（３）各機能プロセッサ群の負荷判定を行
い、当該ジョブを起動する負荷の低い機能プロセッサ群
を決定する手段、（４）上記（３）の手段で決定した機
能プロセッサ群で当該ジョブを起動する手段、の各手段
である。（１）の手段により、いずれの機能プロセッサ
群にも属さないジョブの起動を行う機能プロセッサ群が
分散され、更に、（２）（３）（４）の手段により、シ
ステム内の機能プロセッサ群の負荷バランスが均等化さ
れ、システム性能が向上する。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。

【０００９】図１は、本発明の一実施の形態であるマル
チプロセッサシステムの制御方法が実施されるキャッシ
ュ付きディスクサブシステムの構成の一例を示す概念図
である。図１において、ディスク制御装置１０３は、上
位側でチャネル制御装置１０２を介してホストコンピュ
ータ１０１と接続され、また下位側では、たとえば磁気
ディスク等を記録媒体として備えた記憶装置であるドラ
イブ１２０、ドライブ１２１、ドライブ１２２と接続さ
れる。ディスク制御装置１０３は、ドライブ１２０、１
２１、１２２上でホストコンピュータ１０１の要求に応
じてデータのリード、ライトを行う。ホストコンピュー
タ１０１とドライブ１２０、１２１、１２２との間のデ
ータ転送を制御するのは、ディスク制御装置１０３に内
蔵されたチャネル制御部１０５、チャネル制御部１０８
およびディスク制御部１１２、ディスク制御部１１５で
ある。

【００１０】これら制御部は内部にそれぞれプロセッサ
１０６、プロセッサ１０９、プロセッサ１１３、プロセ
ッサ１１６、およびローカルメモリ１０７、ローカルメ
モリ１１０、ローカルメモリ１１４、ローカルメモリ１
１７を持ち、制御部間の共通制御用に共用メモリ１１８
を持つ。チャネル制御部１０５、１０８は、チャネル制
御装置１０２を介してホストコンピュータ１０１からの
要求を受け付け、ホストコンピュータ１０１とキャッシ
ュメモリ１１９との間のデータ転送を行う。ディスク制
御部１１２、１１５は、キャッシュメモリ１１９とドラ
イブ１２０、１２１、１２２との間のデータ転送を行
う。チャネル制御部１０５、１０８からディスク制御部
１１２、１１５へのデータ転送の要求とディスク制御部
１１２、１１５からチャネル制御部１０５、１０８への
データ転送完了報告は、共用メモリ１１８を介して行
う。

【００１１】図２は、共用メモリ１１８上にあるテーブ
ルの構成の一例を示す概念図である。負荷情報テーブル
２０１は、プロセッサ１０６，１０９，１１３，１１６
の各々に対する負荷率２０２、負荷率２０３、負荷率２
０４、負荷率２０５が格納されている。ジョブ管理テー
ブル２０６（Ｊｏｂ Ｃｏｎｔｒｏｌ Ｂｌｏｃｋ：以
下、ＪＣＢと略記する）は各ジョブに１対１に対応し
て、当該ジョブの識別情報であるＪＣＢＩＤ２０７ａ、
ジョブの起動要求時間２０７ｂ、当該ジョブのステータ
ス２０７ｃ、当該ジョブを実行中のプロセッサを示す実
行中プロセッサ番号２０７ｄ、等の情報が格納されてい
る。レディジョブキュー２０８は、プロセッサ１０６，
１０９，１１３，１１６の各々に１対１に対応し、各プ
ロセッサに対するジョブの実行待ちキュー２０９、実行
待ちキュー２１０、実行待ちキュー２１１、実行待ちキ
ュー２１２でＪＣＢ２０６がキューイングされる。構成
情報テーブル２１３は、ディスク制御装置１０３、ドラ
イブ１２０、１２１、１２２の構成を管理するテーブル
である。

【００１２】図３は、ディスク制御装置１０３において
実行される各種ジョブの構成の一例を示す概念図であ
る。本実施の形態のディスク制御装置１０３におけるジ
ョブ構成は、ホストコンピュータ１０１とキャッシュメ
モリ１１９間のデータ転送を行う同期チャネルジョブ３
０１、同期チャネルジョブ３０１の指示でキャッシュメ
モリ１１９とドライブ１２０、１２１、１２２間のデー
タ転送を行う同期コマンドジョブ３０２、同期チャネル
ジョブ３０１の指示ではなく、キャッシュメモリ１１９
上のデータ量により起動する非同期コマンドジョブ３０
３、ディスク制御装置１０３の構成を管理する構成管理
ジョブ３０４、キャッシュメモリ１１９上の空きスペー
スを管理するキャッシュ管理ジョブ３０５がある。

【００１３】各ジョブには、前述のように、１６進数で
４桁（２バイト）のＪＣＢＩＤ２０７ａが付与されてい
る。一例として、各ジョブのＪＣＢＩＤ２０７ａは、同
期チャネルジョブ３０１には“５８００”が、同期コマ
ンドジョブ３０２には“３Ｃ００”が、非同期コマンド
ジョブ３０３には“３８００”が、構成管理ジョブ３０
４には“２５００”が、キャッシュ管理ジョブ３０５に
は“２４００”が、それぞれ付与されている。

【００１４】上述の各種ジョブの各々の処理内容につい
て説明する。

【００１５】同期チャネルジョブ３０１は、ホストコン
ピュータ１０１からの要求をチャネル制御装置１０２を
介して受け付け、リード要求のとき、要求されたデータ
がキャッシュメモリ１１９上にあるかチェックを行い、
キャッシュメモリ１１９上にあるときはキャッシュメモ
リ１１９上のデータをホストコンピュータ１０１に転送
し、当該データがないときはディスク制御部１１２、１
１５にドライブ１２０、１２１、１２２からキャッシュ
メモリ１１９への当該データのステージ（ステージ：ド
ライブ１２０、１２１、１２２からキャッシュメモリ１
１９上へ転送する操作）要求を行い、キャッシュメモリ
１１９上に当該データが転送されたら、キャッシュメモ
リ１１９上の当該データをホストコンピュータ１０１に
転送する。ライト要求のときは、ライト要求データに対
する旧データがキャッシュメモリ１１９上あるかチェッ
クを行い、キャッシュメモリ１１９上にあるときはホス
トコンピュータ１０１からキャッシュメモリ１１９上に
ライトデータを転送し、キャッシュメモリ１１９上にな
いときは、ディスク制御部１１２、１１５にドライブ１
２０、１２１、１２２からキャッシュメモリ１１９への
当該データのステージ要求を行い、キャッシュメモリ１
１９上に当該データが転送されたら、ホストコンピュー
タ１０１からキャッシュメモリ１１９上にライトデータ
を転送する。

【００１６】同期コマンドジョブ３０２は、同期チャネ
ルジョブ３０１から要求されたデータのステージング、
または要求されたデータのデステージ（デステージ：キ
ャッシュメモリ１１９からドライブ１２０、１２１、１
２２へデータ転送する操作）を実行する。

【００１７】非同期コマンドジョブ３０３は、同期チャ
ネルジョブ３０１からの要求がなくても、キャッシュメ
モリ１１９上のデータでデステージされていないデータ
があればデステージを行ったり、ホストコンピュータ１
０１から要求がありそうなデータのステージを行う。

【００１８】構成管理ジョブ３０４は、ディスク制御装
置１０３、ドライブ１２０、１２１、１２２の構成を共
用メモリ１１８上にある構成情報テーブル２１３で管理
し、構成変更が生じたとき当該テーブルの更新を行い、
各チャネル制御部１０５、１０８、およびディスク制御
部１１２、１１５へ構成変更発生を通知する。

【００１９】キャッシュ管理ジョブ３０５は、キャッシ
ュメモリ１１９上のスペース管理を行うジョブで、キャ
ッシュメモリ１１９上にあるデータで既にドライブ上へ
のライトが終了しているデータがあれば、キャッシュメ
モリ１１９上の当該データで使用していたスペースの解
放を行う。構成管理ジョブ３０４、キャッシュ管理ジョ
ブ３０５は、一定周期で起動を行う。

【００２０】本実施の形態の機能プロセッサ群について
説明する。

【００２１】同期チャネルジョブ３０１の機能を実行可
能な機能プロセッサ群１０４は、チャネル制御部１０
５、１０８内部のプロセッサ１０６、プロセッサ１０９
からなる。同期コマンドジョブ３０２、非同期コマンド
ジョブ３０３の機能を実行可能な機能プロセッサ群１１
１は、ディスク制御部１１２、１１５の内部のプロセッ
サ１１３、プロセッサ１１６からなる。構成管理ジョブ
３０４、キャッシュ管理ジョブ３０５は、機能プロセッ
サ群１０４、１１１のいずれにも属さないジョブであ
る。

【００２２】図４はローカルメモリ１０７、１１０、１
１４、１１７上にある負荷情報作成用テーブル４０１の
内容の一例を示す概念図であり、図５は負荷情報の更新
処理の一例を示すフローチャートである。負荷情報の更
新処理は、ジョブ起動前に起動時間をジョブ起動時間４
０２に設定（ステップ５０１）し、ジョブを起動する
（ステップ５０２）。ジョブ終了時に終了時間をジョブ
終了時間４０３に設定（ステップ５０３）し、ジョブ終
了時間４０３とジョブ起動時間４０２の差分のジョブ実
行時間をジョブ実行時間４０４に設定（ステップ５０
４）し、ジョブ実行積算時間４０５にジョブ実行時間４
０４を加算する（ステップ５０５）。ジョブ実行積算開
始時間４０６からＴ秒（たとえば１秒）が経過するまで
（ステップ５０６）ジョブ実行積算時間４０５の更新を
行い（ステップ５０１、５０２、５０３、５０４、５０
５）、経過すればジョブ実行積算終了時間をジョブ実行
積算終了時間４０７に設定（ステップ５０７）し、ジョ
ブ実行積算時間４０５／（ジョブ実行積算終了時間４０
７−ジョブ実行積算開始時間４０６）を負荷率として負
荷情報テーブル２０１の自プロセッサの負荷率に設定し
（ステップ５０８）、ジョブ実行積算時間４０５のクリ
ア（ステップ５０９）とジョブ実行積算開始時間４０６
の再設定（ステップ５１０）を行い、負荷情報作成処理
を続ける。

【００２３】図６および図７は、負荷バランス制御によ
る構成管理ジョブ３０４、キャッシュ管理ジョブ３０５
の起動処理の一例を示すフローチャートである。これら
のジョブは一定周期で起動するジョブで、後述の図７の
ステップ７０３でジョブ終了時に起動要求時間を自ＪＣ
Ｂ２０６の起動要求時間２０７ｂに設定する。機能プロ
セッサ群１０４、１１１のプロセッサ１０６、１０９、
１１３、１１６が、一定周期で共用メモリ１１８上のＪ
ＣＢ２０６の起動要求時間２０７ｂのチェックを行い
（ステップ６０１）、起動要求時間に達したＪＣＢ２０
６が、ＪＣＢＩＤ２０７ａの判別によって構成管理ジョ
ブ３０４、キャッシュ管理ジョブ３０５であると判明し
たとき（ステップ６０２）、負荷情報テーブル２０１よ
り一番負荷率が低いプロセッサを特定し（ステップ６０
３）、当該プロセッサに対するレディジョブキューに当
該ＪＣＢをキューイングする（ステップ６０４）。ま
た、前記ステップ６０１において、起動要求時間に達し
たジョブがない場合には、なにもしない。さらに、前記
ステップ６０２において、起動要求時間に達したＪＣＢ
２０６が実行する機能プロセッサ群が固定のジョブ（同
期チャネルジョブ３０１、同期コマンドジョブ３０２、
非同期コマンドジョブ３０３）の場合には、対応する機
能プロセッサ群に属するプロセッサ１０６，１０９また
はプロセッサ１１３，１１６のレディジョブキュー２０
８に当該ジョブをキューイングする（ステップ６０
５）。

【００２４】各プロセッサは、自プロセッサに対応する
レディジョブキューにキューイングしているＪＣＢの有
無のチェックを行い（ステップ７０１）、キューイング
ＪＣＢがあれば、当該ＪＣＢに対応するジョブを起動す
る（ステップ７０２）。当該ジョブが終了したとき、次
回起動する時間を当該ジョブに対応するＪＣＢの起動要
求時間２０７ｂに設定する（ステップ７０３）。

【００２５】以上、本実施の形態におけるディスク制御
装置１０３内の各機能プロセッサ群の動作について説明
した。このように、本実施の形態では、機能プロセッサ
群１０４と機能プロセッサ群１１１のどちらにも属さな
い構成管理ジョブ３０４とキャッシュ管理ジョブ３０５
を起動する機能プロセッサ群を負荷バランス制御により
特定し、負荷がより小さいと特定された機能プロセッサ
群で起動するので、機能プロセッサ群１０４と機能プロ
セッサ群１１１の負荷バランスを均一化することができ
る。

【００２６】すなわち、たとえば、従来技術では、これ
らのジョブを便宜的に機能プロセッサ群１０４に固定さ
せたとき、ホストコンピュータからの要求データが常に
キャッシュメモリ１１９上にあれば、機能プロセッサ群
１０４の負荷は高く、機能プロセッサ群１１１の負荷は
低いにもかかわらず、機能プロセッサ群１０４で起動し
なければならない。また、機能プロセッサ群１１１に固
定させたときは、キャッシュメモリ１１９上のデータの
デステージが大量に行われたとき、機能プロセッサ群１
１１の負荷は高く、機能プロセッサ群１０４の負荷は低
いにもかかわらず、機能プロセッサ群１１１で起動しな
ければならない。この結果、負荷のアンバランスが増大
する。

【００２７】これに対して、本実施の形態のように、負
荷の低いプロセッサ（機能プロセッサ群）を選択して当
該プロセッサ（機能プロセッサ群）で、いずれの機能プ
ロセッサ群にも固定されていない構成管理ジョブ３０４
およびキャッシュ管理ジョブ３０５を起動することによ
り、構成管理ジョブ３０４およびキャッシュ管理ジョブ
３０５の実行に伴う負荷が分散され、データ転送処理中
の各機能プロセッサ群（プロセッサ）への影響がなくな
り、機能分散型のマルチプロセッサシステムにおけるデ
ータ転送速度等のシステム性能の向上を実現できる。

【００２８】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。

【００２９】たとえば、マルチプロセッサシステムとし
ては、上述の実施の形態で例示したディスク制御装置に
限らず、マルチプロセッサ構成の一般の情報処理技術に
広く適用することができる。

【００３０】

【発明の効果】本発明のマルチプロセッサシステムの制
御方法によれば、機能分散型マルチプロセッサシステム
において、複数の機能プロセッサまたは機能プロセッサ
群の間の負荷バランスを均一化して、システム全体の処
理性能を向上させることができる、という効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムの構成の一例を示す概念図である。

【図２】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムにおいて用いられる制御情報の一例を示
す概念図である。

【図３】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムにおけるジョブ構成の一例を示す概念図
である。

【図４】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムにおいて用いられる制御情報の一例を示
す概念図である。

【図５】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムの作用の一例を示すフローチャートであ
る。

【図６】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムの作用の一例を示すフローチャートであ
る。

【図７】本発明の一実施の形態であるマルチプロセッサ
システムの制御方法が実施されるキャッシュ付きディス
クサブシステムの作用の一例を示すフローチャートであ
る。

【符号の説明】

１０１…ホストコンピュータ、１０２…チャネル制御装
置、１０３…ディスク制御装置、１０４，１１１…機能
プロセッサ群（プロセッサ群）、１０５，１０８…チャ
ネル制御部、１１２，１１５…ディスク制御部、１０
６，１０９，１１３，１１６…プロセッサ、１０７，１
１０，１１４，１１７…ローカルメモリ、１１８…共用
メモリ、１１９…キャッシュメモリ、１２０，１２１，
１２２…ドライブ、２０１…負荷情報テーブル、２０
２，２０３，２０４，２０５…負荷率、２０６…ジョブ
管理テーブル（ＪＣＢ）、２０７ａ…ＪＣＢＩＤ、２０
７ｂ…起動要求時間、２０７ｃ…ステータス、２０７ｄ
…実行中プロセッサ番号、２０８…レディジョブキュ
ー、２０９，２１０，２１１，２１２…実行待ちキュ
ー、２１３…構成情報テーブル、３０１…同期チャネル
ジョブ（第１のジョブ）、３０２…同期コマンドジョブ
（第１のジョブ）、３０３…非同期コマンドジョブ（第
１のジョブ）、３０４…構成管理ジョブ（第２のジョ
ブ）、３０５…キャッシュ管理ジョブ（第２のジョ
ブ）。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサまたはプロセッサ群
   と、複数の前記プロセッサまたはプロセッサ群の何れか
   に実行が固定された少なくとも一つの第１のジョブと、
   任意の前記プロセッサまたはプロセッサ群において実行
   可能な少なくとも一つの第２のジョブとを含むマルチプ
   ロセッサシステムの制御方法であって、 前記ジョブの起動要求が発生した時、前記第１および第
   ２のジョブのいずれであるかを識別し、前記第２のジョ
   ブの起動要求時には、負荷がより小さい前記プロセッサ
   またはプロセッサ群に前記第２のジョブの実行を割り当
   てることを特徴とするマルチプロセッサシステムの制御
   方法。