JPH10283210A

JPH10283210A - 仮想計算機システム間の仮想計算機移動制御方式

Info

Publication number: JPH10283210A
Application number: JP9082613A
Authority: JP
Inventors: Kenichi Oyamada; 健一小山田; Masaru Sato; 勝佐藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-04-01
Filing date: 1997-04-01
Publication date: 1998-10-23
Anticipated expiration: 2017-04-01
Also published as: JP3653159B2

Abstract

(57)【要約】【課題】複数の実計算機で動作する仮想計算機システ
ム間の仮想計算機の移動を可能にすることで、システム
運用の柔軟性の向上を図る。【解決手段】各仮想計算機システムで実計算機資源に
共通の論理名称を付与して管理する手段を設ける。仮想
計算機（ＶＭ）の移動元２０には、該ＶＭ構成情報と対
応する実資源の論理名称を通知する手段を設け、移動先
２２では、受信した論理名称により、同一ＶＭ構成を生
成する手段を設けることで、ＶＭ構成の移動を実現す
る。また、移動元２０には、移動ＶＭの新たな非同期動
作要求を保留して該ＶＭを停止し、該ＶＭ資源情報およ
び非同期動作保留情報を移動先に転送する手段を設け、
移動先２２には、受信した情報に従ってＶＭ動作を再開
する手段を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の実計算機で
構成される疎結合マルチプロセッサシステムの仮想計算
機システムに係り、特に、ある実計算機上の仮想計算機
システム上で稼働中のオペレーティングシステム（仮想
計算機）を、他の実計算機上の仮想計算機システムへ移
動する制御方式に関する。

【０００２】

【従来の技術】従来、図１に示すように、磁気ディスク
装置１３１や磁気テープ装置１３２などの計算機資源１
３を複数の実計算機１０，１１で共用し、実計算機１
０，１１間が情報伝達手段１２で接続されている疎結合
マルチプロセッサシステム（ＬＣＭＰ：Ｌoosely Ｃoup
led Ｍultiprocessor）で、各々の実計算機１０，１１
上で仮想計算機システムが動作するような仮想計算機シ
ステム構成において、仮想計算機システム間で仮想計算
機制御プログラム（ＶＭＣＰ：Ｖirtual ＭachineＣont
rol Ｐrogram）１０１，１１２の制御下で情報伝達手段
１２を通じて、他の実計算機内の仮想計算機システムに
接続されたコンソール１４や、スプールファイル１５な
どへの入出力を行うことは実現されている。しかし、例
えば仮想計算機システム１０（実計算機１０）上に仮想
計算機（ＶＭ：Ｖirtual Ｍachine)１０２，１０３など
を一旦生成すると、そのＶＭは生成した仮想計算機シス
テム内で固定され、すなわち、ＶＭ１０２，１０３が実
計算機１０に固定され、他の仮想計算機システム（実計
算機１１）の例えばＶＭ１１３へ移動することができな
かった。このため、稼働や運用上、次のような制約があ
った。

【０００３】(１) 稼働ＶＭ数の増加や、ＶＭ上のオペ
レーティングシステム（ＯＳ）での主記憶装置、拡張記
憶装置、命令プロセッサ（ＩＰ）、または入出力チャネ
ルなどの計算機資源の使用率増加により、ＬＣＭＰ内の
特定の実計算機に負荷が集中してＶＭ上のＯＳが十分な
サービスを受けられない状態で、他の実計算機では計算
機資源の使用率が低い場合でも、ＶＭが実計算機に固定
されているため、計算機資源の使用率が低い他の実計算
機資源を利用することはできない。

【０００４】(２) 実計算機ハードウェアの保守等を目
的として、ある実計算機を計画停止させる場合も、ＶＭ
が実計算機に固定されているため、停止させる実計算機
のＶＭ上のＯＳの運用も停止しなければならない。

【０００５】(３) 上記(１)、(２)の何れの場合も、他
の実計算機の計算機資源を利用するには、ＯＳの運用を
一旦停止して、他の実計算機にＶＭを生成してＯＳを再
起動しなければならない。

【０００６】

【発明が解決しようとする課題】従来技術では、一度生
成したＶＭを、ＯＳ稼働中に他の実計算機で動作する仮
想計算機システム上のＶＭに移動することはできなかっ
た。ＶＭ上のＯＳが動作中に、他の実計算機で動作する
仮想計算機システム上のＶＭに移動してＯＳの動作を継
続するためには、以下の課題がある。

【０００７】(１) 第１の課題は、移動元のＶＭ構成と
移動先のＶＭ構成に関するものである。ＯＳでは、ＯＳ
の起動時にハードウェア構成を認識して、その構成情報
を主記憶内に取り込み、管理している。そのため、ＶＭ
の実計算機間移動により、例えば図１でＶＭ１０３をＶ
Ｍ１１３に移動させる場合、移動元ＶＭ１０３と移動先
ＶＭ１１３において、ＶＭの主記憶サイズ、ＶＭの拡張
記憶サイズ、ＩＰ台数、及び入出力構成に違いがある
と、移動元ＯＳ１０５が主記憶内に管理していたＶＭ上
のハードウェア構成と、移動先ＯＳ１１５のＶＭハード
ウエア構成に違いが生じ、ＯＳ１１５の動作が保証され
ない問題がある。移動元ＶＭ１０３に割り当てられてい
たＬＣＭＰ内で共用している実計算機資源１３について
も、移動先ＶＭ１１３において同一のものを割り当てる
必要がある。

【０００８】特に入出力構成に関しては、所謂拡張チャ
ネルシステム（Ｅxtended ＣhannelＳystem：ＥＣＳ）
の場合、チャネルと入出力装置（デバイス）との接続状
態に関係なく、デバイスと１対１にサブチャネルが割り
当てられており、プログラムは、デバイスに対応するサ
ブチャネル番号と、図３に示すような動作要求ブロック
（ＯＲＢ）３０を指定して入出力起動命令（Ｓtart Ｓu
bchannel：ＳＳＣＨ）を発行する。つまり、移動元ＶＭ
１０３に割り当てられていたＬＣＭＰ内で共用している
実計算機資源１３である入出力装置１３１、１３２につ
いて、移動先ＶＭ１１３においても同一のものを割り当
てられているだけでなく、入出力装置に対応するサブチ
ャネルの並びも同一でなければならない。また、プログ
ラムからは、サブチャネル情報読み出し命令（Ｓtore
Ｓubchannel：ＳＴＳＣＨ）で、図３に示すような各サ
ブチャネルのパス管理制御語（ＰＭＣＷ）３１とサブチ
ャネル状態語（ＳＣＳＷ）３２を読み出すことができ、
パス管理制御語３１には、そのサブチャネルが使用する
入出力装置までの入出力経路情報として、パス設定マス
ク（ＰＩＭ）、パス使用可能マスク（ＰＡＭ）、とチャ
ネルの物理的なアドレスを示すＣＨＰＩＤ０〜ＣＨＰＩ
Ｄ７などが格納される。それら入出力経路情報も移動元
ＶＭ１０３と移動先ＶＭ１１３で同一でなければならな
い。

【０００９】(２) 第２の課題は、ＶＭ停止・再開始に
関するものである。ＯＳが動作している間は、主記憶装
置に代表される仮想資源を更新する可能性があり、ＯＳ
を動作させた状態のまま、他の計算機にその情報を移動
することはできない。すなわち、ＶＭを移動させるため
には一時的にＶＭの動作を停止して、転送後にＶＭを再
開始する必要がある。ＶＭのプロセッサ資源、すなわち
仮想命令プロセッサの停止・再起動は、当該ＶＭへの実
命令プロセッサの割り当てを制御することで行うことが
できるが、命令プロセッサ動作とは非同期に動作してい
る入出力動作にも主記憶を更新する可能性があり、その
動作を停止する必要がある。しかし、実行中の非同期動
作を強制的に停止すれば、その再起動は困難であり、ど
のように非同期動作を停止・再起動させるかが問題であ
った。

【００１０】本発明の第１の目的は、複数の実計算機上
の仮想計算機システム間において、あるＶＭ上で動作し
ているＯＳを他の実計算機のＶＭへの移動を可能とし
て、実計算機間での計算機資源の有効利用を可能にする
ことである。本発明の第２の目的は、ＶＭの実計算機間
の移動によりシステム運用の柔軟性を向上させることで
ある。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、各仮想計算機システムで実計算機資
源に論理名称を付加する手段を設けて、各実計算機間で
共用する計算機資源については、各仮想計算機システム
で同一の論理名称を付与する。計算機資源に付与された
論理名称は、各仮想計算機システム制御プログラム（Ｖ
ＭＣＰ）内で管理する。移動元の仮想計算機システムに
は、移動するＶＭのＶＭ構成情報として、その仮想資源
構成情報と対応する実資源の論理名称を移動先の仮想計
算機システムに転送する手段を設け、移動先の仮想計算
機システムには、受信した論理名称にもとづき、移動元
ＶＭと同一ＶＭ構成の生成可否を判断し、同一ＶＭ構成
を生成する手段を設ける。さらに、移動元の仮想計算機
システムには、移動するＶＭに割り当てた仮想資源の情
報を読み出し送信する手段を設け、移動先の仮想計算機
システムには、受信した仮想資源情報を当該ＶＭに格納
し、ＶＭ動作を再開始する手段を設ける。これにより、
ある計算機上のＶＭを他の計算機上に移動することが可
能になる。

【００１２】また、移動元の仮想計算機システムでは、
仮想命令プロセッサと非同期に動作する非同期動作状態
をＶＭＣＰ内に管理し、非同期動作状態を判断すること
でＶＭ転送開始可否を判断する手段を提供する。さら
に、移動元の仮想計算機システムでは、ＯＳの発行する
新たな非同期動作要求を保留して、これを非同期動作要
求情報として転送する手段を設け、移動先の仮想計算機
システムでは、該非同期動作要求情報を受信すること
で、保留された非同期動作要求の動作を再開始する手段
を設ける。これにより、ＯＳで非同期動作要求を停止す
ることなく他の計算機上に移動して動作させることが可
能になる。

【００１３】

【発明の実施の形態】以下、本発明の一実施例を図２乃
至図１２により説明する。なお、ここでは、命令プロセ
ッサ、主記憶装置、拡張記憶装置及び入出力装置など
を、対象とする仮想資源としている。また、拡張チャネ
ルシステム（ＥＣＳ）による入出力動作を、対象とする
非同期動作としている。

【００１４】図２は本発明の一実施例の仮想計算機シス
テムを示すブロック図である。仮想計算機システム２
０，２２の稼働に先立ち、仮想計算機システムのシステ
ムゼネレーションで、ゼネレーション情報２４，２５に
仮想計算機（ＶＭ）で使用する実計算機資源の構成定義
２４２，２５２、及び各計算機資源に対応させた論理名
称２４１，２５１を指定する。このとき実計算機間で共
用する装置については、各仮想計算機システム２０，２
２で同一の論理名称を指定する。この論理名称２４１，
２５１により、各仮想計算機システム間２０、２２で共
有している資源を認識可能にする。この論理名称と実計
算機構成定義情報（２４１と２４２，２５１と２５２）
と論理名称は仮想計算機システム２０，２２が格納され
ている記憶媒体（システムボリーム）上に格納され、仮
想計算機システム２０，２２の動作開始時に各ＶＭＣＰ
内の実資源管理テーブル２０１，２２１の論理名称情報
２０１２，２２１２に読み込まれ、管理される。

【００１５】ＶＭ２０３，２０６やＶＭ２２６の生成
（ログオン）処理では、仮想資源管理テーブル２０２，
２２２にＶＭ構成情報２０２１，２２２１を生成して、
あらかじめＶＭに対して定義されたＶＭディレクトリ情
報に従い、仮想資源を占有または共有させることにより
各ＶＭ２０３，２０６，２２６へ割り当てる。このＶＭ
への割り当て状態は、仮想資源管理テーブル２０２，２
２２のＶＭ割り当て情報２０２２、２２２２及び実資源
管理テーブル２０１、２２１の割り当て情報２０１１，
２２１１で管理される。

【００１６】先に述べたように、ＥＣＳでは、入出力装
置（デバイス）を１対１に対応するサブチャネルで扱
い、計算機システム内でサブチャネル番号は０から昇順
に割り当てられている。そのため、仮想計算機システム
においても実サブチャネルの仮想化を行い、入出力装置
の割り当て毎にサブチャネル番号０から順次割り当てて
いる。仮想入出力装置の割り当て情報は、仮想資源管理
テーブル２０２，２２２内に、図４の仮想サブチャネル
管理テーブル４０に示す構成で、各仮想サブチャネルの
情報を格納、管理している。図４において、仮想入出力
装置のＶＭへの割り当て時、図３のパス管理制御語（Ｐ
ＭＣＷ）に相当する仮想ＰＭＣＷ情報４０１１の入出力
パス情報（ＰＩＭ，ＰＡＭ，ＣＨＰＩＤ０〜ＣＨＰＩＤ
７）には、対応する実サブチャネル情報を格納する。Ｓ
ＴＳＣＨ命令シミュレーションでは、仮想ＰＭＣＷ４０
１１に格納されている内容をＶＭ主記憶に格納すること
で行う。なお、図２中の非同期動作管理テーブル２０
７，２２７は、便宜上、仮想資源管理テーブル２０２，
２２２内の仮想サブチャネルテーブル４０における非同
期動作状態フラグ４０１２と非同期動作保留フラグ４０
１４のみを抽出して示したものである。

【００１７】図５は、本発明の一実施例のＶＭ移動制御
を示す全体的フローチャートである。以下、図２に示す
仮想計算機システム２０のＶＭ２０３上のＯＳ２０４
を、他の仮想計算機システム２０のＶＭ２２３上にＯＳ
２２４として移動する場合を例にして説明する。

【００１８】〈移動ＶＭ構成の通知〉仮想計算機システ
ムを制御するシステムコンソールからＶＭ移動を指示す
るコマンドを投入するか、またはＶＭ上で動作している
ＯＳからのＶＭ移動を指示するハンドシェイク命令を通
じて、ＶＭ移動要求がＶＭ移動要求受付手段２１０に通
知され、ＶＭ構成情報通知手段２１１に渡される。ＶＭ
移動要求通知を受け取ると、ＶＭ構成通知手段２１１で
は、仮想資源管理テーブル２０２から、ＶＭ構成情報２
０２１、仮想資源のＶＭ割り当て情報２０２２、及び、
ＶＭ２０４に割り当てている仮想資源に対応する実資源
の論理名称２０１２を読み出し、図６に示すようなＶＭ
構成情報テーブル６０を作成して格納する。ここで、Ｖ
Ｍ移動元とＶＭ移動先でのサブチャネル番号を同一にす
ることを目的として、該テーブル６０の仮想入出力装置
構成情報６４には、図４の仮想サブチャネル管理テーブ
ル４０を参照して、仮想サブチャネル番号順に、移動元
ＶＭに割り当てられている入出力装置（仮想サブチャネ
ル）の情報を格納する。

【００１９】ＶＭ構成通知手段２１１は、当該ＶＭ構成
情報テーブル６０を、実計算機間の情報伝達手段１２を
通じて、他の仮想計算機システム２２に送信し、ＶＭ構
成の生成を要求する（ステップ５０１）。

【００２０】〈同一ＶＭ構成の生成〉仮想計算機システ
ム２２の同一構成生成可否判断手段２３１では、実計算
機間の情報伝達手段１２を通じて、仮想計算機システム
２０からのＶＭ構成情報テーブル６０を受信すると（ス
テップ５１１）、該ＶＭ構成情報テーブル６０と実資源
管理テーブル２２１の情報から、同一ＶＭ構成を生成可
能か否か判断する（ステップ５１２）。図７は、この同
一ＶＭ構成生成可否判定の詳細フローチャートを示した
もので、移動元ＶＭと同じ主記憶サイズ、拡張記憶サイ
ズ、仮想プロセッサ台数を割り当てることができるか否
か、さらに、移動元ＶＭの割り当てられていた仮想入出
力装置が移動先の仮想計算機システム２２の計算機に構
成されているか、あるいは、計算機に構成されている
が、既に他のＶＭに占有して割り当てられているか、等
を順次チェックして（ステップ７０１〜７０７）、同一
ＶＭ構成生成が可能あるいは不可能を判定する（ステッ
プ７０８，７０９）。

【００２１】ここで留意すべき点は、同一入出力装置を
割り当て可能かを判断するだけで、入出力経路に関する
移動元ＶＭと移動先ＶＭ間での違いはＶＭＣＰが入出力
経路の仮想化を行い吸収する。

【００２２】同一ＶＭ構成の生成が可能と判断された場
合、同一ＶＭ構成生成手段２３２では、仮想資源管理テ
ーブル２２２に生成するＶＭ１１３のＶＭ構成情報を追
加する。即ち、ステップ５１１で受信したＶＭ構成情報
テーブル６０（図６）に格納されている移動元ＶＭ１０
３の情報に従い、対応する移動先の計算機資源（主記
憶、拡張記憶、命令プロセッサ、入出力装置）を割り当
て、仮想資源管理テーブル２３２のＶＭ割り当て情報２
２２２の更新、及び実資源管理テーブル２２１の割り当
て情報２２１１を更新することで、移動元ＶＭ１０３と
同一ＶＭ２２３の生成を行う（ステップ５１３）。

【００２３】ここで、仮想入出力装置に対する仮想サブ
チャネル番号は、入出力装置のＶＭ割り当て毎に番号０
から昇順に割り当てられるため、移動元ＶＭ２０３の入
出力装置構成がサブチャネル番号順に格納されている仮
想入出力装置構成情報６４（図６）の順番に従い、入出
力装置を移動先ＶＭ２２３に割り当てていくことで、サ
ブチャネル番号を含めた、同一入出力構成を生成する。
また、仮想資源管理テーブル２２２内には、仮想入出力
装置の割り当て毎に、図４に示す仮想サブチャネル管理
テーテーブルが生成され、そのテーブル内の仮想ＰＭＣ
Ｗ情報（デバイス番号、ＰＩＭ、ＰＡＭ、ＣＨＰＩＤ０
〜ＣＨＰＩＤ７）には、仮想入出力装置情報６４に格納
された値を格納する。これにより、ＯＳから見える入出
力パス構成（ＳＴＳＣＨ命令で格納されるＰＭＣＷ内の
情報）も同一構成にする。

【００２４】なお、移動元ＶＭでの仮想入出力パス情報
は、実サブチャネル情報の値を使用しているため実入出
力経路情報と一致しているが、移動先ＶＭでの仮想入出
力パス構成と実入出力パス構成とは必ずしも一致しな
い。この不一致が問題となるのは、入出力起動命令（Ｓ
ＳＣＨ）の入出力パス選択である。ＳＳＣＨ命令は、Ｏ
ＲＢ（図３）の論理パスマスク（ＬＰＭ）に指定された
パスマスクとパス設定マスク（ＰＩＭ）、パス使用可能
マスク（ＰＡＭ）との論理積を取った値を選択パスマス
ク（ＳＰＭ）として、その結果（ＳＰＭ）が１となった
ビットに対応する入出力パスの中から入出力パスを選択
して入出力動作の起動を行う。つまり、移動先ＶＭにお
いて、ＯＳの入出力起動のＳＰＭに対応する実入出力パ
スが存在しない場合、移動元では正常終了していた入出
力が移動先ＶＭでは入出力エラーとなる（入出力起動失
敗：ＳＳＣＨ命令の結果の条件コード３、または入出力
割込みで遅延条件コード３）。

【００２５】このような移動元と移動先の実入出力パス
の違いは、非同期動作要求シミュレーション手段２１６
にて、ＳＳＣＨ命令シミュレーションを図９のように実
行することで解決する。図９において、仮想の入出力パ
ス構成内でＯＳが指定したＬＰＭから生成されるＳＰＭ
を仮想ＳＰＭと呼び、ＯＳの指定したＬＰＭ、仮想ＰＩ
Ｍ、仮想ＰＡＭの論理積として求める（ステップ９０
１）。仮想ＳＰＭの値が０の場合、入出力起動失敗をシ
ミュレーションする（ステップ９０２，９１５）。仮想
ＳＰＭの値が１の場合、命令発行元ＶＭがＶＭ移動準備
中でないと、実の入出力パス構成内のＳＰＭを実ＳＰＭ
と呼び、仮想ＳＰＭ、実ＰＩＭ、実ＰＡＭの論理積で求
める（ステップ９０３，９０７）。そして、実ＳＰＭの
値が０以外の場合、ＯＳが指定した入出力パスに対応す
る実入出力パスが存在するため、実ＬＰＭに実ＳＰＭの
値をセットして実計算機に対してＳＳＣＨ命令を発行す
る（ステップ９０８，９０９，９１１，９１２）。一
方、実ＳＰＭの値が０の場合、ＯＳが指定した入出力パ
スに対応する実入出力パスが存在しないため、実ＰＩＭ
と実ＰＡＭの論理積値を実ＬＰＭにセットして（ステッ
プ９１０）、実計算機に対してＳＳＣＨ命令を発行する
ことで、入出力エラー（入出力起動失敗）となることを
回避する（ステップ９１１，９１２）。ＳＳＣＨ命令を
発行したなら、対象の仮想サブチャネル管理テーブル４
０（図４）の非同期動作状態フラグを１にセットし、入
出力起動成功をシミュレーションする（ステップ９１
３，９１４）。なお、入出力起動成功時の入出力終了割
込み処理を図１０に示す。

【００２６】以上のようなＳＳＣＨ命令シミュレーショ
ンにより、移動元ＶＭと移動先ＶＭとで、サブチャネル
番号、および入出力経路情報が同一なＶＭ構成を生成し
て、移動先においてＯＳの発行する入出力動作要求も正
常に実行することが可能となる。

【００２７】〈同一ＶＭ構成生成の応答〉同一ＶＭ構成
の生成後、仮想計算機システム２２では、実計算機間の
情報通信手段１２を通じて、ＶＭ生成成功を移動要求元
の仮想計算機システム２０に応答し、移動元からＶＭ２
０３からの仮想資源情報の受信を待つことになる（ステ
ップ５１４）。一方、同一構成のＶＭを生成できないと
判断した場合、仮想計算機システム２２は、移動要求元
の仮想計算機システム２０にＶＭ生成失敗を応答して、
ＶＭ移動制御の実行を中断・終了させる（ステップ５１
９）。移動元では、移動先からＶＭ生成失敗の応答を受
信した場合、同一ＶＭ構成の生成に失敗したと判定して
以後のＶＭ移動制御の実行を中断終了させる（ステップ
５０２，５０３）。

【００２８】以上により、異なったＶＭ構成を生成する
ことなく、計算機間でのＶＭ構成（本例では、ＶＭ２０
３と２２３）の同一性を保証することが可能となる。

【００２９】〈非同期動作停止〉入出力動作は、命令プ
ロセッサとは非同期に行われ、入出力動作中は主記憶が
更新される可能性があり、実行中の入出力動作の完了を
待たずにＶＭの主記憶を他の実計算機のＶＭに移動した
場合、移動元ＶＭと移動先ＶＭの主記憶の内容が異なる
可能性がある。すなわち、非同期の入出力動作の完了を
待たなければＶＭの移動を行うことはできない。

【００３０】そこで、移動元仮想計算機システム２０で
は、移動先仮想計算機システム２２からＶＭ生成要求の
応答を受信し（ステップ５０２）、同一ＶＭ構成の生成
に成功したことを確認すると（ステップ５０３）、非同
期動作要求シミュレーション手段２１６にてＯＳ２０４
の発行する新たな非同期動作命令２０５の要求を保留す
るとともに（ステップ５０４）、ＶＭ停止可否判断手段
２１５にて非同期動作である入出力動作が完了したこと
を確認する（ステップ５０５）。図８に、ＶＭ停止可否
判断手段２１５での非同期動作停止状態の判断処理フロ
ーチャートを示す。また、図９のＳＳＣＨ命令シミュレ
ーション中のステップ９０４〜９０６が、非同期動作要
求シミュレーション手段２１６での新たな非同期動作命
令要求の保留処理を示している。

【００３１】仮想計算機システム２０のＶＭＣＰ内で管
理される非同期動作管理テーブル２０７は、仮想入出力
装置に対応して非同期動作状態情報２２７１と非同期動
作要求保留情報２２７２を持ち、図４に示す仮想入出力
装置に対応する仮想サブチャネル管理テーテーブル４０
内の非同期動作状態フラグ４０１３、非同期動作保留フ
ラグ４０１４と、非同期動作要求保留情報４０１５とし
て管理される。図９に示す対象とする仮想サブチャネル
に対する入出力起動（ＳＳＣＨ）命令のシミュレーショ
ンにおいて、実計算機に対して入出力起動命令を発行し
入出力起動に成功した場合に、その値を１にセットする
（ステップ９１３）。また、図１０に示すように、対象
とする仮想装置の実計算機上での入出力動作が完了した
場合に非同期動作状態フラグの値を０にリセットして
（ステップ９２１）、ＶＭに入出力割込みシミュレーシ
ョンを行う（ステップ９２２，９２３，９２４）。ＶＭ
停止可否判断手段２１５では、図８に示すように、非同
期動作である入出力動作が停止しているか否か、この非
同期動作状態フラグの値を参照して非同期動作状態を判
断する。すなわち、ＶＭ２０３の全仮想装置に対応する
非同期動作状態フラグの値が０であれば、非同期動作が
停止状態であると判断できる（ステップ８０１，８０
２，８０３，８０４）。またＶＭ２０３の１台以上の仮
想装置で入出力動作が行われていれば、非同期動作状態
フラグの値が１の仮想装置があり、非同期動作中と判断
できる（ステップ８０１，８０５）。

【００３２】ここで、ＶＭ停止可否判断手段２１５だけ
で非同期動作の停止を待つ場合、非同期動作である入出
力動作は、複数の入出力装置にたいして平行して動作可
能であり、通常、ＯＳでは複数の入出力装置に対して入
出力を起動しており、全ての入出力装置で入出力動作が
行われていない状態の発生確率は非常に低くなる。その
ため、非同期動作要求シミュレーション手段２１６で
は、ＯＳ２０４の発行する新たな非同期動作命令２０５
の要求を保留して、非同期動作管理テーブル２０７内に
その要求を保留することで非同期動作が行われていない
状態を作り出す（ステップ５０４）。

【００３３】具体的には、ＯＳの発行する非同期動作命
令２０５である入出力起動命令を、ＶＭＣＰでの命令シ
ミュレーション時にＶＭ移動準備中であれば、図３に示
す入出力起動命令のオペランドである動作要求ブロック
（ＯＲＢ）３０を非同期動作要求保留情報４０１５に格
納して、非同期動作要求を保留中であることを示すフラ
グ、非同期動作保留フラグを１セットする。そして、図
４に示す仮想サブチャネル管理テーブル４０の仮想ＳＣ
ＳＷ情報４０１２のスタート保留を示すフラグを１セッ
トすることで、入出力動作要求がＥＣＳ内に保留され、
入出力動作が開始されていないスタート保留状態をシミ
ュレーションする。

【００３４】非同期動作要求シミュレーション手段２１
６では、入出力起動命令を実計算機に対して発行せず
に、入出力起動に成功した状態をシミュレーションして
完了させる（ステップ９０３，９０４，９０５，９０
６，９１４）。非同期動作保留フラグ４０１４、及び非
同期動作要求保留情報４０１５は、ＶＭ移動後に他の実
計算機上の仮想計算機システム２２で、入出力動作の再
開始に利用される。

【００３５】非同期動作要求シミュレーション２１６に
より非同期動作が保留・停止されて、ＶＭ停止可否判断
２１５によりＶＭ停止可能と判断した場合、仮想資源情
報の更新が行われないようにＶＭ停止手段２１４により
ＶＭ２０３の停止を行う（ステップ５０６）。即ち、Ｖ
Ｍ停止手段２１４では、移動元ＶＭ２０３の仮想プロセ
ッサに対して実プロセッサ資源の割り当てを中止する。
これにより、移動先と移動元の仮想資源情報の同一性を
保証する。

【００３６】〈ＶＭの移動・動作再開始〉移動元の仮想
計算機システム２０では、ＶＭ停止手段２１４によるＶ
Ｍ停止後、仮想資源情報読み出し送信手段２１３によ
り、図１２に示すような仮想資源情報（主記憶、拡張記
憶、命令プロセッサ、入出力装置、およびサブチャネル
など）を読み出し、実計算機間の情報伝達手段１２を通
じて、ＶＭ移動先の仮想計算機システム２２に送信する
（ステップ５０４）。ＶＭ移動先の仮想計算機システム
２２では、仮想資源情報受信格納手段２３３により、受
信した仮想資源情報を、既に同一ＶＭ構成生成手段２３
２で割り当て済みの、各々対応する仮想資源内に格納す
る（ステップ５１５）。

【００３７】引き続いて、移動元の仮想計算機システム
２０の非同期動作管理情報送信手段２１７では、非同期
動作要求を記憶保持している非同期動作管理テーブル２
０７を非同期動作管理情報として、実計算機間の情報伝
達手段１２を通じて、ＶＭ移動先の仮想計算機システム
２２に送信する（ステップ５０８）。ＶＭ移動先の仮想
計算機システム２２の非同期動作管理情報受信手段２３
７では、受信した非同期動作管理情報を非同期動作管理
テーブル２２７に格納する（ステップ５１６）。

【００３８】以上により、仮想計算機システム間の情報
伝達は完了する。その後、次のようにして、仮想計算機
システム２０では、移動元ＶＭ２０３の後処理が行わ
れ、仮想計算機システム２２では、移動先ＶＭ２２３の
動作再開始を行う。

【００３９】ＶＭ情報の転送が完了した移動元の仮想計
算機システム２０では、ＶＭ構成消滅手段２１２により
ＶＭ２０３を消滅させる（ステップ５０９）。具体的に
は、ＶＭ２０３に割り当てていた仮想資源に対応する実
資源管理情報（２０１１）を未割り当て状態に更新し
て、仮想資源（主記憶、拡張記憶、命令プロセッサ、入
出力装置）を解放する。このＶＭ（１０３）の消滅によ
り、仮想計算機システム２０では、負荷が低減する。

【００４０】一方、ＶＭ情報の転送が完了した移動先Ｖ
Ｍ２２３では、保留していた非同期動作要求の動作、及
び仮想命令プロセッサの動作を開始させることでＯＳの
動作を継続させる（ステップ５１７，５１８）。図１１
に非同期動作の再開始処理フローを示す。

【００４１】非同期動作要求開始手段２３６では、移動
元から転送された非同期動作管理テーブル内２２７の非
同期動作要求を再開始させる。図４に示すように、非同
期動作要求の保留状態は、非同期動作保留フラグ４０１
４で管理しており、該非同期動作保留フラグが１にセッ
トされている仮想入出力装置全てについて、非同期動作
保留情報２２７２に格納されているＯＳが発行した入出
力起動命令（ＳＳＣＨ）のＯＲＢ内のＣＣＷアドレスが
示すチャネル制御語（ＣＣＷ）を仮想アドレスから実ア
ドレスに変換して、実計算機に対して入出力起動命令を
発行する（ステップ９３１，９３２，９３３，９３４，
９３５，９３６，９３７）。移動先ＶＭでＣＣＷ仮想ア
ドレスから実アドレスの変換を行うことで、移動元ＶＭ
と移動先ＶＭに割り当てられた主記憶上の位置（実アド
レス）が異なっていてもＶＭの移動を可能にしている。
これにより、移動元ＶＭ（１０３）で保留した非同期動
作である入出力動作が、ＶＭ移動に伴い、移動先の仮想
計算機システム内で実行可能となる。

【００４２】次に、ＶＭ再開始手段２３４では、ＶＭ停
止手段２１４により停止したＶＭを、移動先ＶＭ（１０
３）の仮想プロセッサに対して実プロセッサ資源を割り
当てることでＶＭの動作を再開始させる。

【００４３】以上の制御により、ＯＳ上で非同期動作の
停止、あるいはＯＳの運用停止等の操作を行わずに、Ｖ
Ｍの移動指示により、他の実計算機のＶＭ上にＯＳを移
動させ、ＯＳの動作を継続することが可能となる。

【００４４】

【発明の効果】本発明によれば、複数の実計算機上に互
いに仮想計算機システムを構築して動作する疎結合マル
チプロセッサシステムにおいて、ある仮想計算機システ
ム上で動作しているオペレーティングシステム（仮想計
算機）を、他の実計算機の仮想計算機システム上の仮想
計算機への移動を可能にすることで、計算機資源の有効
利用が可能となる。また、実計算機ハードウェアの保守
を目的とした実計算機の計画停止に備えて、仮想計算機
の実計算機間移動を行うことでシステム運用の柔軟性を
向上することができる。

【図面の簡単な説明】

【図１】疎結合マルチプロセッサ構成の仮想計算機シス
テムの一般的ブロック図である。

【図２】本発明による仮想計算機システムの一実施例の
概念を示す全体的ブロック図である。

【図３】本発明の一実施例で対象とする拡張チャネルシ
ステムの入出力関連命令の制御ブロックを示す図であ
る。

【図４】本発明の一実施例で対象とする仮想入出力装置
に対応する仮想サブチャネルを管理するテーブルを示す
図である。

【図５】本発明の一実施例のＶＭ移動制御を示す全体的
フローチャートである。

【図６】本発明の一実施例の同一構成ＶＭを生成するた
めに実計算機間で転送される情報テーブルを示す図であ
る。

【図７】本発明の一実施例の同一構成ＶＭの生成可否を
判定する論理を示すフローチャートである。

【図８】本発明の一実施例の移動ＶＭに関連する全ての
非同期動作が停止したことを判定する論理を示すフロー
チャートである。

【図９】本発明の一実施例の入出力起動命令シミュレー
ションの論理を示すフローチャートである。

【図１０】本発明の一実施例の入出力割込みシミュレー
ションの論理を示すフローチャートである。

【図１１】本発明の一実施例の保留した非同期動作の再
開始の論理を示すフローチャートである。

【図１２】本発明の一実施例の仮想計算機システム間で
移動するＶＭ資源情報を示す図である。

【符号の説明】

２０，２２仮想計算機システム２４，２５ゼネレーション情報２０１，２２１実資源管理テーブル２０２，２２２仮想資源管理テーブル２０３，２２３ＶＭ２０７，２２７非同期動作管理テーブル２１１ＶＭ構成情報通知手段２１２ＶＭ構成消滅手段２１３仮想資源情報読み出し送信手段２１４ＶＭ停止手段２１５ＶＭ停止可否判断手段２１６非同期動作要求シミュレーション手段２１７非同期動作管理情報送信手段２３１同一構成生成可否判断手段２３２同一ＶＭ構成生成手段２３３仮想資源情報受信格納手段２３４ＶＭ再開始手段２３６非同期動作要求再開始手段２３７非同期動作管理情報受信手段

Claims

【特許請求の範囲】

【請求項１】複数の実計算機上に互いに仮想計算機シ
ステムを構築して動作させるマルチプロセッサシステム
において、ある実計算機上の仮想計算機システムの稼動
中の仮想計算機を他の実計算機上の仮想計算機システム
へ移動する仮想計算機システム間の仮想計算機移動制御
方式であって、各仮想計算機システムで実計算機資源に論理名称を付与
するとともに、各計算機で共用する計算機資源について
は各仮想計算機システムで同一の論理名称を付与して、
実資源を管理する手段と、移動元仮想計算機システムから、移動先仮想計算機シス
テムに対して移動すべき仮想計算機の構成情報として、
当該仮想資源構成情報と対応する実資源の論理名称を通
知する手段と、移動先仮想計算機システムにて、前記論理名称にもとづ
いて、移動元仮想計算機と同一仮想計算機構成の生成可
否を判断して、当該仮想計算機を生成する手段と、移動元仮想計算機システムにて、移動すべき仮想計算機
に割り当てられた仮想資源情報を読み出し、移動先仮想
計算機システムへ転送するとともに、当該仮想計算機を
消滅させる手段と、移動先仮想計算機システムにて、前記転送された仮想資
源情報を前記生成した仮想計算機に格納して動作を再開
する手段と、を設けたことを特徴とする仮想計算機シス
テム間の仮想計算機移動制御方式。
【請求項２】移動元仮想計算機システムでは、移動す
べき仮想計算機が発行した非同期動作命令が実計算機上
で動作しないことを判断して当該仮想計算機を停止状態
にし、仮想資源情報の読み出しを開始する手段を有する
ことを特徴とする請求項１記載の仮想計算機システム間
の仮想計算機移動制御方式。
【請求項３】移動元仮想計算機システムでは、移動す
べき仮想計算機が発行した非同期動作命令の実行を保留
して、該非同期動作要求情報を移動先仮想計算機システ
ムに転送する手段を有し、移動先仮想計算機システムでは、前記転送された非同期
動作要求情報により、保留されていた非同期動作命令の
実行を再開する手段を有することを特徴とする請求項
１、２記載の仮想計算機システム間の仮想計算機移動制
御方式。