JP5900599B2 - 電子計算機システム及び仮想マシン配置方法 - Google Patents

Description

この発明は、電子計算機システム及び仮想マシン配置方法に関する。

従来、コンピュータを用いて構造物の最適設計解析を行う技術において、騒音の原因となる音響構造連成応答（音圧ピーク値、音圧レベル積分、加振点変形、共振解消等）を最適化する構造物形状を解析するシステムがある（例えば、特許文献１参照）。また、冷却風の吸気温度と閾値との比較結果に応じて冷却ファンの回転数を決定し、全ての電子部品の温度とそれぞれの閾値との比較結果に応じて冷却ファンの回転数を増減することにより、サーバの冷却装置の騒音を適正化する装置がある（例えば、特許文献２参照）。

特開２００７−１８８１６４号公報 特開２０１１−１５１１３１号公報

しかしながら、従来技術では、電子計算機システムの複数のサーバから発せられる騒音が特定の場所で小さくなるように、複数のサーバに複数の仮想マシン（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を割り当てることができないという問題点がある。

複数のサーバに複数の仮想マシンを割り当てる際に評価点における騒音を小さくすることができる電子計算機システム及び仮想マシン配置方法を提供することを目的とする。

電子計算機システムは、複数のサーバ、騒音源及び制御装置を備えている。各サーバには、仮想マシンが配置される。騒音源は、サーバごとにサーバの稼働時に音を発する。制御装置は、サーバに対する仮想マシンの配置を制御する。制御装置は、仮想マシンの配置の関数またはジョブの割り振り数の関数として記述された騒音寄与度を目的関数とする整数計画問題を、整数計画問題を解くソフトウェアをプロセッサにより実行することにより解く。騒音寄与度は、騒音源から発せられる音が評価点における騒音の大きさに寄与する程度を表す。制御装置は、整数計画問題の解に基づいて、各サーバに対するインターフェースを介してプロセッサにより各サーバに仮想マシンを配置する。

電子計算機システム及び仮想マシン配置方法によれば、複数のサーバに複数の仮想マシンを割り当てる際に評価点における騒音を小さくすることができるという効果を奏する。

図１は、実施例１にかかる電子計算機システムを示すブロック図である。 図２は、実施例２にかかる電子計算機システムの制御装置のハードウェア構成を示すブロック図である。 図３は、実施例２にかかる電子計算機システムの制御装置の機能的構成を示すブロック図である。 図４は、実施例２にかかる電子計算機システムにおけるサーバの数を規定するデータを示す図である。 図５は、実施例２にかかる電子計算機システムにおける仮想マシンの数を規定するデータを示す図である。 図６は、実施例２にかかる電子計算機システムにおける実行可能な最大仮想マシン数を規定するデータを示す図である。 図７は、実施例２にかかる電子計算機システムにおける騒音伝搬減衰定数を規定するデータを示す図である。 図８は、実施例２にかかる電子計算機システムにおける騒音源音響パワーを規定するデータを示す図である。 図９は、実施例２にかかる電子計算機システムにおけるベース騒音源音響パワーを規定するデータを示す図である。 図１０は、実施例２にかかる仮想マシン配置方法を示すフローチャートである。 図１１は、統計的エネルギ手法によるラックのモデルについて説明する模式図である。 図１２は、統計的エネルギ手法によるサーバのモデルについて説明する模式図である。 図１３は、音線法による放射音響パワーの拡散減衰について説明する模式図である。 図１４は、実施例３にかかる電子計算機システムの制御装置の機能的構成を示すブロック図である。 図１５は、実施例３にかかる電子計算機システムにおけるデータセンタの構成を規定するデータを示す図である。 図１６は、実施例３にかかる電子計算機システムにおけるスケーリングファクターを規定するデータを示す図である。 図１７は、実施例３にかかる電子計算機システムにおける実行可能な最大仮想マシン数を規定するデータを示す図である。 図１８は、実施例３にかかる電子計算機システムにおける仮想マシンの消費電力を規定するデータを示す図である。 図１９は、実施例３にかかる電子計算機システムにおけるベース消費電力を規定するデータを示す図である。 図２０は、実施例３にかかる電子計算機システムにおける仮想マシンの移動元の消費電力を規定するデータを示す図である。 図２１は、実施例３にかかる電子計算機システムにおける仮想マシンの移動先の消費電力を規定するデータを示す図である。 図２２は、実施例３にかかる電子計算機システムにおける仮想マシンの初期配置データを示す図である。 図２３は、実施例３にかかる電子計算機システムにおける電源装置のベース消費電力及び比例係数を規定するデータを示す図である。 図２４は、実施例３にかかる仮想マシン配置方法を示すフローチャートである。 図２５は、実施例１〜３における仮想マシンの配置例を示す模式図である。

以下に、この発明にかかる電子計算機システム及び仮想マシン配置方法の実施例を図面に基づいて詳細に説明する。整数計画問題の目的関数は、仮想マシンの配置の関数またはジョブの割り振り数の関数として記述されてもよい。ここでは、目的関数を、仮想マシンの配置の関数として記述する場合について説明する。なお、この実施例によりこの発明が限定されるものではない。

（実施例１）
図１は、実施例１にかかる電子計算機システムを示すブロック図である。図１に示すように、電子計算機システム１は、複数のサーバ２、制御装置４を備えている。各サーバ２は、サーバ２の稼働時に音を発する騒音源（図示省略）を有する。各サーバ２には、制御装置４によってそのときの状況に応じて仮想マシンが配置される。例えば全サーバ２もしくは一部のサーバ２に均等に仮想マシンが配置されてもよい。また、例えば全サーバ２で消費される電力が小さくなるように仮想マシンが配置されてもよい。また、例えば評価点における騒音が小さくなるように仮想マシンが配置されてもよい。

制御装置４は、サーバ２に対する仮想マシンの配置を制御する。制御装置４は、仮想マシンの配置の関数として記述された騒音寄与度を目的関数とする整数計画問題を、整数計画問題を解くソフトウェアをプロセッサにより実行することにより解く。騒音寄与度は、騒音源から発せられる音が評価点における騒音の大きさに寄与する程度を表す。制御装置４は、整数計画問題の解に基づいて、各サーバ２に対するインターフェースを介してプロセッサにより、例えば評価点における騒音が小さくなるように、各サーバ２に仮想マシンを配置する。

実施例１によれば、評価点における騒音寄与度を目的関数とする整数計画問題を解くことによって、評価点における騒音を小さくできる仮想マシンの配置を求めることができる。従って、電子計算機システム１による評価点における騒音を小さくすることができる。

（実施例２）
実施例２では、実施例１にかかる電子計算機システム１の一例について説明する。電子計算機システム１の一例として、例えばデータセンタが挙げられる。データセンタでは、多数のコンピュータやデータ通信などの装置が運用される。

・データセンタの説明
図１に示す電子計算機システム１において、データセンタには、複数のラック５が設置されている。各ラック５には、一台または複数のサーバ２と電源装置３として例えば一台の無停電電源装置とが収容されている。電源装置３は、ラック５ごとに、同じラック５に収容されている複数のサーバ２に電力を供給する。各ラック５と制御装置４とは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルなどの通信ケーブルや、無線通信などによって、相互に接続されていてもよい。

・制御装置のハードウェア構成
図２は、実施例２にかかる電子計算機システムの制御装置のハードウェア構成を示すブロック図である。図２に示すように、制御装置４は、プロセッサとしてＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ハードディスク（ＨＤ）２０、フレキシブルディスクドライブ（ＦＤＤ）１５、着脱可能な記録媒体の一例としてのフレキシブルディスク（ＦＤ）２１を備えている。制御装置４は、ディスプレイ１６、キーボード１７、マウス１８及びインターフェース１９を備えている。これらの構成部１１〜１９は、バス２５によってそれぞれ接続されている。

ＣＰＵ１１は、制御装置４の全体の制御を司る。ＣＰＵ１１は、仮想マシン配置方法を実現するプログラムを実行することにより、整数計画問題の求解及び仮想マシンの配置を行う。仮想マシン配置方法については、後述する。ＲＯＭ１２は、ブートプログラムや仮想マシン配置方法を実現するプログラムなどのプログラムを記憶している。ＲＡＭ１３は、ＣＰＵ１１のワークエリアとして使用される。

ハードディスクドライブ１４は、ハードディスク２０に対するデータのリード／ライトを制御する。ハードディスク２０は、ハードディスクドライブ１４の制御で書き込まれたデータを記憶する。フレキシブルディスクドライブ１５は、フレキシブルディスク２１に対するデータのリード／ライトを制御する。フレキシブルディスク２１は、フレキシブルディスクドライブ１５の制御で書き込まれたデータを記憶する。

着脱可能な記録媒体として、フレキシブルディスク２１のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）またはメモリーカードなどであってもよい。ディスプレイ１６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ１６には、例えば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。

インターフェース１９は、図示しないネットワークを介してデータセンタの各ラック５に接続される。インターフェース１９は、各ラック５に対するデータの入出力を制御する。インターフェース１９には、例えばＬＡＮアダプタなどを採用することができる。

キーボード１７は、文字、数字または各種指示などの入力のためのキーを備え、データの入力を行う。キーボード１７は、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス１８は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。

また、制御装置４に、画像を取り込むスキャナが接続されていてもよい。制御装置４に、出力装置の一例としてプリンタが接続されていてもよい。制御装置４は、パーソナルコンピュータやワークステーションのような電子計算機であってもよいし、携帯電話機や携帯型の情報処理装置などであってもよい。

・制御装置の機能的構成
図３は、実施例２にかかる電子計算機システムの制御装置の機能的構成を示すブロック図である。図３に示すように、制御装置４は、記憶部３２、管理部３３、求解部３４及び配置部３５を備えている。これらの構成部３２〜３５は、ＣＰＵ１１が、仮想マシン配置方法を実現するプログラムを実行することによって、実現されてもよい。

管理部３３は、サーバ２に配置されている仮想マシンの情報に基づいて、仮想マシンの初期配置データを書き換える。初期配置データには、サーバ２ごとに、配置されている仮想マシンの数が格納されている。初期配置データは、例えば記憶部３２に記憶されていてもよい。

記憶部３２は、データ（定数）、変数、目的関数及び制約条件を記憶している。記憶部３２は、求解部３４にデータ（定数）、変数、目的関数及び制約条件を入力する。記憶部３２は、記憶媒体として例えばＲＯＭ１２やＲＡＭ１３などのメモリを用いてもよい。なお、動的に変化しないデータ（定数）、変数、目的関数及び制約条件については、仮想マシン配置方法を実現するプログラムに記述されていてもよい。

求解部３４は、記憶部３２から渡されるデータ（定数）、変数、目的関数及び制約条件に基づいて、整数計画問題を解く。求解部３４は、仮想マシンの配置を行う際には、例えば後述する（１２）式〜（１６）式で定式化された整数計画問題を解いてもよい。

求解部３４の一例として、例えば整数計画問題を解くためのソフトウェア（ソルバー）が挙げられる。ソルバーの一例として、例えばＧＬＰＫやＳＹＭＰＨＯＮＹやＧｕｒｏｂｉが挙げられる。配置部３５は、求解部３４が導出する整数計画問題の解に基づいて、サーバ２に仮想マシンを配置する。

・データ構造の説明
図４は、実施例２にかかる電子計算機システムにおけるサーバの数を規定するデータを示す図である。図４に示すように、データセンタに設定されているサーバの数はＮ個である。Ｎは正の整数である。

図５は、実施例２にかかる電子計算機システムにおける仮想マシンの数を規定するデータを示す図である。図５に示すように、配置すべき仮想マシンの数はＭ個である。Ｍは正の整数である。

図６は、実施例２にかかる電子計算機システムにおける実行可能な最大仮想マシン数を規定するデータを示す図である。図６に示すように、ｉ番目のサーバで実行できる最大仮想マシン数はＬ_i個である。Ｌ_iは正の整数である。ｉは１〜Ｎの整数である。

図７は、実施例２にかかる電子計算機システムにおける騒音伝搬減衰定数を規定するデータを示す図である。音の発生源、すなわち騒音源から評価点へ音が伝搬する際の減衰の程度は、騒音伝搬減衰定数によって決まる。騒音伝搬減衰定数は、騒音源から評価点までの音響パワー減衰係数であり、定数である。図７に示すように、ｉ番目のサーバから評価点への騒音伝搬減衰定数はＣ_iである。Ｃ_iは正の実数である。

図８は、実施例２にかかる電子計算機システムにおける騒音源音響パワーを規定するデータを示す図である。騒音源音響パワーは、騒音源から放射された音がある特定の面を１秒間に通過する総合的なエネルギ量のことである。図８に示すように、ｉ番目のサーバで動作する仮想マシン１個あたりの騒音源音響パワーはλ_iである。λ_iは正の実数である。

図９は、実施例２にかかる電子計算機システムにおけるベース騒音源音響パワーを規定するデータを示す図である。ベース騒音源は、サーバの電源がオンになるだけで騒音を発するものである。ベース騒音源の一例として、例えばサーバに設けられている冷却ファンが挙げられる。図９に示すように、ｉ番目のサーバの電源がオンになることでｉ番目のサーバから発せられるベース騒音源音響パワーはκ_iである。κ_iは正の実数である。

上述したＮの値は、データセンタの構成によって予め決まる。Ｌ_i、Ｃ_i、λ_i及びκ_iの各値は、サーバによって予め決まる。Ｍの値は、起動されるアプリケーションの数などによって決まる。

・仮想マシン配置方法の説明
図１０は、実施例２にかかる仮想マシン配置方法を示すフローチャートである。図１０に示すように、仮想マシンの配置が開始されると、まず、記憶部３２は、求解部３４にデータ（定数）、変数、目的関数及び制約条件を入力する（ステップＳ１）。求解部３４は、入力されたデータ（定数）、変数、目的関数及び制約条件に基づいて、例えばソルバーによって整数計画問題を解き、解を求める（ステップＳ２）。整数計画問題としての定式化については後述する。配置部３５は、求解部３４が求めた解に基づいて、仮想マシンを配置する（ステップＳ３）。このようにして、一連の仮想マシン配置処理が終了する。

・整数計画問題としての定式化について
（１）サーバの騒音寄与度のモデリング
特に限定しないが、例えばサーバの騒音寄与度を騒音伝搬減衰定数と騒音源音響パワーとの積でモデリングする。また、騒音源音響パワーをサーバに配置される仮想マシン数に依存する変数としてモデリングする。

評価点におけるｉ番目のサーバの騒音寄与度は、次の（１）式で表される。（１）式において、Ｃ_iは騒音伝搬減衰定数であり、［κ_iｖ_i＋λ_iｗ_i］は騒音源音響パワーを表す。

また、ｗ_iは、ｉ番目のサーバで実行される仮想マシンの数を表す。ｗ_iは、０以上Ｌ_i以下の整数変数である。ｖ_iは、サーバの稼働または停止を表す変数である。ｖ_iの値が０であればサーバが停止中、すなわち電源がオフであり、１であればサーバが稼働中、すなわち電源がオンであることを表す。

（２）騒音伝搬減衰定数の計算
サーバの騒音源位置と評価点位置が決まることによって、音響解析手法により、騒音源位置から評価点位置までの騒音伝搬減衰定数を計算することができる。特に限定しないが、例えば、サーバ内部の音響解析については統計的エネルギ手法（ＳＥＡ法、ＳＥＡ：Ｓｔａｔｉｓｔｉｃａｌ Ｅｎｅｒｇｙ Ａｎａｌｙｓｉｓ）を用い、サーバ外部の音響解析については音線法（幾何音響理論）を用いることができる。

ｉ）統計的エネルギ手法（ＳＥＡ法）
サーバの主たる騒音源を冷却ファンであるとし、ファン音響パワーのサーバ表面への伝搬を求める。統計的エネルギ手法（ＳＥＡ法）では、解析対象を、解析要素に分割し、板形状の板要素と空間的な音響を扱う音場要素の２種類の組み合わせでモデル化する。

図１１は、統計的エネルギ手法によるラックのモデルについて説明する模式図である。図１２は、統計的エネルギ手法によるサーバのモデルについて説明する模式図である。図１１及び図１２に示すように、データセンタ内のラック５及びサーバ２を全て、板要素４１及び音場要素４２からなるＳＥＡモデルに変換する。

統計的エネルギ手法の基礎式は、次の（２）式で表される。（２）式において、Ｐは騒音源音響パワーベクトルである。Ｌは、結合損失率、内部損失率及び中心周波数からなる係数行列である。Ｅは各要素のエネルギベクトルである。（２）式より、板要素４１及び音場要素４２の各要素のエネルギは、次の（３）式で表される。

（３）式より、ラック５の表面及びサーバ２の表面の各要素のエネルギＥ_Sは、次の（４）式で表される。（４）式において、Ｂは表面要素選択行列である。表面要素選択行列Ｂは、表面要素に対応する行列要素を１とし、それ以外の行列要素を０とする行列である。表面要素選択行列Ｂの一例を（５）式に示す。

（４）式より、ラック５の表面及びサーバ２の表面の各要素からの放射音響パワーは、次の（６）式で表される。（６）式において、Ｈは、半無限体積要素（ＳＩＦ：Ｓｅｍｉ． Ｉｎｆｉｎｉｔｅ Ｆｌｕｉｄ）と表面要素との結合損失率と中心周波数からなる係数行列である。統計的エネルギ手法を用いて各サーバ２の内部の音響解析を行うことによって、ラック５の表面及びサーバ２の表面から放射される音響パワーを求めることができる。

ｉｉ）音線法（幾何音響理論）
図１３は、音線法による放射音響パワーの拡散減衰について説明する模式図である。図１３に示すように、放射音響パワーの伝搬では、各サーバ２の表面から評価点４３までの距離による減衰、回折による減衰、及び床等４４での反射による減衰などが生じる。これらの減衰を考慮して、音線法により、放射音響パワーの拡散減衰を求める。

評価点４３における音響パワーは、次の（７）式で表される。（７）式において、Ｄは、対角行列であり、音線法による減衰行列である。音線法を用いて各サーバ２の外部の音響解析を行うことによって、各サーバ２の表面から放射される音響パワーの減衰量を求めることができる。

ｉｉｉ）騒音伝搬減衰定数の計算
解析要素ｎにのみ騒音源がある場合について、評価点４３での音響パワーベクトルを計算する。 騒音源音響パワーベクトルＰは、次の（８）式で表される。（８）式において、Ｉ_nは、図１２に示すモデルにおいて主たる騒音源である冷却ファンのある要素を表す。Ｉ_nにおいて、冷却ファンのある要素を１とし、それ以外の要素を０とする。

（７）式及び（８）式より、評価点４３での音響パワーベクトルは、次の（９）式で表される。（９）式において、Ｐ_e ⁱ及びＱ_e ⁱは次の（１０）式で表される。

Ｐ_e ⁱの各成分の和が各サーバ２の騒音寄与度であるとすると、サーバ２の騒音寄与度は、次の（１１）式で表される。

（３）整数計画問題としての定式化
仮想マシンの配置を行うときの低騒音化問題は、以下の（１２）式〜（１６）式で表される整数計画問題として定式化することができる。（１２）式は目的関数を表し、（１３）式〜（１６）式は制約条件を表す。（１５）式は、配置される仮想マシン数の合計が、配置すべき仮想マシン数に一致するための制約条件である。決定変数は、ｗ_i，ｖ_i，ｉ＝１，・・・，Ｎである。

実施例２によれば、評価点４３における騒音寄与度を目的関数とする整数計画問題を解くことによって、評価点４３での騒音を小さくできる仮想マシンの配置を求めることができる。従って、データセンタの評価点４３での騒音を小さくすることができる。データセンタにおいてシステムエンジニアやカスタマエンジニアが作業する場所に評価点４３を設定すると、騒音によってエンジニアの人体に悪影響が及ぶのを回避することができる。また、騒音によってエンジニア同士の意思の疎通が妨げられるのを回避することができる。

（実施例３）
実施例３では、評価点における低騒音化問題とデータセンタの省電力化問題とを混合した整数計画問題を解くことによって、データセンタの低騒音化と省電力化を両立できる仮想マシンの配置を求める場合について説明する。データセンタ及び制御装置のハードウェア構成については、実施例２において説明した通りである。

・制御装置の機能的構成
図１４は、実施例３にかかる電子計算機システムの制御装置の機能的構成を示すブロック図である。図１４に示すように、制御装置４は、図３に示す実施例２における制御装置４の機能的構成に加えて、判定部３１を有する。判定部３１は、ＣＰＵ１１が、仮想マシン配置方法を実現するプログラムを実行することによって、実現されてもよい。

判定部３１は、仮想マシンの初期配置、仮想マシンの追加配置及び仮想マシンの再配置のいずれに対応した整数計画問題を解くべきかを判定する。判定部３１は、判定結果に基づいて、求解部３４に指示を出す。

仮想マシンの初期配置に対応した整数計画問題を解くことによって、全てのサーバ２が停止している状態で、１個以上のサーバ２に１個以上の仮想マシンを配置することができる。このときの仮想マシンの初期配置状態は、いずれのサーバ２にも１個も仮想マシンが配置されていない状態である。

仮想マシンの追加配置に対応した整数計画問題を解くことによって、１個以上のサーバ２に１個以上の仮想マシンが既に配置されている初期配置状態に、１個以上のサーバ２にさらに１個以上の仮想マシンを追加で配置することができる。ただし、初期配置状態で配置されている仮想マシンは、他のサーバ２へ移動することはない。

仮想マシンの再配置に対応した整数計画問題を解くことによって、１個以上のサーバ２に１個以上の仮想マシンが既に配置されている初期配置状態に対して、ライブマイグレーションを利用して仮想マシンの配置をし直すことができる。ライブマイグレーションを利用することによって、あるサーバ２に配置された仮想マシンの動作を止めることなく、別のサーバ２にこの仮想マシンを配置させることができる。制御装置４は、内蔵するタイマなどによってデータセンタの稼働時間を監視し、一定時間ごとに仮想マシンの再配置を行うようにしてもよい。

求解部３４は、記憶部３２から渡されるデータ（定数）、変数、目的関数及び制約条件と、判定部３１からの指示とに基づいて、整数計画問題を解く。

・省電力化問題について
仮想マシンの配置を行うときの低騒音化問題及び省電力化問題は、以下の（１７）式で表される整数計画問題として定式化することができる。（１７）式において、ρは、仮想マシンの配置を実行する際にユーザがポリシに基づいて設定する重み量である。ρは正の実数である。

上記（１７）式において、各サーバの騒音寄与度については、実施例２において説明した通りである。従って、以下に、各サーバの消費電力を求め、省電力化問題を整数計画問題として定式化する場合について説明する。

（１）データ構造の説明
図１５は、実施例３にかかる電子計算機システムにおけるデータセンタの構成を規定するデータを示す図である。図１５に示すように、データセンタに設定されているラックの数はＮ個であり、一ラックあたりのサーバの数はＳ個である。Ｎ及びＳは正の整数である。

実施例３にかかる電子計算機システムにおける仮想マシンの数を規定するデータは、図５に示す通りである。すなわち、配置すべき仮想マシンの数はＭ個である。

図１６は、実施例３にかかる電子計算機システムにおけるスケーリングファクターを規定するデータを示す図である。スケーリングファクターは、仮想マシンの再配置を行う際に、再配置後の消費電力とライブマイグレーションによる消費電力とのいずれの削減を重視するかを規定する定数である。図１６に示すように、スケーリングファクターはｃである。ｃは正の実数である。

例えば、ｃは、ライブマイグレーションの平均動作時間を再配置後の仮想マシンの平均動作時間で除した値であってもよい。このときのｃは１未満の値となる。このようにｃを選択することによって、サーバ２での消費電力と電源装置３での消費電力との合計消費電力を最小にすることができる。

図１７は、実施例３にかかる電子計算機システムにおける実行可能な最大仮想マシン数を規定するデータを示す図である。図１７に示すように、ｉ番目のラックのｊ番目のサーバで実行できる最大仮想マシン数はＬ_ij個である。Ｌ_ijは正の整数である。ｉは１〜Ｎの整数であり、ｊは１〜Ｓの整数である。

図１８は、実施例３にかかる電子計算機システムにおける仮想マシンの消費電力を規定するデータを示す図である。図１８に示すように、ｉ番目のラックのｊ番目のサーバで動作する仮想マシン１個あたりで消費される電力はα_ijワットである。α_ijは正の実数である。

図１９は、実施例３にかかる電子計算機システムにおけるベース消費電力を規定するデータを示す図である。図１９に示すように、ｉ番目のラックのｊ番目のサーバの電源がオンになることで消費される電力はβ_ijワットである。β_ijは正の実数である。

図２０は、実施例３にかかる電子計算機システムにおける仮想マシンの移動元の消費電力を規定するデータを示す図である。ライブマイグレーションによって仮想マシンを移動させると、移動元のサーバで電力が消費される。図２０に示すように、ｉ番目のラックのｊ番目のサーバから１個の仮想マシンが別のサーバへ移動していくときに消費される電力はγ^- _ijワットである。γ^- _ijは正の実数である。

図２１は、実施例３にかかる電子計算機システムにおける仮想マシンの移動先の消費電力を規定するデータを示す図である。ライブマイグレーションによって仮想マシンを移動させると、移動先のサーバで電力が消費される。図２１に示すように、ｉ番目のラックのｊ番目のサーバに別のサーバから１個の仮想マシンが移動してくるときに消費される電力はγ⁺ _ijワットである。γ⁺ _ijは正の実数である。

図２２は、実施例３にかかる電子計算機システムにおける仮想マシンの初期配置データを示す図である。図２２に示すように、ｉ番目のラックのｊ番目のサーバに配置済みの仮想マシンの数はｗ_ij［０］個である。ｗ_ij［０］は０以上Ｌ_ij以下の整数である。

図２３は、実施例３にかかる電子計算機システムにおける電源装置のベース消費電力及び比例係数を規定するデータを示す図である。図２３に示すように、ｉ番目のラックの電源装置で常に消費されるベース消費電力はη_iワットである。η_iは正の実数である。また、ｉ番目のラック内のサーバの合計消費電力に対して、その何倍の電力が電源装置３で消費されるかということを表す比例係数はε_iである。ε_iは正の実数である。一例として、一般的な電源装置のカタログによると、ε_iは０．０１〜０．０４程度である。

上述したＮ及びＳの各値は、データセンタの構成によって予め決まる。ｃ、Ｌ_ij、α_ij、β_ij、γ^- _ij及びγ⁺ _ijの各値は、サーバによって予め決まる。η_i及びε_iの各値は、電源装置によって予め決まる。ｗ_ij［０］は、データセンタの運用中に管理部３３によって動的に書き換えられる。Ｍは、起動されるアプリケーションの数などによって決まる。

（２）整数計画問題としての定式化について
ｉ）消費電力のモデリング
まず、サーバの消費電力、電源装置の消費電力、ラック内のサーバ及び電源装置の合計消費電力、並びにデータセンタ内のサーバ及び電源装置の合計消費電力のそれぞれのモデリングについて説明する。

ｉｉ）サーバの消費電力のモデリング
サーバは、消費電力に関して次の（Ｓ−１）〜（Ｓ−３）の性質を有する。
（Ｓ−１）仮想マシンが１個でも実行されると、サーバの電源がオンになる。仮想マシンの実行数が０であるときには、サーバの電源はオフとなる。
（Ｓ−２）電源がオンになると一定の電力が消費される。
（Ｓ−３）実行される仮想マシンの数が増えると、それに応じて消費電力が増える。

ここで、ｉ番目のラックのｊ番目のサーバで実行される仮想マシンの数を表す変数をｗ_ijとする。ｗ_ijは、０以上Ｌ_ij以下の整数変数である。また、ｉ番目のラックのｊ番目のサーバについて、ｖ_ijを０または１のいずれかの値をとる変数とする。このｖ_ijに対して次の制約条件を課す。

上記（１８）式において、ｗ_ijが１以上であるとき、ｖ_ijが０であると、（１８）式の右側の不等式が成立しないので、ｖ_ijは１である。一方、ｗ_ijが０であるとき、ｖ_ijが１であると、（１８）式の左側の不等式が成立しないので、ｖ_ijは０である。

従って、ｖ_ijの値は、サーバの電源のオン／オフを表していることになる。ｖ_ijの値が０であればサーバの電源がオフであり、１であればサーバの電源がオンであることを表す。これを表したものが、次の（１９）式及び（２０）式である。

以上の定数及び変数を用いて、ｉ番目のラックのｊ番目のサーバの消費電力は、次の（２１）式で表される。この（２１）式は、上述した（Ｓ−１）〜（Ｓ−３）の性質を変数ｗ_ij及びｖ_ijの１次式で表したものである。

上記（２１）式において、α_ijｗ_ijは、［仮想マシン一つあたり消費される電力×仮想マシン数］であるので、仮想マシン数に応じて消費される電力を表している。また、β_ijｖ_ijは、サーバの電源がオンのときにβ_ijとなり、サーバの電源がオフのときに０となるので、サーバの電源がオンになることによって消費される電力を表している。

ｉｉｉ）電源装置の消費電力のモデリング
電源装置は、消費電力に関して次の（Ｕ−１）及び（Ｕ−２）の性質を有する。
（Ｕ−１）ラック内のサーバの動作状態にかかわらず、常に一定の電力が消費される。
（Ｕ−２）ラック内のサーバの合計消費電力が増えると、それに応じて消費電力が増える。

（Ｕ−１）及び（Ｕ−２）の性質に基づいて、ｉ番目のラックに備え付けられた電源装置の消費電力は、次の（２２）式で表される。この（２２）式は、（Ｕ−１）及び（Ｕ−２）の性質を変数ｗ_ij及びｖ_ijの１次式で表したものである。

上記（２２）式において、［Σ（β_ijｖ_ij＋α_ijｗ_ij）］（ただし、Σのインデックスｊは省略）は、ｉ番目のラック内のサーバの合計消費電力を表している。このｉ番目のラック内のサーバの合計消費電力にε_iをかけた（２２）式の第２項は、ｉ番目のラック内のサーバの合計消費電力に応じて電源装置で消費される電力を表している。η_iは、ｉ番目のラックの電源装置で常に消費される電力である。

ｉｖ）ラック内のサーバ及び電源装置の合計消費電力のモデリング
電源装置の消費電力のモデリングの項で述べたように、ｉ番目のラック内のサーバの合計消費電力は、［Σ（β_ijｖ_ij＋α_ijｗ_ij）］（ただし、Σのインデックスｊは省略）である。また、ｉ番目のラックに備え付けられた電源装置の消費電力は、上記（２２）式で表される。これらを足したものが、ｉ番目のラックの合計消費電力となる。従って、ｉ番目のラックの合計消費電力は、次の（２３）式で表される。

ここで、ラック内のサーバの台数は可変であってもよい。ラック内のサーバの台数が可変であることは、ｉ番目のラック内のサーバの台数を、Ｓより小さい整数ｓを用いてｓ個とすると、整数計画問題を解くにあたって、［ｗ_ij＝０，ｊ≧ｓ］という制約条件で表現することができる。

ｖ）データセンタ内のサーバ及び電源装置の合計消費電力のモデリング
上記（２３）式を１番目〜Ｎ番目の全てのラック分、足したものが、データセンタ内の合計消費電力となる。従って、データセンタ内の合計消費電力は、次の（２４）式で表される。

次に、仮想マシンの初期配置、追加配置及び再配置のそれぞれについて、整数計画問題としての定式化について説明する。

ｖｉ）仮想マシンの初期配置
仮想マシンの初期配置を行う際には、いずれのサーバにも仮想マシンは配置されていない。従って、全てのサーバの電源はオフとなっている。

仮想マシンの初期配置を行うときのサーバ及び電源装置の省電力化問題は、以下の（２５）式〜（２９）式で表される整数計画問題として定式化することができる。（２５）式は目的関数を表し、（２６）式〜（２９）式は制約条件を表す。（２８）式は、配置される仮想マシン数の合計が、配置すべき仮想マシン数に一致するための制約条件である。決定変数は、ｗ_ij，ｖ_ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

ｖｉｉ）仮想マシンの追加配置
仮想マシンの追加配置を行う際の前提として、ｉ番目のラックのｊ番目のサーバにｗ_ij［０］個の仮想マシンが既に配置されているとする。また、現在、配置されている仮想マシンは移動しないとする。従って、初期配置状態として既にｗ_ij［０］個の仮想マシンが配置されているサーバに、さらに仮想マシンが追加で配置されることになるので、ｗ_ijはｗ_ij［０］以上の値になる。これを制約条件として表すと、次の（３０）式となる。

また、追加で配置される仮想マシン数をΔＭとする。初期配置状態で配置されている仮想マシン数が［ΣΣｗ_ij［０］］（ただし、前のΣのインデックスｉ及び後のΣのインデックスｊは省略）であるので、追加配置後の仮想マシン数は［ΣΣｗ_ij［０］＋ΔＭ］（ただし、前のΣのインデックスｉ及び後のΣのインデックスｊは省略）となる。

従って、仮想マシンの追加配置を行うときのサーバ及び電源装置の省電力化問題は、以下の（３１）式〜（３５）式で表される整数計画問題として定式化することができる。（３１）式は目的関数を表し、（３２）式〜（３５）式は制約条件を表す。（３４）式は、追加配置後の仮想マシン数の合計が、初期配置状態での仮想マシン数と追加配置される仮想マシン数とを足した値に一致するための制約条件である。決定変数は、ｗ_ij，ｖ_ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

ｖｉｉｉ）仮想マシンの再配置
仮想マシンの再配置を行う際の前提として、ｉ番目のラックのｊ番目のサーバにｗ_ij［０］個の仮想マシンが既に配置されているとする。仮想マシンの再配置では、仮想マシンは、ライブマイグレーションを使って移動させられる。ライブマイグレーションを使って仮想マシンを移動させると、移動元のサーバ及び移動先のサーバの両方で電力が消費される。

ｉ番目のラックのｊ番目のサーバについて、δ^- _ijを０または１のいずれかの値をとる変数とする。このδ^- _ijに対して次の制約条件を課す。ただし、ｄは１未満の正の実数である。

上記（３６）式において、［ｗ_ij−ｗ_ij［０］］が０以下であるとき、δ^- _ijが０であると、（３６）式の左側の不等式が成立しないので、δ^- _ijは１である。一方、［ｗ_ij−ｗ_ij［０］］が１以上であるとき、δ^- _ijが１であると、（３６）式の右側の不等式が成立しないので、δ^- _ijは０である。これを表したものが、次の（３７）式及び（３８）式である。

また、ｉ番目のラックのｊ番目のサーバについて、ｚ^- _ijを０〜Ｌ_ijのいずれかの値をとる整数変数とする。このｚ^- _ijに対して次の制約条件を課す。

［ｗ_ij−ｗ_ij［０］］が１以上であるとき、上記（３８）式より、δ^- _ijは０である。従って、上記（３９）式は、［０≦ｚ^- _ij≦０］となるので、ｚ^- _ijは０である。［ｗ_ij−ｗ_ij［０］≧１，δ^- _ij＝０，ｚ^- _ij＝０］であるとき、上記（４０）式において、［−（ｗ_ij−ｗ_ij［０］）＋Ｌ_ij≧０≧−（ｗ_ij−ｗ_ij［０］）−Ｌ_ij］である。従って、上記（４０）式は成立する。これを表したものが、次の（４１）式である。

一方、［ｗ_ij−ｗ_ij［０］］が０以下であるとき、上記（３７）式より、δ^- _ijは１である。従って、上記（４０）式は、［−（ｗ_ij−ｗ_ij［０］）≦ｚ^- _ij≦−（ｗ_ij−ｗ_ij［０］）］となるので、ｚ^- _ijは、［−（ｗ_ij−ｗ_ij［０］）］に等しくなる。

［ｗ_ij−ｗ_ij［０］≦０，δ^- _ij＝１，ｚ^- _ij＝−（ｗ_ij−ｗ_ij［０］）］であるとき、上記（３９）式において、［−Ｌ_ij≦−（ｗ_ij−ｗ_ij［０］）≦Ｌ_ij］である。従って、上記（３９）式は成立する。これを表したものが、次の（４２）式である。

［ｗ_ij−ｗ_ij［０］］が０以下であるということは、ｉ番目のラックのｊ番目のサーバから仮想マシンが別のサーバへ移動していくということである。また、［ｗ_ij−ｗ_ij［０］］が１以上であるということは、ｉ番目のラックのｊ番目のサーバに別のサーバから仮想マシンが移動してくるということである。つまり、ｚ^- _ijは、ｉ番目のラックのｊ番目のサーバから別のサーバへ移動していく仮想マシンの数を表している。

従って、ｉ番目のラックのｊ番目のサーバから別のサーバへｚ^- _ij個の仮想マシンが移動していく場合の消費電力は、次の（４３）式で表される。

また、ｉ番目のラックのｊ番目のサーバについて、δ⁺ _ijを０または１のいずれかの値をとる変数とする。このδ⁺ _ijに対して以下の制約条件を課す。

上記（４４）式の制約条件、上記（３７）式及び（３８）式より、次の（４５）式及び（４６）式が得られる。

また、ｉ番目のラックのｊ番目のサーバについて、ｚ⁺ _ijを０〜Ｌ_ijのいずれかの値をとる整数変数とする。このｚ⁺ _ijに対して次の制約条件を課す。

［ｗ_ij−ｗ_ij［０］］が１以上であるとき、上記（４６）式より、δ⁺ _ijは１である。従って、上記（４８）式は、［ｗ_ij−ｗ_ij［０］≦ｚ⁺ _ij≦ｗ_ij−ｗ_ij［０］］となるので、ｚ⁺ _ijは、［ｗ_ij−ｗ_ij［０］］に等しくなる。

［ｗ_ij−ｗ_ij［０］≧１，δ⁺ _ij＝１，ｚ⁺ _ij＝ｗ_ij−ｗ_ij［０］］であるとき、上記（４７）式において、［−Ｌ_ij≦ｗ_ij−ｗ_ij［０］≦Ｌ_ij］である。従って、上記（４７）式は成立する。これを表したものが、次の（４９）式である。

一方、［ｗ_ij−ｗ_ij［０］］が０以下であるとき、上記（４５）式より、δ⁺ _ijは０である。従って、上記（４７）式は、［０≦ｚ⁺ _ij≦０］となるので、ｚ⁺ _ijは０である。［ｗ_ij−ｗ_ij［０］≦０，δ⁺ _ij＝０，ｚ⁺ _ij＝０］であるとき、上記（４８）式において、［（ｗ_ij−ｗ_ij［０］）−Ｌ_ij≦０≦（ｗ_ij−ｗ_ij［０］）＋Ｌ_ij］である。従って、上記（４８）式は成立する。これを表したものが、次の（５０）式である。

ｚ⁺ _ijは、ｉ番目のラックのｊ番目のサーバに別のサーバから移動してくる仮想マシンの数を表している。従って、ｉ番目のラックのｊ番目のサーバに別のサーバからｚ⁺ _ij個の仮想マシンが移動してくる場合の消費電力は、次の（５１）式で表される。

ライブマイグレーションによって消費される電力は、ｉ番目のラックのｊ番目のサーバについて、別のサーバへｚ^- _ij個の仮想マシンが移動していく場合の消費電力と、別のサーバからｚ⁺ _ij個の仮想マシンが移動してくる場合の消費電力との合計を、全サーバ分、足したものとなる。従って、ライブマイグレーションによって消費される電力は、次の（５２）式で表される。

従って、仮想マシンの再配置を行うときのサーバ及び電源装置の省電力化問題は、以下の（５３）式〜（６７）式で表される整数計画問題として定式化することができる。（５３）式は目的関数を表し、（５４）式〜（６７）式は制約条件を表す。決定変数は、ｗ_ij，ｖ_ij，δ^- _ij，δ⁺ _ij，ｚ^- _ij，ｚ⁺ _ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

・低騒音化問題と省電力化問題とを混合した整数計画問題としての定式化について
仮想マシンの初期配置、追加配置及び再配置のそれぞれについて、省電力化問題の目的関数と、実施例２で説明した低騒音化問題の目的関数とを組み合わせることにより、整数計画問題として定式化することができる。

電子計算機システム１は、低騒音化問題及び省電力化問題に共通のデータとして、図１５に示すラック数及び一ラックあたりのサーバ数、図５に示す仮想マシンの数、並びに図１７に示す実行可能な最大仮想マシン数、の各データを有する。電子計算機システム１は、低騒音化問題のデータとして、図７に示す騒音伝搬減衰定数、図８に示す騒音源音響パワー、及び図９に示すベース騒音源音響パワー、の各データを有する。

また、電子計算機システム１は、省電力化問題のデータとして、図１６に示すスケーリングファクター、図１８に示す仮想マシンの消費電力、図１９に示すベース消費電力、の各データを有する。さらに、電子計算機システム１は、省電力化問題のデータとして、図２０に示す仮想マシンの移動元の消費電力、図２１に示す仮想マシンの移動先の消費電力、並びに図２３に示す電源装置のベース消費電力及び比例係数、の各データを有する。

ただし、実施例２と実施例３とで、インデックスｉが異なる意味で用いられているので、実施例３において低騒音化問題に関する説明では、実施例２のインデックスｉの代わりにインデックスｋを用いる。実施例３のインデックスｋと実施例２のインデックスｉとの関係は、［ｋ＝Ｓ（ｉ−１）＋ｊ］である。

（１）仮想マシンの初期配置
仮想マシンの初期配置を行うときの低騒音化問題及び省電力化問題は、以下の（６８）式及び上記（２６）式〜（２９）式で表される整数計画問題として定式化することができる。（６８）式は目的関数を表し、（２６）式〜（２９）式は制約条件を表す。決定変数は、ｗ_ij，ｖ_ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

（２）仮想マシンの追加配置
仮想マシンの追加配置を行うときの低騒音化問題及び省電力化問題は、以下の（６８）式及び上記（３２）式〜（３５）式で表される整数計画問題として定式化することができる。（６８）式は目的関数を表し、（３２）式〜（３５）式は制約条件を表す。決定変数は、ｗ_ij，ｖ_ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

（３）仮想マシンの再配置
仮想マシンの再配置を行うときの低騒音化問題及び省電力化問題は、以下の（６９）式及び上記（５４）〜（６７）式で表される整数計画問題として定式化することができる。（６９）式は目的関数を表し、（５４）式〜（６７）式は制約条件を表す。決定変数は、ｗ_ij，ｖ_ij，δ^- _ij，δ⁺ _ij，ｚ^- _ij，ｚ⁺ _ij，ｉ＝１，・・・，Ｎ，ｊ＝１，・・・，Ｓである。

・仮想マシン配置方法の説明
図２４は、実施例３にかかる仮想マシン配置方法を示すフローチャートである。図２４に示すように、仮想マシンの配置が開始されると、まず、制御装置４の判定部３１は、仮想マシンの配置の種類が、初期配置、追加配置及び再配置のいずれであるかを判定する（ステップＳ１１）。そして、判定部３１は、判定結果に基づいて、求解部３４に配置の種類を指示する。

次いで、記憶部３２は、求解部３４にデータ（定数）、変数、目的関数及び制約条件を入力する（ステップＳ１２）。求解部３４は、入力されたデータ（定数）、変数、目的関数及び制約条件と、判定部３１からの指示とに基づいて、例えばソルバーによって整数計画問題を解き、解を求める（ステップＳ１３）。整数計画問題としての定式化については、配置の種類ごとに後述する。配置部３５は、求解部３４が求めた解に基づいて、仮想マシンを配置する（ステップＳ１４）。このようにして，一連の仮想マシン配置処理が終了する。

実施例３によれば、データセンタの省電力化と評価点４３での低騒音化の両方を同時に実現できる仮想マシンの配置を求めることができる。従って、データセンタの消費電力を減らすとともに、評価点４３での騒音を小さくすることができる。

図２５は、実施例１〜３における仮想マシンの配置例を示す模式図である。図２５に示すように、仮想マシンの初期配置位置５１では、データセンタ５２において仮想マシン５３が例えば各ラック５に均等に配置されており、評価点４３での騒音の大きさが考慮された配置にはなっていない。それに対して、実施例１〜３によって評価点４３での騒音が小さくなるように仮想マシンを再配置した仮想マシンの再配置後の位置５４によれば、データセンタ５２において仮想マシン５３は、例えば評価点４３から離れたサーバ２に配置されている。それによって、評価点４３での騒音が小さくなる。

１ 電子計算機システム
２ サーバ
３ 電源装置
４ 制御装置
１１ プロセッサ
１９ インターフェース

Claims (7)

1. 仮想マシンが配置される、またはジョブが割り振られる複数のサーバと、
   前記サーバごとに前記サーバの稼働時に音を発する騒音源と、
   前記サーバに対する前記仮想マシンの配置、または前記ジョブの割り振りを制御する制御装置と、
   を備え、
   前記制御装置は、前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述された、前記騒音源から発せられる音が評価点における騒音の大きさに寄与する程度を表す騒音寄与度を目的関数とする整数計画問題を、整数計画問題を解くソフトウェアをプロセッサにより実行することにより前記目的関数を最小化する解を求め、求めた前記解に基づいて、前記サーバに対するインターフェースを介して前記プロセッサにより前記サーバに対する前記仮想マシンの配置、または前記ジョブの割り振りを行うことを特徴とする電子計算機システム。
2. 前記騒音寄与度を、前記騒音源から前記評価点へ伝搬する音の減衰具合を規定する騒音伝搬減衰定数と騒音源音響パワーとの関数で定義し、
   前記騒音伝搬減衰定数を音響解析手法により導出し、
   前記騒音源音響パワーを前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述することを特徴とする請求項１に記載の電子計算機システム。
3. 複数の前記サーバに電力を供給する複数の電源装置、をさらに備え、
   前記制御装置は、前記目的関数を、前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述された、前記サーバでの消費電力と前記電源装置での消費電力との合計消費電力と、前記騒音寄与度との和とすることを特徴とする請求項１または２に記載の電子計算機システム。
4. 稼働時に音を発する騒音源を有する複数のサーバに対する仮想マシンの配置、またはジョブの割り振りを行う制御装置が、
   前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述された、前記騒音源から発せられる音が評価点における騒音の大きさに寄与する程度を表す騒音寄与度を目的関数とする整数計画問題を、整数計画問題を解くソフトウェアをプロセッサにより実行することにより前記目的関数を最小化する解を求め、求めた前記解に基づいて、前記サーバに対するインターフェースを介して前記プロセッサにより前記サーバに対する前記仮想マシンの配置、または前記ジョブの割り振りを行うことを特徴とする仮想マシン配置方法。
5. 前記騒音寄与度を、前記騒音源から前記評価点へ伝搬する音の減衰具合を規定する騒音伝搬減衰定数と騒音源音響パワーとの関数で定義し、
   前記騒音伝搬減衰定数を音響解析手法により導出し、
   前記騒音源音響パワーを前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述することを特徴とする請求項４に記載の仮想マシン配置方法。
6. 前記音響解析手法は、統計的エネルギ手法を用いて前記サーバの内部の音響解析を行い、音線法を用いて前記サーバの外部の音響解析を行うことにより、前記騒音伝搬減衰定数を導出することを特徴とする請求項５に記載の仮想マシン配置方法。
7. 前記制御装置が、前記目的関数を、前記仮想マシンの配置の関数または前記ジョブの割り振り数の関数として記述された、前記サーバでの消費電力と前記サーバに電力を供給する電源装置での消費電力との合計消費電力と、前記騒音寄与度との和とすることを特徴とする請求項４〜６のいずれか一つに記載の仮想マシン配置方法。
   
   

Images