JP6020175B2 - モジュール型データセンタとその制御方法 - Google Patents

Description

本発明は、モジュール型データセンタとその制御方法に関する。

高度情報化社会の到来に伴い、データセンタに設置されるサーバ等の電子機器では大量のデータが扱われるようになり、データセンタ全体の消費電力は増加傾向にある。また、一つのラックに実装されるサーバの数が増加していることもこのように消費電力が増大する一因となっている。

消費電力の増大によってサーバの発熱量も増大することになるが、その発熱量はサーバの使用率によって変動する。例えば、サーバの使用率が大きくなれば発熱量が増大し、使用率が小さくなれば発熱量が低減する。そして、全てのサーバの使用率が最大となったときに、各サーバの総発熱量も最大となる。

データセンタにはサーバを空冷するための空調機が設けられる。各サーバの冷却不足を防止するために、その空調機の最大冷却能力は、最大の使用率で最大の発熱量を発生している全サーバを冷却し得る値に設定されることがある。

但し、データセンタ内の全サーバが常に最大の使用率で動作することはまれである。更に、その空調機の最大冷却能力にみあった発熱量を発生するサーバがデータセンタ内に設置されているとも限らない。

これらの場合には、空調機の風量を減らすことにより各サーバの過剰冷却を防止することになるが、各サーバの使用率が低い場合には風量を最低に設定してもなお各サーバが過剰に冷却され、かつ、空調機の消費電力が無駄になる。

データセンタの省エネルギ特性を表す指標の一つにPUE(Power Usage Effectiveness)がある。PUEは、データセンタの全体の消費電力をその中のサーバの消費電力で除したものであり、その値が１に近いほどデータセンタにおける電力の使用効率が良いことになる。上記のようにサーバが過剰冷却されている場合等は、空調機で必要以上に電力が消費されているため、PUEは１よりもかなり大きくなってしまう。

このように、データセンタにおいては各サーバの使用率が低い場合に空調機に無駄な電力消費が発生して省エネルギ化が図れないという問題がある。

特開２０１１−２２６７３７号公報

モジュール型データセンタとその制御方法において、電子機器の使用率が低い場合でも空調に要する電力を低減できるようにすることを目的とする。

以下の開示の一観点によれば、筐体と、前記筐体内に設けられ、第１の冷却風を生成する第１のファンと、前記筐体内に設けられ、前記第１の冷却風が供給される複数の電子機器と、前記複数の電子機器のうちの一部の電子機器に第２の冷却風を供給すると共に、前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンとを有し、前記複数の電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、複数の前記電子機器の各々のジョブを前記一部の電子機器に移し、前記一部以外の電子機器の電源を切り、前記第２のファンの駆動を開始し、前記第１のファンの駆動を停止するモジュール型データセンタが提供される。

また、その開示の別の観点によれば、筐体内の第１のファンで生成された第１の冷却風を、前記筐体内の複数の電子機器に供給し、複数の前記電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、前記複数の電子機器のうちの一部の電子機器に、前記複数の電子機器の各々のジョブを移し、前記一部以外の前記電子機器の電源を切り、前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンで第２の冷却風を生成することにより、前記一部の電子機器に前記第２の冷却風を供給し、前記第１のファンの駆動を停止するモジュール型データセンタの制御方法が提供される。

以下の開示によれば、複数の電子機器の使用率等が低くなったとき、一部の電子機器にジョブを移してこれらの電子機器に第２のファンで第２の冷却風を供給する。第２のファンの消費電力は、第１のファンの消費電力の最低値よりも低いので、これによりモジュール型データセンタ内において空調に要する電力を削減することができる。

図１は、第１実施形態に係るデータセンタの断面図である。 図２は、第１実施形態におけるフレームとその周囲の拡大断面図である。 図３は、第１実施形態において、排気口側から見たラックの背面図である。 図４は、第１実施形態において、ラック側から見たファンユニットの正面図である。 図５は、第１実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。 図６は、第１実施形態においてステップP1を行った時点におけるデータセンタの断面図である。 図７は、第１実施形態においてステップP8を行った時点におけるデータセンタの断面図である。 図８は、第１実施形態における片寄せ処理のフローチャートである。 図９は、第１実施形態における開閉部の開閉動作について示すフローチャートである。 図１０は、全ての電子機器のCPU使用率と消費電力との関係について示すグラフである。 図１１は、ファンユニットの回転数の設定値と、ファンユニットの消費電力との関係を示すグラフである。 図１２は、第２実施形態におけるラックの一部拡大断面図である。 図１３は、第３実施形態におけるフレームとその周囲の拡大断面図である。

以下に、添付図面を参照しながら各実施形態について説明する。

（第１実施形態）
図１は、本実施形態に係るデータセンタの断面図である。

このデータセンタ１は、屋外や建物内に設置される直方体状のコンテナ２を備え、そのコンテナ２の内側にファンユニット３とこれに対向するラック５が設けられる。

コンテナ２は、筐体の一例であって、外気Aが通る吸気口２ａと排気口２ｂとを有する。吸気口２ａには開閉部１９として複数の可動ルーバが設けられており、その稼働ルーバによって吸気口２ａが開いたり閉じたりする。

更に、吸気口２ａにはフィルタ１７が設けられる。フィルタ１７は、例えば集塵フィルタやケミカルフィルタであって、吸気口２ａからコンテナ２の内部に粉塵や有害な化学物質が侵入するのを防止する機能を有する。

ファンユニット３は、コンテナ２の吸気口２ａから外気Aを吸気するための複数の第１のファン４を有しており、その第１のファン４によって外気Aから第１の冷却風B1が生成される。

そのファンユニット３には外気Aを冷却するための熱交換器が設けられておらず、第１のファン４によって外気Aと同じ温度の第１の冷却風B1が生成される。

ラック５は複数の電子機器７を収容する。電子機器７は、例えばラックマウント型のサーバであって、ラック５内において平積みにされる。本実施形態では電子機器７のうちの一台を制御部７ｘとして用い、その制御部７ｘがファンユニット３に対して第１の制御信号S₁を出力することにより第１のファン４の回転数を制御する。

なお、電子機器７とは別にホストコンピュータを設け、そのホストコンピュータを制御部７ｘとして用いてもよい。

また、制御部７ｘは、上記の開閉部１９に対して開閉信号S_Gを出力することにより、開閉部１９の開閉動作を制御する。

そして、ファンユニット３とラック５との間の空間は、第１の冷却風B1が流通するコールドアイル１４として機能すると共に、作業者が各電子機器７に対してメンテナンスを行うための空間としても供せられる。

また、コールドアイル１４の上部には温度センサ１６が設けられる。温度センサ１６は、コールドアイル１４内の温度Tを計測し、その結果を温度情報S_Tとして制御部７ｘに出力する。

上記の第１の冷却風B1は各電子機器７を空冷した後、これらの電子機器７によって暖められて排気流Eとなり、コンテナ２の排気口２ｂから排気される。

なお、この例ではコールドアイル１４の上に天板８を設けると共に、その天板８とコンテナ２の天井面２ｃとの間にクリアランスを設け、排気流Eの一部をそのクリアランスを介してファンユニット３の上流側に戻す。これにより、暖かな排気流Eで第１の冷却風B1が暖められるので、各電子機器７が第１の冷却風B1で過剰に冷却されるのを防止できる。

また、ラック５の上面５ａには、後述の第２のファン９ａを保持したフレーム９が設けられる。

その第２のファン９ａの回転数は、制御部７ｘから出力される第２の制御信号S₂によって制御される。

図２は、フレーム９とその周囲の拡大断面図である。

図２に示すように、ラック５の上面５ａには、第１のギア１３を回転駆動させるモータ１１が固定される。そして、フレーム９には、第１のギア１３と噛み合った第２のギア１５が固定される。

本実施形態では、モータ１１の回転運動で各ギア１３、１５を介してフレーム９が矢印Jの方向に回転し、複数の電子機器７のうちの一部に第２のファン９ａを対向させたり、ラック５の上に第２のファン９ａを退避させたりすることができる。

そのモータ１１の回転数は、上記の第２の制御信号S₂に基づいて制御部７ｘが制御する。

なお、フレーム９の回転がラック５によって妨げられないようにするため、ラック５の上面５ａにはフレーム９が通過する大きさの開口５ｂが設けられる。また、図２の例ではラック５の上に第２のファン９ａを退避させるときにフレーム９を倒立させているが、第２のファン９ａの退避時にフレーム９を水平に寝かせることによりフレーム９で開口５ｂを塞いでもよい。

また、第２のファン９ａに対向させる電子機器７の台数は特に限定されない。この例では、一つのラック５において上から三台目までの電子機器７を第２のファン９ａに対向させる。

そして、この状態で第２のファン９ａを駆動すると第２の冷却風B2が生成され、この第２の冷却風B2によって第２のファン９ａに対向している電子機器７が冷却されることになる。

第２のファン９ａは、このように複数の電子機器７のうちの一部のみを冷却すればよいため、そのファンの直径や風量は第１のファン４のそれよりも小さい。これにより、一つの第２のファン９ａの消費電力も、一つの第１のファン４の消費電力の最低値P_minよりも小さい。

なお、消費電力の最低値P_minは、第１のファン４の回転数の制御範囲のうち、最低の回転数を得るときの第１のファン４の消費電力である。その回転数よりも低いと第１のファン４の挙動が安定しなくなったり、第１のファン４が回転せずに停止してしまうので、第１の冷却風B1の風量を更に低くするには第１のファン４をオフ状態にし、第１の冷却風B1の風量を０にする。

また、各電子機器７には、上記の第１の冷却風B1や第２の冷却風B2を流通させるための第１の開口７ａと第２の開口７ｂとが互いに対向するように設けられる。本実施形態ではこれらの冷却風B1、B2によって各電子機器７の内部が冷却されるため、電子機器７自身に冷却用のファンを設ける必要がなく、各電子機器７としてファンレスサーバを使用することができる。ファンレスサーバは、ファンがない分だけ消費電力が低いため、データセンタ１の省エネルギ化に資することができる。

また、各開口７ａ、７ｂの位置も特に限定されない。本実施形態では、第１の開口７ａを第１のファン４（図１参照）に対向させることにより、第１の開口７ａから第１の冷却風B1を取り込み易くする。そして、第２の開口７ｂを第２のファン９ａに対向させることにより、第２の冷却風B2が第２の開口７ｂを通り易くなるようにする。

更に、各電子機器７の内部には、上記の第１の冷却風B1や第２の冷却風B2で冷却されるCPU(Central Processing Unit)、MPU(Micro Processing Unit)、及びGPU(Graphical Processing Unit)等の演算処理ユニット７ｙが設けられる。

図３は、排気口２ｂ側から見たラック５の背面図である。

図３に示すように、この例では三つのラック５を横方向に並べる。そして、これらのラック５に対応して三つのフレーム９が各ラック５に設けられ、各フレーム９においては第２のファン９ａが行列状に複数配置される。

図４は、ラック５側から見たファンユニット３の正面図である。

図４に示すように、第１のファン４は三つのラック５の各々に対向するように行列状に配列される。この例では、一つのラック５に対して６行×２列の合計１２個の第１のファン４が対向する。

第１のファン４の各々は、上記のように第１の冷却風B1を生成して各電子機器７を冷却する役割を担うが、各電子機器７の発熱量はその使用率に応じて変わる。そのため、本実施形態では複数の第１のファン４の各々の回転数を制御することにより第１の冷却風B1の風量を最適化し、各電子機器７が過剰冷却や冷却不足の状態にならないようにする。

第１のファン４の制御の単位は特に限定されないが、本実施形態では第１のファン４の回転数の制御をラック単位で行ごとに行うことにより、各ファン４に対向する電子機器７の発熱量に適した風量の第１の冷却風B1を生成する。その結果、一つのラック５に対向する同じ行にある二つの第１のファン４の回転数は同一となる。また、行が異なれば第１のファン４の回転数が異なることもある。

次に、本実施形態に係るモジュール型データセンタの制御方法について説明する。

図５は、本実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。

以下では、このフローチャートに従ってラック５ごとに制御を行うが、制御対象を各ラック５に制限せずに、全てのラック５の全ての電子機器７をこのフローチャートに従って制御してもよい。

最初のステップP1では、制御部７ｘの制御下で第１のファン４を駆動することにより、電子機器７の各々に第１の冷却風B1を供給する。

図６は、このステップP1を行った時点におけるデータセンタ１の断面図である。

なお、図６では電源が入れられている電子機器７にハッチングを掛けており、この例では全ての電子機器７の電源が入れられている。

また、本ステップでは第１のファン４を駆動させるので、吸気口２ａから外気Aが取り込まれる。

そして、第２のファン９ａを保持するフレーム９はラック５の上面側に退避しており、電子機器７から出る排気流Eの流れが第２のファン９ａによって妨げられないようにする。

次に、ステップP2に移り、制御部７ｘが、一つのラック５における全ての電子機器７の各々の使用率R_iを取得する。

使用率R_iは、各電子機器７が備える演算処理ユニット７ｙの使用率であって、これらの演算処理ユニット７ｙから出力される信号に基づいて制御部７ｘが電子機器７ごとに取得する。一つのラック５に電子機器７がn台あるときは、n個の使用率R₁、R₂、…、R_nを求めることになる。

なお、使用率R_iに代えて、一つのラック５における全ての電子機器７の各々の消費電力P _iを取得してもよい。

次に、ステップP2に移り、上記の使用率R₁、R₂、…、R_nの平均値を制御部７ｘが求め、その値をこれらの使用率の代表値Rとする。各使用率が大きいほど各電子機器７の発熱量は多くなるため、この代表値Rは各電子機器７の発熱量を知る目安となる。

なお、代表値Rの計算方法はこれに限定されず、使用率R₁、R₂、…、R_nの最大値を代表値Rとして求めてもよい。

また、ステップP1において各電子機器７の消費電力P _iを取得する場合は、使用率の代表値Rに代えて、消費電力P₁、P₂、…、P_nの平均値を消費電力の代表値Pとして求め、以下の各ステップでその代表値Pを使用してもよい。消費電力P₁、P₂、…、P_nが大きいほど各電子機器７の発熱量は多くなるため、代表値Pも各電子機器７の発熱量を知る目安となり得る。

次いで、ステップP4に移り、上記の使用率の代表値Rを用いて後述の片寄せ処理を行う。片寄せ処理は、複数の電子機器７のうちの一部の電子機器７で処理しているジョブを他の電子機器７に移動し、移動元の電子機器７の電源を切ることで省エネルギ化を実現する処理である。

詳細については後述するが、本実施形態では片寄せ処理をラック単位で行い、一つのラック５で稼働している電子機器７のうち最も下に位置する電子機器７のジョブを同一のラック５内でそれよりも上の電子機器７に移す。

その結果、ステップP4の終了時には、一つのラック５において下から数台の電子機器７の電源が停止され、これらの電子機器７を第１の冷却風B1で冷却する必要がない場合が生じる。

この場合は、ファンユニット３の消費電力を削減するために、複数の第１のファン４を下から順に停止させ、稼働中の電子機器７に対向する第１のファン４のみを回転させるのが好ましい。

そこで、次のステップP5では、１ラックあたり６行×２列に配列された第１のファン４のうち、下から何台目までの第１のファン４を停止すべきかを判断する。この判断も、制御部７ｘがラック単位で行う。

停止すべき第１のファン４の台数Nを計算する方法は特に限定されない。この例では、次の式（１）によりNを算出し、一つのラック３において下からN台目までの第１のファン４を将来的に停止させるものとする。

N=[６−Int[(稼働している電子機器７の台数)／６]]×２…（１）
なお、式（１）におけるInt()は、引数を超えない最大の整数値を与える関数である。本実施形態ではその引数が６で除されているので、６台の電子機器７ごとに第１のファン４の駆動の有無を判断することになる。また、最後に２を乗じているのは、図４のように１ラックあたり２列の第１のファン４が設けられていることによる。

式（１）によれば、例えば、片寄せ処理によってもなお稼働が継続している電子機器７の台数が６台のときはN＝１０となるため、下から１０台の第１のファン４を将来的に停止させることになる。

また、本ステップでは、これらN台以外の第１のファン４については駆動させたままにすると判断する。駆動させたままにする第１のファン４の台数Kは、１ラックあたりの第１のファン４の総数とNとの差で与えられ、例えば１ラックあたり１２台の第１のファン４があるときは、K=１２−Nとなる。

ここで、この時点でN台の第１のファン４を停止させてしまうと、コールドアイル１４（図１参照）の圧力が低下して排気流Eが各電子機器７を逆流するおそれがある。

よって、このステップP5では、上記のN台の第１のファン４の電源を切らずに、これらの第１のファン４の設定風量を最低値にする。

次に、ステップP6に移り、ステップP5で駆動したままにすると判断された第１のファン４の台数Nが、１ラックあたり１台より多いかどうかを制御部７ｘが判断する。ここで、１台よりも多いと判断された場合には、図４の少なくとも一番上の行の２台の第１のファン４の回転は維持されることになる。

本ステップで１台よりも多いである（YES）と判断された場合には、ステップP31に移り、制御部７ｘが第２のファン９ａが稼働しているかどうかを判断する。そして、稼働している（YES）と判断された場合にはステップP32で第２のファン９ａを停止すると共にフレーム９をラック５の上に退避させ、稼働していない（NO）と判断した場合には所定の時間をおいた後に再びステップP2〜P6を行う。

一方、ステップP6で１台よりも多くはない（NO）と判断された場合には、ステップP7に移る。

上記のように、この例では１ラックあたり６行×２列に第１のファン４が設けられており、第１のファン４の制御を行単位で行うため、１ラックにおいて同じ行の２つの第１のファン４は同時に制御される。よって、ステップP6で１台よりも多くはないと判断されたときは、全ての第１のファン４を停止させることになる。

但し、ここで全ての第１のファン４を停止させてしまうと、上記のように排気流Eが各電子機器７を逆流するおそれがある。

したがって、ステップP7においては、全ての第１のファン４の回転を停止させる前に、フレーム９を回転させて第２のファン９ａを一部の電子機器７に対向させる。そして、この状態で第２のファン９ａを回転させることにより、第２の冷却風B2で一部の電子機器７を冷却する。

次に、ステップP8に移り、全ての第１のファン４の回転を停止させる。

図７は、このステップP8を行った時点におけるデータセンタ１の断面図である。

なお、図６と同様に図７でも電源が入れられている電子機器７にハッチングを掛けある。この例では、ステップP4の片寄せ処理によって一つのラック５の上から３台までの電子機器７の電源が入れられており、それ以外の電子機器７の電源は切られている。

また、この時点では第１のファン４が停止しているため外気Aは吸気口２ａを流通しない。

そして、電源が入れられている電子機器７に第２のファン９ａが対向し、その第２のファン９ａによって生成された第２の冷却風B2（図２参照）によってのみこれらの電子機器７が冷却される。

これにより、ファンユニット３の消費電力は０となり、本ステップの実行中に消費される空調用の消費電力は第２のファン９ａの消費電力のみとなる。

その第２のファン９ａの消費電力は、上記したように第１のファン４の消費電力の最低値よりも低いので、本実施形態では第１のファン４のみで空調を行う場合よりも空調用の電力を削減できる。

なお、この時点では駆動中の電子機器７に対して第２のファン９ａから第２の冷却風B2が供給されているので、全ての第１のファン４を停止させてもこれらの電子機器７を排気流Eが逆流するおそれはない。

続いて、ステップP9に移り、コールドアイル１４の温度に応じて開閉部１９を開閉させる。このステップの詳細については後述する。

次に、上記したステップP4の片寄せ処理について説明する。

片寄せ処理は、ラック全体でのジョブの処理数が少ない場合に、ラック５の下から順に電子機器７のジョブを他の電子機器７に移動し、ジョブの移動元の電子機器７の電源を切ってデータセンタ１の省エネルギ化を実現する技術である。

その片寄せ処理は、以下のようにラックごとに行われる。

図８は、片寄せ処理のフローチャートである。

まず、最初のステップP11では、制御部７ｘが、図５のステップP2で計算した使用率の代表値Rが第１の所定値R₀₁よりも小さいかどうかを判断する。第１の所定値R₀₁は、片寄せ処理が可能な程度にまで一つのラック内において電子機器７の使用率が低下しているかどうかを判断するための目安となる値であって、ユーザによって予め設定される。この例では第１の所定値R₀₁を例えば６０％とする。

ここで、代表値Rは第１の所定値R₀₁よりも小さい（YES）と判断された場合にはステップP12に移る。

ステップP12では、一つのラック５内で稼働している電子機器７のうち、最も下にある電子機器７に新規にジョブを投入するのを中止する。

次いで、ステップP13に移り、一つのラック５内で稼働している電子機器７のうち、最も下にある電子機器７が処理していたジョブを、同一ラック内でその電子機器７よりも上にある他の電子機器７に移す。

そして、ステップP14に移り、一つのラック５内で稼働している電子機器７のうち最も下にある電子機器７の電源を切る。

なお、電源を切る対象に制御部７ｘとして供される電子機器７が含まれないようにするため、制御部７ｘは一つのラック５の一番上に設けるのが好ましい。

ここまでのステップにより上記の片寄せ処理が終了する。

一方、上記のステップP11において使用率の代表値Rが第１の所定値R₀₁よりも小さくない（NO）と判断された場合にはステップP15に移る。

ステップP15では、制御部７ｘの制御下において、一つのラック５の中に電子機器７の電源が切られているものがあるかどうかを判断する。

ここで、電源が切られている電子機器７がない（NO）と判断された場合には片寄せ処理を終了し、電源が切られている電子機器７がある（YES）と判断された場合にはステップP16に移る。

そのステップP16では、制御部７ｘが、図５のステップP2で計算した使用率の代表値Rが、第２の所定値R₀₂以上であるかどうかを判断する。第２の所定値R₀₂は、片寄せ処理で電源が切られている電子機器７の電源を再投入しなければならない程度にジョブ数が増えているかどうかを判断するための目安となる値であって、ユーザによって予め設定される。この例では、第２の所定値R₀₂を例えば９０％とする。

ここで、第２の所定値R₀₂以上ではない（NO）と判断された場合には処理を終了し、第２の所定値R₀₂以上である（YES）と判断された場合にはステップP17に移る。

そのステップP17では、一つのラック５において電源が切られている電子機器７のうち、最も上にある電子機器７の電源を再び入れる。このように電子機器７の電源を入れるか否かの判断を上記の第１の所定値R₀₁と第２の所定値R₀₂を基準にして行うことで、各電子機器７の使用率の代表値RはR₀₁〜R₀₂の範囲に収まることになる。

その後、ステップp18に移り、ステップP17で電源を入れた電子機器７に、それ以外の電子機器７で処理していたジョブを投入する。

以上により、片寄せ処理の基本ステップを終了する。

このような片寄せ処理によって、一つのラック５において稼働している電子機器７の数は片寄せ処理を行う前と比較して少なくなる。よって、これらの電子機器７を冷却するために吸気口２ａから取り込む外気Aの量も少なくて済み、開閉部１９を制御して吸気口２ａ一時的に閉じることも可能となる。

開閉部１９の開閉動作は、上記のように図５のステップP9において行われる。そこで、以下ではステップP9における開閉部１９の開閉動作について説明する。

図９は、開閉部１９の開閉動作について示すフローチャートである。

まず、ステップP20において、開閉信号S_Gに基づいて制御部７ｘが開閉部１９を制御して、開閉部１９で吸気口２ａを閉じる。

コンテナ２を建物の室内に設置しており、外気Aとしてその建物内の空調機で生成された冷気を使用している場合には、このように吸気口２ａを閉じることでその冷気を他のコンテナ２に使用することができる。また、この場合には、上記のように可動している電子機器７の台数が少ないため、建物内の空調機の設定温度を下げることもできる。

また、コンテナ２を屋外に設置している場合には、このように吸気口２ａを閉じることで冬季等において冷たい外気Aで電子機器７が過剰に冷却されるのを防止することができる。

更に、屋外と屋内のいずれにコンテナ２を設置している場合でも、外気Aに含まれる粉塵等でフィルタ１７が目詰まりを起こすのを抑制でき、フィルタ１７の寿命を延ばすことが可能となる。

次に、ステップP21に移り、温度センサ１６から出力される温度情報S_Tに基づいて、制御部７ｘがコールドアイル１４の上部の温度Tを把握する。

そして、ステップP22に移り、その温度Tが所定温度T₀よりも高いか否かを制御部７ｘが判断する。所定温度T₀は、これよりも高い温度で各電子機器７を運用したのではこれらの電子機器７が不具合を起こすおそれのある温度であって、本実施形態では所定温度T₀として３０℃を採用する。

そして、本ステップにおいて温度Tが所定温度T₀よりも高い（YES）と判断された場合にはステップP23に移る。

そのステップP23では、開閉部１９を開くことにより吸気口２ａから外気Aを取り込み、コールドアイル１４の温度Tを下げるようにする。なお、本ステップは、開閉信号S_Gに基づいて制御部７ｘが開閉部１９を制御することにより行われる。

一方、ステップP22において温度Tが所定温度T₀よりも高くない（NO）と判断された場合には、高温によって各電子機器７が不具合を起こすおそれがないので、吸気口２ａを閉じた状態を維持する。

以上により、開閉部１９の開閉動作の基本ステップを終了する。

各電子機器７の使用率が低い場合にはラック５の全体の発熱量も小さくなるため、上記のステップP20のように吸気口２ａを閉じてもコンテナ２内の温度が上昇するまである程度の時間を要する。よって、ステップP20やステップP23を繰り返して吸気口２ａを間欠的に開くことで、電子機器７の過剰冷却やフィルタ１７の目詰まり等を防止できる。

上記した本実施形態によれば、図５と図８に示したように、片寄せ処理で一部の電子機器７のみにジョブを処理させつつ、第１のファン４を停止してそれらの電子機器７を第２のファン９ａで冷却すると共に、残りの電子機器７の電源を切る。

このように電子機器７の電源を切ることでデータセンタ１の消費電力を低減でき、また、第１のファン４よりも消費電力が低い第２のファン９ａで駆動中の電子機器７を冷却することで一層の低消費電力化が図られる。

次に、本願発明者が行った調査結果について説明する。

この調査では、上記の片寄せ処理でどの程度の電力が削減するかについて調べられた。

その調査では、一つのラック５につき４０台の電子機器７を搭載することにより、三つのラック５で合計で１２０台の電子機器７を搭載した。

そして、１２０台の全ての電子機器７の電源を入れた状態で、これら全ての電子機器７におけるCPU使用率と消費電力との関係を調査した。なお、CPU使用率は、専用のソフトウェアを用いることで、１２０台の全ての電子機器５に対して同一の値に設定した。

その結果を図１０に示す。

図１０に示すように、CPU使用率が０％のときであっても、電子機器７の消費電力の合計値は８kW程度の値となる。よって、電子機器７の電源が入れられている限り、CPU使用率が０％であっても消費電力は０kWにはならない。

また、低負荷状態の電子機器７を想定するため、全ての電子機器７のCPU使用率が６％の場合を考える。この場合は、図１０より電子機器７の合計の消費電力は９kWとなる。片寄せ処理をしない場合はこの消費電力が全電子機器７によって消費されることになる。

その消費電力が片寄せ処理によってどの程度低減するのかを試算するため、各ラック５において上から３台までの電子機器７に対してのみ電源を入れ、これ以外の電子機器７の電源を切った場合を想定する。なお、ラック５は３台あるので、電源が入れられている電子機器７の台数は９台（＝３×３台）である。

この場合、電源を入れている９台の電子機器７の各々のCPU使用率を８０％とすると、電源を切ってあるものを含めて１２０台全ての電子機器７のCPU使用率の平均値は６％（＝｛（８０×９）＋（０×１１１）｝／１２０）となる。よって、上記のようにCPU使用率が６％の１２０台の電子機器７で処理しているジョブを９台の電子機器７に移すと、その９台の電子機器７のCPU使用率は８０％となる。

図１０によれば、全ての電子機器７のCPU使用率が８０％のとき、全ての電子機器７の合計の消費電力は１７kWであるから、一台の電子機器７では約０．１４kW（＝１７kW／１２０）の電力が消費される。

したがって、上記のように９台の電子機器７にジョブを移した場合、これら９台の電子機器７における合計の消費電力は１．３kW（＝９×０．１４kW）となる。この消費電力は、片寄せ処理をしない場合の消費電力（９kW）よりも小さな値である。このことから、片寄せ処理により電子機器７の合計の消費電力が低減できることが明らかとなった。

次に、このように片寄せ処理で９台の電子機器７にジョブを移し、これら９台の電子機器７を第２のファン９ａのみで冷却することで、第１のファン４で冷却する場合よりも空調に要する消費電力がどの程度削減できるのかについて調査した。

図１１は、ファンユニット３の回転数の設定値と、ファンユニット３の消費電力との関係を示すグラフである。

ファンユニット３の回転数の設定値は、全ての第１のファン４に共通に設定した回転数の設定値であって、これらのファン４で設定できる最大の回転数に対する百分率で表される。また、ファンユニット３の消費電力は、これら全ての第１のファン４の消費電力の合計値である。

なお、回転数の設定値の最小値を２５％としたのは、設定値をこれよりも小さくすると第１のファン４で生成される第１の冷却風B1の風量が安定しなくなるためである。

また、ファンユニット３の回転数の設定値を増加させれば第１の冷却風B1の風量も増大する。

ここで、図１０の場合と同様に、片寄せ処理によって各ラック５において上から３台までの電子機器７に対してのみ電源が入れられ、これらの電子機器７のCPU使用率が８０％の場合を想定する。この場合は、三つのラック５において合計で９台の電子機器７の電源が入れられていることになる。

本実施形態を適用せずに第１のファン４のみで冷却を行う場合、ファンユニット３においてこれら９台の電子機器７に対向している図４の一番上の行の６台のみの第１のファン４を駆動すればよい。また、CPU使用率が８０％で各電子機器７は高負荷状態にあるため、これらの電子機器７を冷却するには６台の第１のファン４の回転数の設定値を１００％にすればよいと考えられる。

図１１によれば、設定値が１００％のとき全ての第１のファン４の合計の消費電力は約４．４１kWであるから、６台の第１のファン４の合計の消費電力は７３５W（＝４．４１kW／６）となる。第２のファン９ａを用いずに第１のファン４のみで冷却を行う場合にはこれだけの電力が消費されることになる。

一方、本実施形態では、上記のように１ラックあたり３台の電子機器５の電源が入れられているとき、図５のステップP5で駆動したままにすると判断される第１のファン４の台数Nは、０台（＝１２−[６−Int[３／６]]×２）となる。

よって、この場合は図５のステップP6において第１のファン４は１台よりも多くはない（NO）と判断され、ステップP7で第２のファン９ａを駆動すると共に、ステップP8で全ての第１のファン４を停止させる。

ここで、第２のファン９ａの一台あたりの消費電力を１２Wとし、一つの電子機器７に対して４台の第２のファン９ａを対向させるとする。このとき、電源が入れられている９台の電子機器７に対して合計で３６台（＝９×４台）の第２のファン９ａが駆動することとなり、これら３６台の第２のファン９ａの合計の消費電力は４３２W（＝３６×１２W）となる。

この消費電力は、本実施形態を適用しない場合の消費電力（７３５W）よりも格段に小さく、空調に要する電力が本実施形態によって実際に削減できることが確認できた。

（第２実施形態）
本実施形態では、以下のようにして各電子機器７の最上段に記憶ユニットを設ける。

図１２は、本実施形態におけるラック５の一部拡大断面図である。なお、図１０において第１実施形態で説明したのと同じ要素には同じ符号を付し、以下ではその説明を省略する。

図１２に示すように、各電子機器７の最上段には記憶ユニット１８が設けられる。記憶ユニット１８は、各電子機器７で共有されるデータを記憶するのに使用され、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等を記憶ユニット１８として採用し得る。

このような記憶ユニット１８を設ける場合は、データを記憶するためのHDDやSSD等を各電子機器７に設ける必要がなくなり、各電子機器７としてディスクレスサーバを使用することができる。

また、各電子機器７で共有されるデータをこれらの電子機器７に分散させておいたのでは、片寄せ処理で電子機器７の電源を切ったときにその電子機器７が記憶していたデータを他の電子機器７が使用できなくなる。本実施形態では上記のように各電子機器７で共有されるデータを記憶ユニット１８に集約してあるので、片寄せ処理に伴って各電子機器７がデータを使用できなくなるのを防止することができる。

（第３実施形態）
第１実施形態では、図２に示したように、第２のファン９ａはラック５の上面５ａに回転可能な状態で設けられた。

これに対し、本実施形態では、以下のように第２のファン９ａを昇降可能な状態でラック５に設ける。

図１３は、本実施形態におけるフレーム９とその周囲の拡大断面図である。なお、図１３において、第１実施形態で説明したのと同じ要素には第１実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。

図１３に示すように、本実施形態では鉛直方向に延びる二つのレール２６をラック５に固定する。これらのレール２６の対向面には歯２６ａが形成されており、これらの歯２６ａに噛み合う第１のギア２７と第２のギア２８が設けられる。

このうち、第１のギア２７は、第２のギア２８と噛み合うと共に、モータ２９によって回転可能である。

本実施形態では、制御部７ｘ（図１参照）が第２の制御信号S₂に基づいてモータ２９の回転数を制御することにより矢印Kの方向にフレーム９を昇降させる。これにより、一部の電子機器７に第２のファン９ａを対向させたり、ラック５の上に第２のファン９ａを退避させたりすることができる。

そして、第２のファン９ａで生成された第２の冷却風B2を一部の電子機器７の冷却に使用することで、第１実施形態と同様に本実施形態でも空調に要する電力を削減することが可能となる。

以上説明した各実施形態に関し、更に以下の付記を開示する。

（付記１） 筐体と、
前記筐体内に設けられ、第１の冷却風を生成する第１のファンと、
前記筐体内に設けられ、前記第１の冷却風が供給される複数の電子機器と、
前記複数の電子機器のうちの一部の電子機器に第２の冷却風を供給すると共に、前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンとを有し、
前記複数の電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、複数の前記電子機器の各々のジョブを前記一部の電子機器に移し、前記一部以外の電子機器の電源を切り、前記第２のファンの駆動を開始し、前記第１のファンの駆動を停止するモジュール型データセンタ。

（付記２） 前記複数の電子機器を収容するラックと、
前記ラックに移動可能な状態で設けられ、前記第２のファンを保持するフレームとを更に有し、
前記代表値が前記所定値よりも小さくなったときに、前記フレームが移動して前記第２のファンが前記一部の電子機器に対向し、
前記代表値が前記所定値以上になったときに、前記フレームが移動して前記第２のファンが前記一部の電子機器から退避することを特徴とする付記１に記載のモジュール型データセンタ。

（付記３） 前記フレームは、前記ラックの上面に回転可能な状態で設けられたことを特徴とする付記２に記載のモジュール型データセンタ。

（付記４） 前記フレームは、前記ラックの上面に昇降可能な状態で設けられたことを特徴とする付記２に記載のモジュール型データセンタ。

（付記５） 前記電子機器は、第１の開口と第２の開口とを有し、
前記第１のファンは前記第１の開口に対向し、
前記第２のファンは前記第２の開口に対向することを特徴とする付記１乃至付記４のいずれかに記載のモジュール型データセンタ。

（付記６） 前記筐体に、前記第１のファンによって吸気された外気が通る吸気口が設けられ、
前記筐体内の温度が所定温度よりも高いときに前記吸気口を開き、前記筐体内の温度が前記所定温度以下のときに前記吸気口を閉じる開閉部を更に有することを特徴とする付記１乃至付記５のいずれかに記載のモジュール型データセンタ。

（付記７） 前記複数の電子機器とは別に記憶ユニットが設けられ、
前記複数の電子機器の各々で共有されるデータが、前記記憶ユニットに記憶されたことを特徴とする付記１乃至付記６のいずれかに記載のモジュール型データセンタ。

（付記８） 前記電子機器はファンレスサーバであることを特徴とする付記１乃至付記７のいずれかに記載のモジュール型データセンタ。

（付記９） 筐体内の第１のファンで生成された第１の冷却風を、前記筐体内の複数の電子機器に供給し、
複数の前記電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、前記複数の電子機器のうちの一部の電子機器に、前記複数の電子機器の各々のジョブを移し、
前記一部以外の前記電子機器の電源を切り、
前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンで第２の冷却風を生成することにより、前記一部の電子機器に前記第２の冷却風を供給し、
前記第１のファンの駆動を停止する、
モジュール型データセンタの制御方法。

（付記１０） 前記筐体内の温度が所定温度よりも高いときに、前記筐体に設けられた吸気口を開くことにより、前記第１のファンが前記吸気口から外気を吸気して前記第１の冷却風を生成し、
前記筐体内の温度が前記所定温度以下のときに、前記吸気口を閉じて前記外気の吸気を停止することを特徴とする付記９に記載のモジュール型データセンタの制御方法。

１…データセンタ、２…コンテナ、２ａ…吸気口、２ｂ…排気口、２ｃ…天井面、３…ファンユニット、４…第１のファン、５…ラック、５ａ…上面、５ｂ…開口、７…電子機器、７ａ…第１の開口、７ｂ…第２の開口、７ｘ…制御部、７ｙ…演算処理ユニット、８…天板、９…フレーム、９ａ…第２のファン、１１…モータ、１３、２７…第１のギア、１５、２８…第２のギア、１６…温度センサ、１７…フィルタ、１８…記憶ユニット、１９…開閉部、２６…レール、２６ａ…歯。

Claims (5)

1. 筐体と、
   前記筐体内に設けられ、第１の冷却風を生成する第１のファンと、
   前記筐体内に設けられ、前記第１の冷却風が供給される複数の電子機器と、
   前記複数の電子機器のうちの一部の電子機器に第２の冷却風を供給すると共に、前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンとを有し、
   前記複数の電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、複数の前記電子機器の各々のジョブを前記一部の電子機器に移し、前記一部以外の電子機器の電源を切り、前記第２のファンの駆動を開始し、前記第１のファンの駆動を停止するモジュール型データセンタ。
2. 前記複数の電子機器を収容するラックと、
   前記ラックに移動可能な状態で設けられ、前記第２のファンを保持するフレームとを更に有し、
   前記代表値が前記所定値よりも小さくなったときに、前記フレームが移動して前記第２のファンが前記一部の電子機器に対向し、
   前記代表値が前記所定値以上になったときに、前記フレームが移動して前記第２のファンが前記一部の電子機器から退避することを特徴とする請求項１に記載のモジュール型データセンタ。
3. 前記筐体に、前記第１のファンによって吸気された外気が通る吸気口が設けられ、
   前記筐体内の温度が所定温度よりも高いときに前記吸気口を開き、前記筐体内の温度が前記所定温度以下のときに前記吸気口を閉じる開閉部を更に有することを特徴とする請求項１又は請求項２に記載のモジュール型データセンタ。
4. 前記複数の電子機器とは別に記憶ユニットが設けられ、
   前記複数の電子機器の各々で共有されるデータが、前記記憶ユニットに記憶されたことを特徴とする請求項１乃至請求項３のいずれか１項に記載のモジュール型データセンタ。
5. 筐体内の第１のファンで生成された第１の冷却風を、前記筐体内の複数の電子機器に供給し、
   複数の前記電子機器の使用率又は消費電力の代表値が所定値よりも小さくなったときに、前記複数の電子機器のうちの一部の電子機器に、前記複数の電子機器の各々のジョブを移し、
   前記一部以外の前記電子機器の電源を切り、
   前記第１のファンの消費電力の最低値よりも低い消費電力で駆動する第２のファンで第２の冷却風を生成することにより、前記一部の電子機器に前記第２の冷却風を供給し、
   前記第１のファンの駆動を停止する、
   モジュール型データセンタの制御方法。

Images