JP2019083003A - データセンターの電子ラックの複合型液体−空気冷却システムの最適化制御装置（ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌｌｅｒ ｆｏｒ ｈｙｂｒｉｄ ｌｉｑｕｉｄ−ａｉｒ ｃｏｏｌｉｎｇ ｓｙｓｔｅｍ ｏｆ ｅｌｅｃｔｒｏｎｉｃ ｒａｃｋｓ ｏｆ ａ ｄａｔａ ｃｅｎｔｅｒ） - Google Patents

Abstract

【課題】空気冷却と液体冷却を併用してプロセッサを冷却する。
【解決手段】プロセッサ／冷却構造４００において、プロセッサ４０１は、他の電気部材や回路に結合されたプリント回路基板４０２（ＰＣＢ）上に結合される。プロセッサは、液体供給ライン３０２と液体返送ライン３０３とに結合された冷却板４０３にも取り付けられる。プロセッサによって生成された一部の熱は、冷却液によって除去される。残りの熱は、空気空間に進入し、冷却ファン４０４によって生成された気流によって除去される。
【選択図】図４

Description

本発明は、一般的に、データセンターに関するものである。より具体的に、本発明は、データセンター中の電子ラックの複合型液体-空気冷却システムの最適化制御装置に関するものである。

散熱は、コンピュータシステムとデータセンターの設計における突出した要素である。高性能電子デバイス（例えば、サーバ内部にカプセルされた高性能プロセッサ）の数が徐々に増加するに伴い、サーバの一般動作で生じて発散される熱が増加する。サーバの動作可能な環境で温度の経時的な上昇を許すと、データセンターで使用されているサーバの信頼性が低下してしまう。データセンサーにおけるこれらのサーバの正常動作、及びサーバの高性能と寿命のために、適切な熱環境を維持することは極めて重要である。これにより、特に、高性能のサーバを冷却する場合、より有効的で効率的な散熱方法が必要となる。

電力集約型プロセッサは、深層学習のような集約型のコンピューティングの解決方案を実現することができる。これらのプロセッサ（即ち、高性能の中央処理ユニット（ＣＰＵ）および／または汎用処理ユニット（ＧＰＵ））を備える電子サーバは、容積空間ごとに非常に高い電力密度を備えるので、従来の単純な空気冷却は非常に大きな課題に直面することになる。空気冷却方法のみを利用するのに対して、ダイレクト・ツール・チップの液体冷却は、そのような電力集約型のプロセッサへより高い冷却性能を提供し、エネルギー消費を削減する。実際には、プロセッサによって発生されたすべての熱が液体冷却に削除されるわけではなく、まだ一定の割合の熱が空気冷却により除去される。したがって、全体的な環境は、複合型の液体-空気冷却システム（ｈｙｂｒｉｄ ｌｉｑｕｉｄ−ａｉｒ ｃｏｏｌｉｎｇ ｓｙｓｔｅｍ）である。複合型液体-空気冷却システムにおいて、液体流速は冷媒分配ユニット（ＣＤＵ）中のポンプ速度の制御を介して制御され、空気の流速は、電子ラックの背面上のファン速度の制御を介して制御される。従来の冷却システムは、冷却システムのエネルギー消費を十分に低減させるには力不足である。

以下の図面を参照してなされた制限的でない実施形態に対する詳細的な説明により、本発明の他の特徴、目的及び利点はより明らかになる。

一実施形態に係るデータセンター施設の例を示すブロック図である。

一実施形態に係る電子ラックの例を示すブロック図である。

他の一実施形態に係る電子ラックの例を示すブロック図である。

一実施形態による計算ノードで使用可能なプロセッサに関連する冷却板を示すブロック図である。

他の一実施形態に係る電子ラックの例を示すブロック図である。

一実施形態に係る速度の最適化に利用される変数を含むデータ構造を示す。

一実施形態に係る速度の最適化のアルゴリズムを示す。

一実施形態に係る速度の最適化に利用される制約セットを示す。

一実施形態に係る電子ラックを操作するためのプロセスを示すフローチャートである。

一実施形態に係る速度の最適化に利用されるプロセスを示すフローチャートである。

以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本願を例示するためのものであり、限定するものとして解釈されるべきではない。本願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合には、本願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に組み合わせて説明された特定の特徴、構造又は特性が本願の少なくとも一実施形態に含まれてもよいと意味する。「一実施形態では」という表現は、本明細書全体において同一の実施形態を指すとは限らない。

また、最適化制御装置によって、液体ポンプと冷却ファンに関連する制約セットを満たすとともに、ＣＤＵの液体ポンプ速度と冷却ファンのファン速度をともに最適化することにより、ＣＤＵと冷却ファンの総エネルギー消費量を最小限にする。総エネルギー消費量は、液体ポンプエネルギーコストとファンエネルギーコストを含む。プロセッサ温度は、液体冷却システムの液体流量と空気冷却システムの空気流量の両者の影響を受ける。液体冷却の動力学と空気冷却の動力学の異なる性質により、最適化制御装置は、プロセッサ温度を所定の基準温度よりも低く維持するとともに、ポンプ速度とファン速度を同時に制御して総エネルギーコストを最適化させることにおいて極めて重要である。最適化制御装置は、複合型の液体-空気冷却システムの新しい集合モデルを使用する。最適化モデルは、動力学を凸最適化問題に変換する液体冷却の動力学と空気冷却の動力学両者を含む。目標関数は、総エネルギー消費量を表示し、制約は、プロセッサの基準温度、最大ポンプ速度とファン速度、最小ポンプ速度とファン速度を含む。制約を満たすとともに目標関数が最小値に達するように、最適化を実行して、１セットの最適のポンプ速度と最適のファン速度を確定する。

一実施形態によれば、データセンターで使用できる電子ラックは、計算ノードのスタック、計算ノードに空気冷却を提供するための複数の冷却ファン、計算ノードに液体冷却を提供するためのＣＤＵ、及び計算ノードとＣＤＵと冷却ファンとに結合されたラック管理コントローラ（ＲＭＣ）を含む。各計算ノードは、冷却板に取り付けられた少なくとも一つのプロセッサを備えるサーバを示すことができる。１つまたは複数の冷却ファンは、例えば、計算ノードの後端に設置されて、計算ノードの一つに対応する。冷却ファンは、計算ノードに空気冷却を提供するように構成される。ＣＤＵは、各プロセッサに接続された相応の冷却板を経由して、各計算ノードの１つまたは複数のプロセッサに液体冷却を提供するように構成される。ＣＤＵは、各計算ノードの関連プロセッサによって発生された熱を除去するために、各冷却板に冷却液を提供するように構成された液体ポンプを含む。

一実施形態において、ＲＭＣは、計算ノード、冷却ファン、およびＣＤＵからリアルタイムの動作データを収集するように構成される。ＲＭＣは、液体ポンプと冷却ファンの総消費電力を表示する最適化関数の出力が最小値に到達するように、所定の最適化関数またはコスト関数を用いて最適化を実行して、リアルタイムの動作データに基づいて、ＣＤＵの液体ポンプの最適のポンプ速度と冷却ファンの最適のファン速度を確定する。続いて、ＲＭＣは、最適のポンプ速度を利用して液体ポンプのポンプ速度を制御し、最適のファン速度を利用して冷却ファンのファン速度を制御する。

一実施形態において、ポンプ速度とファン速度は、最適化関数を利用して協同的で同時に最適化され、ここで、ポンプ速度とファン速度は、最適化関数の一部の係数である。ポンプ速度とファン速度の最適化は、制約セットを満たすとともに最適化関数が最小値に達するように、制約セットに基づいて実行される。制約セットは、動作パラメータの範囲を含み、液体ポンプまたは冷却ファンは、その動作パラメータの範囲内で動作するように設計され、その動作パラメータは、液体ポンプと冷却ファンそれぞれの設計仕様をベースに確定されることができる。

一実施形態において、液体ポンプとすべての冷却ファンの総消費電力が最小値に到達するとともに、ポンプ速度がポンプ速度の下限とポンプ速度の上限内に位置し、各冷却ファンのファン速度は、同時にその相応のファン速度の下限とファン速度の上限内に位置し、各プロセッサ温度は、相応のプロセッサ基準温度よりも低くなるように、最適化が実行される。異なる冷却ファンにおいて、ファン速度の限界は、同一または異なる可能性がある。同様に、異なるプロセッサにおいて、プロセッサ基準温度は、同一または異なる可能性がある。

図１は、一実施形態に係るデータセンターまたはデータセンターユニットの例を示すブロック図である。本実施形態において、図１は、データセンターの少なくとも一部の上面図を示す。図１を参照すると、一実施形態によれば、データセンターのシステム１００は、情報技術（ＩＴ）部材、設備や機器１０１−１０２（例えば、ネットワークのようなインターネットを介して各種のクライアントにデータサービスを提供するコンピュータサーバまたは計算ノード）の電子ラックの行を含む。本実施形態において、それぞれの行は、例えば電子ラック１１０Ａ−１１０Ｎのような電子ラックの配列を含む。しかしながら、より多くまたはより少ない電子ラックの行が実装されることができる。通常、行１０１−１０２は、並列に配置されるが、ここで前端は互いに対向し、後端は互いにリバースされることにより、行１０１−１０２の間に、管理者が通行することができる通路１０３を形成する。ここで、その他の構成や配置が適用されることもできる。

一実施形態において、電子ラック（例えば、電子ラック１１０Ａ−１１０Ｎ）のそれぞれは、その内部で動作しているＩＴ部材の複数の電子ラックを収容するためのハウジングを含む。電子ラックは、散熱液体マニホールド、複数のサーバスロット、及びサーバスロットに挿入されサーバのスロットから削除可能な複数のサーバブレードを含むことができる。各サーバブレードは、１つまたは複数のプロセッサ、メモリ、および／または永久記憶装置（例えば、ハードディスク）を具備する計算ノードを示す。少なくとも一つのプロセッサは、液体冷却板に付着して、液体冷却を受ける。また、１つまたは複数の冷却ファンは、サーバブレードに関連して、サーバブレードに含まれている計算ノードに空気冷却を提供する。なお、散熱システム１２０は、複数のデータセンターのシステム（例えば、データセンターのシステム４００）に結合されることができる。

一実施形態において、散熱システム１２０は、建築物／住宅コンテナ外部の冷却塔又は乾式冷却装置に接続された外部の液体ループを含む。散熱システム１２０は、蒸発冷却、自由大気、大きな熱質量の拒否と廃熱回収設計を含むことができるが、これに限定されない。

一実施形態において、各サーバブレードは、電子ラック上の他のサーバブレードと散熱液体マニホールドの操作に影響を与えずに、電子ラックからサーバブレードを削除できるように、散熱液体マニホールドにモジュール式で結合される。他の一実施形態において、各サーバブレードは、クイックリリース結合アセンブリを介して散熱液体マニホールド（冷却液マニホールドとも呼ばれる）に結合され、クイックリリース結合アセンブリは、フレキシブルホースに結合された第１の液体入接続装置と、第１の液体出口接続装置を備えて、散熱液体をプロセッサに分配する。第１の液体入口接続装置は、第２の液体入口接続装置を経由して電子ラックの後端上に設置された散熱液体マニホールドからの散熱液体を受ける。第１の液体出口接続装置は、第２の液体出口接続装置を経由して、プロセッサから交換された熱を携帯する、暖かいまたは熱い液体を散熱液体マニホールドに排出してから、電子ラック内のＣＤＵに返送する。

一実施形態においては、各電子ラックの後端上に設置された散熱液体マニホールドは、液体供給ライン１３２に結合されて散熱システム１２０から散熱液体（冷却液としても呼ばれる）を受ける。散熱液体は、プロセッサがインストールされている冷却板に付着された液体分配ループを介して分配されて、プロセッサから熱を除去する。冷却板は、ヒートシンクと同様に構成され、液体分配チューブが冷却板に付着し、または挿入されている。プロセッサから交換された熱を携帯して生成された、暖かいまたは熱い液体は、供給ライン１３１を経由して散熱システム１２０に搬送される。液体供給ライン１３１−１３２は、データセンターの液体供給ライン（例えば、グローバル液体供給ラインとも呼ばれる）であり、これは行１０１−１０２のすべての電子ラックに散熱液体を供給する。液体供給ライン１３２と液体返送ライン１３１は、各電子ラック内に位置し、ＣＤＵの熱交換器に結合されて一次ループを形成する。熱交換器の二次ループは、電子ラック中のサーバブレードのそれぞれに結合されて、冷却液をプロセッサの冷却板に輸送する。

一実施形態において、データセンターのシステム１００は、気流を生成して気流が電子ラックのサーバブレードの空気空間を介して進行して、計算ノード（例えば、サーバ）の動作により、計算ノードによって発生された熱を交換し、気流に交換された熱を家／部屋／建築物の外部の外部環境１０８に排出するための空気供給システム１３５をさらに含む。例えば、空気供給システム１３５は、涼しい空気／冷たい空気の気流を生成し通路１０３から循環して電子ラック１１０Ａ−１１０Ｎを通過することにより、交換した熱を携えて行く。冷たい気流は、電子ラックの前端を介して電子ラックに進入して、暖かい／熱い気流は、電子ラックの後端を介して電子ラックを抜ける。交換された熱を携帯した暖かい／熱い空気は、部屋／建築物から排出される。したがって、冷却システムは、複合型の液体-空気冷却システムであり、プロセッサによって生成された一部の熱は相応の冷却板を経由して冷却液によって除去され、プロセッサによって生成された残りの熱は、冷却気流によって除去される。

一実施形態によれば、電子ラックそれぞれは、ＣＤＵと電子ラックの計算ノードのそれぞれに結合されたＲＭＣ（図示せず）とを含む。ＲＭＣは、ＣＤＵ、計算ノードおよび冷却ファンの動作状態を定期的にまたは継続的に監視する。動作状態の動作データは、リアルタイムで測定した各プロセッサの動作温度、冷却液体と気流などを含むことができる。各種の部材から受信された動作データに基づいて、ＲＭＣは、液体ポンプと冷却ファン消費電力が最小値に到達するとともに、液体ポンプと冷却ファンがそれぞれの仕様に基づいて正常に動作する（例えば、液体ポンプと冷却ファン速度が、それぞれの予め確定された範囲内に位置する）ように、最適化関数を用いて最適化を実行して、ＣＤＵの液体ポンプの最適のポンプ速度と冷却ファンの最適のファン速度を確定する。

即ち、最適化は、関連するすべての部材を同時に最適化して、グローバルレベルで実行されることで、１）プロセッサ温度が、それぞれの基準温度よりも低くなり、２）液体ポンプと冷却ファンの総消費電力が最小値に到達し、３）液体ポンプと冷却ファンそれぞれが、それぞれの仕様で動作される。続いて、最適のポンプ速度と最適のファン速度に基づいて、液体ポンプと冷却ファンを配置する。したがって、液体ポンプと冷却ファンの総消費電力が最小値に達するとともに、計算ノードのプロセッサが正常に動作することになる。

図２は、一実施形態に係る電子ラックを示すブロック図である。電子ラック２００は、図１に示す任意の電子ラック（例えば、電子ラック１１０Ａ−１１０Ｎ）を表示することができる。図２を参照すると、一実施形態によれば、電子ラック２００は、ＣＤＵ２０１、ラック管理ユニット２０２（ＲＭＵ）と１つまたは複数のサーバブレード２０３Ａ−２０３Ｅ（サーバブレード２０３で通称される）を含むが、これに限定されない。サーバブレード２０３は、それぞれ、電子ラック２００の前端２０４または後端２０５からサーバスロットのアレイに挿入することができる。なお、ここで５つのサーバブレードに２０３Ａ−２０３Ｅが図示されているが、電子ラック２００の内部により多いまたはより少ないサーバブレードを維持することができる。また、ＣＤＵ２０１、ＲＭＵ２０２およびサーバブレード２０３の特定の位置は、単に説明の目的のために図示され、ＣＤＵ２０１、ＲＭＵ２０２およびサーバブレード２０３の他の配置または構成で実装されることもできる。冷却ファンが前端から後端への気流を生成することができれば、電子ラック２００は、環境に開放され、またはラックコンテナによって部分的に収容されることができる。

また、サーバブレードの２０３のそれぞれに対して、ファンモジュールは、サーバブレードに関連している。本実施形態において、ファンモジュール２３１と通称されているファンモジュール２３１Ａ−２３１Ｅは、サーバブレードに２０３Ａ−２０３Ｅそれぞれに関連している。ファンモジュール２３１のそれぞれは、１つまたは複数の冷却ファンを含む。ファンモジュール２３１は、前端２０４から流動し進行してサーバブレードに２０３の空気空間を通過し、電子ラック２００の後端２０５に存在する気流を生成するように、サーバブレードに２０３の後端にインストールされることができる。

一実施形態において、ＣＤＵ２０１は、主に熱交換器２１１と、液体ポンプ２１２と、ポンプ制御装置（図示せず）と、例えば液体ストレージ、電源、監視センサーなどの一部のその他の部材を含む。熱交換器２１１は、液体−液体熱交換機であることができる。熱交換器２１１は、入口ポートと出口ポートを備える第１のループを含み、入口ポートと出口ポートは、一次ループを形成するように、外部の液体供給／返送ライン１３１−１３２に結合された第１の液体接続装置組を備える。外部の液体供給／返送ライン１３１−１３２に結合された接続装置は、電子ラック２００の後端２０５上に配置され、またはインストールされることができる。液体供給／返送ライン１３１−１３２は、上述したような散熱システム１２０に結合された部屋マニホールドの集合に結合される。また、熱交換器２１１は、２つのポートを備える第２のループをさらに含み、２つのポートは、二次ループを形成するように、液体マニホールド２２５に結合された第２の液体接続装置組を備える。また、二次ループは、サーバブレードに２０３に冷却液を供給するための供給マニホールドと、暖かい液体をＣＤＵ２０１に搬送するための返送マニホールドを含むことができる。ＣＤＵ２０１は、市販の任意のタイプのＣＤＵまたはオンデマンドＣＤＵであることができる。したがって、本願において、ＣＤＵ２０１の詳細について説明しない。

サーバブレードの２０３のそれぞれは、１つまたは複数のＩＴ部材（例えば、中央処理ユニットまたはＣＰＵ、グラフィックス処理ユニット（ＧＰＵ）、メモリおよび／または記憶装置）を含むことができる。各ＩＴ部材は、データ処理タスクを実行することができ、ここで、ＩＴ部材は記憶装置にインストールされメモリにロードされ、１つまたは複数のプロセッサによって実行され、データ処理タスクを実行するソフトウェアを含むことができる。サーバブレードの２０３は、１つまたは複数のコンピューティングサーバ（例えば、ＣＰＵ、サーバ、ＧＰＵサーバ、計算ノードとも呼ばれる）に結合されたホストサーバ（ホストノードと呼ばれる）を含むことができる。ホストサーバ（１つまたは複数のＣＰＵを備える）は、通常に、ネットワーク（例えば、インターネット）を介してクライアントとインタラクションし、記憶サービス（例えば、バックアップおよび／または復元などのようなクラウドによるストレージサービス）などの特定のサービスへの要求を受信することにより、アプリケーションを実行して、特定の操作（例えば、サービスとしてのソフトウェア（ｓｏｆｔｗａｒｅ−ａｓ−ａ−ｓｅｒｖｉｃｅ）またはＳａａＳプラットフォームの一部としての画像処理、深層のデータ学習アルゴリズムまたはモデリングなど）を実行する。要求に応じて、ホストサーバは、ホストサーバによって管理されている１つまたは複数の性能性計算ノードまたはコンピューティングサーバ（１つまたは複数のＧＰＵを備える）にタスクを分配する。性能型コンピューティングサーバは、実際のタスクを実行するが、これは運行期間に熱を生成することになる。

電子ラック２００は、ＲＭＵ２０２をさらに含み、上記ＲＭＵ２０２は、サーバ２０３、ファンモジュール２３１とＣＤＵ２０１に供給される電力を提供し管理するように構成されている。ＲＭＵ２０２は、電源ユニット（図示せず）に結合されて、電源ユニットの電力消費を管理することができる。電源ユニットは、電子ラック２００の残りの部材に電力を提供するために必要な回路（例えば、交流（ＡＣ）から直流（ＤＣ）へ、またはＤＣからＤＣへの電力変換器、バッテリー、変圧器または調節器など）を含むことができる。

一実施形態において、ＲＭＵ２０２は、最適化モジュール２２１と、ラック管理コントローラ２２２（ＲＭＣ）を含む。ＲＭＣ２２２は、電子ラック２００の内部の各種の部材（例えば、計算ノード２０３、ＣＤＵ２０１とファンモジュール２３１）の動作状態を監視するためのモニタを含む。具体的に、モニタは、各種のセンサからの電子ラック２００の動作環境を表示する機能、データを受信する。例えば、モニタは、各種の温度センサーから取得し収集することができる、プロセッサ、冷却液体と気流の温度を示す動作データを受信することができる。モニタは、ファンモジュール２３１と液体ポンプ２１２によって生成されたファンパワーとポンプパワーを示すデータを受信することもでき、上記ファンパワーとポンプパワーは、ファンとポンプそれぞれの速度に比例することができる。これらの動作データは、リアルタイムの動作データと呼ばれる。モニタは、ＲＭＵ２０２の内部の独立したモジュールとして実装されることができる。

動作データに基づいて、最適化モジュール２２１は、所定の最適化関数または最適化モデルを用いて最適化を実行して、ファンモジュール２３１の最適のファン速度と液体ポンプ２１２の最適のポンプ速度のセットを導出することにより、液体ポンプ２１２とファンモジュール２３１の総消費電力が最小値に到達するとともに、液体ポンプ２１２およびファンモジュール２３１の冷却ファンに関連する動作データが液体ポンプと冷却ファンそれぞれの設計仕様に満たすようにする。最適のポンプ速度と最適のファン速度が確定されると、ＲＭＣ２２２は、最適のポンプ速度と最適のファン速度に基づいて液体ポンプ２１２およびファンモジュール２３１の冷却ファンを設定する。

例示的に、最適のポンプ速度に基づいて、ＲＭＣ２２２は、ＣＤＵ２０１のポンプ制御装置との通信を行い、液体ポンプ２１２の速度を制御し、さらに、少なくとも一部のサーバブレードに２０３に分配される液体マニホールド２２５に供給される冷却液の液体流量を制御する。同様に、最適のファン速度に基づいて、ＲＭＣ２２２は、ファンモジュール２３１のそれぞれと通信を行ってファンモジュール２３１の各冷却ファン速度を制御し、さらにファンモジュール２３１の気流速度を制御する。なお、ファンモジュール２３１のそれぞれは、その特定の最適のファン速度を利用して、独立的に制御することができ、異なるファンモジュールおよび／または同じファンモジュールの内部の異なる冷却ファンは、異なる最適のファン速度を備えることができる。

図３は、他の一実施形態に係る電子ラックを示すブロック図である。電子ラック３００は、図２の電子ラック２００の一部として実現されることができる。図３を参照すると、本例において、ＣＤＵ２０１は、液体ポンプ２１２の速度を制御するためのポンプ制御装置３０１を含み、ここで、液体ポンプ２１２は、液体供給マニホールド３０２と液体返送マニホールド３０３の液体流量を制御するように構成される。計算ノード２０３Ａ−２０３Ｅのそれぞれは、１つまたは複数のプロセッサ（例えば、汎用処理ユニットまたはＧＰＵ）を含む。プロセッサのうち少なくとも一つは、冷却板上に設置される。液体供給マニホールド３０２と液体返送マニホールド３０３は、液体分配ループを経由して冷却板それぞれに結合される。例えば、冷却液体は、液体供給マニホールド３０２を経由して供給され、計算ノード２０３Ａのプロセッサ冷却板３１１−３１４のそれぞれを通過し、次いで液体返送マニホールド３０３に返送されＣＤＵ２０１の熱交換器２１１に搬送される。同時に、ファンモジュール２３１のそれぞれは、計算ノード２０３のそれぞれの後端にインストールされ、同時にプロセッサに空気冷却を提供する。

図４は、一実施形態によるプロセッサの冷却板の構成を示すブロック図である。プロセッサ／冷却板構造４００は、例えば、図３に示すようなプロセッサ冷却板３１１−３１４を示す任意のプロセッサ／冷却板構造、であることができる。図４を参照すると、プロセッサ４０１は、他の電気部材や回路に結合されたプリント回路基板４０２（ＰＣＢ）上に結合される。プロセッサ４０１は、液体供給ライン３０２と液体返送ライン３０３とに結合された冷却板（４０３）にも取り付けられる。プロセッサ４０１によって生成された一部の熱は、冷却液によって除去される。残りの熱は、空気空間４０５に進入し、残り熱は、冷却ファン４０４によって生成された気流によって除去されることができる。

図５は、一実施形態に係るラック管理コントローラの例を示すブロック図である。図５を参照すると、ＲＭＣ２０２は、各種の部材（例えば、ＣＤＵ２０１、計算ノード２０３とファンモジュール２３１）の動作状態を監視するためのモニタ５０１を含む。一実施形態において、モニタ５０１は、計算ノード２０３中の各基板管理制御装置（ＢＭＣ）（例えば、ＢＭＣ５０３Ａ−５０３Ｅ、ＢＭＣ５０３と総称される）との通信を行う。ＢＭＣ５０３は、ソフトウェア、ハードウェア、または両者の組み合わせで実現されたロジックを含むことができる。

各計算ノードのＢＭＣは、計算ノードのマザーボード上に実装され基板上の部材を管理するためのローカル制御装置を示し、部材から動作データを読み出して部材に信号やコマンドを送信して部材の操作を制御する処理を含む。一実施形態において、ＢＭＣは、プロセッサによって消費される電圧と電流を測定することができ、その電圧と電流は、プロセッサによって生成されたパワー（例えば、パワー＝ボルト×電流）を導出するために利用されることができる。プロセッサによって生成されたパワーは、プロセッサによって生成された熱に比例する。ＢＭＣは、温度センサーと通信を行い、プロセッサの温度、冷却液の温度（例えば、図４の液体温度４１１）および／または気流の温度（例えば、図４の気流温度４１２）を測定することができる。

また、モニタ５０１は、ポンプ制御装置３０１と通信を行い、ＣＤＵのポンプ動作データを取得する。ポンプ制御装置３０１は、液体ポンプ２１２の操作（例えば、液体ポンプ２１２の速度）を制御するように構成される。これにより、計算ノード２０３のプロセッサの冷却板に供給される冷却液の液体流量をさらに制御する。一実施形態において、ポンプ制御装置３０１は、液体ポンプ２１２のポンプ速度を測定するように構成され、ポンプ速度はさらにモニタ５０１に提供される。また、モニタ５０１は、ＣＤＵ２０１の内部または付近の温度センサーに結合されて、液体ポンプ２１２によって提供される冷却液の液温を測定することができる。同様に、一実施形態によれば、モニタは、ファンモジュール２３１のそれぞれに通信的に結合されて、ファンモジュール２３１のそれぞれに含まれている冷却ファンのファンの動作データ（例えば、冷却ファンのファン速度および冷却ファンによって生成された気流の気流温度）を取得することができる。

一実施形態によれば、ＢＭＣ５０３、ＣＤＵ２０１とファンモジュール２３１から収集した動作データに基づいて、最適化モジュール５０２は、ポンプ／ファン仕様５０５に関連する制約セットに応じて、１つまたは複数の最適化関数または最適化モデル５０４を利用して、液体ポンプ２１２のポンプ速度およびファンモジュール２３１の冷却ファンのファン速度の最適化を実行するように構成される。液体ポンプ２１２とファンモジュール２３１の冷却ファンの総消費電力が最小値に到達するようにするとともに、関連する部材の動作データが予め確定した制約セットを満たすように、最適化を実行して、液体ポンプ２１２の最適のポンプ速度とファンモジュール２３１の最適のファン速度のセットを確定する。そして、ポンプ設定装置５０６とファン設定装置５０７は、最適のポンプ速度と最適のファン速度を利用して、液体ポンプ２１２とファンモジュール２３１の冷却ファン速度をそれぞれ設定する。

一実施形態において、液体ポンプ２１２のポンプ速度とファンモジュール２３１の冷却ファンのファン速度は、最適化関数５０４を利用して、協力的に同時に最適化され、ここで、ポンプ速度とファン速度は、最適化関数の一部の係数である。ポンプ速度とファン速度の最適化は、予め確定した制約セットに基づいて実行されることで、制約セットを満たすとともに、最適化関数が最小値に達するようにする。制約セットは、動作パラメータの範囲を含み、液体ポンプまたは冷却ファンは、その動作パラメータの範囲内で動作すべきである。その動作パラメータは、液体ポンプと冷却ファンそれぞれの設計仕様５０５から取得することができる。

一実施形態において、液体ポンプ２１２およびファンモジュール２３１中のすべての冷却ファンの総消費電力が最小値に到達するとともに、ポンプ速度がポンプ速度の下限とポンプ速度の上限界内に位置し、各冷却ファンのファン速度が同時にその相応のファン速度の下限とファン速度の上限内に位置し、各プロセッサ温度が特定のプロセッサに関連する相応のプロセッサーの基準温度よりも低いように、最適化が実行される。

なお、モニタ５０１は、ポンプ設定装置５０６とファン設定装置５０７に集積されて液体ポンプ２１２とファンモジュール２３１の処理をそれぞれ監視することができる。また、ポンプ設定装置５０６とファン設定装置５０７は、集積モジュールに集積することができる。また、最適化モジュール５０２は、ＲＭＣ２０２と集積制御装置として集積されることもできる。最適化モジュール５０２は、ソフトウェア、ハードウェア、または両者の組み合わせで実現することができる。例えば、最適化モジュール５０２は、１つまたは複数の最適化アルゴリズムセット（例えば、最適化関数５０４）に基づいて動作を実行するための実行可能な指令を含む機械可読媒体を含むことができる。これらのアルゴリズムは、最適化モジュール５０２に関連する処理ロジックで実行されて、最適化機能を実行することができる。その他の構成も、本明細書に適用されることができる。

上述したように、最適化関数（目標関数とも呼ばれる）は、液体ポンプ２１２およびファンモジュール２３１に関連する各冷却ファンの総消費電力に基づいて配置されることができ、ここで、ファンモジュール２３１のそれぞれは、１つまたは複数の冷却ファンを含むことができる。一実施形態において、最適化関数は、以下のように構成されている。
ここで、Ｐは総パワーを示し、Ｐ_{ｆａｎ，ｉ}（ファン（ｉ）のファン速度の最適化関数とも呼ばれる）は、ファン（ｉ）が消費するパワーを指し、Ｐ_ｐｕｍｐ（ポンプ速度の最適化関数とも呼ばれる）は、液体ポンプによって消費されるパワーを示し。ファン（ｉ）は、ファンモジュール２３１の冷却ファンの一つです。一実施形態において、ファンモジュール２３１中の異なるファンモジュールの異なる冷却ファンは、同一または異なるファン速度を備えるように構成される。

一実施形態によれば、ファン速度の最適化関数Ｐ_{ｆａｎ，ｉ}とポンプ速度の最適化関数Ｐ_ｐｕｍｐは、以下のように限定される。
ここで、ｖ_{ｆａｎ，ｉ}はファン（ｉ）の速度を示し、ｖ_ｐｕｍｐは最適化される液体ポンプの速度を示す。本実施形態において、ファン速度の最適化関数とポンプ速度の最適化関数は、３次多項式関数で実現されて、ここで、ａ_０、ａ_１、ａ_２、ｂ_０、ｂ_１とｂ_２は、所定の係数である。その他の配置で実施することができる。

一実施形態において、制約セットは、温度、ファン速度の動作範囲とポンプ速度の動作範囲の要求を満たすように定められる。例えば、制約は、以下のように限定される。

本実施形態において、制約は、プロセッサ温度がプロセッサの仕様に規定されたプロセッサの基準温度よりも低いことを示す。特定の冷却ファンのファン速度は、その特定の冷却ファンのファン仕様に規定されたファン速度の下限とファン速度の上限内に位置しなければならない。なお、異なる冷却ファンは、同一または異なるファン速度の限界を備えることができる。液体ポンプのポンプ速度は、液体ポンプのポンプ仕様に規定されたポンプ速度の下限とポンプ速度の上限内に位置しなければならない。説明の目的のために、本願に使用される任意の変数または命名法は、以下の表に定義され、これは、図６にも示される。

以上の実施形態において、ファン速度とポンプ速度の制約は、直接的に限定される。プロセッサ温度の制約は、付加的な物理動力学を備えるファン速度とポンプ速度の関数に変換される。図４を参照すると、一実施形態によれば、特定のプロセッサｉの温度は、以下のように限定されることができる。

変数αは、冷却液により除去された熱の比率であり、これは、プロセッサの温度と液体温度４１１との間の差に基づいて確定されることができる。残りの熱は、空気冷却により除去され、これは、プロセッサの温度と気流温度４１２との間の差に基づいて確定されることができる。一実施形態によれば、従来の耐熱因子Ｒの実施により、物理的なモデルは、以下のように限定されることができる。
ここで、Ｃ１とＣ２は所定の定数である。Ｒは、液体冷却または空気冷却に対するプロセッサの耐熱性を示す。これらの式を上述した式に変換すると、新しい制約モデルは、以下のように限定されることができ、これは図７にも示される。

Ｑ_{ｐｒｏｃｅｓｓｏｒ}は、プロセッサによって生成されたパワー（例えば、パワー＝電圧×電流）を示す。以上の制約は、任意の時点で液体冷却と空気冷却を考慮して、リアルタイムで測定したプロセッサ温度Ｔ_{ｐｒｏｃｅｓｓｏｒ}が必ずプロセッサの仕様に規定された相応のプロセッサ基準温度Ｔ_ｒｅｆよりも小さくなければならず、ここで、プロセッサのリアルタイムの温度Ｔ_{ｐｒｏｃｅｓｓｏｒ}は、相応の液体温度Ｔ_{ｌｉｑｕｉｄ}と気流温度Ｔ_ａｉｒに関連することができる。

一実施形態において、制御装置の最適化モデルは、例えば、ベクトルをポンプ速度とすべてのファン速度に限定し、ファン速度が合計でｎ個と仮定することにより、導出されることができる。
続いて、一実施形態によれば、目標関数は、以下のように限定される。

最適化関数ｆ_２は、ポンプ速度の最適化関数であり、最適化関数ｆ_１は、ファン速度の最適化関数である。一実施形態によれば、制約は下記のような不等式グループに変換され、これは、図８にも示される。

一実施形態によれば、ポンプ速度とファン速度の最適化期間には、必ず以上の制約セットを満足しなければならず、これにより液体ポンプと冷却ファンの総消費電力が下記のように最小値に達するようにする。

目標関数ｆ（ｘ）が凸関数であることを証明することができるので、制御装置の設計は、凸最適化で変化し、グローバル最適点ｘ^→＊を検出することによって解（例えば、最適のポンプ速度とファン速度）を求める。続いて、ｘ^→＊は、ポンプ速度とすべての独立したファントレイ速度のグローバル最小のベクトルである。電子ラックの動作期間において、以上の最適化プロセスは定期的にまたは継続的に実行される。システムが動作開始した場合、ＲＭＣは、リアルタイムですべてのデータを収集し、最適化制御装置を算出し、続いて、ポンプとすべてのファンに制御信号を出力すてから、次のサンプリング周期に移動する。

図９は、一実施形態に係る電子ラックに冷却を提供するプロセスを示すフローチャートである。プロセス９００は、処理ロジックによって実行されることができ、処理ロジックは、ソフトウェア、ハードウェア、またはこれらの組み合わせを含むことができる。例えば、プロセス９００は、図５のシステム５００によって実行されることができる。図９を参照すると、処理９０１において、処理ロジックは、液体ポンプと冷却ファンを配置して相応の初期速度に設定する。処理９０２において、計算ノードを動作させる。処理９０１−９０２は、相応の電子ラックの動作開始の一部として同時に実行される。処理９０３において、処理ロジックは、各種の部材からプロセッサ温度、気流温度（例えば、空気入口温度）、液体温度（例えば、液体供給温度）などを含む動作データを収集する。処理９０４において、上述したような１つまたは複数の最適化関数を利用して、液体ポンプと冷却ファン速度の最適化を実行し、これは液体ポンプと冷却ファンの最適の速度のセットを生成する。処理９０５において、総消費電力が最小値に到達するとともに、液体ポンプと冷却ファンの設計仕様に基づく制約セットを満たすように、最適の速度を利用して、液体ポンプと冷却ファンを設定する。処理９０３−９０５は、システムがシャットダウンされるまで繰り返し実行される。

図１０は、他の一実施形態に係る電子ラックに冷却を提供するプロセスを示すフローチャートである。プロセス１０００は、図９の処理９０２−９０３の一部として実行されることができる。図１０を参照すると、処理１０００１において、処理ロジックは、電子ラックの計算ノード、冷却ファン、およびＣＤＵのそれぞれからリアルタイムの動作データを収集する。リアルタイムの動作データは、プロセッサ温度、液体温度、気流温度、プロセッサのパワーなどを含む。処理１００２において、相応のポンプの仕様とファン仕様から取得した所定の基準データに基づいて、処理ロジックは、最適のポンプ速度と各冷却ファンや各ファンモジュールの最適のファン速度を確定するように、リアルタイムの動作データに基づいて最適化を実行する。処理１００３において、最適のポンプ速度を利用して、液体ポンプの後続的な速度を制御し、処理１００４において、最適のファン速度を利用して冷却ファンの後続的な速度を制御する。

一実施形態において、液体冷却システムは、サーバの消費電力が比較的高い部材（例えば、ＣＰＵ、ＧＰＵ）により生成されたほとんどの熱を除去するように構成され、一方、空気冷却システムは、液体冷却システムにより除去できなく、または確実に除去できない、消費電力が比較的小さい部材（例えば、メモリ、記憶装置、マザーボード）により生成された熱と、消費電力が比較的高い部材に放射された熱を削除するように構成される。液体冷却システムと空気冷却システムを組み合わせることで、一般的にサーバブレード又は電子ラックに設置された別のファンを必要としない。但し、電子ラックの電源ユニットおよび／またはネットワーク機器は、需要に応じて、冷却ファンが必要になる可能性がある。

なお、前述した冷却技術は、例えば、従来のコロケーションのデータセンター（ｃｏｌｏｃａｔｉｏｎ ｄａｔａ ｃｅｎｔｅｒ）、ブラウンフィールドのデータセンター（ｂｒｏｗｎｆｉｅｌｄ ｄａｔａ ｃｅｎｔｅｒ）とグリーンフィールドのデータセンター（ｇｒｅｅｎｆｉｅｌｄ ｄａｔａ ｃｅｎｔｅｒ）のような、様々な異なるタイプのデータセンターに適用されることができる。コロケーションデータセンターでは、小売顧客への機器、スペース、および帯域幅をレンタルすることができるデータセンターのタイプである。コロケーション施設は、他の会社のサーバ、ストレージ、ネットワーク機器のスペース、電力、冷却、および物理的なセキュリティを提供し、最小限のコストと複雑さでこれら各種の電気通信およびネットワークサービスプロバイダに接続する。グリーンフィールドのデータセンターでは、前に存在していない場所に構成し、構成されたデータセンターを示す。前述した技術は、パフォーマンスの最適化、データセンター（ＰＯＤ）またはポータブルオンデマンド式またはコンテナデータセンターに適用され、これらと協力して動作することもできる。ここで、サーバのラックは、１つまたは複数の別の容器、モジュール式ルームまたはモジュール式ハウジングに収容される。

上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発性のコンピュータ可読媒体に具現化される）、又は両者の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に基づいて説明したが、説明した動作の一部は、異なる順序により実行されてもよい。また、いくつかの動作は、順番での実行ではなく並行して実行されてもよい。

以上の明細書では、本発明の具体的な例示的な実施形態を参照しながらその実施形態を説明した。明らかに、添付している特許請求の範囲に記載された本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的な意味で本明細書及び図面を理解するのではなく例示的な意味で本明細書及び図面を理解すべきである。

本願の第一の局面として、データセンターの電子ラックを提供する。前記データセンターの電子ラックは、スタックに配列された複数の計算ノードであって、前記計算ノードのそれぞれは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含む、複数の計算ノードと、前記計算ノードの一つにそれぞれ対応されて、相応の計算ノードにそれぞれ空気冷却を提供する複数の冷却ファンと、前記計算ノードのそれぞれに結合されて、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供する冷媒分配ユニット（ＣＤＵ）であって、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、冷媒分配ユニットと、前記冷媒分配ユニット、前記冷却ファン及び前記計算ノードに結合されているラック管理コントローラ（ＲＭＣ）とを含み、前記ラック管理コントローラは、前記計算ノード、前記冷却ファン及び前記冷媒分配ユニットのそれぞれからリアルタイムの動作データを収集し、収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようになり、前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御し、前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するように構成される。

本願の第二の局面として、複数の電子ラックを含むデータセンターを提供する。前記電子ラックのそれぞれは、スタックに配列された複数の計算ノードであって、前記計算ノードのそれぞれは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含む、複数の計算ノードと、前記計算ノードの一つにそれぞれ対応されて、相応の計算ノードにそれぞれ空気冷却を提供する複数の冷却ファンと、前記計算ノードのそれぞれに結合されて、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供する冷媒分配ユニット（ＣＤＵ）であって、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、冷媒分配ユニットと、前記冷媒分配ユニット、前記冷却ファン及び前記計算ノードに結合されているラック管理コントローラ（ＲＭＣ）とを含み、前記ラック管理コントローラは、前記計算ノード、前記冷却ファン及び前記冷媒分配ユニットのそれぞれからリアルタイムの動作データを収集し、収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようになり、前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御し、前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するように構成される。

第三の局面として、データセンターの電子ラックの熱管理を提供する方法を提供する。前記方法は、スタックに配列された複数の計算ノードと、複数の冷却ファンと、前記計算ノードのそれぞれに結合された冷媒分配ユニット（ＣＤＵ）のそれぞれからリアルタイムの動作データを収集するステップであって、各計算ノードは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含み、前記冷却ファンのそれぞれは、前記計算ノードの一つに対応され、相応の計算ノードに空気冷却を提供し、前記冷媒分配ユニットは、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供するように構成され、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、ステップと、収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようにするステップと、前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御するステップと、前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するステップとを含む。

Claims (21)

1. データセンターの電子ラックであって、
   スタックに配列された複数の計算ノードであって、前記計算ノードのそれぞれは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含む、複数の計算ノードと、
   前記計算ノードの一つにそれぞれ対応されて、相応の計算ノードにそれぞれ空気冷却を提供する複数の冷却ファンと、
   前記計算ノードのそれぞれに結合されて、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供する冷媒分配ユニット（ＣＤＵ）であって、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、冷媒分配ユニットと、
   前記冷媒分配ユニット、前記冷却ファン及び前記計算ノードに結合されているラック管理コントローラ（ＲＭＣ）とを含み、
   前記ラック管理コントローラは、
   前記計算ノード、前記冷却ファン及び前記冷媒分配ユニットのそれぞれからリアルタイムの動作データを収集し、
   収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようになり、
   前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御し、
   前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するように構成されることを特徴とするデータセンターの電子ラック。
2. 請求項１において、
   前記最適化は、
   前記液体ポンプのポンプ速度と前記冷却ファンのファン速度とをともに最適化して前記最適化関数が最小値に到達するように実行され、
   前記ポンプ速度と前記ファン速度は、前記最適化関数の係数の一部であることを特徴とするデータセンターの電子ラック。
3. 請求項１において、
   前記最適化は、
   前記液体ポンプと前記冷却ファンに関連する１セットの仕様に基づいて実行され、
   前記仕様は、動作パラメータの範囲を指定する情報を含み、前記液体ポンプと前記冷却ファンは、前記動作パラメータの範囲内で動作すべきであることを特徴とするデータセンターの電子ラック。
4. 請求項１において、
   前記最適化関数は、
   ポンプ消費電力が最小値に到達するように、ポンプ速度に対してポンプ速度の最適化を実行するためのポンプ最適化関数と、
   それぞれ前記冷却ファンのうちの１つに対応する複数のファン最適化関数であって、前記冷却ファンのファン消費電力が最小値に到達するように、各冷却ファンのファン速度に対してファンの最適化を実行するようにそれぞれ構成される、複数のファン最適化関数とを含むことを特徴とするデータセンターの電子ラック。
5. 請求項４において、
   前記ポンプの最適化と前記ファン速度の最適化とは、
   前記ポンプ消費電力と前記ファン消費電力に基づいて算出した総消費電力が最小値に到達するとともに、リアルタイムで測定した各計算ノードの各プロセッサのプロセッサ温度が、前記プロセッサに関連するプロセッサ基準温度よりも低いようにともに最適化されることを特徴とするデータセンターの電子ラック。
6. 請求項４において、
   前記ポンプ速度の最適化は、
   前記ポンプ消費電力が最小値に到達するとともに、前記リアルタイムの動作データ中の前記液体ポンプに関連する第１サブセットが、前記液体ポンプの第１の所定の動作基準データセットの相応の範囲内に位置するように実行されることを特徴とするデータセンターの電子ラック。
7. 請求項６において、
   前記ポンプ速度の最適化は、
   前記ポンプ消費電力が最小値に到達するとともに、前記最適のポンプ速度が、前記液体ポンプに関連するポンプ速度の下限とポンプ速度の上限内に位置するように実行されることを特徴とするデータセンターの電子ラック。
8. 請求項４において、
   各最適化関数の前記ファン速度の最適化は、
   前記冷却ファンのファン消費電力が最小値に到達するとともに、前記リアルタイムの動作データ中の前記冷却ファンに関連する第２サブセットが、前記冷却ファンの第２の所定の動作基準データセットの相応の範囲内に位置するように、前記冷却ファンに対して実行されることを特徴とするデータセンターの電子ラック。
9. 請求項８において、
   各冷却ファンの前記ファン速度の最適化は、
   前記冷却ファンのファン消費電力が最小値に到達するとともに、前記冷却ファンの最適のファン速度が前記冷却ファンのファン速度の下限とファン速度の上限内に位置するように実行されることを特徴とするデータセンターの電子ラック。
10. 複数の電子ラックを含むデータセンターであって、
    前記電子ラックのそれぞれは、
    スタックに配列された複数の計算ノードであって、前記計算ノードのそれぞれは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含む、複数の計算ノードと、
    前記計算ノードの一つにそれぞれ対応されて、相応の計算ノードにそれぞれ空気冷却を提供する複数の冷却ファンと、
    前記計算ノードのそれぞれに結合されて、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供する冷媒分配ユニット（ＣＤＵ）であって、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、冷媒分配ユニットと、
    前記冷媒分配ユニット、前記冷却ファン及び前記計算ノードに結合されているラック管理コントローラ（ＲＭＣ）とを含み、
    前記ラック管理コントローラは、
    前記計算ノード、前記冷却ファン及び前記冷媒分配ユニットのそれぞれからリアルタイムの動作データを収集し、
    収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようになり、
    前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御し、
    前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するように構成されることを特徴とするデータセンター。
11. 請求項１０において、
    前記最適化は、
    前記液体ポンプのポンプ速度と前記冷却ファンのファン速度とをともに最適化して前記最適化関数が最小値に到達するように実行され、
    前記ポンプ速度と前記ファン速度は、前記最適化関数の係数の一部であることを特徴とするデータセンター。
12. 請求項１０において、
    前記最適化は、
    前記液体ポンプと前記冷却ファンに関連する１セットの仕様に基づいて実行され、
    前記仕様は、動作パラメータの範囲を指定する情報を含み、前記液体ポンプと前記冷却ファンは、前記動作パラメータの範囲内で動作すべきであることを特徴とするデータセンター。
13. データセンターの電子ラックの熱管理を提供する方法であって、
    スタックに配列された複数の計算ノードと、複数の冷却ファンと、前記計算ノードのそれぞれに結合された冷媒分配ユニット（ＣＤＵ）のそれぞれからリアルタイムの動作データを収集するステップであって、各計算ノードは、液体冷却板に取り付けられた少なくとも一つのプロセッサを含み、前記冷却ファンのそれぞれは、前記計算ノードの一つに対応され、相応の計算ノードに空気冷却を提供し、前記冷媒分配ユニットは、相応の液体冷却板を経由して相応のプロセッサに液体冷却を提供するように構成され、前記冷媒分配ユニットは、冷却液を提供して各計算ノードの前記プロセッサによって発生される熱を除去するための液体ポンプを含む、ステップと、
    収集されたリアルタイムの動作データに基づいて、所定の最適化関数を利用して最適化を実行して前記液体ポンプの最適のポンプ速度と前記冷却ファンの最適のファン速度を確定することにより、総消費電力を表示する前記最適化関数の出力が最小値に到達するようにするステップと、
    前記最適のポンプ速度に基づいて、前記液体ポンプのポンプ速度を制御するステップと、
    前記冷却ファンに対応される前記最適のファン速度に基づいて、前記冷却ファンのファン速度をそれぞれ制御するステップとを含む、
    データセンターの電子ラックの熱管理を提供する方法。
14. 請求項１３において、
    前記最適化は、
    前記液体ポンプのポンプ速度と前記冷却ファンのファン速度とをともに最適化して前記最適化関数が最小値に到達するように実行され、
    前記ポンプ速度と前記ファン速度は、前記最適化関数の係数の一部であることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
15. 請求項１３において、
    前記最適化は、
    前記液体ポンプと前記冷却ファンに関連する１セットの仕様に基づいて実行され、
    前記仕様は、動作パラメータの範囲を指定する情報を含み、前記液体ポンプと前記冷却ファンは、前記動作パラメータの範囲内で動作すべきであることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
16. 請求項１３において、
    最適化の実行は、
    ポンプ消費電力が最小値に到達するように、ポンプの最適化関数を利用して、ポンプ速度に対してポンプ速度の最適化を実行するステップと、
    前記冷却ファンのファン消費電力が最小値に到達するように、それぞれ前記冷却ファンのうちの１つに対応する複数のファン最適化関数を用いて、各冷却ファンのファン速度に対してファン速度の最適化を実行するステップとを含むことを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
17. 請求項１６において、
    前記ポンプの最適化と前記ファン速度の最適化は、
    前記ポンプ消費電力と前記ファン消費電力に基づいて算出した総消費電力が最小値に到達するとともに、リアルタイムで測定した各計算ノードの各プロセッサのプロセッサ温度が、前記プロセッサに関連するプロセッサ基準温度よりも低いようにともに最適化されることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
18. 請求項１６において、
    前記ポンプ速度の最適化は、
    前記ポンプ消費電力が最小値に到達するとともに、前記リアルタイムの動作データ中の前記液体ポンプに関連する第１サブセットが、前記液体ポンプの第１の所定の動作基準データセットの相応の範囲内に位置するように実行されることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
19. 請求項１８において、
    前記ポンプ速度の最適化は、
    前記ポンプ消費電力が最小値に到達するとともに、前記最適のポンプ速度が、前記液体ポンプに関連するポンプ速度の下限とポンプ速度の上限内に位置するように実行されることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
20. 請求項１６において、
    各最適化関数の前記ファン速度の最適化は、
    前記冷却ファンのファン消費電力が最小値に到達するとともに、前記リアルタイムの動作データ中の前記冷却ファンに関連する第２サブセットが、前記冷却ファンの第２の所定の動作基準データセットの相応の範囲内に位置するように、前記冷却ファンに対して実行されることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。
21. 請求項２０において、
    各冷却ファンの前記ファン速度の最適化は、
    前記冷却ファンのファン消費電力が最小値に到達するとともに、前記冷却ファンの最適のファン速度が前記冷却ファンのファン速度の下限とファン速度の上限内に位置するように実行されることを特徴とするデータセンターの電子ラックの熱管理を提供する方法。