JPH10198642A

JPH10198642A - サーバ装置

Info

Publication number: JPH10198642A
Application number: JP9001970A
Authority: JP
Inventors: Katsuyuki Ohashi; 勝之大橋
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-01-09
Filing date: 1997-01-09
Publication date: 1998-07-31

Abstract

(57)【要約】【課題】１種類のサービスの処理を複数台のバックエン
ドサーバで負荷分散して処理性能を向上すること。【解決手段】クライアントのリクエストを処理するサー
バプロセス２１を配置した複数個のバックエンドサーバ
１２と、クライアントからのリクエストを受信するフロ
ントエンドサーバ１１と、該フロントエンドサーバ１１
に配置し、前記受信したリクエストを適切な前記バック
エンドサーバ１２に転送するリクエスト転送制御機構１
１３とを備え、該リクエスト転送制御機構１１３は、ク
ライアントの識別情報を用いて、同一サービスに対する
複数のクライアントからのリクエストを転送する前記バ
ックエンドサーバ１２を決定してリクエストを転送す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機環境におけ
るクライアント／サーバシステムのサーバの構成に関
し、特に、サーバをクラスタシステム（複数のノードを
結合したシステム）で構成する際のノード（サーバ）間
の負荷分散を行うサーバ装置に関する。

【０００２】近年、インターネット等の開放型システム
の普及に伴い、クライアント／サーバシステムへの関心
が高まり、特に不特定多数のクライアントからの要求が
集中することが予想されるサーバシステムを高性能／高
可用化する（利用可能率を高くする）ための技術とし
て、クラスタシステムの負荷分散に関する技術の開発が
望まれている。

【０００３】

【従来の技術】従来のクラスタシステムにおける負荷分
散技術の１つに、ルータやパケットフィルタによるリダ
イレクション（仕事の割り振り）がある。この方式で
は、サーバはクライアントからのリクエストを受けるフ
ロントエンドノード（ＦＥＰノード）と、クライアント
からのリクエストを処理する機能を複数台のノードに分
散配置したバックエンドノード（ＢＥＰノード）群から
構成されていた。全てのクライアントはＦＥＰノードに
対してリクエストを送り、ＦＥＰノードは要求されたサ
ービスに対して適切なＢＥＰノードにリクエストを転送
して負荷分散を行っていた。

【０００４】図７は従来例の説明図（１）、図８は従来
例の説明図（２）である。以下図７、図８に基づいて従
来例の説明をする。図７において、従来のリダイレクシ
ョンを利用した負荷分散の例であり、サーバドメイン１
と複数のクライアントドメイン、がＷＡＮ（ワイド
エリアネットワーク）を介して接続されている。

【０００５】サーバドメイン１には、ＦＥＰサーバ１
１、複数のサーバ１２（サーバＡ〜Ｃ）、ドメインネイ
ムサーバ（ＤＮＳ）１３、ルータ１４が設けてある。ク
ライアントドメインには、複数のクライアント（１）
〜（３）、ＤＮＳ４３、ルータ４４が設けてある。クラ
イアントドメインには、複数のクライアント（４）〜
（６）、ＤＮＳ４３、ルータ４４が設けてある。

【０００６】ＦＥＰサーバ１１は、ＬＡＮ（ローカルエ
リアネットワーク）でクライアントからのリクエストを
受信し、高速ノード間結合により適切なＢＥＰノードに
リクエストを転送する転送制御プロセスを有するＦＥＰ
ノードである。サーバ１２（サーバＡ〜Ｃ）は、それぞ
れ異なる種類のサービスＸ〜Ｚを処理するサーバプロセ
スＸ〜Ｚを有するＢＥＰノードである。

【０００７】ＤＮＳ１３は、ＬＡＮと接続されておりク
ライアント等から問い合わせのあったサービス名に対応
するＩＰアドレス（各コンピュータ固有のアドレス）を
応答するものである。例えば、図８（ｂ）はＩＰアドレ
ス例の説明であり、図８（ｂ）のようにクライアント
は、ＤＮＳ１３からサービス名「ftp-server」のＩＰア
ドレス「133.160.12.5」を取得して、この取得したＩＰ
アドレスに向かってリクエストを出すものである。ルー
タ１４は、ＷＡＮとＬＡＮ間の中継処理を行うものであ
る。

【０００８】複数のクライアント（１）〜（３）、複数
のクライアント（４）〜（６）は、それぞれのＬＡＮで
接続されておりサービス（データ処理）を要求する側で
ある。ＤＮＳ４３は、ＬＡＮと接続されており問い合わ
せのあったサービス名に対応するＩＰアドレス応答する
ものである。ルータ４４は、ＬＡＮとＷＡＮ間の中継処
理を行うものである。

【０００９】図８（ａ）は仕事の割り振り表の説明であ
り、ＦＥＰノード上のプロセスによって管理される各サ
ーバプロセスの配置を示すものである。図８（ａ）にお
いて、サービス識別子に対応する転送先サーバ識別子が
示されている。例えば、サービスＸはサーバＡに、サー
ビスＹはサーバＢに、サービスＺはサーバＣに転送する
ことが示されている。

【００１０】全てのクライアントからのリクエストは、
クライアントドメインのＬＡＮ、ルータ４４、ＷＡＮ、
ルータ１４、サーバドメイン１のＬＡＮを介してＦＥＰ
ノードに送られ、ＦＥＰノードは、要求されたサービス
の種類に応じてリクエストの転送先ノードを決定し、適
切なＢＥＰノードに、高速ノード間結合を介してリクエ
ストを転送する。ＢＥＰノードＡ〜Ｃ上のサーバプロセ
スＸ〜Ｚは、ＦＥＰノードから転送されたリクエストを
処理してクライアントにリプライするものであった。

【００１１】

【発明が解決しようとする課題】前記従来のリダイレク
ション方式においては、ＢＥＰノード毎に異なるサービ
スを処理するサーバプロセスを配置し、図８（ａ）のよ
うな表を用いて、クライアントが要求したサービスをキ
ーとして転送先ＢＥＰノードを決定していた。このた
め、１種類のサービスの処理が多くなっても複数台のＢ
ＥＰノードで負荷分散することができない課題があっ
た。

【００１２】本発明は、このような従来の課題を解決
し、同一サービスに対する複数のクライアントからのリ
クエストを複数台のサーバノードで負荷分散をできるよ
うにし、また、自動的にサーバノード故障隠蔽機能や、
負荷調整機能を持つことにより、システム管理コストを
削減することを目的とする。

【００１３】

【課題を解決するための手段】図１は本発明の原理説明
図である。図１中、１１はフロントエンドサーバ、１２
はバックエンドサーバ、２１はサーバプロセス、２２は
ノード間通信制御部、２３はコネクション状態監視機
構、１１１は割当済転送経路一覧表、１１２はリクエス
ト転送制御表、１１３はリクエスト転送制御機構、１１
４は対クライアント通信制御部、１１５はクラスタ内ノ
ード間通信制御部、１２１は負荷調整部、１２２はノー
ド故障検出機構、１２３はノード負荷監視機構、１２４
はサーバプロセス制御機構、１２５はユーザインタフェ
ース機構である。

【００１４】本発明は前記従来の課題を解決するため次
のように構成した。（１）：クライアントのリクエストを処理するサーバプ
ロセス２１を配置した複数個のバックエンドサーバ１２
と、クライアントからのリクエストを受信するフロント
エンドサーバ１１と、該フロントエンドサーバ１１に配
置し、前記受信したリクエストを適切な前記バックエン
ドサーバ１２に転送するリクエスト転送制御機構１１３
とを備え、該リクエスト転送制御機構１１３は、クライ
アントの識別情報を用いて、同一サービスに対する複数
のクライアントからのリクエストを転送する前記バック
エンドサーバ１２を決定してリクエストを転送する。

【００１５】（２）：前記（１）のサーバ装置におい
て、前記リクエスト転送制御機構１１３は、リクエスト
転送制御表１１２を用いて転送するリクエストの比率を
バックエンドサーバ１２毎に制御する。

【００１６】（３）：前記（１）又は（２）のサーバ装
置において、サーバの故障を検出するノード故障検出機
構１２２を設け、ノード故障検出機構１２２がサーバの
故障を検出すると、リクエスト転送制御機構１１３は、
故障したバックエンドサーバ１２へのリクエスト転送を
中止して、クライアントからの再リクエスト時に正常運
用している別のバックエンドサーバ１２にリクエストを
転送する。

【００１７】（４）：前記（１）〜（３）のサーバ装置
において、前記バックエンドサーバ１２の負荷を監視し
てリクエストの転送比率を変更するノード負荷監視機構
１２３を設け、該ノード負荷監視機構１２３が負荷が高
い前記バックエンドサーバ１２を発見すると、リクエス
ト転送制御機構１１３は、負荷の高いバックエンドサー
バ１２への転送比率を下げて、前記バックエンドサーバ
１２間の負荷を平均化する。

【００１８】（５）：前記（１）〜（４）のサーバ装置
において、システム管理者が前記バックエンドサーバ１
２への転送比率を制御するためのユーザインタフェース
機構１２５を設ける。

【００１９】（６）：前記（１）〜（５）のサーバ装置
において、前記サーバプロセス２１とクライアントプロ
セス間のコネクション状態を監視するコネクション状態
監視機構２３を設け、前記リクエスト転送制御機構１１
３は、前記コネクション状態監視機構２３にコネクショ
ン状態を問い合わせ、サービス中のコネクションに対し
ては、該サービス終了後に、転送経路の変更を行う。

【００２０】（７）：前記（１）〜（６）のサーバ装置
において、前記サーバプロセス２１の制御を行うサーバ
プロセス制御機構１２４を設け、あるサービスのサーバ
プロセス２１が配置された各バックエンドサーバ１２の
負荷が高くなった時に、前記サーバプロセス制御機構１
２４がそのサーバプロセス２１が未配置なバックエンド
サーバ１２にサーバプロセス２１を起動する。

【００２１】（８）：前記（１）〜（７）のサーバ装置
において、前記リクエスト転送制御機構１１３を、ネッ
トワークの通信制御をするネットワークドライバとパケ
ットの処理をするオペレーティングシステムのパケット
処理部の中間に配置したパケットフィルタで構成する。

【００２２】（９）：前記（１）〜（８）のサーバ装置
において、前記クライアントの識別情報として、クライ
アントから受信したリクエストのパケットのソースアド
レスとソースポート番号のペアを使用する。

【００２３】（作用）前記構成に基づく作用を説明す
る。複数個のバックエンドサーバ１２に配置したサーバ
プロセス２１でクライアントのリクエストを処理し、フ
ロントエンドサーバ１１に配置したリクエスト転送制御
機構１１３で受信したクライアントからのリクエストを
クライアントの識別情報を用いて、同一サービスに対す
る複数のクライアントからのリクエストを転送する前記
バックエンドサーバ１２を決定してリクエストを転送す
る。このため、１種類のサービスの処理を複数台のバッ
クエンドサーバで負荷分散でき、処理性能を向上するこ
とができる。

【００２４】また、前記リクエスト転送制御機構１１３
で、リクエスト転送制御表１１２を用いて転送するリク
エストの比率をバックエンドサーバ１２毎に制御する。
このため、バックエンドサーバの処理能力に応じた負荷
分散ができ、より処理性能を向上することができる。

【００２５】さらに、ノード故障検出機構１２２がサー
バの故障を検出すると、リクエスト転送制御機構１１３
で、故障したバックエンドサーバ１２へのリクエスト転
送を中止して、クライアントからの再リクエスト時に正
常運用している別のバックエンドサーバ１２にリクエス
トを転送する。このため、クライアントからの再リクエ
ストにより、バックエンドサーバの故障をクライアント
から隠蔽することができる。

【００２６】また、ノード負荷監視機構１２３が負荷が
高い前記バックエンドサーバ１２を発見すると、リクエ
スト転送制御機構１１３で、負荷の高いバックエンドサ
ーバ１２への転送比率を下げて、前記バックエンドサー
バ１２間の負荷を平均化する。このため、常に負荷を平
均化することができ、処理性能を向上することができ
る。

【００２７】さらに、ユーザインタフェース機構１２５
で、システム管理者が前記バックエンドサーバ１２への
前記転送比率を制御する。このため、例えば、活性保守
のためのバックエンドサーバの転送比率をゼロとしてノ
ードの一時的な切り離しや再組み込みが可能となる。

【００２８】また、前記リクエスト転送制御機構１１３
は、コネクション状態監視機構２３にコネクション状態
を問い合わせ、サービス中のコネクションに対しては、
該サービス終了後に、転送経路の変更を行う。このた
め、サービス途中に新たなバックエンドサーバに切り換
わることがなく、処理の中断を防止することができる。

【００２９】さらに、あるサービスのサーバプロセス２
１が配置された各バックエンドサーバ１２の負荷が高く
なった時に、サーバプロセス制御機構１２４がそのサー
バプロセス２１が未配置なバックエンドサーバ１２にサ
ーバプロセス２１を起動する。このため、複数個のバッ
クエンドサーバ全体の負荷を調整することができ、処理
性能を向上することができる。

【００３０】また、前記リクエスト転送制御機構１１３
を、ネットワークの通信制御をするネットワークドライ
バとパケットの処理をするオペレーティングシステムの
パケット処理部の中間に配置したパケットフィルタで構
成する。このため、パケットフィルタで１種類のサービ
スの処理を複数台のバックエンドサーバで負荷分散で
き、処理性能が向上する。

【００３１】さらに、前記クライアントの識別情報とし
て、クライアントから受信したリクエストのパケットの
ソースアドレスとソースポート番号のペアを使用する。
このため、クライアントプロセス毎にリクエストの転送
先ノードの制御を行うことができる。

【００３２】

【発明の実施の形態】図２〜図６は本発明の実施の形態
を示した図である。本発明では、ＦＥＰノードにおける
リクエスト転送制御に、クライアントが要求したサービ
スの種類に加えて、リクエストを送ったクライアント識
別子を用い、同一サービスに対するリクエストの転送先
ＢＥＰノードをクライアント毎に制御するものである。
以下、図面に基づいて本発明の実施の形態を説明する。

【００３３】（１）：サーバ装置の説明：装置構成の説明図２は装置構成図（１）である。以下、図２に基づいて
サーバ装置の説明をする。

【００３４】図２において、サーバ装置は、ＦＥＰサー
バ（ＦＥＰノード）１１と複数のＢＥＰサーバ（ＢＥＰ
ノード）１２ａ、１２ｂ、１２ｃ、・・・がノード間結
合３で接続されている。クライアント４は、ＬＡＮある
いはＷＡＮ５を経由してＦＥＰノード１１と結合されて
いる。

【００３５】ＦＥＰサーバ１１には、割当済転送経路一
覧表１１１、転送制御表１１２、リクエスト転送処理部
１１３、対クライアント通信制御部１１４、クラスタ内
ノード間通信制御部１１５、負荷調整部１２１、ノード
故障検出部１２２、ノード負荷監視部１２３、サーバプ
ロセス制御部１２４、システム管理者インタフェース１
２５が設けてある。

【００３６】ＢＥＰサーバ１２ａには、サーバプロセス
２１ａ、ノード間通信制御部２２ａ、コネクション状態
監視部２３ａが設けてあり、ＢＥＰサーバ１２ｂには、
サーバプロセス２１ｂ、ノード間通信制御部２２ｂ、コ
ネクション状態監視部２３ｂが設けてあり、ＢＥＰサー
バ１２ｃにも、サーバプロセス２１ｃ、ノード間通信制
御部２２ｃ、コネクション状態監視部２３ｃが設けてあ
る。

【００３７】割当済転送経路一覧表１１１は、クライア
ント毎に割り当てたリクエストの転送経路を記録したも
のである。転送制御表１１２は、リクエストを処理する
サーバプロセスの配置とリクエストの振り分け比率を記
録したものである。リクエスト転送処理部１１３は、ク
ライアントからのリクエストをＢＥＰノードに転送する
ものである。対クライアント通信制御部１１４は、クラ
イアントとの通信を制御するものである。クラスタ内ノ
ード間通信制御部１１５は、ＢＥＰノードとの通信を制
御するものである。負荷調整部１２１は、システム管理
者の要求や発生したイベントに応じて動的に転送制御を
調整するものである。ノード故障検出部１２２は、ＢＥ
Ｐノードの故障を検出するものである。ノード負荷監視
部１２３は、ＢＥＰノードの負荷状態を監視するもので
ある。サーバプロセス制御部１２４は、ＢＥＰノードに
必要なサーバプロセスを起動するものである。システム
管理者インタフェース１２５は、システム管理者６にユ
ーザインタフェースを提供するものである。

【００３８】サーバプロセス２１ａ、２１ｂ、２１ｃ
は、クライアントからのリクエストを処理するプロセス
である。ノード間通信制御部２２ａ、２２ｂ、２２ｃ
は、ＦＥＰノードとの通信を制御するものである。コネ
クション状態監視部２３ａ、２３ｂ、２３ｃは、クライ
アントとサーバプロセスとのコネクション状態を監視す
るものである。

【００３９】：転送制御表と割当済転送経路一覧表の
説明図３は転送制御表と割当済転送経路一覧表の説明図であ
り、図３（ａ）は転送制御表の説明、図３（ｂ）は割当
済転送経路一覧表の説明である。

【００４０】図３（ａ）において、転送制御表１１２に
は、リクエストの宛て先としてのポート番号等を使用す
るサービス識別子、転送先となる利用可能なＢＥＰノー
ドのＩＰアドレス等を使用する利用可能ＢＥＰノード識
別子、同一サービスに対するリクエストの分配比率（転
送比率）である比率が設けてある。

【００４１】図３（ｂ）において、割当済転送経路一覧
表１１１には、リクエストの宛て先としてのポート番号
等を使用するサービス識別子、ソースＩＰアドレスとソ
ースポートのポート番号等を使用するクライアント識別
子、転送先のＢＥＰノードのＩＰアドレス等を使用する
転送先ＢＥＰノード識別子が設けてある。

【００４２】（２）：サーバ装置の動作の説明以下、図２に基づいてサーバ装置の動作を説明する。：クライアントからリクエストがあった場合の説明クライアント４がリクエストをＬＡＮあるいはＷＡＮ５
を経由してＦＥＰノード１１に送ると、対クライアント
通信制御部１１４によって受信されたリクエストはリク
エスト転送処理部１１３に送られる。リクエスト転送処
理部１１３は、まず、割当済転送経路一覧表１１１を用
いて、すでに転送経路を割り当てたことがあるクライア
ントからのリクエストかどうか調べる。この割当済転送
経路一覧表１１１には、リクエストしたクライアントの
識別子と要求したサービスの識別子のペアーをキーとし
て、割り当てられた転送先ＢＥＰノードの識別子が記録
されている。

【００４３】割当済転送経路一覧表１１１にクライアン
トのエントリがない場合には、リクエスト転送処理部１
１３は、転送制御表１１２を参照して、転送先ＢＥＰノ
ードを決定する。この転送制御表１１２には、利用可能
ＢＥＰノード識別子とリクエストの分配比率がサービス
毎に記録されている。

【００４４】転送制御表１１２でリクエストの転送先Ｂ
ＥＰノードが決定すると、リクエスト転送処理部１１３
は、割当済転送経路一覧表１１１に転送先を割り当てた
クライアントのエントリを作り、クラスタ内ノード間通
信制御部１１５、ノード間結合３を経由して、リクエス
トを転送先として決定したＢＥＰノードに転送する。

【００４５】このリクエストが転送されたＢＥＰノード
（例えば、ＢＥＰノード１２ａとする）では、ノード間
通信制御部２２ａがリクエストを受信してサーバプロセ
ス２１ａにリクエストを送る。サーバプロセス２１ａ
は、リクエストを処理すると、ノード間通信制御部２２
ａ、ノード間結合３を経由して、ＦＥＰノード１１にリ
プライを送る。ＦＥＰノード１１は、クラスタ内ノード
間通信制御部１１５でリプライを受け、リクエスト転送
処理部１１３が対クライアント通信制御部１１４、ＬＡ
ＮあるいはＷＡＮ５を介してクライアント４にリプライ
を返す。

【００４６】割当済転送経路一覧表１１１にエントリが
存在するクライアントからのリクエストの場合は、リク
エスト転送処理部１１３は、割当済転送経路一覧表１１
１で割り当てられているＢＥＰノードにリクエストを送
ることになる。このような処理を行うことによって、同
一のクライアント識別子で識別されるクライアントから
のリクエストは同一のＢＥＰサーバに転送されることに
なる。

【００４７】：ノード故障の場合の説明ノード故障検出部１２２は、定期的に全てのＢＥＰノー
ドが正常動作していることを確認する。ノード故障検出
部１２２は、ＢＥＰノードの故障を検出すると、負荷調
整部１２１を経由して転送制御表１１２を書き換えて、
故障したＢＥＰノードへのリクエストの分配を停止す
る。リクエスト転送処理部１１３は、割当済転送経路一
覧表１１１内の転送先ＢＥＰノードが故障したＢＥＰノ
ードとなっている全てのエントリを削除する。

【００４８】このＢＥＰノードの故障によって、故障し
たＢＥＰノードを利用していたクライアントとＢＥＰノ
ード上のサーバプロセスとのコネクションは切断される
が、クライアントがリクエストをリトライすることによ
って故障は隠蔽される。

【００４９】クライアントからの再リクエストはリクエ
スト転送処理部１１３に送られると、リクエスト転送処
理部１１３は、割当済転送経路一覧表１１１を調べる
が、再リクエストしたクライアントのエントリは既に削
除されているため、リクエスト転送処理部１１３は、転
送制御表１１２に基づいて新たな転送先を決定してリク
エストを転送する。リクエストを転送されたＢＥＰノー
ドでは、通常のリクエストと同様にリクエストを処理し
てリプライする。

【００５０】：ノード負荷監視の説明ノード負荷監視部１２３は、定期的に全てのＢＥＰノー
ドの負荷状態を監視する。ノード負荷監視部１２３は、
負荷が高いＢＥＰノードを発見すると、負荷調整部１２
１を経由して転送制御表１１２を書き換えて、負荷が高
いＢＥＰノードへのリクエストの分配比率を下げる。リ
クエスト転送処理部１１３は、分配比率変更時に割り当
て済の転送経路の状態を各ＢＥＰサーバのコネクション
状態監視部２３ａ、２３ｂ、２３ｃ、・・・に問い合わ
せ、割当済転送経路一覧表１１１からアクティブでない
コネクションの転送経路のエントリを削除し、その時点
のリクエスト分配比率を算出する。

【００５１】リクエスト転送処理部１１３は、以降の新
規クライアントからのリクエスト転送先の調整や、コネ
クション状態監視部２３ａ、２３ｂ、２３ｃ、・・・に
問い合わせによる割当済転送経路一覧表１１１の更新に
より、書き換えられた転送制御表１１２で指定された分
配比率に実際の分配比率を近付けるようにする。

【００５２】：サーバプロセスの起動・停止の説明サーバプロセス制御部１２４は、クラスタ内ノード間通
信制御部１１５、ノード間結合３を介して各ＢＥＰノー
ド上のサーバプロセスを制御するものである。

【００５３】あるサービスに割り当てられた全てのＢＥ
Ｐノードの負荷が高い場合には、ノード負荷監視部１２
３は負荷調整部１２１にＢＥＰノードの割り当て増を依
頼する。各サービスへのＢＥＰノードの割り当てを管理
している負荷調整部１２１は、負荷が高いサービスへの
ＢＥＰノード割り当ての増を決めると、新たに割り当て
たＢＥＰノードへサーバプロセスの起動をサーバプロセ
ス制御部１２４に依頼する。そこで、サーバプロセス制
御部１２４は、クラスタ内ノード間通信制御部１１５、
ノード間結合３を経由して、指定されたＢＥＰノード上
のサーバプロセスを起動する。このサーバプロセスの起
動が完了すると、負荷調整部１２１は、新たに割り当て
たＢＥＰノードにリクエストを転送するように転送制御
表１１２を書き換える。

【００５４】新たに割り当てたＢＥＰノード上で、それ
まで動作していたサーバプロセスを停止させることが必
要な場合、負荷調整部１２１は、転送制御表１１２を書
き換えてリクエストに対する分配を停止する（分配比率
を０とする）。リクエスト転送処理部１１３は、リクエ
ストの転送の停止が指示されたＢＥＰノードのコネクシ
ョン状態監視部にコネクションの状態を問い合わせ、割
当済転送経路一覧表１１１の未使用状態のエントリを削
除する。負荷調整部１２１は、割当済転送経路一覧表１
１１を参照して、指定したＢＥＰノードへのコネクショ
ンのエントリが無くなった時点で、サーバプロセス制御
部１２４にサーバプロセスの停止を依頼する。サーバプ
ロセス制御部１２４は、クラスタ内ノード間通信制御部
１１５、ノード間結合３を経由して、指定されたＢＥＰ
ノード上のサーバプロセスを停止する。

【００５５】：システム管理者インタフェースの説明システム管理者インタフェース１２５は、システム管理
者６にシステム管理のためのインタフェースを提供する
ものである。

【００５６】システム管理者インタフェース１２５が提
供する機能としては、クラスタへの動的な（運用中の）
ノードの追加／切り離し、サービスへのＢＥＰノード割
り当て指定／変更、その他システム状態の参照等の機能
がある。

【００５７】（３）：ＵＮＩＸ（ＡＴ＆Ｔ社の汎用のオ
ペレーティングシステム）マシンによる説明以下、図４〜図６に従ってＵＮＩＸマシンによる説明を
する。

【００５８】：クライアント／サーバシステムの説明図４はクライアント／サーバシステムの説明図である。
以下図４に基づいて説明をする。

【００５９】図４において、リダイレクションを利用し
た負荷分散の例であり、サーバドメイン１と複数のクラ
イアントドメイン、がＷＡＮを介して接続されてい
る。サーバドメイン１には、ＦＥＰサーバ１１、複数の
サーバ１２（サーバＡ〜Ｆ）、ドメインネイムサーバ
（ＤＮＳ）１３、ルータ１４が設けてある。クライアン
トドメインには、複数のクライアント（１）〜
（５）、ＤＮＳ４３、ルータ４４が設けてある。クライ
アントドメインには、複数のクライアント（６）〜
（１０）、ＤＮＳ４３、ルータ４４が設けてある。

【００６０】ＦＥＰサーバ１１は、ＬＡＮ（ローカルエ
リアネットワーク）でクライアントからのリクエストを
受信し、高速ノード間結合により適切なＢＥＰノード１
２にリクエストを転送するパケットフィルタ１１３を有
するＦＥＰノードである。サーバ１２（サーバＡ〜Ｆ）
は、サービスＸ、Ｙ、Ｚを処理するサーバプロセス２１
（サーバプロセスＸ、Ｙ、Ｚ）を有するＢＥＰノードで
ある。ＤＮＳ１３は、ＬＡＮと接続されておりクライア
ント等から問い合わせのあったサービス名に対応するＩ
Ｐアドレス（各コンピュータ固有のアドレス）を応答す
るものである。

【００６１】複数のクライアント（１）〜（５）、複数
のクライアント（６）〜（１０）は、それぞれのＬＡＮ
で接続されておりサービス（データ処理）を要求する側
である。ＤＮＳ４３は、ＬＡＮと接続されており問い合
わせのあったサービス名に対応するＩＰアドレス応答す
るものである。ルータ４４は、ＬＡＮとＷＡＮ間の中継
処理を行うものである。

【００６２】：サーバ装置の説明ＵＮＩＸマシンのサーバ装置（クラスタシステム）にお
ける負荷分散について、図２のリクエスト転送処理部１
１３は、ネットワークのデータ処理をするストリーム処
理部の最下層に位置するパケットフィルタとして実現さ
れる。そして、割当済転送経路一覧表１１１と転送制御
表１１２はパケットフィルタ内に置かれている。また、
図２の負荷調整部１２１はユーザ空間内のＵＮＩＸプロ
セスである負荷調整プロセスとして実現する。この負荷
調整プロセスは、ＵＮＩＸＯＳ（オペレーティングシ
ステム）が提供するＩＯＣＴＬシステムコールを利用し
て、パケットフィルタ内の転送制御表の書き換えを行う
ものである。

【００６３】図５は装置構成図（２）である。以下、図
５に基づいてサーバ装置の説明をする。図５において、
サーバ装置は、ＦＥＰノード１１とＢＥＰノード１２
（実際は複数のＢＥＰノードが設けられる）がノード間
結合ネットワーク３で接続されている。クライアントと
は、ＬＡＮ等のネットワーク５を介してＦＥＰノード１
１と結合されている。

【００６４】ＦＥＰノード１１には、カーネル（中枢部
分）空間とユーザ空間があり、カーネル空間にはストリ
ーム処理部、外部ネットワークドライバ１１４、内部ネ
ットワークドライバ１１５が設けてある。ストリーム処
理部には、パケットフィルタ１１３、ＩＰパケット処理
層１３１、ＴＣＰパケット処理層１３２が設けてあり、
パケットフィルタ１１３には、割当済転送経路一覧表１
１１と転送制御表１１２が設けてある。ユーザ空間に
は、負荷調整プロセス１２１、ノード故障検出プロセス
１２２、ノード負荷監視プロセス１２３、サーバ制御プ
ロセス１２４、ユーザＩ／Ｆ処理プロセス１２５が設け
てある。

【００６５】ＢＥＰノード１２にも、カーネル空間とユ
ーザ空間があり、カーネル空間にはストリーム処理部、
内部ネットワークドライバ２２が設けてある。ストリー
ム処理部には、ＩＰパケット処理層２４１、ＴＣＰパケ
ット処理層２４２が設けてある。ユーザ空間には、接続
監視プロセス２３、サーバプロセス２１が設けてある。

【００６６】割当済転送経路一覧表１１１は、クライア
ント毎に割り当てたリクエストの転送経路を記録したも
のである。転送制御表１１２は、リクエストを処理する
サーバプロセスの配置とリクエストの振り分け比率を記
録したものである。パケットフィルタ１１３は、クライ
アントからのリクエストをＢＥＰノードに転送するもの
である。外部ネットワークドライバ１１４は、クライア
ントとの通信を制御するものである。内部ネットワーク
ドライバ１１５は、ＢＥＰノードとの通信を制御するも
のである。負荷調整プロセス１２１は、システム管理者
の要求や発生したイベントに応じて動的に転送制御を調
整するものである。ノード故障検出プロセス１２２は、
ＢＥＰノードの故障を検出するものである。ノード負荷
監視プロセス１２３は、ＢＥＰノードの負荷状態を監視
するものである。サーバ制御プロセス１２４は、ＢＥＰ
ノードに必要なサーバプロセスを起動するものである。
ユーザＩ／Ｆ処理プロセス１２５は、システム管理者に
ユーザインタフェースを提供するものである。ＩＰパケ
ット処理層１３１は、通信プロトコルの一つであるイン
ターネットプロトコル（ＩＰ）のパケットの処理を行う
ものである。ＴＣＰパケット処理層１３２は、通信プロ
トコルの一つであるＴＣＰ（transmission control pro
tocol ）のパケットの処理を行うものである。

【００６７】サーバプロセス２１は、クライアントから
のリクエストを処理するプロセスである。内部ネットワ
ークドライバ２２は、ＦＥＰノード１１との通信を制御
するものである。接続監視プロセス２３は、クライアン
トとサーバプロセスとのコネクション状態を監視するも
のである。ＩＰパケット処理層２４１は、インターネッ
トプロトコルのパケットの処理を行うものである。ＴＣ
Ｐパケット処理層２４２は、ＴＣＰのパケットの処理を
行うものである。

【００６８】：転送制御表と割当済転送経路一覧表の
説明図６は転送制御表と割当済転送経路一覧表の説明図であ
り、図６（ａ）は転送制御表の説明、図６（ｂ）は割当
済転送経路一覧表の説明である。

【００６９】図６（ａ）において、転送制御表１１２に
は、サービス識別子、転送先ＢＥＰノード識別子、同一
サービスに対するリクエストの分配比率である比率が設
けてある。

【００７０】サービス識別子としてデスティネーション
（宛て先）ポートのポート番号を使用し、この例では
「８０８０、８０８１、８０８２」が記録されている。
転送先ＢＥＰノード識別子として、デスティネーション
ＩＰアドレスを使用し、この例では例えば、サービス
「８０８０」のデスティネーションＩＰアドレスには
「ＩＰ−Ａ、ＩＰ−Ｂ」が記録され、こおれらの比率と
して、ＩＰ−Ａには「１」、ＩＰ−Ｂには「１」と同じ
比率が記録されている。

【００７１】図６（ｂ）において、割当済転送経路一覧
表１１１には、サービス識別子、クライアント識別子、
転送先ＢＥＰノード識別子が設けてある。サービス識別
子としてデスティネーションポートのポート番号を使用
し、この例では「８０８０、８０８１、８０８２」が記
録されている。

【００７２】クライアント識別子としてソースＩＰアド
レスとソースポート番号の組を使用する。ソースＩＰア
ドレスはクライアントのＩＰアドレスであり、ソースポ
ート番号はプロセス毎に設けられている。この例では、
（例えば、図４のクライアント（１））ソースＩＰアド
レス「ＩＰ−ＣＬ１」には３つのソースポート番号「Ｐ
ＯＲＴ−ＣＬ１−ｘｘ１」、「ＰＯＲＴ−ＣＬ１−ｘｘ
２」、「ＰＯＲＴ−ＣＬ１−ｘｘ３」が示されている。

【００７３】転送先ＢＥＰノード識別子として、デステ
ィネーションＩＰアドレスを使用し、この例では例え
ば、サービス「８０８０」のデスティネーションＩＰア
ドレスには「ＩＰ−Ａ」と「ＩＰ−Ｂ」が記録されてい
る。

【００７４】なお、サービスとポート番号の対応はＵＮ
ＩＸＯＳ上のファイルに定義され、クラスタ内の各ノ
ードは、共通のサービスポートを使うものである。：サーバ装置の動作の説明ａ：クライアントからリクエストがあった場合の説明ＦＥＰノード１１の外部ネットワークドライバ１１４
は、クライアントからのリクエストを受信して、パケッ
トフィルタ１１３に送る。パケットフィルタ１１３は、
割当済転送経路一覧表１１１と転送制御表１１２を用い
てパケットを転送するＢＥＰノードを決定し、ノード間
結合ネットワーク３を介してパケットをＢＥＰノード１
２に送る。

【００７５】このパケットが転送されたＢＥＰノード１
２の内部ネットワークドライバ２２は、受信したパケッ
トをストリーム処理部に送る。サーバプロセス２１に
は、ＵＮＩＸが提供するシステムコールインタフェース
を用いてＴＣＰパケット処理層２４２に届いたパケット
を読み出して、リクエストを処理する。

【００７６】サーバプロセス２１は、リクエストの処理
が完了するとクライアントにリプライするために、ＵＮ
ＩＸのシステムコールを用いてパケットをストリーム処
理部に渡す。このリプライのパケットは、内部ネットワ
ークドライバ２２、ノード間結合ネットワーク３を介し
てＦＥＰノード１１に転送された後、ＦＥＰノード１１
によって、クライアントに送られる。

【００７７】ｂ：ノード故障の場合の説明ノード故障検出プロセス１２２は、ユーザプロセスとし
て実現されている。ノード故障検出プロセス１２２は、
定期的に全てのＢＥＰノードが正常動作していることを
確認し、ＢＥＰノードの故障を検出すると、負荷調整プ
ロセス１２１を経由してパケットフィルタ１１３の転送
制御表１１２を書き換えて、故障したＢＥＰノードへの
リクエストの分配を停止する。パケットフィルタ１１３
は、割当済転送経路一覧表１１１内の転送先ＢＥＰノー
ドが故障したＢＥＰノードとなっている全てのエントリ
を削除する。

【００７８】このＢＥＰノードの故障によって、故障し
たＢＥＰノードを利用していたクライアントとＢＥＰノ
ード上のサーバプロセスとのコネクションは切断される
が、クライアントがリクエストをリトライすることによ
って故障は隠蔽される。

【００７９】クライアントからの再リクエストはパケッ
トフィルタ１１３に送られると、パケットフィルタ１１
３は、割当済転送経路一覧表１１１を調べるが、再リク
エストしたクライアントのエントリは既に削除されてい
るため、パケットフィルタ１１３は、転送制御表１１２
に基づいて新たな転送先を決定してリクエストを転送す
る。リクエストを転送されたＢＥＰノードでは、通常の
リクエストと同様にリクエストを処理してリプライす
る。

【００８０】ｃ：ノード負荷監視の説明ノード負荷監視プロセス１２３は、定期的にＢＥＰノー
ド１２と通信してＢＥＰノード１２の負荷状態を監視す
る。ノード負荷監視プロセス１２３は、負荷が高いＢＥ
Ｐノード１２を発見すると、負荷調整プロセス１２１に
通知し、通知を受けた負荷調整プロセス１２１は、ＩＯ
ＣＴＬシステムコールを用いてパケットフィルタ１１３
内の転送制御表１１２を書き換える。

【００８１】パケットフィルタ１１３は、ＢＥＰノード
１２上の接続監視プロセス２３にクライアントの接続の
状態を問い合わせる。接続監視プロセス２３は、ＩＯＣ
ＴＬを使って自ノードのストリーム処理部にコネクショ
ン状態を問い合わせ、パケットフィルタ１１３に通知す
る。パケットフィルタ１１３は、未使用のコネクション
の転送先だけを変更して転送比率を調整する。

【００８２】負荷調整プロセス１２１は、必要があれ
ば、サーバ制御プロセス１２４にＢＥＰノード１２への
サーバプロセス２１の起動あるいは停止を依頼する。こ
のように、本発明によれば、同一サービスに対する複数
のクライアントからのリクエストを複数台のサーバノー
ドで負荷分散することが可能となる。また、自動的なサ
ーバノード故障隠蔽機能や、負荷調整機能を持つことに
より、システム管理コストを削減することができる。

【００８３】

【発明の効果】以上説明したように、本発明によれば次
のような効果がある。（１）：フロントエンドサーバに配置したリクエスト転
送制御機構で受信したクライアントからのリクエストを
クライアントの識別情報を用いて、同一サービスに対す
る複数のクライアントからのリクエストを転送するバッ
クエンドサーバを決定してリクエストを転送するため、
１種類のサービスの処理を複数台のバックエンドサーバ
で負荷分散でき、処理性能を向上することができる。

【００８４】（２）：リクエスト転送制御機構で、リク
エスト転送制御表を用いて転送するリクエストの比率を
バックエンドサーバ毎に制御するため、バックエンドサ
ーバの処理能力に応じた負荷分散ができ、より処理性能
を向上することができる。

【００８５】（３）：ノード故障検出機構がサーバの故
障を検出すると、リクエスト転送制御機構で、故障した
バックエンドサーバへのリクエスト転送を中止して、ク
ライアントからの再リクエスト時に正常運用している別
のバックエンドサーバにリクエストを転送するため、ク
ライアントからの再リクエストにより、バックエンドサ
ーバの故障をクライアントから隠蔽することができる。

【００８６】（４）：ノード負荷監視機構が負荷が高い
バックエンドサーバを発見すると、リクエスト転送制御
機構で、負荷の高いバックエンドサーバへの転送比率を
下げて、前記バックエンドサーバ間の負荷を平均化する
ため、常に負荷を平均化することができ、処理性能を向
上することができる。

【００８７】（５）：ユーザインタフェース機構で、シ
ステム管理者がバックエンドサーバへの転送比率を制御
するため、例えば、活性保守のためのバックエンドサー
バの転送比率をゼロとしてノードの一時的な切り離しや
再組み込みが可能となる。

【００８８】（６）：リクエスト転送制御機構は、コネ
クション状態監視機構にコネクション状態を問い合わ
せ、サービス中のコネクションに対しては、該サービス
終了後に、転送経路の変更を行うため、サービス途中に
新たなバックエンドサーバに切り換わることがなく、処
理の中断を防止することができる。

【００８９】（７）：あるサービスのサーバプロセスが
配置された各バックエンドサーバの負荷が高くなった時
に、サーバプロセス制御機構がそのサーバプロセスが未
配置なバックエンドサーバにサーバプロセスを起動する
ため、複数個のバックエンドサーバ全体の負荷を調整す
ることができ、処理性能を向上することができる。

【００９０】（８）：リクエスト転送制御機構を、ネッ
トワークの通信制御をするネットワークドライバとパケ
ットの処理をするオペレーティングシステムのパケット
処理部の中間に配置したパケットフィルタで構成するた
め、パケットフィルタで１種類のサービスの処理を複数
台のバックエンドサーバで負荷分散でき、処理性能が向
上する。

【００９１】（９）：クライアントの識別情報として、
クライアントから受信したリクエストのパケットのソー
スアドレスとソースポート番号のペアを使用するため、
クライアントプロセス毎にリクエストの転送先ノードの
制御を行うことができる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】実施の形態における装置構成図（１）である。

【図３】実施の形態における転送制御表と割当済転送経
路一覧表の説明図である。

【図４】実施の形態におけるクライアント／サーバシス
テムの説明図である。

【図５】実施の形態における装置構成図（２）である。

【図６】実施の形態における転送制御表と割当済転送経
路一覧表の説明図である。

【図７】従来例の説明図（１）である。

【図８】従来例の説明図（２）である。

【符号の説明】

１１フロントエンドサーバ１２バックエンドサーバ２１サーバプロセス２２ノード間通信制御部２３コネクション状態監視機構１１１割当済転送経路一覧表１１２リクエスト転送制御表１１３リクエスト転送制御機構１１４対クライアント通信制御部１１５クラスタ内ノード間通信制御部１２１負荷調整部１２２ノード故障検出機構１２３ノード負荷監視機構１２４サーバプロセス制御機構１２５ユーザインタフェース機構

Claims

【特許請求の範囲】

【請求項１】クライアントのリクエストを処理するサー
バプロセスを配置した複数個のバックエンドサーバと、クライアントからのリクエストを受信するフロントエン
ドサーバと、該フロントエンドサーバに配置し、前記受信したリクエ
ストを適切な前記バックエンドサーバに転送するリクエ
スト転送制御機構とを備え、該リクエスト転送制御機構は、クライアントの識別情報
を用いて、同一サービスに対する複数のクライアントか
らのリクエストを転送する前記バックエンドサーバを決
定してリクエストを転送することを特徴としたサーバ装
置。
【請求項２】前記リクエスト転送制御機構は、リクエス
ト転送制御表を用いて転送するリクエストの比率をバッ
クエンドサーバ毎に制御することを特徴とした請求項１
記載のサーバ装置。
【請求項３】サーバの故障を検出するノード故障検出機
構を設け、該ノード故障検出機構がサーバの故障を検出すると、リ
クエスト転送制御機構は、故障したバックエンドサーバ
へのリクエスト転送を中止して、クライアントからの再
リクエスト時に正常運用している別のバックエンドサー
バにリクエストを転送することを特徴とした請求項１又
は２記載のサーバ装置。
【請求項４】前記バックエンドサーバの負荷を監視して
リクエストの転送比率を変更するノード負荷監視機構を
設け、該ノード負荷監視機構が負荷が高い前記バックエンドサ
ーバを発見すると、リクエスト転送制御機構は、負荷の
高いバックエンドサーバへの転送比率を下げて、前記バ
ックエンドサーバ間の負荷を平均化することを特徴とし
た請求項１〜３のいずれかに記載のサーバ装置。
【請求項５】システム管理者が前記バックエンドサーバ
への転送比率を制御するためのユーザインタフェース機
構を設けることを特徴とした請求項１〜４のいずれかに
記載のサーバ装置。
【請求項６】前記サーバプロセスとクライアントプロセ
ス間のコネクション状態を監視するコネクション状態監
視機構を設け、前記リクエスト転送制御機構は、前記コネクション状態
監視機構にコネクション状態を問い合わせ、サービス中
のコネクションに対しては、該サービス終了後に、転送
経路の変更を行うことを特徴とした請求項１〜５のいず
れかに記載のサーバ装置。
【請求項７】前記サーバプロセスの制御を行うサーバプ
ロセス制御機構を設け、あるサービスのサーバプロセスが配置された各バックエ
ンドサーバの負荷が高くなった時に、前記サーバプロセ
ス制御機構はそのサーバプロセスが未配置なバックエン
ドサーバにサーバプロセスを起動することを特徴とした
請求項１〜６のいずれかに記載のサーバ装置。
【請求項８】前記リクエスト転送制御機構を、ネットワ
ークの通信制御をするネットワークドライバとパケット
の処理をするオペレーティングシステムのパケット処理
部の中間に配置したパケットフィルタで構成することを
特徴とした請求項１〜７のいずれかに記載のサーバ装
置。
【請求項９】前記クライアントの識別情報として、クラ
イアントから受信したリクエストのパケットのソースア
ドレスとソースポート番号のペアを使用することを特徴
とした請求項１〜８のいずれかに記載のサーバ装置。