JP2012175190A - 制御装置、制御システム、制御方法、及び制御プログラム - Google Patents

制御装置、制御システム、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2012175190A
JP2012175190A JP2011032552A JP2011032552A JP2012175190A JP 2012175190 A JP2012175190 A JP 2012175190A JP 2011032552 A JP2011032552 A JP 2011032552A JP 2011032552 A JP2011032552 A JP 2011032552A JP 2012175190 A JP2012175190 A JP 2012175190A
Authority
JP
Japan
Prior art keywords
vpn
address
virtual machine
user terminal
live migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011032552A
Other languages
English (en)
Other versions
JP5486526B2 (ja
Inventor
Kimihiko Fukami
公彦 深見
Takaaki Koyama
高明 小山
Hideo Kitatsume
秀雄 北爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011032552A priority Critical patent/JP5486526B2/ja
Publication of JP2012175190A publication Critical patent/JP2012175190A/ja
Application granted granted Critical
Publication of JP5486526B2 publication Critical patent/JP5486526B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】ライブマイグレーションに伴って発生する処理時間を短縮すること。
【解決手段】実施の形態に係る制御装置は、利用者端末が第1のVPN(Virtual Private Network)に設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、第2のVPNに設置される仮想マシンをマイグレーション先とするライブマイグレーションの実行開始を検知する。また、制御装置は、ライブマイグレーションの実行開始が検知されると、ライブマイグレーションの実行と併行して、利用者端末が第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う。そして、制御装置は、ライブマイグレーションの実行完了を検知し、かつ、ネットワーク装置への設定が完了すると、現用の経路を、新たに構築された経路に切り替える。
【選択図】図1

Description

本発明の実施形態は、制御装置、制御システム、制御方法、及び制御プログラムに関する。
近年、複数のVPN(Virtual Private Network)間を相互に接続するサービス(以下「VPN間接続サービス」)が提案されている。例えば、データセンタ(Data Center)のVPNと自社のVPNとを相互に接続し、データセンタに設置された社内サーバに自社の利用者端末からアクセスする、といった利用形態である。
このようなデータセンタにおいて、仮想マシン技術が用いられることがある。仮想マシン技術とは、物理的なハードウェアを論理的に分割し、分割したハードウェア毎にOS(Operating System)を動作させることで、1台のマシンをあたかも複数台のマシンであるかの如く動作させる技術である。例えば、データセンタに設置された1台のサーバにこの技術を適用することで、あたかも複数のサーバであるかの如く動作させ、複数の会社に個別にサービスを提供することができる。
ここで、仮想マシン技術に伴う技術のひとつに、ライブマイグレーション(live migration)がある。ライブマイグレーションとは、動作中の仮想マシンで動作するOSやソフトウェアを、停止することなく他の仮想マシンに移行する技術である。ライブマイグレーションによれば、例えば、動作中の仮想マシンの負荷が高い場合に、サービスを停止することなく他のサーバで仮想マシンを動作させることができる。
小山高明、唐澤秀一、岸和宏、水野伸太郎、岩村相哲、「VPN間接続管理システムの提案」、信学技報IN2009−48(2009−09)、P.53−58 平初、森若和雄、鶴野龍一郎、まえだこうへい、「KVM徹底入門」、株式会社翔泳社
しかしながら、ライブマイグレーションがVPNをまたがって行われる場合、マイグレーション先の仮想マシンにアクセスするための経路を新たに構築しなければならない場合がある。ライブマイグレーションの実行完了時にマイグレーション先の仮想マシンが管理サーバに通知を行う技術があるが、仮にこれを応用したとしても、ライブマイグレーションに伴ってサービス提供側に発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間となり、長くなってしまう。このようなことから、ライブマイグレーションに伴って発生する処理時間を短縮する技術が望まれている。
実施の形態に係る制御装置は、VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築し、VPN間の接続を制御する制御装置である。制御装置は、検知部、設定部、及び切替部を備える。検知部は、前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするライブマイグレーションの実行開始を検知する。設定部は、前記検知部によって前記ライブマイグレーションの実行開始が検知されると、該ライブマイグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う。切替部は、前記ライブマイグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える。
ライブマイグレーションに伴って発生する処理時間を短縮することが可能になるという効果を奏する。
図1は、第1の実施形態に係るVPN間接続サービスの概要を説明するための図である。 図2は、第1の実施形態に係るライブマイグレーションの処理手順を示すシーケンス図である。 図3は、第1の実施形態に係るVPN間接続管理システムの構成を示すブロック図である。 図4は、第1の実施形態に係る顧客ネットワーク設定記憶部を説明するための図である。 図5は、第1の実施形態におけるIPアドレスの割り当てを説明するための図である。 図6は、第1の実施形態に係るネットワーク装置設定記憶部を説明するための図である。 図7は、第1の実施形態の変形例を説明するための図である。 図8は、第2の実施形態におけるTwice−NATを説明するための図である。 図9は、Single−NATによるアドレス変換を説明するための図である。 図10は、Twice−NATによるアドレス変換を説明するための図である。 図11は、第2の実施形態におけるIPアドレスの管理を説明するための図である。 図12は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。 図13は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。 図14は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。 図15は、実施形態に係る制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
以下、実施形態に係る制御装置、制御システム、制御方法、及び制御プログラムを説明する。
(第1の実施形態)
[VPN間接続サービスの概要]
VPN間接続サービスは、複数のVPN間を相互に接続するサービスである。例えば、データセンタのVPNと顧客の会社のVPNとを相互に接続し、データセンタに設置されたサーバに顧客の利用者端末からアクセスさせる、といったサービスを提供する。以下では、このようなVPN間接続サービスが提供されるシステムを「VPN間通信システム」と呼び、VPN間接続サービスを管理し、経路を構築するシステムを「VPN間接続管理システム」と呼ぶ。
図1は、第1の実施形態に係るVPN間接続サービスの概要を説明するための図である。まず、VPN間通信システムを説明する。VPN間通信システムにおいては、図1に示すように、集合仮想ルータが複数のVPNをスター型に収容し、集合仮想ルータと各VPNとの間にアドレス変換装置が設置される。集合仮想ルータは、VPN間のパケット転送を制御する。また、仮想ルータは、物理的なハードウェアとしての集合仮想ルータを論理的に分割し、分割したハードウェア毎にルータとして動作させることにより実現される。VPN間接続サービスは、通常、この仮想ルータ単位で提供される。また、アドレス変換装置は、パケットに含まれるアドレスを変換(NAT(Network Address Translation))する。すなわち、アドレス変換装置は、各VPN内で利用されるプライベートアドレスと、集合仮想ルータ側で利用されるアドレスとを変換する。なお、VPN終端装置は、各VPNを集合仮想ルータに収容するためにVPNを終端する。
ここで、第1の実施形態においては、VPN3に設置された利用者端末がVPN1(データセンタ1)に設置された仮想マシン1にアクセスするための経路が、現用の経路として既に構築されていることを想定する。すなわち、利用者端末と仮想マシン1との間でパケットを転送するための情報として、アドレス変換装置1及びアドレス変換装置3にはアドレス変換情報が設定され、集合仮想ルータにはルーティング情報が設定されている。言い換えると、ライブマイグレーション実行前、アドレス変換装置1及びアドレス変換装置3は、現用のアドレス変換装置として「アクティブ」の状態にあり、アドレス変換装置2は、予備のアドレス変換装置として「スタンバイ」の状態にある。なお、第1の実施形態において、予備の経路に対応する、集合仮想ルータとアドレス変換装置2とVPN2との間は、予め物理的に接続されている。
そして、第1の実施形態においては、VPN1(データセンタ1)に設置された仮想マシン1をマイグレーション元として、VPN2(データセンタ2)に設置される仮想マシン2をマイグレーション先とするライブマイグレーションを実行することを想定する。すなわち、利用者端末と仮想マシン2との間でパケットを転送するための情報を、アドレス変換装置2及び集合仮想ルータに新たに設定することを想定する。言い換えると、ライブマイグレーション実行後、現用の経路が切り替えられ、アドレス変換装置1が「スタンバイ」の状態になり、アドレス変換装置2及びアドレス変換装置3が「アクティブ」の状態になる。なお、第1の実施形態において、データセンタ1とデータセンタ2とは、予め専用線で接続されている。
続いて、VPN間接続管理システムを説明する。第1の実施形態に係るVPN間接続管理システム100は、例えばVPN間接続サービスを提供する電気通信事業者などによって運用される。VPN間接続管理システム100は、制御用のネットワーク(図1において図示を省略)によって各種ネットワーク装置と接続され、制御用のネットワークを介して各種ネットワーク装置に対する設定を行う。例えば、VPN間接続管理システム100は、集合仮想ルータ、アドレス変換装置1〜3、並びに、データセンタ1及びデータセンタ2と制御用のネットワークによって接続され、ライブマイグレーション処理や設定処理などを行う。
なお、第1の実施形態において、VPN間接続管理システム100は、ライブマイグレーション処理部10と、VPN間接続処理部20とを備える。ライブマイグレーション処理部10が、ライブマイグレーション処理を行い、VPN間接続処理部20が、ネットワーク装置に対する設定処理を行う。
[ライブマイグレーションの処理手順]
図2は、第1の実施形態に係るライブマイグレーションの処理手順を示すシーケンス図である。VPN1(データセンタ1)に設置された仮想マシン1が動作中であり、利用者端末は、VPN1(データセンタ1)に設置された仮想マシン1にアクセスしている(ステップS1)。
このとき、例えば仮想マシン1の負荷が高い場合に、ライブマイグレーション処理部10が、VPN2(データセンタ2)に設置される仮想マシン2をマイグレーション先とするライブマイグレーションの実行指示を仮想マシン1に対して送信する(ステップS2)。
すると、仮想マシン1は、ライブマイグレーションの実行確認通知をライブマイグレーション処理部10に対して送信し(ステップS3)、仮想マシン2をマイグレーション先とするライブマイグレーションを実行する(ステップS4)。
一方、ステップS3において実行確認通知の受信によりライブマイグレーションの実行開始を検知したライブマイグレーション処理部10は、利用者端末が仮想マシン2にアクセスするための経路を構築するように、まず、アドレス変換装置2に対する設定指示をVPN間接続処理部20に対して送信する(ステップS5)。
すると、VPN間接続処理部20は、アドレス変換装置2に対してアドレス変換情報を設定し(ステップS6)、その後、アドレス変換装置2に対する設定が完了すると、設定完了通知をライブマイグレーション処理部10に対して送信する(ステップS7)。
一方、ステップS4においてライブマイグレーションの実行を開始していた仮想マシン1は、ライブマイグレーションの実行が完了すると、実行完了通知をライブマイグレーション処理部10に対して送信する(ステップS8)。
こうして、ライブマイグレーション処理部10は、仮想マシン1からライブマイグレーションの実行完了通知を受信し、また、VPN間接続処理部20からアドレス変換装置2に対する設定完了通知を受信する。
すると、ライブマイグレーション処理部10は、ルーティング切替指示をVPN間接続処理部20に対して送信する(ステップS9)。VPN間接続処理部20は、集合仮想ルータに対してルーティング情報を設定し、利用者端末から仮想マシン1にアクセスするための経路から、利用者端末から仮想マシン2にアクセスするための経路に、現用の経路(ルーティング)を切り替える(ステップS10)。
この結果、図2に示すように、ステップS1において、利用者端末は仮想マシン1にアクセスしていたが、そのアクセスは、自動的に、仮想マシン2に移行することになる(ステップS11)。すなわち、例えば、利用者端末と仮想マシン1や仮想マシン2との間で行われる通信がTCP(Transmission Control Protocol)である場合、利用者端末は、アクセス中の仮想マシン1から応答が無いと、再送を行う。この再送を繰り返しているうちに、利用者端末は、自動的に、仮想マシン2にアクセスすることが可能になる。
ここで、ライブマイグレーションに伴ってVPN間接続管理システム100側に発生する処理時間は、ステップS4においてライブマイグレーションの実行が開始されてから、ステップS10においてルーティングが切り替えられるまでの時間であるといえる。この点、第1の実施形態に係るVPN間接続管理システム100は、ライブマイグレーションの実行開始を検知し、これを契機として、アドレス変換装置2に対する設定を開始する。すなわち、ライブマイグレーションの実行と経路の構築とが、併行して進められることになる。この結果、ライブマイグレーションに伴って発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間ではなく、原理的には、ライブマイグレーションの実行時間又は経路の構築時間のいずれか長い方の時間でほぼ済むことになる。
なお、ライブマイグレーションの処理手順は図2に示す処理手順に限られるものではない。例えば、ライブマイグレーション処理部10は、ライブマイグレーションの実行指示(ステップS2)においてライブマイグレーションの実行開始を検知し、実行確認通知の受信(ステップS3)より前にステップS5の処理を開始してもよい。また、アドレス変換装置2の設定完了通知(ステップS7)、及びライブマイグレーションの実行完了通知(ステップS8)の順序が逆になる場合もある。また、ライブマイグレーションの実行完了通知(ステップS8)は、マイグレーション元の仮想マシン1からではなく、マイグレーション先の仮想マシン2から受信してもよい。
[第1の実施形態に係るVPN間接続管理システムの構成]
図3は、第1の実施形態に係るVPN間接続管理システム100の構成を示すブロック図である。図3に示すように、VPN間接続管理システム100は、ライブマイグレーション処理部10と、VPN間接続処理部20とを備える。
ライブマイグレーション処理部10は、顧客ネットワーク設定記憶部11と、通信部12と、入力部13と、設定指示送信部14と、ライブマイグレーション実行部15と、アドレス変換設定指示部16と、ルーティング設定指示部17とを備える。
顧客ネットワーク設定記憶部11は、VPN間接続サービスの提供先である顧客のネットワーク設定情報を記憶する。図4は、第1の実施形態に係る顧客ネットワーク設定記憶部を説明するための図である。図4に示すように、顧客ネットワーク設定記憶部11は、顧客毎に、仮想マシン、アドレス変換装置1〜3、及び集合仮想ルータに関するネットワーク設定情報を記憶する。以下、図4とともに図5を参照しながら、ネットワーク設定情報を説明する。図5は、第1の実施形態におけるIPアドレスの割り当てを説明するための図である。
図4に示すように、顧客ネットワーク設定記憶部11は、仮想マシンに関するネットワーク設定情報として、マイグレーション元の仮想マシン1のIP(Internet Protocol)アドレス「192.168.1.10」及びその制御用のIPアドレス「172.16.100.1」、並びに、マイグレーション先の仮想マシン2の制御用のIPアドレス「172.16.100.2」を記憶する。なお、第1の実施形態において、これらのIPアドレスは、サブネットマスクが24ビットである。
図5を参照すると、VPN1(データセンタ1)に設置された仮想マシン1のIPアドレスは、「192.168.1.10」である。このIPアドレスは、VPN1内で仮想マシン1を一意に識別するためのアドレスである。また、図5に示すように、データセンタ1は、制御用のインタフェースを有し、そのインタフェースのIPアドレスが、「172.16.100.1」である。また、データセンタ2も、制御用のインタフェースを有し、そのインタフェースのIPアドレスが、「172.16.100.2」である。VPN間接続管理システム100は、図示しない制御用のネットワークによってこのインタフェースと接続され、制御用のIPアドレス「172.16.100.1」及び「172.16.100.2」を用いて、ライブマイグレーションの実行指示などを行う。
図4に戻り、顧客ネットワーク設定記憶部11は、アドレス変換装置1〜3に関するネットワーク設定情報として、制御用のIPアドレスやアドレス変換情報を記憶する。図5を参照すると、第1の実施形態においては、VPN3に設置された利用者端末がVPN1に設置された仮想マシン1にアクセスするための経路が、現用の経路として既に構築されていることを想定する。すなわち、アドレス変換装置3及びアドレス変換装置1には、既にアドレス変換情報が設定されているという想定である。そこで、顧客ネットワーク設定記憶部11は、アドレス変換装置3及びアドレス変換装置1に関しては、制御用のIPアドレスの他に、アドレス変換情報も記憶する。
アドレス変換装置3に設定されているアドレス変換情報は、「192.168.1.10」と「10.0.1.10」とを相互に変換すること、及び、「172.16.2.10」と「10.0.2.10」とを相互に変換することを示す。一方、アドレス変換装置1に設定されているアドレス変換情報は、「192.168.1.10」と「10.0.2.10」とを相互に変換すること、及び、「172.16.1.10」と「10.0.1.10」とを相互に変換することを示す。
また、顧客ネットワーク設定記憶部11は、集合仮想ルータに関するネットワーク設定情報として、制御用のIPアドレスやルーティング情報を記憶する。例えば、ルーティング情報(現用)「宛先10.0.2.10:ゲートウェイ10.0.20.97」は、図5に示す仮想ルータにおいて、宛先が「10.0.2.10」のパケットを受信した場合には、「10.0.20.97」のインタフェースにルーティングすることを示す。
アドレス変換及びルーティングについて一例を挙げて説明する。例えば利用者端末から仮想マシン1宛に送信されたパケットは、アドレス変換されながら、仮想マシン1によって受信される。
まず、利用者端末は、仮想マシン1のIPアドレスを「172.16.2.10」であると把握している。一方、仮想マシン1は、利用者端末のIPアドレスを「172.16.1.10」であると把握している。また、集合仮想ルータの仮想ルータは、利用者端末のIPアドレスを「10.0.1.10」であると把握し、仮想マシン1のIPアドレスを「10.0.2.10」であると把握している。
利用者端末が仮想マシン1にアクセスする場合、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信する。すると、アドレス変換装置3は、アドレス変換情報に従って、「172.16.2.10」を「10.0.2.10」に変換し、「192.168.1.10」を「10.0.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットとなる。
仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「10.0.2.10」のパケットであるので、仮想ルータは、「10.0.20.97」のインタフェースにこのパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、「10.0.2.10」を「192.168.1.10」に変換し、「10.0.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。図5を参照すると、仮想マシン1のIPアドレスは、「192.168.1.10」である。このため、このパケットは、仮想マシン1によって受信される。このように、利用者端末から仮想マシン1宛に送信されたパケットは、アドレス変換されながら、仮想マシン1によって受信される。なお、図4や図5において図示を省略したが、仮想マシン1から利用者端末宛に送信されたパケットも同様に、アドレス変換されながら、利用者端末によって受信される。
図3に戻り、通信部12は、IP通信用の一般的なインタフェースであり、例えば、データセンタ1やデータセンタ2との間で制御用のネットワークを介して通信を行う。入力部13は、キーボードやマウスなどである。設定指示送信部14は、VPN間接続管理システム100内部のインタフェースであり、VPN間接続処理部20との間で情報の送受信を行う。
第1の実施形態においては、VPN間接続管理システム100のオペレータが、VPN間接続サービスを遠隔監視し、例えば仮想マシン1の負荷が高いといった状況を判断した場合に、入力部13を用いて、顧客ID「000001」とともにライブマイグレーションの実行指示を入力する。
ライブマイグレーション実行部15は、入力部13から顧客IDとともにライブマイグレーションの実行指示を受け付けると、ライブマイグレーションの実行指示を、仮想マシン1に対して送信する。具体的には、ライブマイグレーション実行部15は、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、マイグレーション元の仮想マシン1のIPアドレス「192.168.1.10」及びその制御用のIPアドレス「172.16.100.1」、並びに、マイグレーション先の仮想マシン2の制御用のIPアドレス「172.16.100.2」を取得する。そして、ライブマイグレーション実行部15は、データセンタ1との間で通信を行い、マイグレーション元を仮想マシン1とし、マイグレーション先を仮想マシン2とするライブマイグレーションの実行指示を、ライブマイグレーションに必要なIPアドレスなどとともに送信する。
また、ライブマイグレーション実行部15は、ライブマイグレーションの実行確認通知を仮想マシン1から受信すると、ライブマイグレーションの実行開始を検知したことを、顧客IDとともにアドレス変換設定指示部16に対して通知する。
アドレス変換設定指示部16は、ライブマイグレーションの実行開始を検知したことの通知を顧客IDとともにライブマイグレーション実行部15から受け付けると、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、アドレス変換装置1の制御用のIPアドレス「172.16.10.1」及びアドレス変換情報、並びに、アドレス変換装置2の制御用のIPアドレス「172.16.10.2」を取得する。そして、アドレス変換設定指示部16は、VPN間接続処理部20に対して、アドレス変換装置2に対する設定指示を、設定に必要なアドレス変換情報などとともに送信する。なお、アドレス変換設定指示部16は、設定指示情報のヘッダに、例えば「T−NAT」などの引数を付与する。
また、アドレス変換設定指示部16は、アドレス変換装置2に対する設定完了通知をVPN間接続処理部20から受信すると、アドレス変換装置2に対する設定が完了したことを、顧客IDとともにルーティング設定指示部17に対して通知する。
ルーティング設定指示部17は、ライブマイグレーションの実行完了通知を仮想マシン1から受信し、かつ、アドレス変換装置2に対する設定が完了したことの通知をアドレス変換設定指示部16から受け付けると、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、集合仮想ルータの制御用のIPアドレス及びルーティング情報(予備)を取得する。そして、ルーティング設定指示部17は、VPN間接続処理部20に対して、集合仮想ルータに対する設定指示を、設定に必要なルーティング情報などとともに送信する。なお、ルーティング設定指示部17は、設定指示情報のヘッダに、例えば「VR」などの引数を付与する。
一方、VPN間接続処理部20は、ネットワーク装置設定記憶部21と、通信部22と、設定指示受信部23と、アドレス変換設定部24と、ルーティング設定部25とを備える。
ネットワーク装置設定記憶部21は、ネットワーク装置に対して設定を行うための情報を記憶する。図6は、第1の実施形態に係るネットワーク装置設定記憶部を説明するための図である。図6に示すように、ネットワーク装置設定記憶部21は、アドレス変換装置1〜3、及び集合仮想ルータについて、制御用のIPアドレス及びパスワードを記憶する。なお、図6は、ネットワーク装置設定記憶部21が記憶する情報の一部を例示するものである。
図3に戻り、通信部22は、IP通信用の一般的なインタフェースであり、例えば、アドレス変換装置1〜3や集合仮想ルータとの間で制御用のネットワークを介して通信を行う。設定指示受信部23は、VPN間接続管理システム100内部のインタフェースであり、ライブマイグレーション処理部10との間で情報の送受信を行う。なお、設定指示受信部23は、引数「T−NAT」がヘッダに含まれる設定指示情報については、アドレス変換設定部24に提供し、引数「VR」がヘッダに含まれる設定指示情報については、ルーティング設定部25に提供する。
アドレス変換設定部24は、アドレス変換装置2に対する設定指示を、設定に必要なアドレス変換情報などとともにアドレス変換設定指示部16から受信すると、ネットワーク装置設定記憶部21を参照し、アドレス変換装置2の制御用のIPアドレス「172.16.10.2」及びパスワード「hogehoge02」を取得する。そして、アドレス変換設定部24は、制御用のIPアドレス「172.16.10.2」及びパスワード「hogehoge02」を用いてアドレス変換装置2にアクセスし、アドレス変換設定指示部16から受信したアドレス変換情報を設定する。すなわち、アドレス変換装置2には、アドレス変換装置1に設定されていたアドレス変換情報と同一内容のアドレス変換情報が設定される。
なお、アドレス変換設定部24は、アドレス変換装置2にアクセスする際に、例えば、アタッチメントを利用すればよい。アタッチメントは、アドレス変換情報をアドレス変換装置2に対して反映するためのプログラム、及び、ルーティング情報を集合仮想ルータに対して反映するためのプログラムを含む。
具体的には、アタッチメントには、VPN間接続管理システム100とアドレス変換装置2との間で用いられる通信プロトコルや、VPN間接続管理システム100と集合仮想ルータとの間で用いられる通信プロトコルが規定される。また、アタッチメントには、アドレス変換装置2や集合仮想ルータにログインするためのID/パスワードや、アドレス変換情報やルーティング情報を格納すべきパスを指定し、指定したパスにアドレス変換情報やルーティング情報を格納するためのコマンド、アドレス変換装置2や集合仮想ルータを再起動させるコマンドなどが記載される。なお、アドレス変換情報やルーティング情報の反映には、格納して再起動することで反映する場合と、格納によって反映する場合とがある。なお、一般に、通信プロトコルには、アドレス変換装置2のベンダや集合仮想ルータのベンダによって規定される独自仕様の通信プロトコルが用いられる。VPN間接続処理部20は、例えばVPN間接続管理システム100のオペレータに入力されることで、アタッチメントを事前に記憶する。
また、アドレス変換設定部24は、アドレス変換装置2に対する設定が完了すると、アドレス変換装置2に対する設定が完了したことを、アドレス変換設定指示部16に対して通知する。
ルーティング設定部25は、集合仮想ルータに対する設定指示を、設定に必要なルーティング情報などとともにルーティング設定指示部17から受信すると、ネットワーク装置設定記憶部21を参照し、集合仮想ルータの制御用のIPアドレス「172.16.10.4」及びパスワード「hogehoge」を取得する。そして、ルーティング設定部25は、制御用のIPアドレス「172.16.10.4」及びパスワード「hogehoge」を用いて集合仮想ルータにアクセスし、ルーティング設定指示部17から受信したルーティング情報を設定する。
すなわち、利用者端末から仮想マシン1にアクセスするための経路から、利用者端末から仮想マシン2にアクセスするための経路に、現用の経路(ルーティング)を切り替える。図5を用いて説明すると、仮想ルータのインタフェース「10.0.10.97」からインタフェース「10.0.20.97」にルーティングされていたパケットは、ルーティング切替後、インタフェース「10.0.10.97」からインタフェース「10.0.30.97」にルーティングされる。なお、ルーティング設定部25は、集合仮想ルータにアクセスする際に、例えば、上述したアタッチメントを利用すればよい。
[第1の実施形態の効果]
上述したように、第1の実施形態に係るVPN間接続管理システム100は、ライブマイグレーションの実行開始を検知し、これを契機として、ネットワーク装置に対する設定を開始する。すなわち、ライブマイグレーションの実行と経路の構築とが、併行して進められることになる。この結果、ライブマイグレーションに伴ってVPN間接続管理システム100側に発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間ではなく、原理的には、ライブマイグレーションの実行時間又は経路の構築時間のいずれか長い方の時間でほぼ済むことになる。よって、ライブマイグレーションに伴って発生する処理時間が短縮される。
また、第1の実施形態に係るVPN間接続管理システム100は、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定する。例えば、マイグレーション先のデータセンタ2が、マイグレーション元のデータセンタ1の予備系として運用されている場合などに可能である。すなわち、マイグレーション先のデータセンタ2において、マイグレーション元のデータセンタ1で用いられるIPアドレスが、空きのIPアドレスとして予め確保されていれば、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報をマイグレーション先のアドレス変換装置に対して複製するだけで済むことになる。なお、例えば、偶然空きのIPアドレスである場合にも、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定すればよい。
[第1の実施形態の変形例]
続いて、第1の実施形態の変形例を説明する。
(変形例1)
第1の実施形態においては、データセンタ1とデータセンタ2とが専用線で接続され、ライブマイグレーションの通信路として専用線を用いる例を説明したが、これに限られるものではない。図7は、第1の実施形態の変形例を説明するための図である。図7に示すように、ライブマイグレーションの通信路としてVPN間接続サービスを用いることも可能である。なお、一般的に、ライブマイグレーションの通信路として構築された経路には、ライブマイグレーションの実行に伴う設定変更は発生しない。
(変形例2)
第1の実施形態においては、オペレータが、VPN間接続サービスを遠隔監視し、例えば仮想マシン1の負荷が高いといった状況を判断した場合に、ライブマイグレーションの実行指示を入力する例を説明したが、これに限られるものではない。例えば、VPN間接続管理システム100が、遠隔監視を行うプログラムを実行することで、仮想マシン1のCPU(Central Processing Unit)の負荷状況やネットワークの使用帯域を監視し、例えば所定の閾値を超過したことを条件として、ライブマイグレーションの実行を決定してもよい。すなわち、オペレータによる手動ではなく、自動化してもよい。
反対に、第1の実施形態においては、その後の処理を全て自動化する例を説明したが、これに限られるものではない。例えば、ライブマイグレーションの実行開始を検知したことを通知する情報を、VPN間接続管理システム100が備える出力部に出力し、オペレータが、これを契機として、ネットワーク装置に対する設定開始指示を入力してもよい。また、例えば、ライブマイグレーションの実行が完了し、かつ、アドレス変換装置に対する設定が完了したことを通知する情報を、VPN間接続管理システム100が備える出力部に出力し、オペレータが、これを確認してから、ルーティングを切り替える指示を入力してもよい。なお、その他の処理も、運用の形態などに応じて、オペレータによる手動に置き換えることが可能である。
(変形例3)
第1の実施形態においては、VPN間接続管理システム100の構成として図3を例示したが、これに限られるものではない。まず、上述したように、VPN間接続管理システム100は、VPN間接続サービスを管理し、経路を構築するシステムであり、例えばオンデマンド(On Demand)な要求にも対応するものである。このため、VPN間接続管理システム100は、このようなVPN間接続サービスを提供するために必要な情報をさらに記憶し、説明を省略した他の制御部を備えていてもよい。
また、顧客ネットワーク設定記憶部11やネットワーク装置設定記憶部21も、第1の実施形態において説明したものに限られない。ライブマイグレーション処理部11側で記憶する情報として説明した情報を、VPN間接続処理部20側で記憶していてもよいし、またその逆でもよい。また、情報の記憶方法(テーブル構造)も、任意に変更することができる。また、説明を省略したが、例えば仮想ルータを識別する必要がある場合、仮想ルータの識別情報とともに記憶し、この識別情報を用いて制御を行ってもよい。
また、必ずしもライブマイグレーション処理部11とVPN間接続処理部20とに分かれている必要もない。
(第2の実施形態)
続いて、第2の実施形態を説明する。第1の実施形態においては、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定することを想定した。例えば、設定しようとするIPアドレスが、マイグレーション先において、予め確保されたIPアドレスであるか、あるいは偶然空きのIPアドレスである場合などに有効である。
第2の実施形態においては、新たなIPアドレスを払い出し、新たなアドレス変換情報を生成して設定することを想定する。例えば、マイグレーション元で使用されていたIPアドレスが、マイグレーション先において、使用中のIPアドレスであるか、あるいは予約済みのIPアドレスである場合に有効である。また、単に、ライブマイグレーション実行時には新たなIPアドレスを払い出す、といった運用の場合にも有効である。なお、第2の実施形態に係るVPN間接続管理システム100の構成は、第1の実施形態と同様である。
なお、マイグレーション元の仮想マシンのIPアドレスと、マイグレーション先の仮想マシンのIPアドレスとが異なるIPアドレスである場合に、ライブマイグレーションを実現する技術は、公知の技術であるグローバルライブマイグレーションを用いればよい(例えば、渡邉英伸ら、「IPモビリティと複数インタフェースを用いたグローバルライブマイグレーション」、電子情報通信学会論文誌VOL.J93-B NO.7 JULY2010、P.893-901)。例えば同文献には、IPモビリティの技術を応用して実現することが記載されている。IPモビリティは、端末に割り振られたIPアドレスが端末の移動に伴い変更された場合でも、移動前に行っていた通信を継続する技術である。
なお、「マイグレーション先の仮想マシンのIPアドレス」がライブマイグレーションの実行前に決定されていることを前提とする手法を用いる場合には、VPN間接続管理システム100は、例えば図2のステップS2よりも前に、「マイグレーション先の仮想マシンのIPアドレス」を決定すればよい。このような手法を用いない場合には、「マイグレーション先の仮想マシンのIPアドレス」は、ライブマイグレーションにおいて必要となる任意の段階で決定されればよい。
[Twice−NATの適用]
IPアドレスの払い出しについて説明する前に、まず、VPN間通信システムに適用されるアドレス変換の技術「Twice−NAT」を説明する。Twice−NATは、IETF(Internet Engineering Task Force)によって公開されたRFC(Request for Comments)2663の技術である。
Twice−NATとは、送信元のIPアドレス及び宛先のIPアドレスの双方を変換する技術である。以下、あるVPN間接続サービスを利用する利用者端末や仮想マシンを、この利用者端末や仮想マシンが設置された自VPN内で一意に識別するためのIPアドレスを、「自VPN内アドレス」と呼ぶ。また、通信相手となる他のVPNに設置された利用者端末や仮想マシンを、自VPN内で一意に識別するためのIPアドレスを、「第一アドレス」と呼ぶ。また、あるVPN間接続サービスを利用する利用者端末や仮想ルータを仮想ルータにて一意に識別するためのIPアドレスを、「第二アドレス」と呼ぶ。
図8は、第2の実施形態におけるTwice−NATを説明するための図である。図8において、「ai」は、VPNi内で利用者端末を一意に識別するための自VPN内アドレスであり、「aj」は、VPNj内で仮想マシン1を一意に識別するための自VPN内アドレスである。また、図8において図示を省略しているが、VPNi、VPNj以外の他のVPNであるVPNkも、VPN間接続サービスの提供を受ける。「ak」は、VPNk内で端末を一意に識別するための自VPN内アドレスである。なお、i、j及びkは、互いに独立な正の整数値であり、ここでは特にi≠j、j≠k、k≠iである。また、(1)は、VPNiから仮想ルータ(VRFm(Virtual Routing and Forwarding))向けのアドレス変換を表す変換作用素である。また、(2)は、仮想ルータ(VRFm)からVPNj向けのアドレス変換を表す変換作用素である。ここで、m及びnは、仮想ルータを識別する互いに独立な正の整数値であり、ここでは特にm≠nである。
Figure 2012175190
Figure 2012175190
したがって、図8において、仮想ルータ(VRFm)によって提供されるVPN間接続サービスを利用するVPNi配下の利用者端末及びVPNj配下の仮想マシン1を、仮想ルータ(VRFm)にて一意に識別するための第二アドレスは、自VPN内アドレス「ai」及び自VPN内アドレス「aj」がそれぞれアドレス変換装置によって1回変換されたIPアドレスとなり、(3)と表現される。
Figure 2012175190
また、図8において、VPNj配下の仮想マシン1をVPNi内で一意に識別するための第一アドレスは、(4)となる。同様に、VPNi配下の利用者端末をVPNj内で一意に識別するための第一アドレスは、(5)となる。
Figure 2012175190
Figure 2012175190
VPN間接続管理システム100は、オンデマンドにVPN間接続サービスを提供する場合、この提供にあたり、第一アドレス及び第二アドレスを払い出し、アドレス変換情報を生成し、アドレス変換装置に対する設定を行う。具体的には、VPN間接続管理システム100は、(6)式を満たすように、第一アドレスを決定する。(6)式の右辺は、VPNi内の端末にとって通信相手となり得るVPNk配下の端末(VPNi内の端末とVPNk内の端末とは仮想ルータ(VRFn)によってVPN間接続)をVPNi内で一意に識別するための第一アドレスである。すなわち、VPNj配下の仮想マシン1をVPNi内で一意に識別するための第一アドレスと、VPNk配下の端末をVPNi内で一意に識別するための第一アドレスとは、異なるものでなければならない。したがって、(6)式は、「第一アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、VPNi内で利用される第一アドレスの中で一意に識別されるように払い出されなければならない」ことを示し、結局、第一アドレスには、VPNi内でその時間帯に利用されていない(あるいはその時間帯に利用される予定のない)IPアドレスが用いられる。なお、(7)式及び(8)式も満たさなければならない。
Figure 2012175190
Figure 2012175190
Figure 2012175190
また、VPN間接続管理システム100は、(9)式を満たすように、第一アドレスを決定する。(9)式の右辺は、VPNj内の端末にとって通信相手となり得るVPNk配下の端末(VPNj内の端末とVPNk内の端末とは仮想ルータ(VRFn)によってVPN間接続)をVPNj内で一意に識別するための第一アドレスである。すなわち、VPNi配下の利用者端末をVPNj内で一意に識別するための第一アドレスと、VPNk配下の端末をVPNj内で一意に識別するための第一アドレスとは、異なるものでなければならない。したがって、(9)式は、「第一アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、VPNj内で利用される第一アドレスの中で一意に識別されるように払い出されなければならない」ことを示し、結局、第一アドレスには、VPNj内でその時間帯に利用されていない(あるいはその時間帯に利用される予定のない)IPアドレスが用いられる。なお、(10)式及び(11)式も満たさなければならない。
Figure 2012175190
Figure 2012175190
Figure 2012175190
また、VPN間接続管理システム100は、例えば(12)式を満たすように、第二アドレスを決定する。(12)式は、「第二アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出されなければならない」ことを示す。
Figure 2012175190
このように、VPN間接続管理システム100は、「Twice−NAT」及び「仮想ルータ」の技術を用いてIPアドレス空間を独立化することで、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。具体的には、まず、「Twice−NAT」により、VPNと仮想ルータとの間で、IPアドレス空間を垂直方向に分離する(図8の白抜き矢印を参照)。また、「仮想ルータ」により、集合仮想ルータに設定された仮想ルータ間で、IPアドレス空間を水平方向に分離する(図8の白抜き矢印を参照)。そして、VPN間接続管理システム100は、この両者を組み合わせることにより、IPアドレス空間を、各VPN内、各仮想ルータ内にそれぞれ独立化させ、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。
このように、Twice−NATによるアドレス変換は、Single−NATによるアドレス変換と比較して、利便性が高い。この点について、具体的なIPアドレスを例に挙げて説明する。
図9は、Single−NATによるアドレス変換を説明するための図である。まず、VPN3に設置された利用者端末をVPN3内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置3が、IPアドレス「192.168.1.10」をIPアドレス「172.16.1.10」に変換することで、利用者端末の外部向けのIPアドレスは、「172.16.1.10」となる。このため、仮想ルータや、仮想マシン1が設置されたVPN1において、利用者端末を一意に識別するIPアドレスは、「172.16.1.10」である。
一方、VPN1に設置された仮想マシン1をVPN1内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置1が、IPアドレス「192.168.1.10」をIPアドレス「172.16.2.10」に変換することで、仮想マシン1の外部向けのIPアドレスは、「172.16.2.10」となる。このため、仮想ルータや、利用者端末が設置されたVPN3において、仮想マシン1を一意に識別するIPアドレスは、「172.16.2.10」である。
ここで、ライブマイグレーションの実行前、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信するので、アドレス変換装置3は、アドレス変換情報に従って、「192.168.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「172.16.2.10」であり、送信元が「172.16.1.10」であるパケットとなる。
仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「172.16.2.10」のパケットであるので、仮想ルータは、アドレス変換装置1に向けて、このパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、「172.16.2.10」を「192.168.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。ここで、仮想マシン1のIPアドレスは、「192.168.1.10」であるので、このパケットは、仮想マシン1に到達する。
一方、ライブマイグレーションの実行完了後、仮想ルータは、宛先が「172.16.2.10」であり、送信元が「172.16.1.10」であるパケットを、今度はアドレス変換装置2に向けてルーティングする。ここで、アドレス変換装置2は、宛先のIPアドレスのアドレス変換を行うが、送信元のIPアドレスのアドレス変換は行わない。すなわち、送信元のIPアドレス「172.16.1.10」は、そのままVPN2内に到達する。このため、マイグレーション先のVPN2においては、利用者端末を一意に識別するためのIPアドレスとして「172.16.1.10」を利用することが『必須』となる。仮に、VPN2内で、既に「172.16.1.10」を使用中や予約済みである場合、仮想ルータやアドレス変換装置3においても、IPアドレスを見直さなければならない。
図10は、Twice−NATによるアドレス変換を説明するための図である。まず、VPN3に設置された利用者端末をVPN3内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置3が、IPアドレス「192.168.1.10」をIPアドレス「10.0.1.10」に変換する。このため、仮想ルータにおいて、利用者端末を一意に識別するIPアドレスは、「10.0.1.10」となる。また、アドレス変換装置1が、IPアドレス「10.0.1.10」をIPアドレス「172.16.1.10」に変換する。このため、仮想マシン1が設置されたVPN1において、利用者端末を一意に識別するIPアドレスは、「172.16.1.10」となる。
一方、VPN1に設置された仮想マシン1をVPN1内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置1が、IPアドレス「192.168.1.10」をIPアドレス「10.0.2.10」に変換する。このため、仮想ルータにおいて、仮想マシン1を一意に識別するIPアドレスは、「10.0.2.10」となる。また、アドレス変換装置3が、IPアドレス「10.0.2.10」をIPアドレス「172.16.2.10」に変換する。このため、利用者端末が設置されたVPN3において、仮想マシン1を一意に識別するIPアドレスは、「172.16.2.10」となる。
ここで、ライブマイグレーションの実行前、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信するので、アドレス変換装置3は、アドレス変換情報に従って、宛先のIPアドレス「172.16.2.10」を「10.0.2.10」に変換し、送信元のIPアドレス「192.168.1.10」を「10.0.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットとなる。
仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「10.0.2.10」のパケットであるので、仮想ルータは、アドレス変換装置1に向けて、このパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、宛先のIPアドレス「10.0.2.10」を「192.168.1.10」に変換し、送信元のIPアドレス「10.0.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。仮想マシン1のIPアドレスは、「192.168.1.10」であるので、このパケットは、仮想マシン1に到達する。
一方、ライブマイグレーションの実行完了後、仮想ルータは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットを、今度はアドレス変換装置2に向けてルーティングする。ここで、アドレス変換装置2は、宛先のIPアドレス及び送信元のIPアドレスの双方を変換する。すなわち、Single−NATの場合のように、送信元のIPアドレスがそのままVPN2内に到達することはない。このため、マイグレーション先のVPN2においては、利用者端末を一意に識別するためのIPアドレスとして「172.16.1.10」を利用することが必須ではなく、少なくとも利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、VPN2内で利用されるIPアドレスの中で一意に選択されればよい。図10において、「VPN2内で利用者端末を一意に識別」するIPアドレスが『選択可』であると記載する理由は、「VPN2内で利用者端末を一意に識別」するIPアドレスとして「172.16.1.10」を利用することが必須ではないという意味である。また、図10において、「VPN2内で仮想マシン2を一意に識別する」IPアドレスが『既存』であると記載する理由は、「VPN2内で仮想マシン2を一意に識別する」IPアドレスが必ずしも仮想マシン1を一意に識別するIPアドレスと同一であることが必須ではなく、既存のIPアドレスを利用してもよいという意味である。
このように、VPN間接続管理システム100は、IPアドレス空間を独立化することで、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。
[IPアドレスの払い出し]
さて、第2の実施形態においては、アドレス変換設定指示部16又はアドレス変換設定部24が、新たなIPアドレスの払い出しと、新たなアドレス変換情報の生成とを行う。以下、一例として、アドレス変換設定指示部16が新たなIPアドレスの払い出しと、新たなアドレス変換情報の生成とを行う場合を説明する。
ここで、アドレス変換設定指示部16が払い出しの対象とするIPアドレスは、図10を用いて説明したように、「VPN2内で利用者端末を一意に識別するためのIPアドレス」(第一アドレス)である。仮想ルータにて利用者端末や仮想マシン2を一意に識別するためのIPアドレス(第二アドレス)は、利用者端末と仮想マシン1又は仮想マシン2との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出されればよい。このため、ライブマイグレーションにより仮想マシン1から仮想マシン2に移行される場合、第二アドレスが仮想ルータ内で重複することは原則として無く、第二アドレスを変更する必要はない。利用者端末と仮想マシン1との間の経路と、利用者端末と仮想マシン2との間の経路とが、同時に現用の経路(アクティブ)となることはないからである。
図11は、第2の実施形態におけるIPアドレスの管理を説明するための図である。第2の実施形態において、アドレス変換設定指示部16は、図11に示すように、IPアドレス空間を、時間軸を用いて管理している。ここで、図11は、例えば、VPN2に関して管理されたIPアドレス空間を示す。
図11において、「VPN2内で自VPN内の装置を一意に識別するために利用しているIPアドレス」は、全ての時間帯において、第一アドレスの払い出しに利用することができない。既にVPN2内の装置に割り当てられているか、あるいは、VPN2内の装置に割り当てるIPアドレスとして確保されているためである。
また、太線の実線は、VPN間接続サービスの第一アドレスとして既に使用中のIPアドレスであり、太線の点線は、VPN間接続サービスの第一アドレスとして予約済みのIPアドレスである。アドレス変換設定指示部16は、これらの情報を時間情報とともにテーブルなどに記憶する。そして、アドレス変換設定指示部16は、アドレス変換装置2に対する設定指示を送信するにあたり、第一アドレスを払い出す。具体的には、アドレス変換設定指示部16は、テーブルを参照し、少なくとも利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、利用されていない、かつ、利用される予定の無いIPアドレスを第一アドレスとして選択する。
そして、アドレス変換設定指示部16は、図10に示したように、仮想マシン2に割り当てられている既存のIPアドレスと「10.0.2.10」とを変換するアドレス変換情報、及び、新たに払い出した第一アドレスと「10.0.1.10」とを変換するアドレス変換情報を、新たに生成する。
その後、アドレス変換設定指示部16は、第1の実施形態と同様、VPN間接続処理部20に対して、アドレス変換装置2に対する設定指示を、新たに生成したアドレス変換情報などとともに送信する。
[第2の実施形態の効果]
上述したように、第2の実施形態に係るVPN間接続管理システム100は、VPN2内で利用者端末を一意に識別するための新たなIPアドレス(第一アドレス)を払い出し、払い出した新たなIPアドレスを用いたアドレス変換情報をアドレス変換装置2に対して設定する。この場合、VPN間接続管理システム100は、少なくとも、利用者端末と仮想マシン2との間に経路が構築される時間帯において、VPN2内で通信相手となり得る端末の中で一意に識別されるように、新たなIPアドレスを払い出す。この結果、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報が、例えば、使用中のIPアドレスであるか、あるいは予約済みのIPアドレスを含む場合にも、柔軟に対応することが可能になる。
なお、アドレス変換設定指示部16は、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報が、アドレス変換装置2に対して設定可能であるか否かを判定し、設定可能でないと判定した場合に、新たなIPアドレスを払い出し、払い出した新たなIPアドレスを用いたアドレス変換情報をアドレス変換装置2に対して設定してもよい。
なお、第2の実施形態においては、第二アドレスが仮想ルータ内で重複することは原則として無く、第二アドレスを変更する必要はないと考えて、第一アドレスの払い出しにのみ言及したが、これに限られるものではない。すなわち、VPN間接続管理システム100は、利用者端末と仮想マシン2との間に新たに経路を構築する場合に、第二アドレスを払い出し、新たに払い出した第二アドレスを利用してもよい。この場合、VPN間接続管理システム100は、第二アドレスを、VPNiに設置された利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出す。また、第二アドレスが変更された場合には、VPN間接続管理システム100は、新たな第二アドレスを用いたルーティング情報を集合仮想ルータに設定するのみならず、アドレス変換装置3に対しても、新たな第二アドレスを用いたアドレス変換情報の設定を行う。
(第3の実施形態)
実施形態に係る制御装置、制御システム、制御方法、及び制御プログラムは、第1の実施形態及び第2の実施形態に限られるものではない。以下、順に説明する。
第1の実施形態及び第2の実施形態においては、ライブマイグレーションを想定したが、これに限られるものではなく、開示の技術は、「マイグレーション」にも同様に適用することができる。この場合、VPN間接続管理システム100は、利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、この第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするマイグレーションの実行開始を検知する。次に、VPN間接続管理システム100は、マイグレーションの実行開始が検知されると、このマイグレーションの実行と併行して、利用者端末が第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う。そして、VPN間接続管理システム100は、マイグレーションの実行完了を検知し、かつ、ネットワーク装置への設定が完了すると、現用の経路を、新たに構築された経路に切り替える。
[拠点の態様]
上述の実施形態では、VPNが、電気通信事業者などによって提供されたVPNサービスに接続するローカルエリアネットワーク(LAN(Local Area Network))である場合を想定したが、これに限られるものではない。VPNは、いわゆるネットワークではなく一端末であってもよい。例えば、VPNに設置されるルータが、物理的なルータではなく端末内のソフトウェアで実現される場合などである。また、VPNは、電気通信事業者などによって提供されたVPNサービスによって接続された複数のローカルエリアネットワーク群による社内網のようなものであってもよい。
図12〜14は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。なお、図12〜14においては、2種類の点線を用いて示す。一方は、通常の点線であり、他方は、破線(短い線と長い線との組合せ)である。破線は、同じVPNサービスに属する複数の拠点であって、かつ、例えば同じ社内(例えばC社内)の拠点間でVPNを形成していることを示す。一方、点線は、VPN間を接続することを示す。例えば、異なるVPNサービスに属する複数のVPN間を接続することや、同じVPNサービスに属する複数のVPN間であっても、異なる会社のVPN間を接続することを示す。
図12に例示するように、例えば、C社は、VPNサービス1に属する拠点群を有し、また、VPNサービス3に属する拠点を有する。一方、D社は、VPNサービス2に属する拠点を有し、また、VPNサービス4に属する拠点を有する。VPN間接続管理システム100は、このような、異なるVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。
また、図13に例示するように、例えば、C社は、VPNサービス3でグループ化された拠点群(VPN)を有する。一方、D社は、VPNサービス4でグループ化された拠点群(VPN)を有する。VPN間接続管理システム100は、このような、異なるVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。
また、図14に例示するように、例えば、C社及びD社は、いずれも、VPNサービス2でグループ化された拠点群(VPN)を有する。VPN間接続管理システム100は、このような、同じVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。
[コンピュータ]
図15は、実施形態に係る制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図15に示すように、コンピュータは、例えば、メモリと、CPUと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はバスによって接続される。
メモリは、図15に示すように、ROM(Read Only Memory)及びRAM(Random Access Memory)を含む。ROMは、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、図15に示すように、ハードディスクドライブに接続される。ディスクドライブインタフェースは、図15に示すように、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは、図15に示すように、例えばマウス、キーボードに接続される。ビデオアダプタは、図15に示すように、例えばディスプレイに接続される。
ここで、図15に示すように、ハードディスクドライブは、例えば、OS、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、実施形態に係る制御プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブに記憶される。具体的には、第1の実施形態で説明したライブマイグレーション実行部15と同様の情報処理を実行する手順と、アドレス変換設定指示部16と同様の情報処理を実行する手順と、アドレス変換設定部24と同様の情報処理を実行する手順と、ルーティング設定指示部17と同様の情報処理を実行する手順と、ルーティング設定部25と同様の情報処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクドライブに記憶される。
また、第1の実施形態で説明した顧客ネットワーク設定記憶部11やネットワーク装置設定記憶部21に記憶されるデータのように、制御プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えばハードディスクドライブに記憶される。そして、CPUが、ハードディスクドライブに記憶されたプログラムモジュールやプログラムデータを必要に応じてRAMに読み出し、上述の手順を実行する。
なお、制御プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクドライブに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPUによって読み出されてもよい。あるいは、制御プログラムに係るプログラムモジュールやプログラムデータは、LAN、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してCPUによって読み出されてもよい。
100 VPN間接続管理システム
10 ライブマイグレーション処理部
11 顧客ネットワーク設定記憶部
12 通信部
13 入力部
14 設定指示送信部
15 ライブマイグレーション実行部
16 アドレス変換設定指示部
17 ルーティング設定指示部
20 VPN間接続処理部
21 ネットワーク装置設定記憶部
22 通信部
23 設定指示受信部
24 アドレス変換設定部
25 ルーティング設定部

Claims (9)

  1. VPN(Virtual Private Network)に設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築し、VPN間の接続を制御する制御装置であって、
    前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするライブマイグレーションの実行開始を検知する検知部と、
    前記検知部によって前記ライブマイグレーションの実行開始が検知されると、該ライブマイグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う設定部と、
    前記ライブマイグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える切替部と
    を備えたことを特徴とする制御装置。
  2. 前記ネットワーク装置は、
    VPN間接続の対象となる複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、該パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置とを含み、
    前記アドレス変換装置は、
    パケットに含まれる送信元のアドレス及び宛先のアドレスの双方を、アドレス変換情報に従って変換し、
    前記設定部は、前記検知部によって前記ライブマイグレーションの実行開始が検知されると、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対する前記アドレス変換情報の設定を行うことを特徴とする請求項1に記載の制御装置。
  3. 前記設定部は、前記パケット転送制御装置と前記第1のVPNとの間に設置されたアドレス変換装置に設定されたアドレス変換情報と同一内容のアドレス変換情報を、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して設定することを特徴とする請求項2に記載の制御装置。
  4. 前記設定部は、前記第2のVPN内で前記利用者端末を一意に識別するための新たなアドレスを払い出し、払い出した新たなアドレスを用いたアドレス変換情報を、該アドレス変換装置に対して設定することを特徴とする請求項2に記載の制御装置。
  5. 前記設定部は、前記パケット転送制御装置と前記第1のVPNとの間に設置されたアドレス変換装置に設定されたアドレス変換情報に含まれる、前記第2のVPN内で前記利用者端末を一意に識別するためのアドレスが、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して設定可能であるか否かを判定し、設定可能でないと判定した場合に、前記第2のVPN内で前記利用者端末を一意に識別するための新たなアドレスを払い出し、払い出した新たなアドレスを用いたアドレス変換情報を、該アドレス変換装置に対して設定することを特徴とする請求項4に記載の制御装置。
  6. 前記設定部は、前記第2のVPN内で前記利用者端末を一意に識別するための前記新たなアドレスを、前記利用者端末と前記第2のVPNに設置される仮想マシンとの間に経路が構築される時間帯において、該第2のVPN内で通信相手となり得る端末の中で一意に識別されるように払い出すことを特徴とする請求項4又は5に記載の制御装置。
  7. VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路を制御する制御システムであって、
    複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、
    前記パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置と、
    VPN間を接続するための経路を構築する制御装置とを備え、
    前記制御装置は、
    前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするライブマイグレーションの実行開始を検知する検知部と、
    前記検知部によって前記ライブマイグレーションの実行開始が検知されると、該ライブマイグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して行う設定部と、
    前記ライブマイグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える切替部と
    を備えたことを特徴とする制御システム。
  8. VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築してVPN間の接続を制御する制御装置で実行される制御方法であって、
    前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするライブマイグレーションの実行開始を検知する検知工程と、
    前記検知工程によって前記ライブマイグレーションの実行開始が検知されると、該ライブマイグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う設定工程と、
    前記ライブマイグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定工程によって構築された経路に切り替える切替工程と
    を含んだことを特徴とする制御方法。
  9. コンピュータを請求項1〜6に記載の制御装置として機能させるための制御プログラム。
JP2011032552A 2011-02-17 2011-02-17 制御装置、制御システム、制御方法、及び制御プログラム Expired - Fee Related JP5486526B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011032552A JP5486526B2 (ja) 2011-02-17 2011-02-17 制御装置、制御システム、制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011032552A JP5486526B2 (ja) 2011-02-17 2011-02-17 制御装置、制御システム、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2012175190A true JP2012175190A (ja) 2012-09-10
JP5486526B2 JP5486526B2 (ja) 2014-05-07

Family

ID=46977710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011032552A Expired - Fee Related JP5486526B2 (ja) 2011-02-17 2011-02-17 制御装置、制御システム、制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP5486526B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182596A (ja) * 2013-03-19 2014-09-29 Fujitsu Ltd 仮想マシンの移動終了を検出する装置、方法、及びプログラム
JP2015002482A (ja) * 2013-06-17 2015-01-05 日本電信電話株式会社 ネットワークシステム及び制御方法
JP2015008365A (ja) * 2013-06-24 2015-01-15 日本電信電話株式会社 管理装置、通信システム、管理方法、および、管理プログラム
JP2015012462A (ja) * 2013-06-28 2015-01-19 日本電信電話株式会社 ネットワーク制御システム
JP2015015584A (ja) * 2013-07-04 2015-01-22 日本電信電話株式会社 管理装置、経路情報生成方法および経路情報生成プログラム
JP2015035034A (ja) * 2013-08-08 2015-02-19 日本電信電話株式会社 仮想ホストのライブマイグレーション方法およびネットワーク装置
JP2015133639A (ja) * 2014-01-14 2015-07-23 フュージョン・コミュニケーションズ株式会社 通信制御システム、通信制御方法、及びプログラム
WO2015195913A1 (en) * 2014-06-20 2015-12-23 Google Inc. System and method for live migration of a virtualized networking stack
JP2016052080A (ja) * 2014-09-02 2016-04-11 日本電信電話株式会社 通信システムおよびその方法
JP2019205079A (ja) * 2018-05-24 2019-11-28 日本電信電話株式会社 情報処理装置、制御装置、移行方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083569A1 (ja) * 2004-02-26 2005-09-09 Nec Corporation ネットワーク間のプロセス移動方法およびそのネットワークシステム
JP2011139298A (ja) * 2009-12-28 2011-07-14 Nippon Telegr & Teleph Corp <Ntt> アドレス決定装置、アドレス決定方法、及びアドレス決定プログラム
JP2011139299A (ja) * 2009-12-28 2011-07-14 Nippon Telegr & Teleph Corp <Ntt> DNS(DomainNameSystem)登録装置、VPN(VirtualPrivateNetwork)間接続管理システム、広域DNS装置、DNS登録プログラム、広域DNSプログラム、DNS登録方法、及びVPN間接続管理方法
JP2012044601A (ja) * 2010-08-23 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 設定システム、設定方法、及び設定プログラム
JP2012114850A (ja) * 2010-11-26 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 対応情報生成装置、対応情報生成方法、対応情報生成プログラム、及び名前解決システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083569A1 (ja) * 2004-02-26 2005-09-09 Nec Corporation ネットワーク間のプロセス移動方法およびそのネットワークシステム
JP2011139298A (ja) * 2009-12-28 2011-07-14 Nippon Telegr & Teleph Corp <Ntt> アドレス決定装置、アドレス決定方法、及びアドレス決定プログラム
JP2011139299A (ja) * 2009-12-28 2011-07-14 Nippon Telegr & Teleph Corp <Ntt> DNS(DomainNameSystem)登録装置、VPN(VirtualPrivateNetwork)間接続管理システム、広域DNS装置、DNS登録プログラム、広域DNSプログラム、DNS登録方法、及びVPN間接続管理方法
JP2012044601A (ja) * 2010-08-23 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 設定システム、設定方法、及び設定プログラム
JP2012114850A (ja) * 2010-11-26 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 対応情報生成装置、対応情報生成方法、対応情報生成プログラム、及び名前解決システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182596A (ja) * 2013-03-19 2014-09-29 Fujitsu Ltd 仮想マシンの移動終了を検出する装置、方法、及びプログラム
JP2015002482A (ja) * 2013-06-17 2015-01-05 日本電信電話株式会社 ネットワークシステム及び制御方法
JP2015008365A (ja) * 2013-06-24 2015-01-15 日本電信電話株式会社 管理装置、通信システム、管理方法、および、管理プログラム
JP2015012462A (ja) * 2013-06-28 2015-01-19 日本電信電話株式会社 ネットワーク制御システム
JP2015015584A (ja) * 2013-07-04 2015-01-22 日本電信電話株式会社 管理装置、経路情報生成方法および経路情報生成プログラム
JP2015035034A (ja) * 2013-08-08 2015-02-19 日本電信電話株式会社 仮想ホストのライブマイグレーション方法およびネットワーク装置
JP2015133639A (ja) * 2014-01-14 2015-07-23 フュージョン・コミュニケーションズ株式会社 通信制御システム、通信制御方法、及びプログラム
WO2015195913A1 (en) * 2014-06-20 2015-12-23 Google Inc. System and method for live migration of a virtualized networking stack
KR101862273B1 (ko) 2014-06-20 2018-05-29 구글 엘엘씨 가상화된 네트워킹 스택의 라이브 이주를 위한 시스템 및 방법
US10013276B2 (en) 2014-06-20 2018-07-03 Google Llc System and method for live migration of a virtualized networking stack
US10592273B2 (en) 2014-06-20 2020-03-17 Google Llc System and method for live migration of a virtualized networking stack
JP2016052080A (ja) * 2014-09-02 2016-04-11 日本電信電話株式会社 通信システムおよびその方法
JP2019205079A (ja) * 2018-05-24 2019-11-28 日本電信電話株式会社 情報処理装置、制御装置、移行方法及びプログラム

Also Published As

Publication number Publication date
JP5486526B2 (ja) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5486526B2 (ja) 制御装置、制御システム、制御方法、及び制御プログラム
US11398956B2 (en) Multi-Edge EtherChannel (MEEC) creation and management
CN108293001B (zh) 一种软件定义数据中心及其中的服务集群的部署方法
EP3119047B1 (en) Load balancing method, apparatus and system
CN103312605B (zh) 一种网关设备身份设置的方法及管理网关设备
JP5488591B2 (ja) 通信システム
US20110320577A1 (en) System and method for location based address assignment in the distribution of traffic in a virtual gateway
JP5853378B2 (ja) 通信切替システム、通信切替方法、及びプログラム
WO2016210196A1 (en) Media relay server
JP6040711B2 (ja) 管理サーバ、仮想マシンシステム、プログラム及び接続方法
US12501289B2 (en) Fault processing method, control plane network element, steering decision-making network element, and related device
EP2992644A1 (en) Enhancing a mobile backup channel to address a node failure in a wireline network
JP5679343B2 (ja) クラウドシステム、ゲートウェイ装置、通信制御方法、及び通信制御プログラム
WO2016210202A1 (en) Media relay server
US10778467B2 (en) Method for providing virtual CPE service by using single internet line and network function virtualization cloud
CN113726648B (zh) 多路径通信方法、装置、电子设备及计算机可读介质
CN114531337A (zh) 一种宽带连接方法及装置
JP6445408B2 (ja) 通信システムおよび設定方法
US12088493B2 (en) Multi-VRF and multi-service insertion on edge gateway virtual machines
US10924397B2 (en) Multi-VRF and multi-service insertion on edge gateway virtual machines
CN107769973B (zh) 一种报文转发方法及装置
KR101729939B1 (ko) Sdn 기반의 멀티 테넌트 지원 네트워크 시스템
WO2023088411A1 (zh) 发送指令、信息的方法及装置
JP5542098B2 (ja) 経路制御装置、経路制御プログラム、経路制御方法及び経路制御システム
US20200389427A1 (en) Loopback address configuration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140221

R150 Certificate of patent or registration of utility model

Ref document number: 5486526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees