JP2014192584A - 設定装置、端末装置、設定プログラム、計測システム及び計測方法 - Google Patents

設定装置、端末装置、設定プログラム、計測システム及び計測方法 Download PDF

Info

Publication number
JP2014192584A
JP2014192584A JP2013064413A JP2013064413A JP2014192584A JP 2014192584 A JP2014192584 A JP 2014192584A JP 2013064413 A JP2013064413 A JP 2013064413A JP 2013064413 A JP2013064413 A JP 2013064413A JP 2014192584 A JP2014192584 A JP 2014192584A
Authority
JP
Japan
Prior art keywords
route
group
measurement
setting
test packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013064413A
Other languages
English (en)
Inventor
Tokuo Tachibana
篤男 立花
Teruyuki Hasegawa
輝之 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013064413A priority Critical patent/JP2014192584A/ja
Publication of JP2014192584A publication Critical patent/JP2014192584A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】ネットワークにおけるリンクに関する計測を効率化することができる設定装置などを提供する。
【解決手段】設定装置(一例として、サーバ装置1)は、SDNにおける複数のノード(一例として、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部(一例として、計測経路計算部21)と、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行する経路設定部(一例として、通信経路設定部22)と、を備える。
【選択図】図1

Description

本発明は、設定装置、端末装置、設定プログラム、計測システム及び計測方法に関する。
近年、ネットワーク機器をソフトウェアで一元的に制御するSDN(Software Defined Network)と呼ばれるアーキテクチャが研究開発されている(例えば、非特許文献1参照。)。SDNを実現するための代表的な技術であるOpenFlow(例えば、非特許文献2参照。)では、MAC(Media Access Control)アドレス、IP(Internet Protocol)アドレス、ポート番号などを組み合わせて定義される「フロー」を単位として、通信経路が設定され、このため、ネットワークの構成変更やホストの追加などに対して柔軟なトラヒック制御を実現できるメリットが期待されている(例えば、非特許文献2参照。)。
ここで、OpenFlow(オープンフロー)は、OpenFlowスイッチングコンソーシアムが提唱しているネットワーク制御技術のことであり、SDNの一例として用いることができる。
しかしながら、SDNの管理手法については、未だに十分には検討が進んでいない。例えば、OpenFlowのスイッチでは、従来のネットワーク機器と同様に、ネットワーク機器自体が保持する統計情報(MIB:Management Information Base)を遠隔監視する手法が利用可能となっているが、頻繁なMIBの問い合わせはスイッチの処理負荷を増大させるため、通信品質を常時監視することは困難である。また、パケット遅延や可用帯域等の一部の品質メトリックがMIBに定義されていないという課題もある。
一方、従来のネットワークにおいて、MIBを直接監視する代わりに、計測端末が、リンクの両端のスイッチが応答パケットを返信するように工夫を施した試験パケット(例えば、その組)を送信し、観測される応答パケットの数や受信時刻の差に基づいて、通信経路上のリンクの通信品質(ロス率や遅延の平均値など)を推定するアクティブ計測技術が研究開発されている(例えば、非特許文献3、4参照。)。
図8〜図9を参照して、アクティブ計測技術の例を示す。
図8は、リンク品質計測を行うアクティブ計測技術の例を示す図である。
計測端末装置1001は、各ルータ1011〜1013で折り返すように設定した複数(図8の例では、3個)の試験パケット1021〜1023を送信する。この設定として、各試験パケット1021〜1023のTTL(Time To Live)値をホップ数に設定する。図8の例では、TTL値が小さい方から大きい方への順で、試験パケット1021〜1023が並んでいる。
TTL値が1である試験パケット1021に対してルータ1011から応答パケット1031が送信(返送)され、TTL値が2である試験パケット1022に対してルータ1012から応答パケット1032が送信(返送)され、TTL値が3である試験パケット1023に対してルータ1013から応答パケット1033が送信(返送)される。図8の例では、ICMP(Internet Control Message Protocol)の応答パケット1031〜1033が用いられている。応答パケットが送信された試験パケットから順になくなっていく。
これらについて、計測端末装置1001では、パケット到着率、パケット往復遅延の差分から、ルータ間の各リンクの通信品質(ロス率や遅延の平均値など)を計測する。
図9は、ボトルネック推定を行うアクティブ計測技術の例を示す図である。
計測端末装置1101は、試験パケットと負荷パケットを含むパケットトレイン1121を送信することで、これらのパケットを一緒に送信する。図9の例では、パケットトレイン1121は、各ルータ1111〜1113で折り返すように設定した複数(図9の例では、3個)の試験パケットと、負荷パケット1131と、前記複数の試験パケットを逆の順としたものと、から構成されている。各試験パケットは、各ルータ1111〜1113で折り返すように設定されている。この設定として、各試験パケットのTTL値をホップ数に設定する。図9の例では、パケットトレイン1121において、先頭では、TTL値が小さい方から大きい方への順で試験パケットが並んでおり、末尾(最後尾)では、TTL値が大きい方から小さい方への順で試験パケットが並んでいる。
TTL値が1である先頭及び末尾の計2個の試験パケットに対してルータ1111から応答パケット1141、1142が送信(返送)され、TTL値が2である先頭及び末尾の計2個の試験パケットに対してルータ1112から応答パケット1151、1152が送信(返送)され、TTL値が3である先頭及び末尾の計2個の試験パケットに対してルータ1113から応答パケット1161、1162が送信(返送)される。図9の例では、ICMPの応答パケット1141〜1142、1151〜1152、1161〜1162が用いられている。応答パケットが送信された試験パケットから順になくなっていく。
これらについて、計測端末装置1101では、観測される応答パケットの間隔からボトルネックリンクを特定する。この場合、それぞれのルータ1111〜1113からの2個の応答パケットの組(応答パケット1141〜1142の組、応答パケット1151〜1152の組、応答パケット1161〜1162の組)について、可用帯域が小さいリンクではパケット間隔が広がることを利用する。
"Open Networking Foundation"、[online]、[平成25年3月12日検索]、インターネット<URL:http://www.openflow.org/> 「次世代網を実現するOpenflow技術最新動向2013」、インプレスR&Dインターネットメディア総合研究所 [online]、インターネット<URL:http://www.microsoft.com/resources/documentation/windows/xp/all/proddocs/en−us/pathping.mspx?mfr=true> Ningning Hu、Li Erran Li、Zhuoqing Morley Mao、Peter Steenkiste、Jia Wang、"Locating Internet Bottlenecks:Algorithms,Measurements,and Implications"、In Proc. of SIGCOMM 2004.
従来のネットワークにおけるアクティブ計測技術では、試験パケットは予め決められた通信経路(多くの場合は、計測端末装置とルータとの間の最短経路)を通過することを前提としているため、ネットワーク内における全てのリンクを監視するためには、複数の計測端末装置を設置する必要があるという問題があった。
図10は、ネットワーク1511におけるリンク品質計測を行うアクティブ計測技術の例を示す図である。
2個の計測端末装置1501−1〜1501−2により、ネットワーク1511に設けられた複数のルータv〜vについて、リンク品質計測を行う。この場合、第1の計測端末装置1501−1から計測することができないリンク(ルータvとルータvとの間のリンク、ルータvとルータvとの間のリンク)については、第2の計測端末装置1501−2から計測することが必要である。
本発明は、このような事情を考慮してなされたもので、ネットワークにおけるリンクに関する計測を効率化することができる設定装置、端末装置、設定プログラム、計測システム及び計測方法を提供することを課題とする。
(1)上記の課題を解決するために、本発明に係る設定装置は、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部と、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行する経路設定部と、を備える。
(2)本発明は、上記した(1)に記載の設定装置において、前記経路設定部は、前記SDNのコントローラに前記経路の群を設定する。
(3)上記の課題を解決するために、本発明に係る端末装置は、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路の群に関する情報を記憶する記憶部と、前記記憶部に記憶された前記情報に基づいて、試験パケットを送信して、計測を実行する計測実行部と、を備える。
(4)本発明は、上記した(3)に記載の端末装置において、前記計測実行部は、冗長な試験パケットを削除した後に、試験パケットを送信して、計測を実行する。
(5)本発明は、上記した(3)又は上記した(4)に記載の端末装置において、前記計測実行部は、前記リンクの通信品質に関する計測を実行する、又は、前記試験パケットとともに負荷パケットを送信して、前記リンクのボトルネックに関する計測を実行する。
(6)上記の課題を解決するために、本発明に係る設定プログラムは、経路群取得部が、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得するステップと、経路設定部が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行するステップと、をコンピュータに実行させるためのプログラムである。
(7)上記の課題を解決するために、本発明に係る計測システムは、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部と、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行する経路設定部と、前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する計測実行部と、を備える。
(8)上記の課題を解決するために、本発明に係る計測方法は、経路群取得部が、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得し、経路設定部が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行し、計測実行部が、前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する。
本発明によれば、ネットワークにおけるリンクに関する計測を効率化することができる。
本発明の一実施形態に係るネットワークシステムの概略的な構成を示すブロック図である。 本発明の一実施形態に係る試験パケットの通信経路の計算の例を説明するための図である。 本発明の一実施形態に係る試験パケットの通信経路の計算の例を説明するための図である。 本発明の一実施形態に係る冗長な試験パケットの削除の例を説明するための図である。 本発明の一実施形態に係る冗長な試験パケットを削除する処理(グループ化の処理)の手順の一例を説明するための図である。 本発明の一実施形態に係るボトルネック推定を行う場合における試験パケットの送信を説明するための図である。 本発明の一実施形態に係るネットワークにおけるリンク品質計測を行うアクティブ計測技術の例を示す図である。 リンク品質計測を行うアクティブ計測技術の例を示す図である。 ボトルネック推定を行うアクティブ計測技術の例を示す図である。 ネットワークにおけるリンク品質計測を行うアクティブ計測技術の例を示す図である。
以下、図面を参照し、本発明の実施形態について説明する。
<本実施形態に係るネットワークシステムの構成>
図1は、本発明の一実施形態に係るネットワークシステムの概略的な構成を示すブロック図である。
本実施形態に係るネットワークシステムは、本発明の一実施形態に係る計測システム61と、SDN(一例として、OpenFlow)のネットワーク62を有する。
計測システム61は、サーバ装置1と、端末装置(計測端末装置)2を備える。
サーバ装置1は、計測経路計算部21と、通信経路設定部22と、記憶部23を備える。
端末装置2は、計測実行部31と、記憶部32を備える。
ネットワーク62は、SDNのコントローラ11と、複数(図1の例では、N個)のSDNのスイッチ(ルータに対応するもの)12−1〜12−Nと、複数のホスト13−1〜13−2、14−1〜14−2を備える。
なお、各スイッチ12−1~12−Nはノード(ネットワークのノード)に相当し、コントローラ11は各ノード(ここでは、各スイッチ12−1~12−N)に対する設定を行う。
また、ノードとノードとの接続をリンクと呼ぶ。
ここで、コントローラ11と各スイッチ12−1〜12−Nとが接続されており、各スイッチ12−1〜12−Nとその配下の各ホスト13−1〜13−2、14−1〜14−2とが接続されている。
また、サーバ装置1とコントローラ11とが接続されており、サーバ装置1と端末装置2とが接続されており、端末装置2とスイッチ(図1の例では、スイッチ12−1)とが接続されている。
なお、本実施形態に係るネットワークシステムにおいて、各装置(機器)の数や、各装置(機器)の配置場所や、複数の装置(機器)の接続などとしては、様々な構成が用いられてもよい。
サーバ装置1において、計測経路計算部21は、試験パケットの通信経路を計算して、試験パケットの通信経路の群を取得する。通信経路設定部22は、コントローラ11と通信を行い、計算した試験パケットの通信経路をコントローラ11に設定する。また、通信経路設定部22は、端末装置2と通信を行い、計算した試験パケットの通信経路を端末装置2に設定する。記憶部23は、各種の情報を記憶する。
端末装置2において、計測実行部31は、試験パケットを送受信し、観測データから各リンクの通信品質を推定することなどの計測処理を実行する。
ここで、本実施形態では、物理的なネットワーク機器(本実施形態では、スイッチ12−1〜12−N)の間の接続関係を表すトポロジ情報、各スイッチ12−1〜12−Nの管理情報(例えば、MACアドレス)は既知であるとし、例えば、これらの情報がサーバ装置1の記憶部23に記憶されている。
なお、サーバ装置1や端末装置2は、それぞれ、コンピュータなどを用いて構成される。サーバ装置1の機能と端末装置2の機能は、例えば、一体化されてもよい。
また、コントローラ11や各ホスト13−1〜13−2、14−1〜14−2は、それぞれ、コンピュータなどを用いて構成される。
コントローラ11と各スイッチ12−1〜12−Nとの間は、SDN(一例として、OpenFlow)のプロトコル(通信規約)で接続される。
複数のスイッチ12−1〜12−Nの間は、SDNにより接続される。
各スイッチ12−1〜12−Nと各ホスト13−1〜13−2、14−1〜14−2との間では、データの通信(本実施形態では、パケットの転送)が行われる。
また、ネットワーク62は、任意のものであってもよく、例えば、インターネットなどの汎用のネットワークが用いられてもよく、又は、企業内ネットワークなどの閉じたネットワークが用いられてもよい。
<試験パケットの通信経路(計測パス)の計算>
サーバ装置1の計測経路計算部21は、監視対象となるSDN内に存在する全てのリンク{e、e、・・・、e}に対して、試験パケット用の通信経路(計測経路)を計算する。なお、全てのリンク{e、e、・・・、e}の集合をEと定義する。本実施形態では、スイッチ12−1〜12−Nの間のリンクの数がM(Mは、例えば、2以上の整数)個であるとしている。
また、監視対象となるSDN内に存在する全てのスイッチ12−1〜12−Nを{V、V、・・・、V}の集合で表す。すなわち、ここでの説明では、スイッチ12−iはスイッチV(i=1、2、・・・、N)に相当する。
サーバ装置1の計測経路計算部21は、次のような(手順1−1)〜(手順1−3)により、試験パケット用の通信経路を計算する。
(手順1−1)
計測を実行する端末装置2を始点として、監視対象となるSDN内に存在する全てのスイッチ12−1〜12−N(V〜V)までの最短経路(本実施形態では、経由するスイッチの列)を計算し、その最短距離{r、r、・・・、r}の集合をRとする。
ここで、最短経路の計算においては、一例として、始点のノードから他のノードまでの最短経路を効率的に求めることができるダイクストラアルゴリズムを利用する。ダイクストラアルゴリズムでは、ホップ数、或いは、物理帯域等に基づいて設定される各リンクのコスト値に基づいた最短経路を計算することができる。これに関し、本実施形態では、ホップ数やコスト値などの最短経路の基準となる指標については限定しない。但し、計測を実行する端末装置2から各スイッチ12−1〜12−Nまでの最短経路を必ず1つに決定する。このため、例えば、等コストマルチパス(ECMP:Equal Cost Multi Path)により最短経路が複数存在する場合には、その中から一本の通信経路を最短経路として選択する。
なお、ダイクストラアルゴリズム以外の手法が用いられてもよい。
図2は、本発明の一実施形態に係る試験パケットの通信経路の計算の例を説明するための図である。
図2には、端末装置2や、ネットワーク62における複数のスイッチV及びその最短距離rの例を示してある。なお、図2の例では、N=6の場合を示す。
(手順1−2)
上記した(手順1−1)により計算された最短経路r(i=1、2、・・・、N)を、宛先となるスイッチVとその1ホップ手前のスイッチV(j=1、2、・・・、N 且つ j≠i)との間のリンクe(kは1以上M以下の値)を計測するための通信経路として記録(記憶)する。
ここで、試験パケットの通信経路が決定されたリンクeの集合をF(⊆E)とする。
(手順1−3)
集合Eの中から集合Fに含まれないリンクの集合G(=E\F)を抽出する。ここで、集合Gは、上記した(手順1−2)では未だに試験パケットの通信経路が決定されていないリンクの集合となる。
集合Gに含まれる各リンクe(Lは1以上M以下の値)(e∈G)に関し、リンクeの両端のスイッチV、V(p及びqは、それぞれ、1以上N以下の値)のうちの一方のスイッチまでの最短経路(この例では、Vに対応するrとする)に対して対象となる当該リンクeともう一方のスイッチVを最後尾に追加した通信経路r’を作成し、これをリンクeに対する試験パケットの通信経路(追加的な試験パケットの通信経路)とする。ここで計算された通信経路の集合をR’とする。
図3は、本発明の一実施形態に係る試験パケットの通信経路の計算の例を説明するための図である。
図3には、端末装置2や、ネットワーク62における複数のスイッチV、複数のリンクe及び追加的な試験パケットの通信経路r’の例を示してある。なお、図3の例では、N=6の場合を示す。また、図3の例では、追加的な試験パケットの通信経路r’として、q=2、4、5である場合を示す。
具体的な一例として、計測されないリンクeに関して、一端のスイッチVまでの最短距離rに対象となる当該リンクeと残りのスイッチVを追加した通信経路r’を計算する。
<試験パケットの通信経路(計測パス)の設定>
サーバ装置1の通信経路設定部22は、上記した(手順1−1)〜(手順1−3)により決定された集合R(本実施形態では、図2に示される通信経路)と集合R’(本実施形態では、図3に示される追加的な通信経路)を、復路の通信経路とともに、試験パケットの通信経路としてコントローラ11(例えば、その記憶部)に設定する。また、サーバ装置1の通信経路設定部22は、これと同じ試験パケットの通信経路(両方向の通信経路)を端末装置2(例えば、その記憶部32)に設定する。
ここで、復路の通信経路とは、上記した(手順1−1)〜(手順1−3)により決定された通信経路(往路の通信経路)の逆方向の通信経路のことである。本実施形態では、このように、両方向の通信経路を設定する。
本実施形態では、このような試験パケットの通信経路の設定として、次のような(設定i)及び(設定ii)を行う。
(設定i)では、パケットの宛先のMACアドレスや通信ポート番号などの組み合わせに基づいて、各スイッチ12−1〜12−Nに試験パケットを識別させる設定を行う。
(設定ii)では、各スイッチ12−1〜12−Nが指定したパケット処理(パケットのヘッダの書き換え等)を行った上で、通信経路に沿った出力ポート(ネットワークインターフェース)に試験パケットを出力する設定を行う。
ここで、このような(設定i)及び(設定ii)については、様々なパラメータの組み合わせを用いることが考えられるが、例えば、次のような(手順2−1)〜(手順2−3)の設定処理を適用(使用)することができる。
(手順2−1)
試験パケットの宛先のポート番号に特定の値を使用し、試験パケットを識別する(設定i)。
(手順2−2)
試験パケットの宛先のMACアドレスに宛先のスイッチ12−1〜12−N(宛先のインターフェース)のMACアドレスを使用し、また、各スイッチ12−1〜12−Nには、宛先のMACアドレス毎に、通信経路に沿った出力ポートを設定する(設定iiの1/2)。
(手順2−3)
試験パケットが宛先のスイッチ12−1〜12−Nで折り返されるように、各スイッチ12−1〜12−Nにおいて、宛先のMACアドレスが自己(当該各スイッチ12−1〜12−N)の入力ポートのMACアドレスと同一である試験パケットを受信した場合には、当該試験パケットの宛先のMACアドレスを端末装置(計測端末装置)2のMACアドレスに書き換えるとともに、送信元のMACアドレスを自己(当該各スイッチ12−1〜12−N)の入力ポートのMACアドレスに書き換えた上で、試験パケットを入力ポートに出力する(返送する)ように設定する(設定iiの2/2)。
<試験パケットの準備及び送信>
通信経路が共有される複数のリンクに対して、試験パケットの組を個別に送信すると、冗長な試験パケットの送信により、計測が非効率となってしまう場合がある。例えば、連続する2個のリンク(3個のスイッチが縦続接続されている構成における2個のリンク)を計測する場合、2個のリンクのそれぞれに対して試験パケットの組を送信すると、計4個の試験パケットを送信する必要があるが、端末装置(計測端末装置)2から計測対象のリンクまでの通信経路が共通であるときには、これら2個のリンクをまとめて計測することにより、計3個のパケットでリンクの品質を計測することができる。
また、非特許文献3に記載された可用帯域の計測手法では、試験パケットに加えてトラヒック負荷を与える負荷パケットを送信するが(例えば、図9の例を参照。)、上記と同様に、同一の通信経路上に存在する複数のリンクに対して、共通の負荷パケットを利用することにより負荷パケットの数を抑制することができる。
図4は、本発明の一実施形態に係る冗長な試験パケットの削除の例を説明するための図である。
図4には、端末装置2や、ネットワーク62における複数のスイッチV、複数のリンクeの例を示してある。なお、図4の例では、N=6の場合を示す。
具体的な一例として、スイッチVとスイッチVとの間のリンクeの計測を行うために、スイッチVを宛先とする試験パケット201とスイッチVを宛先とする試験パケット202の組を用いる。また、スイッチVとスイッチVとの間のリンクeの計測を行うために、スイッチVを宛先とする試験パケット211とスイッチVを宛先とする試験パケット212の組を用いる。この場合、スイッチVを宛先とする試験パケット202、211が重複するため、これら2個の重複する試験パケット202、211を1個の試験パケットのみとすることで、冗長な通信を省略することができる。
図5を参照して、負荷パケットが無い場合について、端末装置2の計測実行部31が冗長な試験パケットを削除する処理の手順の一例として、(手順3A−1)〜(手順3A−5)を示す。
図5は、本発明の一実施形態に係る冗長な試験パケットを削除する処理(グループ化の処理)の手順の一例を説明するための図である。
この例では、試験パケットのグループ化を行って、リンクの通信品質の測定用の試験パケットを作成する。
(手順3A−1)
図5(1)のテーブル301には、計測対象のリンクe〜eと、一端ともう一端の宛先のスイッチV〜Vと、通信経路との対応付けを示してある。
まず、ホップ数が小さい順に、各リンクe〜eに対する試験パケット(その組)の通信経路(集合R、集合R’)を並べ替える。
(手順3A−2)
図5(2)のテーブル302には、ホップ数が小さい順に並べ替えられたものとして、計測対象のリンクe〜eと、一端ともう一端の宛先のスイッチV〜Vと、通信経路との対応付けを示してある。なお、図5の例では、図5(1)のテーブル301の段階でホップ数が小さい順に並べられていた場合を示してある。
次に、ホップ数が小さい方の試験パケットから順に、試験パケットの通信経路を他の試験パケットの通信経路と比較し、通信経路が包含されているか否かを確認して、通信経路が包含されているリンクを探索する。
(手順3A−3)
図5(3)のテーブル303には、ホップ数が小さい順に並べ替えられたものとして、計測対象のリンクe〜eと、一端ともう一端の宛先のスイッチV〜Vと、通信経路との対応付けを示してある。また、通信経路が包含されているリンクの探索結果の一部を示してある。これは、通信経路が包含されているリンクの探索の途中の例である。
(手順3A−4:3A−3の続き)
図5(4)のテーブル304には、ホップ数が小さい順に並べ替えられたものとして、計測対象のリンクe〜eと、一端ともう一端の宛先のスイッチV〜Vと、通信経路との対応付けを示してある。また、通信経路が包含されているリンクの探索が繰り返された結果を示してある。
通信経路が包含されている関係にある複数の通信経路については、それらを同一のグループに分類する。この場合に、複数の試験パケットに通信経路が包含されているときには、1個の試験パケットの組を選択して、グループ化する。つまり、各試験パケット(その組)は必ず1つのグループに分類される。
(手順3A−5)
図5(5)のテーブル305には、グループ化の結果として、計測対象のリンクe〜eと、試験パケット(宛先のスイッチV〜V)との対応付けを示してある。
なお、上記した(手順3A−2)〜(手順3A−4)を、全ての試験パケット(その組)に対して確認する。
そして、冗長な試験パケットを削除する。具体的には、グループ化が完了した後に、同一のグループ内で、各試験パケットの宛先のMACアドレスを比較し、宛先のMACアドレスが重複する試験パケットが複数存在する場合には、重複する試験パケットを削除する。
(手順3A−6)
図5(6)のテーブル306には、グループ化及び冗長な試験パケットの削除の結果として、計測対象のリンクe〜eと、試験パケット(宛先のスイッチV〜V)との対応付けを示してある。
端末装置2の計測実行部31は、グループ毎に試験パケットの集合(例えば、連続した複数の試験パケットの塊)を送信して、計測を実行する。
ここで、リンクの通信品質を測定する場合には、例えば、端末装置2からのホップ数が小さい順に並べた複数の試験パケットの塊(例えば、図8に示されるような複数の試験パケットからなるパケットトレイン)を送信する。
なお、他の構成例として、端末装置2からのホップ数が大きい順に並べた複数の試験パケットの塊を送信する構成が用いられてもよいが、通常は、ホップ数が小さい順に並べられた構成の方が、試験パケットが先端から消えて、他の試験パケットの影響を受けなくて、好ましい。
次に、ボトルネック推定を行う場合について説明する。
ボトルネックの推定を行う場合には、各リンクの方向性を考慮した試験パケットと負荷パケットの作成が必要になる。このため、各試験パケットの通信経路には往復の経路(両方向の通信経路)を設定する。
端末装置2の計測実行部31は、ボトルネック推定を行う場合における負荷パケットを作成する処理の手順の一例として、上記した(手順3A−1)〜(手順3A−6)と同様な処理を行った後に、更に、(手順3B−1)を行う。
(手順3B−1)
ボトルネック推定を行う場合には、上記したグループ化の結果で得られた各グループ内において、ホップ数が最大である通信経路を有する試験パケットと同一の宛先のMACアドレスを、負荷パケットの宛先のMACアドレスに設定する。
端末装置2の計測実行部31は、グループ毎に試験パケットの集合(例えば、連続した複数の試験パケットや負荷パケットの塊)を送信して、計測を実行する。例えば、パケットトレインが計測対象のリンクを経由する度に先頭と末尾の試験パケットが返送されるような順番に複数の試験パケットを並び替え、負荷パケット(群)とともに送信する。
図6は、本発明の一実施形態に係るボトルネック推定を行う場合における試験パケットの送信を説明するための図である。
端末装置2は、試験パケット(図6の例では、IFと示してある)と負荷パケット511を含むパケットトレイン501を送信することで、これらのパケットを一緒に送信する。図6の例では、パケットトレイン501は、各スイッチ601〜604(ここでは、最も距離が大きいスイッチ604以外は、両方向)で折り返すように設定した複数(図6の例では、7個)の試験パケットと、負荷パケット511と、前記複数の試験パケットを逆の順としたものと、から構成されている。各試験パケットは、各スイッチ601〜604(ここでは、最も距離が大きいスイッチ604以外は、両方向)で折り返すように設定されている。この設定として、各試験パケットのTTL値をホップ数に設定する。図6の例では、パケットトレイン501において、先頭では、TTL値が小さい方から大きい方への順で試験パケットが並んでおり、末尾では、TTL値が大きい方から小さい方への順で試験パケットが並んでいる。
TTL値が1である先頭及び末尾の計2個の試験パケットに対してスイッチ601から応答パケット701、702が送信(返送)され、TTL値が2である先頭及び末尾の計2個の試験パケットに対してスイッチ602から応答パケット711、712が送信(返送)され、TTL値が3である先頭及び末尾の計2個の試験パケットに対してスイッチ603から応答パケット721、722が送信(返送)される。同様に、TTL値が4、5であるものがあり(図6では、図示を省略してある)、TTL値が6である先頭及び末尾の計2個の試験パケットに対してスイッチ602から応答パケット731、732が送信(返送)され、TTL値が7である先頭及び末尾の計2個の試験パケットに対してスイッチ601から応答パケット741、742が送信(返送)される。図6の例では、ICMPの応答パケット701〜702、711〜712、721〜722、731〜732、741〜742が用いられている。応答パケットが送信された試験パケットから順になくなっていく。
これらについて、端末装置2では、観測される応答パケットの間隔からボトルネックリンクを特定することができる。この場合、それぞれのスイッチ601〜604からの2個の応答パケットの組(応答パケット701〜702の組、応答パケット711〜712の組、応答パケット721〜722の組、以降も同様)について、可用帯域が小さいリンクではパケット間隔が広がることを利用する。
<リンクの通信品質の検出(推定)、ボトルネックの検出(推定)>
端末装置2の計測実行部31は、試験パケットを送信した結果として得られた応答パケットの受信状況に基づいて、リンクの通信品質の検出(例えば、推定的な値の検出)や、ボトルネックの検出(例えば、推定的な値の検出)を行う。
具体的には、端末装置2の計測実行部31は、各ノード(本実施形態では、スイッチ)で折り返し返送される試験パケット(応答パケット)の到着数や、往復の遅延時間(受信時刻と送信時刻との差分)に基づいて、ノード間のリンクにおけるパケットロス率やパケット遅延(例えば、その平均値などでもよい)、或いは、ボトルネック帯域を計算する。高精度な計測のために、複数回の試行を繰り返して統計的なデータ処理を行う場合には、例えば、非特許文献3又は非特許文献4に記載されるものなどと同様な手法を適用することができる。
ここで、本実施形態では、試験パケットの通信経路について往路と復路の両方を用意して計測に使用したが、例えば、ロス率や遅延について調べるときには往路のみを使用すれば十分であり、一方、可用帯域について調べるときには往路と復路の両方を使用することが必要となる。
以上のように、本実施形態に係るネットワークシステムでは、計測システム61のサーバ装置1において、SDN内の全てのリンクの通信品質を計測するための試験パケットの通信経路を計算するアルゴリズムを提供することができる。また、本実施形態に係るネットワークシステムでは、計測システム61のサーバ装置1において、SDNのコントローラ11に対して、宛先のMACアドレスやポート番号の設定を行い、試験パケット用の通信経路を実現することができる。このように、本実施形態に係るネットワークシステムでは、監視対象となるSDNに、全てのリンクに対応した試験パケット用の通信経路を設定することで、1個(1台)の端末装置(計測端末装置)2のみで、SDN内の全てのリンクについて、リンクの通信品質(パケットロス率やパケット遅延など)を計測(アクティブ計測)することや、ボトルネックリンク(可用帯域が小さいリンク)を計測(検出)することなどができる。
また、本実施形態に係るネットワークシステムでは、計測システム61の端末装置2において、予め、又は、試験パケットを用いた計測を実行する際などに、不要な試験パケット(例えば、冗長な試験パケット)を削除し、試験パケットがネットワークに与える負荷を低減することができる。具体的には、例えば、試験パケットの通信経路をグループ化して、冗長な試験パケットを削除することにより、より少数の試験パケットで計測を実行することが可能になる。
以上のように、本実施形態に係るネットワークシステムでは、ネットワークにおけるリンクに関する計測を効率化することができる。
ここで、本実施形態では、サーバ装置1の計測経路計算部21が、全てのリンクをカバーする試験パケットの通信経路を計算する構成を示したが、他の構成例として、このような計算を人が実行して、その計算の結果の情報をサーバ装置1などに設定する構成を用いることも可能である。
また、SDNとしては、例えば、OpenFlow以外のものが用いられてもよい。
<本実施形態に係る効果の具体例>
図7は、本発明の一実施形態に係るネットワーク62におけるリンク品質計測を行うアクティブ計測技術の例を示す図である。なお、図7の構成例は、図10の構成例に対応させたものであり、一例である。
1個の端末装置(計測端末装置)2により、ネットワーク62に設けられた複数のスイッチV〜Vについて、リンク品質計測を行う。この場合、サーバ装置1により全てのリンクに対応する試験パケットの通信経路が設定されるため、1個の端末装置2から全てのリンクについて計測することができる。
[以上の実施形態に係る構成例]
一構成例として、SDNにおける複数のノード(本実施形態では、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部(本実施形態では、計測経路計算部21)と、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理(本実施形態では、コントローラ11に対する設定の処理)を実行する経路設定部(本実施形態では、通信経路設定部22)と、を備える設定装置(本実施形態では、サーバ装置1)である。
一構成例として、設定装置において、前記経路設定部は、前記SDNのコントローラ(本実施形態では、コントローラ11)に前記経路の群を設定する。
一構成例として、SDNにおける複数のノード(本実施形態では、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路の群に関する情報を記憶する記憶部(本実施形態では、記憶部32)と、前記記憶部に記憶された前記情報に基づいて、試験パケットを送信して、計測を実行する計測実行部(本実施形態では、計測実行部31)と、を備える端末装置(本実施形態では、端末装置2)である。
一構成例として、端末装置において、前記計測実行部は、冗長な試験パケットを削除した後に、試験パケットを送信して、計測を実行する。
一構成例として、端末装置において、前記計測実行部は、前記リンクの通信品質に関する計測を実行する、又は、前記試験パケットとともに負荷パケットを送信して、前記リンクのボトルネックに関する計測を実行する。なお、これら両方の計測が実行されてもよく、また、他の計測が実行されてもよい。
一構成例として、経路群取得部(本実施形態では、計測経路計算部21)が、SDNにおける複数のノード(本実施形態では、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得するステップと、経路設定部(本実施形態では、通信経路設定部22)が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理(本実施形態では、コントローラ11に対する設定の処理)を実行するステップと、をコンピュータに実行させるためのプログラム(設定プログラム)である。
一構成例として、SDNにおける複数のノード(本実施形態では、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部(本実施形態では、計測経路計算部21)と、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理(本実施形態では、コントローラ11に対する設定の処理)を実行する経路設定部(本実施形態では、通信経路設定部22)と、前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する計測実行部(本実施形態では、計測実行部31)と、を備える計測システム(本実施形態では、計測システム61)である。なお、各処理部の機能は、システムにおいて、様々なところに備えられてもよく、例えば、1個の装置に一体化されてもよく、又は、複数の装置に分散されてもよい。また、1個の処理部の機能は、例えば、1個の装置に備えられてもよく、又は、複数の装置に分散されてもよい。
一構成例として、経路群取得部(本実施形態では、計測経路計算部21)が、SDNにおける複数のノード(本実施形態では、スイッチ12−1〜12−N)の全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得し、経路設定部(本実施形態では、通信経路設定部22)が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理(本実施形態では、コントローラ11に対する設定の処理)を実行し、計測実行部(本実施形態では、計測実行部31)が、前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する、計測方法(本実施形態では、計測システム61において行われる方法)である。
[以上の実施形態のまとめ]
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、以上に示した実施形態に係る各装置(例えば、サーバ装置1、端末装置2)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここで言う「コンピュータシステム」とは、オペレーティング・システム(OS:Operating System)や周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。
更に、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことを言う。
また、上記のプログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1…サーバ装置、2、1001、1101、1501−1〜1501−2…端末装置(計測端末装置)、11…コントローラ、12−1〜12−N、601〜604…スイッチ、13−1〜13−2、14−1〜14−2…ホスト、21…計測経路計算部、22…通信経路設定部、23、32…記憶部、31…計測実行部、61…計測システム、62、1511…ネットワーク、201〜202、211〜212、1021〜1023…試験パケット、301〜306…テーブル、501、1121…パケットトレイン、511、1131…負荷パケット、701〜702、711〜712、721〜722、731〜732、741〜742、1031〜1033、1141〜1142、1151〜1152、1161〜1162…応答パケット、1011〜1013、1111〜1113…ルータ

Claims (8)

  1. SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部と、
    前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行する経路設定部と、
    を備える設定装置。
  2. 前記経路設定部は、前記SDNのコントローラに前記経路の群を設定する、
    請求項1に記載の設定装置。
  3. SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路の群に関する情報を記憶する記憶部と、
    前記記憶部に記憶された前記情報に基づいて、試験パケットを送信して、計測を実行する計測実行部と、
    を備える端末装置。
  4. 前記計測実行部は、冗長な試験パケットを削除した後に、試験パケットを送信して、計測を実行する、
    請求項3に記載の端末装置。
  5. 前記計測実行部は、前記リンクの通信品質に関する計測を実行する、又は、前記試験パケットとともに負荷パケットを送信して、前記リンクのボトルネックに関する計測を実行する、
    請求項3又は請求項4に記載の端末装置。
  6. 経路群取得部が、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得するステップと、
    経路設定部が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行するステップと、
    をコンピュータに実行させるための設定プログラム。
  7. SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得する経路群取得部と、
    前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行する経路設定部と、
    前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する計測実行部と、
    を備える計測システム。
  8. 経路群取得部が、SDNにおける複数のノードの全てのリンクに対応する試験パケットの経路を計算して当該経路の群を取得し、
    経路設定部が、前記経路群取得部により取得された前記経路の群を前記複数のノードに設定するための処理を実行し、
    計測実行部が、前記経路群取得部により取得された前記経路の群に基づいて、試験パケットを送信して、計測を実行する、
    計測方法。
JP2013064413A 2013-03-26 2013-03-26 設定装置、端末装置、設定プログラム、計測システム及び計測方法 Pending JP2014192584A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013064413A JP2014192584A (ja) 2013-03-26 2013-03-26 設定装置、端末装置、設定プログラム、計測システム及び計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013064413A JP2014192584A (ja) 2013-03-26 2013-03-26 設定装置、端末装置、設定プログラム、計測システム及び計測方法

Publications (1)

Publication Number Publication Date
JP2014192584A true JP2014192584A (ja) 2014-10-06

Family

ID=51838514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013064413A Pending JP2014192584A (ja) 2013-03-26 2013-03-26 設定装置、端末装置、設定プログラム、計測システム及び計測方法

Country Status (1)

Country Link
JP (1) JP2014192584A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121056A (ja) * 2015-12-30 2017-07-06 華為技術有限公司Huawei Technologies Co.,Ltd. パケット紛失検出を実装するための方法、装置、およびシステム
JP2017121057A (ja) * 2015-12-30 2017-07-06 華為技術有限公司Huawei Technologies Co.,Ltd. 遅延測定を実装するための方法、装置、およびシステム
WO2018092748A1 (ja) * 2016-11-16 2018-05-24 日本電気株式会社 計測制御サーバ、通信品質計測システム、計測エージェント、方法および記憶媒体
JPWO2022176123A1 (ja) * 2021-02-18 2022-08-25
JPWO2024033959A1 (ja) * 2022-08-08 2024-02-15

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298655A (ja) * 2002-04-05 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> サイト領域内ボトルネック特定方法
JP2005198111A (ja) * 2004-01-08 2005-07-21 Nec Corp 通信システム、通信端末及び通信プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298655A (ja) * 2002-04-05 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> サイト領域内ボトルネック特定方法
JP2005198111A (ja) * 2004-01-08 2005-07-21 Nec Corp 通信システム、通信端末及び通信プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016022406; 波多野 洋一、他: 'OpenFlowネットワークを用いたネットワーク品質劣化箇所推定における品質計測の効率化' 電子情報通信学会技術研究報告 Vol.109 No.448, 20100225, P27-28, 社団法人電子情報通信学会 *
JPN6016047677; 的場 一峰 Kazumine Matoba: 'インターネットにおける計測に基づいたボトルネック特定手法 Measurement Based Classification of Networ' 電子情報通信学会技術研究報告 Vol.100 No.451 IEICE Technical Report 第100巻, 第65頁〜第70頁, 社団法人電子情報通信学会 The Institute of Electro *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121056A (ja) * 2015-12-30 2017-07-06 華為技術有限公司Huawei Technologies Co.,Ltd. パケット紛失検出を実装するための方法、装置、およびシステム
JP2017121057A (ja) * 2015-12-30 2017-07-06 華為技術有限公司Huawei Technologies Co.,Ltd. 遅延測定を実装するための方法、装置、およびシステム
US10819605B2 (en) 2015-12-30 2020-10-27 Huawei Technologies Co., Ltd. Method, apparatus, and system for implementing delay measurement
WO2018092748A1 (ja) * 2016-11-16 2018-05-24 日本電気株式会社 計測制御サーバ、通信品質計測システム、計測エージェント、方法および記憶媒体
JPWO2018092748A1 (ja) * 2016-11-16 2019-10-17 日本電気株式会社 計測制御サーバ、通信品質計測システム、計測エージェント、方法および記憶媒体
JPWO2022176123A1 (ja) * 2021-02-18 2022-08-25
WO2022176123A1 (ja) * 2021-02-18 2022-08-25 日本電信電話株式会社 遅延測定装置、遅延測定方法およびプログラム
JP7589793B2 (ja) 2021-02-18 2024-11-26 日本電信電話株式会社 遅延測定装置、遅延測定方法およびプログラム
JPWO2024033959A1 (ja) * 2022-08-08 2024-02-15
WO2024033959A1 (ja) * 2022-08-08 2024-02-15 日本電信電話株式会社 異常ノード特定装置、プログラムおよび異常ノード特定方法
JP7816532B2 (ja) 2022-08-08 2026-02-18 Ntt株式会社 異常ノード特定装置、プログラムおよび異常ノード特定方法

Similar Documents

Publication Publication Date Title
US8279753B2 (en) Efficient determination of fast routes when voluminous data is to be sent from a single node to many destination nodes via other intermediate nodes
CN107135159B (zh) 一种sdn网络中最优路径确定的方法和系统
Atary et al. Efficient round-trip time monitoring in OpenFlow networks
JP2020522211A5 (ja)
US20140043987A1 (en) Passive network latency monitoring
US20030076840A1 (en) Multi-path analysis for managing machine communications in a network
CN108476170B (zh) 双向约束路径搜索方法及装置
CN107135158A (zh) 一种多路径传输中最优路径选择方法
Yang et al. Stability metric based routing protocol for low-power and lossy networks
JP2014192584A (ja) 設定装置、端末装置、設定プログラム、計測システム及び計測方法
Saraswat et al. Optimum experimental results of AODV, DSDV & DSR routing protocol in grid environment
CN104270283B (zh) 一种基于高阶累积量的网络拓扑估计方法
US9077633B2 (en) Method and an apparatus for evaluating network performance
WO2011118574A1 (ja) 通信システム、制御装置、遅延測定方法およびプログラム
Yamunadevi et al. Efficient comparison of multipath routing protocols in WSN
Malik et al. Convergence time analysis of open shortest path first routing protocol in internet scale networks
Shibuya et al. Efficient performance diagnosis in openflow networks based on active measurements
Chaurasia et al. Performance evaluation of software-defined wireless networks in it-sdn and mininet-wifi
JP2010130032A (ja) オーバーレイネットワーク経路選択システムと方法およびプログラム
Naqvi et al. Enabling multipath routing for unicast traffic in Ethernet network
WO2005062549A1 (ja) ネットワークトポロジー生成方法及びノード
Akter et al. Analysis and comparative study for developing computer network in terms of routing protocols having IPv6 network using cisco packet tracer
Liu et al. PerfTrace: A New Multi-metric Network Performance Monitoring Tool
Taneja et al. Evaluation of normalized routing load for manet
Jin et al. Improving the efficiency of end-to-end network topology inference

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161220