JP4227708B2 - 分散システム - Google Patents
分散システム Download PDFInfo
- Publication number
- JP4227708B2 JP4227708B2 JP23430499A JP23430499A JP4227708B2 JP 4227708 B2 JP4227708 B2 JP 4227708B2 JP 23430499 A JP23430499 A JP 23430499A JP 23430499 A JP23430499 A JP 23430499A JP 4227708 B2 JP4227708 B2 JP 4227708B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- clock
- packet
- timing data
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0641—Change of the master or reference, e.g. take-over or failure of the master
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
- G06F1/14—Time supervision arrangements, e.g. real time clock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Small-Scale Networks (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Electric Clocks (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、分散システムの分野に関連する。特に、この発明は、分散システムにおける時間同期の構造に関連する。
【０００２】
【従来の技術】
分散制御システムは、一般に、１つまたは複数のネットワーク通信リンクを介して相互接続されるノードの集まりとして構成される。これらのネットワーク通信リンクは、イーサネット(Ethernet)のようなパッケージ化されたリンク、または分散制御システム・アプリケーションに適応する１つまたは複数の多様な他のパッケージ化されたリンクでありうる。
【０００３】
分散制御システムは、一般に、分散ノード内のタイミングの高精度な制御によって利益を得る。Eidson他の米国特許第5,566,180号の明細書は、分散ノード内のローカルクロックを同期することによって分散ノード内のタイミングの高精度な制御を提供する方法および装置を示している。Eidson他によって示される技法は、マスタークロック/スレーブクロック同期プロトコルを使用する。
【０００４】
【発明が解決しようとする課題】
起動時、および新しいノードが取り付けられ、取り除かれ、または一時的にディスエーブルされるとき、どれがマスターノードであり、どれがスレーブノードであるかを分散ノードが自動的に選択することを可能にする技法を提供することが望まれる。これは、分散システムを維持するために必要とされる管理上のオーバヘッドを低減する。さらに、そのようなマスターおよびスレーブノードの自動選択が分散システム内の通信に極めてわずかしか影響を及ぼさないことが望ましい。
【０００５】
【課題を解決するための手段】
クロック同期のために使用されるマスターおよびスレーブクロックの自動選択のための機構をもつ分散システムが開示される。分散システムは、それぞれがローカルクロックおよび該ローカルクロックに関係する１組の情報を有する第１ノードおよび第２ノードを含む１組のノードを含む。第１ノードは、通信リンクで、第１ノード内のローカルクロックに関係する情報を運ぶパケットを転送する。第２ノードは、通信リンクからパケットを受け取り、第２ノード内のローカルクロックが第１ノードのローカルクロックの時間値を同期させるマスタークロックであるか、または第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する。第２ノードは、この判断を、パケット内の情報を第２ノード内のローカルクロックに関係する情報と比較することによって行なう。
【０００６】
さらに、ノードの異なるサブネットを接続する境界ノード内のマスターおよびスレーブクロックの自動選択が開示される。加えて、クロック同期遅延を求めるための機構、および通信装置に関連するジッターを報告するための機構が開示される。
【０００７】
この技法は、多数の側面を有する構造のためわずかに異なる境界ノードについては多少の修正があるが、それぞれのノード内で実質的に同じコード・セットが実行されることを可能にする。さらにこれらの技法は、最小限のネットワーク・トラフィックを提供し、システム内の個々のノードの出現または消滅について容認し、補正する。
【０００８】
この発明の他の機能および利点は、後に続く詳細な説明から明らかになるであろう。
【０００９】
この発明を、特定の典型的な実施例に関して図面を参照して説明する。
【００１０】
【発明の実施の形態】
図1は、通信リンク12に結合される１組のノード20-24の間のクロック同期に使用するマスターおよびスレーブクロックの自動選択のための技法を具体化する分散システム10を示す。ノード20-24は、１組のローカルクロック30-34を含む。ローカルクロック30-34は、それぞれのノード20-24についてローカル時間を保持する。
【００１１】
それぞれのノード20-24は、ローカルクロック30-34を同期させるためのあらかじめ決められた同期プロトコルを支援する要素を含む。あらかじめ決められた同期プロトコルに従って、ノード20-24の１つは、分散システム10のマスタークロックとして機能し、ノード20-24の残りのものは、スレーブクロックとして機能する。マスタークロックであるノード20-24の１つは、タイミングデータ・パケットを周期的に生成し、それを通信リンク12を介して転送する。スレーブクロックであるノード20-24のそれぞれは、タイミングデータ・パケットを受け取り、それに応じてそのローカルクロック30-34からローカル時間値をラッチする。マスタークロックであるノード20-24は、それぞれのタイミングデータ・パケットについてフォローアップ・パケットを生成し、それを通信リンク12を通して転送する。それぞれのフォローアップ・パケットはタイムスタンプを含む。スレーブクロックであるそれぞれのノードは、フォローアップ・パケットを受け取り、ラッチされたローカル時間値とタイムスタンプを比較する。スレーブクロックであるそれぞれのノードは、タイムスタンプとラッチされたローカル時間値の間の差を使用して、そのローカルクロック30-34を調整する。
【００１２】
１つの実施例で、あらかじめ決められた同期プロトコルおよびノード20-24内で実現される関連する機構は、米国特許第5,566,180号の明細書に記述されるものである。例えば、それぞれのノード20-24は、タイミングデータ・パケットが認識されるときにローカル時間値をラッチするための回路を含むことができる。それぞれのスレーブクロックは、通信リンク12を通して転送されるタイミングデータ・パケットの送受信時間の計算に基づいて、それぞれのローカルクロック30-34を調整するための回路を含むことができる。記憶された時間値の調整は、十分な安定性をもつ発振器によって駆動されるカウンタとしてそれぞれのローカルクロック30-34を実現することによって達成することができる。カウンタの最下位の数ビットは、加算器として実現することができ、計算の結果に従って発振器期間のインクリメントを時折増加させ、または減少させて、ローカルクロックを効果的に速めたり、遅くすることができる。
【００１３】
ノード20-24は、分散システム10内のどんなタイプのノードでもよい。例えば、ノード20-24の任意の１つまたは複数は、分散制御システムの中のセンサ・ノード、アクチュエータ・ノード、アプリケーション・コントローラ・ノード、またはこれらの組み合わせでありうる。ノード20-24の任意の１つまたは複数は、クロック調整パラメータを計算するために使用されるプロセッサを有するパーソナル・コンピュータのようなコンピュータシステムでありうる。
【００１４】
通信リンク12は、１つまたは複数の多様な通信機構によって実現することができる。１つの実施例で、通信リンク12は、イーサネット・コミュニケーション・ネットワークである。別の実施例で、通信リンク12は、プロセス制御環境に特化したLonTalkフィールドレべル制御バスである。別の実施例で、通信リンク12は、時分割多重アクセス(TDMA)またはトークンリング・プロトコルによって実現することもできる。これらは、いくつかの例を挙げている。
【００１５】
ノード20-24は、どのノード20-24が分散システム10のマスタークロックとして機能するかを判断するための方法を実現する。これらの方法は、ノード20-24に含まれる１組のローカルクロック情報40-44を使用する。ローカルクロック情報40-44は、それぞれローカルクロック30-32に関係する情報を提供する。
【００１６】
それぞれのノード20-24は、最初に、それがマスタークロックであるとして、通信リンク12を介してタイミングデータ・パケットを転送し始める。それぞれのタイミングデータ・パケットは、発信ノード20-24からローカルクロック情報40-44を運ぶ。タイミングデータ・パケットに応答して、ノード20-24は、タイミングデータ・パケットに含まれるローカルクロック情報を、対応するローカルクロック情報40-44と比較して、「より良い」マスタークロックが伝送しているかどうか判断する。より良いマスタークロックがノードによって検出される場合、そのノードは、スレーブクロックの役目を負い、タイミングデータ・パケットの生成を止める。
【００１７】
例えば、起動時、ノード20は、それが分散システム10のマスタークロックであるとする。これは、分散システム10の初期化の間、またはノード20がインストールされたとき、または除去、通信の失敗もしくは途絶等の後に再起動するときでありうる。マスタークロックとして、ノード20は、タイミングデータ・パケット50のようなタイミングデータ・パケットを周期的に生成し、それを通信リンク12を介して転送する。タイミングデータ・パケット50は、ローカルクロック情報40から得られる１組のマスタークロック情報52を運ぶ。ノード22-24は、タイミングデータ・パケット50を受け取り、マスタークロック情報52をローカルクロック情報42-44とそれぞれ比較して、分散システム10のマスタークロックを選択する目的でノード20がより良いクロックをもつかどうか判断する。
【００１８】
ローカルクロック情報40は、ローカルクロック30が基準時間ソースによって駆動されているかどうかの指示を含むことができる。基準時間ソースは、全地球測位システム(GPS)受信器、WWVのような無線放送時間ソース、またはノード20に関連する原子時計でありうる。ローカルクロック情報40は、ローカルクロック30が機能するものであり、かつ仕様の範囲にあるものとしてあらわれるかどうかの指示を含むことができる。
【００１９】
ローカルクロック情報40は、ローカルクロック30がGPS受信器のような基準クロックに由来するかどうかの指示を含むことができる。例えば、ローカルクロック30は、基準時間ソースに同期された原子時計のような非常に正確なクロックでありうる。そうであれば、ローカルクロック30の精度は、基準クロックとの通信が途絶えた後でさえ、それが高い精度で基準クロックに由来する時間を維持することを可能にする。
【００２０】
ローカルクロック情報40は、精度の評価および/またはローカルクロック30に関連するジッターを含むことができる。ローカルクロック情報40は、ローカルクロック30に関連するユニークな識別子(unique identifier)を含むことができる。ローカルクロック情報40は、ローカルクロック30が複数のサブネットをリンクする境界ノード内の境界クロックであるかどうかの指示を含むことができる。
【００２１】
図2は、どのノード20-24が分散システム10のマスタークロックとして機能するかを判断するための方法の一実施例を示す。図示される方法ステップは、それぞれのノード20-24内で実現され、ノード24に関して説明する。
【００２２】
ステップ60で、ノード24は、通信リンク12上でタイミングデータ・パケット(timing data packet:TDP)の検出を待つ。ステップ62で、TDPが、あらかじめ決められたタイムアウト間隔内に検出されない場合、制御はステップ64へ進む。そうでなければ、制御はステップ72へ進む。
【００２３】
ステップ64で、ノード24は、まだマスタークロックの役目になければマスタークロックの役目を負い、通信リンク12上に規則的な間隔でTDPを発行し始める。ノード24によって発行されるそれぞれのTDPは、受信ノード20-22によってどれがより良いマスタークロックであるかを評価する際に使用されるマスタークロック情報としてローカルクロック情報44を運ぶ。ノード24はステップ60に戻り、より良いマスタークロックでありうるノード20-22の１つからのTDPを検出する。
【００２４】
ステップ72で、ノード24は、ステップ60で検出されたTDPが新しいマスタークロックから発信されたかどうかを判断する。新しいマスタークロックとは、あらかじめ決められた数よりも少ない数のTDPを以前に発行したマスタークロックであり、これらのTDPは、ノード24によって検出されたものである。ノード24は、TDPに含まれるUIDの記録を取り、記録されたUIDに関連するカウントを記録することによって、特定のマスタークロックからTDPが既に受け取られているか判断することができる。ステップ72で新しいマスタークロックである場合、ステップ60で検出されたTDPのUIDは、記録を取られ、そのUIDに関連するカウントがインクリメントされる。そのTDPは無視され、制御はステップ60に戻って他のTDPを検出する。それが新しいマスタークロックでない場合、制御はステップ66へ進む。
【００２５】
ステップ66で、ノード24は、ローカルクロック44またはステップ60で検出されたTDPを発信したノードのローカルクロックが最も良いマスタークロックであるかどうか判断する。以下で、ステップ60で検出されたTDPはタイミングデータ・パケット50であるとする。ステップ66で、ノード24は、優先順位付けされた規則セットを使用してマスタークロック情報52をローカルクロック情報44と比較することによって、最良のマスタークロックを判断する。
【００２６】
１つの実施例で、優先順位付けされた規則セットは、マスタークロック情報52またはローカルクロック情報44が基準時間ソースを示すかどうかの判断を伴う第１規則を含む。マスタークロック情報52が基準時間ソースを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が基準時間ソースを示し、マスタークロック情報52が示さない場合、ステップ66で、ローカルクロック34は、最良のマスタークロックである。マスタークロック情報52およびローカルクロック情報44が共に基準時間ソースを示す場合、ステップ66で、基準クロックのあらかじめ決められた階層に従って最良の基準時間ソースが選択される。例えば、GPS時間ソースは、WWV時間ソースなどより上位でありうる。第１規則が、どれが最も良いマスタークロックであるかを解明できない場合、ステップ66で第２規則が使用される。
【００２７】
実施例で、第２規則は、マスタークロック情報52またはローカルクロック情報44が由来する時間ソースを示すかどうかの判断を伴う。マスタークロック情報52が由来する時間ソースを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が由来する時間ソースを示し、マスタークロック情報52が示さない場合、ステップ66で、ローカルクロック34は、最良のマスタークロックである。第２規則が、どれが最良のマスタークロックであるか解明できない場合、ステップ66で第３規則が使用される。
【００２８】
実施例で、第３規則は、マスタークロック情報52またはローカルクロック情報44が境界クロックを示すかどうかの判断を伴う。マスタークロック情報52が境界クロックを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が境界クロックを示し、マスタークロック情報52が示さない場合、ローカルクロック34は、ステップ66で最良のマスタークロックである。第３規則が、どれが最良のマスタークロックであるか解明できない場合、第４規則がステップ66で使用される。
【００２９】
実施例で、第４規則は、マスタークロック情報52またはローカルクロック情報44がより良いクロック精度を示すかどうかの判断を伴う。マスタークロック情報52がローカルクロック情報44より良い精度を示す場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44がマスタークロック情報52より良い精度を示す場合、ローカルクロック34は、ステップ66で最良のマスタークロックである。第４規則が、どれが最良のマスタークロックであるか解明できない場合、第５規則がステップ66で使用される。
【００３０】
実施例で、第５規則は、タイ・ブレーカー(同点決勝)である。例えば、ステップ66で、マスタークロック情報52およびローカルクロック情報44の中に示される最も低いUIDをもつクロックを最良のマスタークロックとして選択することができる。
【００３１】
図3は、通信リンク90に結合される１組のノード80-84を有する１つのサブネット、および通信リンク12に結合されるノード20-24を含む別のサブネットを含む分散システム100を示す。分散システム100は、通信リンク90-12の間に結合される境界ノード92を含む。境界ノード92の第１の側面は、通信リンク12のサブネットに対応し、第２の側面は、通信リンク90のサブネットに対応する。境界ノードは、概して、n個のサブネットにリンクするためのn個の側面をもつ。
【００３２】
境界ノード92は、境界ノード92の第１または第２の側面で、または第１および第２の両方の側面で、マスタークロックの役目を負うことができる境界クロック94を含む。さらに、境界クロック94は、境界ノード92の第１または第２の側面でスレーブクロックの役目を負うこともできる。境界ノード内の境界クロックは、概して、多くともその側面のうちの１つでスレーブクロックの役目を負う。
【００３３】
境界ノード92は、方法ステップ60-72を実現し、その第１および第２の両方の側面で別々に最良のマスタークロックの選択に参画する。境界ノード92は、第１の側面でどれが最良のマスタークロックであるかを判断するとき、通信リンク12を介して、１組の境界クロック情報96を運ぶタイミングデータ・パケットを転送する。同様に、境界ノード92は、第２の側面でどれが最良のマスタークロックであるかを判断するとき、通信リンク90を介して、境界クロック情報96を運ぶタイミングデータ・パケットを転送する。
【００３４】
境界ノード92は、境界クロック94が(もしあれば)どちらの側面でスレーブクロックの役目を負うかに依存して、第１または第２の側面から境界クロック94を調整するための回路を含む。さらに、境界ノード92は、タイミングデータ・パケットおよびフォローアップ・パケットを使用して、境界クロック94がどちら側でマスタークロックの役目を負うかに依存して第１および/または第２の側面に時間値を分配するための回路を含む。
【００３５】
境界クロック94が、境界ノード92の側面のうち１つの側面でスレーブクロックの役目を負う場合、それは、残りのサブネット上の最良のマスターを判断するとき、そのスレーブ側の最良のクロックから残りのサブネットに対しマスタークロック情報を分配する。例えば、境界ノード92の第１の側面のサブネット上の最良のクロックは、ノード20内のローカルクロック30であるとする。この結果、境界クロック94は、ローカルクロック30に対してスレーブクロックの役目を負い、通信リンク12上のタイミングデータ・パケット50および対応するフォローアップ・パケットを使用して、分配される時間値に同期するようにその時間を調整する。そのような条件の下で、境界ノード92が、通信リンク90を通してタイミングデータ・パケットを転送するとき、それは、タイミングデータ・パケット内にノード20からのマスタークロック情報52を含む。その結果、境界クロック94は、境界クロック情報96ではなくローカルクロック30に関連するクロック情報に基づいて、境界ノード92の第２の側面でマスタークロックの役目を負うことができる。これは、境界クロック94が、他方のサブネット上のマスタークロックとしてその適性を評価するため、それに対しスレーブである一方のサブネット上の最良のマスタークロックの特性を受け継ぐことを可能にする。
【００３６】
図4は、１対のノード120-122間のタイミングデータ・パケットの転送に関連する遅延を求めるための構成を示す。遅延は、一対の通信リンク110-112の伝搬遅延および介在する通信装置114に関連する遅延を含む。１つの実施例で、通信装置114は、中継器(レピータ)であり、他の実施例では、ゲートウェイ、ルータ、スイッチング・ハブ、または同様の装置でありうる。図示される構成は、この遅延の補正、および対応する１対のローカルクロック124-126の間の時間同期の精度の改善を可能にする。
【００３７】
ノード120はマスタークロックであり、ノード122はスレーブクロックであり、この遅延は、ノード120-122間で対称であるとする。初めに、米国特許第5,566,180号の明細書に記述される通常の同期プロトコルを走らせて、ローカルクロック124-126間の同調(syntonization)を達成する。同調は、ローカルクロック124-126が、同じ時間を保持しないが実質的に同じ速さで走ることを意味する。従って、ノード120-122は、タイミングデータ・パケットが伝送され受信されるときにローカルクロック124-126からローカル時間値を取得する時間パケット認識部(リコグナイザ)を含む。ノード120-122はさらに、タイミングデータ・パケットおよびフォローアップ・パケットを生成するための手段と、フォローアップ・パケットで運ばれるタイムスタンプとローカルクロック124-126から取得される時間値との間の差を計算するための処理手段と、計算された差に応じてローカルクロック124-126を調整するための手段を含む。
【００３８】
ノード120は、タイミングデータ・パケット130を生成し、それを通信リンク110を通して転送する。そしてノード120は、タイムスタンプ134を運ぶフォローアップ・パケット132を生成する。タイムスタンプ134は、タイミングデータ・パケット130が生成されたときローカルクロック124からサンプリングされた時間値である。タイミングデータ・パケット130は、通信リンク112を介して受信されるとき、ノード122にローカルクロック126から時間値をサンプリングさせる。ノード122は、ローカルクロック126からサンプリングされた時間値とタイムスタンプ134との間の差を計算することによって、ノード120からノード122までの見掛けの遅延(D1)を求める。
【００３９】
その後、ノード122は、通信リンク112を通して遅延パケット136、それからフォローアップ・パケット138を転送する。フォローアップ・パケット138は、遅延パケット136が生成されたときにローカルクロック126からサンプリングされた時間値であるタイムスタンプ140を運ぶ。１つの実施例で、遅延パケット136は、特別な遅延フラグ・セットを有するタイミングデータ・パケットである。遅延フラグは、他のノードに対し、遅延パケット136がスレーブクロックによって無視されるべきであって、最良のマスタークロックを判断するために使用されるべきではないことを示す。
【００４０】
遅延パケット136は、通信リンク110を通して受信されるとき、ノード120にローカルクロック124から時間値をサンプリングさせる。ノード120は、遅延パケット136が受信されたときローカルクロック124からサンプリングされた時間値とタイムスタンプ140との間の差を計算することによって、ノード122からノード120までの見掛けの遅延(D2)を求める。
【００４１】
その後、ノード120は、通信リンク110を通して較正パケット142を転送する。較正パケット142は、見掛けの遅延D2に等しい遅延144を運ぶ。ノード122は、通信リンク112を通して較正パケット142を受信し、D1およびD2の平均を計算することによってノード120と122の間の遅延全体を求める。遅延全体は、ノード122がローカルクロック126を調整するときスレーブクロックとして使用され、ノード120と122の間の遅延を補正する。
【００４２】
１つの実施例で、ノード120-122は、前述した較正プロシージャを周期的に実施して、遅延の時間変化について補正する。すべてのスレーブクロックが同じ時間に較正して、過度のネットワークトラフィックを引き起こすことのないように、異なるスレーブクロック内の較正プロシージャは、ずらすことができる。スレーブクロックは、ノード・リセット後に第１の較正シーケンスを始めるように、乱数発生器を使用してずらすことができる。
【００４３】
図５は、通信装置１１４によって引き起こされるジッターの量を求め、報告するための機構を含む通信装置１１４の実施例を示す。図示される構成は、報告されるジッターの補正、およびローカルクロック１２４−１２６間の時間同期の精度の改善を可能にする。
【００４４】
通信装置１１４は、通信リンク１１０−１１２および通信リンク252のような追加の通信リンクにインタフェースする１組の物理的インタフェース（ＰＨＹ）回路２１０−２１４を含む。ＰＨＹ回路２１０−２１４は、通信リンク１１０−１１２および２５２を通して受信される伝送からデータおよびクロック信号を回復し、回復されたデータおよびクロック信号を１組のフレーム開始検出器２０２−２０６および中継器回路230へ提供する。
【００４５】
フレーム開始検出器202-206の１つは、通信リンク110-112および252の対応する１つで到来パケットの開始を検出し、対応するフリップフロップ220-224をセットする。フリップフロップ220-224のセットされた１つは、論理和ゲート234を通してカウンタ240を開始させる。残りのフレーム開始検出器202-206は、対応する通信リンク110-112および252上の出発パケットの開始を検出し、対応するフリップフロップ220-224をセットする。フリップフロップ220-224のすべてがセットされると、カウンタ240は、論理積ゲート232を使用して止められる。その後、カウンタ240は、通信装置114へのパケットのエントリ時間と、最後に中継されたパケットが通信装置ll4から送り出される時間との間の差を示すカウントを保有する。
【００４６】
例えば、フレーム開始検出器202は、通信リンク110を通して受信されるタイミングデータ・パケット130の開始を検出し、フリップフロップ220をセットし、カウンタ240を開始させる。中継器回路230は、PHY回路212および214を使用して、通信リンク112および252を介してタイミングデータ・パケット130を再び伝送する。フレーム開始検出器204-206は、通信リンク112および252上の出発タイミングデータ・パケット130の開始を検出し、フリップフロップ222-224をセットする。フリップフロップ222-224のうち出発タイミングデータ・パケット130によって最後にセットされるものが、カウンタ240を止める。 中継器114は、カウンタ240から得られるカウントの統計的測定を実施することができるマイクロプロセッサ242を含む。マイクロプロセッサ242は、中継器114によって扱われるノードとの通信能力をもつ。マイクロプロセッサ242は、ノードに向けられる伝送データを提供し、信号ライン250を通してノードから受信されるデータを取得する。マイクロプロセッサ242は、中継器114によって扱われるノードに対し、その統計的測定の結果を提供することができる。
【００４７】
前述のこの発明の詳細な説明は、説明の目的で与えられるものであり、この発明を開示された厳密な実施例に限定するものではない。
【００４８】
本発明は例として次の実施態様を含む。
【００４９】
（１）分散システムであって、
通信リンク(12)に結合される第１ノードを備え、該第１ノードは、ローカルクロックおよび該ローカルクロックに関係する１組の情報を有し、該第１ノードは、該情報(52)を運ぶパケット(50)を該通信リンク(12)で転送し、
上記通信リンク(12)に結合される第２ノードを備え、該第２ノードは、ローカルクロックおよび該第２ノードのローカルクロックに関係する１組の情報を有し、該第２ノードは、該通信リンク(12)でパケット(50)を受け取り、該パケット(50)内の情報(52)を該第２ノード内のローカルクロックに関係する情報と比較することによって、該第２ノードのローカルクロックが上記第１ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または該第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する、
分散システム。
【００５０】
（２）上記ローカルクロックに関係する情報は、該ローカルクロックが基準クロックに由来するかどうかの指示を含む、上記(1)に記載の分散システム。
【００５１】
（３）上記ローカルクロックに関係する情報は、該ローカルクロックが機能するものであり、かつ仕様の範囲にあるものとしてあらわれるかどうかの指示を含む、上記(1)に記載の分散システム。
【００５２】
（４）上記ローカルクロックに関係する情報は、該ローカルクロックが基準クロックに由来するかどうかの指示を含む、上記(1)に記載の分散システム。
【００５３】
（５）上記ローカルクロックに関係する情報は、該ローカルクロックに関連する精度の評価を含む、上記(1)に記載の分散システム。
【００５４】
（６）上記ローカルクロックに関係する情報は、該ローカルクロックに関連するユニークな名前を含む、上記(1)に記載の分散システム。
【００５５】
（７）上記ローカルクロックに関係する情報は、該ローカルクロックが、１組のサブネットをリンクする境界ノード内の境界クロックであるかどうかの指示を含む、上記(1)に記載の分散システム。
【００５６】
（８）上記第２ノードは、上記情報を評価するための優先順位付けされた規則セットを使用して、上記パケット(50)内の情報(52)を該第２ノード内のローカル情報と比較する、上記(1)に記載の分散システム。
【００５７】
（９）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記通信リンク(12)上で検出されない場合、上記第２ノードはマスタークロックである、上記(1)に記載の分散システム。
【００５８】
（１０）上記第２ノードは、初めに、上記第１ノード内のローカルクロックに関係する情報を運ぶパケットのあらかじめ決められた数を無視する、上記(1)に記載の分散システム。
【００５９】
（１１）さらに、第２通信リンク(90)に結合される第３ノードを備え、該第３ノードは、ローカルクロックおよび該第３ノードのローカルクロックに関係する１組の情報を有し、該第３ノードは、該情報を運ぶパケットを該第２通信リンク(90)で転送し、
上記通信リンク(12)および上記第２通信リンク(90)に結合される境界ノード(92)を備え、該境界ノード(92)は、境界クロック(94)および該境界クロック(94)に関係する１組の情報(96)を有し、該境界ノード(92)は、該通信リンク(12)上でパケットを受け取り、該パケット内の情報を該境界クロック(94)に関係する情報(96)と比較することによって、該境界クロック(94)が上記第１ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または該第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断し、該境界ノード(92)は、該第２通信リンク(90)上でパケットを受け取り、該第２通信リンク(90)を通して転送される該パケット内の情報を上記境界クロック(94)に関係する情報(96)と比較することによって、該境界クロック(94)が上記第３ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または上記第３ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する、
上記(1)に記載の分散システム。
【００６０】
（１２）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記通信リンク(12)上で検出されない場合、上記境界ノード(92)は、該通信リンク(12)上のマスタークロックである、上記(11)に記載の分散システム。
【００６１】
（１３）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記第１通信リンク(12)上で検出されない場合、上記境界ノード(92)は、上記第２通信リンク(90)上のマスタークロックである、上記(11)に記載の分散システム。
【００６２】
（１４）上記境界クロック(94)に関係する情報(96)は、上記通信リンク(12)上のマスタークロックから導かれる、上記(11)に記載の分散システム。
【００６３】
（１５）上記境界クロック(94)に関係する情報(96)は、上記第２通信リンク(90)上のマスタークロックから導かれる、上記(11)に記載の分散システム。
【００６４】
（１６）分散システムであって、第１通信リンク（１１０）と第２通信リンク（１１２）の間の通信を可能にする通信装置（１１４）と、上記第２通信リンク（１１２）を通して遅延パケット（１３６）およびフォローアップ・パケット（１３８）を転送するスレーブノードであって、該フォローアップ・パケット（１３８）は、該遅延パケット（１３６）が転送されたときのスレーブノード内のローカル時間を示すタイムスタンプ（１４０）を含む、スレーブノードと、上記通信装置（１１４）を通して、上記第１通信リンク（１１０）を通して、上記遅延パケット（１３６）および上記フォローアップ・パケット（１３８）を受け取り、該遅延パケット（１３６）が受け取られるときにマスターノード内のローカルクロックから時間値を取得し、上記タイムスタンプ（１４０）および該時間値を使用して上記スレーブノードから該マスターノードへの遅延パケット（１３６）の転送の際の見掛けの遅延（１４４）を求め、較正パケット（１４２）内の該見掛けの遅延（１４４）を該スレーブノードに転送するマスターノードであって、該スレーブノードは、該見掛けの遅延（１４４）を使用して該マスターノードと該スレーブノードとの間のタイミングデータ・パケット（１３０）の転送の際の遅延を求める、マスターノードと、を備える分散システム。
【００６５】
（１７）上記スレーブノードは、該スレーブノードから上記マスターノードへの遅延パケット(136)の転送の際の見掛けの遅延(144)、および該マスターノードから該スレーブノードへのタイミングデータ・パケットの転送の際の見掛けの遅延(144)の平均を計算することによって遅延を求める、上記(16)に記載の分散システム。
【００６６】
（１８）上記スレーブノードは、上記タイミングデータ・パケット(130)を受け取り、該タイミングデータ・パケット(130)が受け取られたとき該スレーブノード内のローカルクロックから第２時間値を取得し、該タイミングデータ・パケット(130)が転送されたときの該マスターノード内のローカル時間を示す第２タイムスタンプを含む該マスターノードからの該タイミングデータ・パケット(130)に対応したフォローアップ・パケット(138)を受け取り、該第２タイムスタンプおよび該第２時間値を使用して該マスターノードから該スレーブノードへの該タイミングデータ・パケット(130)の転送の際の見掛けの遅延(144)を計算することによって、該マスターノードから該スレーブノードへの該タイミングデータ・パケット(130)の転送の際の見掛けの遅延(144)を求める、上記(17)に記載の分散システム。
【００６７】
（１９）上記遅延パケット(136)は、該遅延パケット(136)を示すフラグをもつタイミングデータ・パケットであり、上記第１および上記第２通信リンク(110-112)に結合される１組の付加のノードは、該フラグをもつタイミングデータ・パケットをマスターおよびスレーブクロックの選択のために使用しないようにする、上記(16)に記載の分散システム。
【００６８】
（２０）上記通信装置（１１４）は、該通信装置（１１４）に関連するジッターによって引き起こされる上記マスターノード内のローカルクロックと上記スレーブノード内のローカルクロックとの間の同期誤差を求めるための手段を備える、上記（１６）に記載の分散システム。
【００６９】
（２１）上記通信装置（１１４）はさらに、上記第１および上記第２通信リンク（１１０−１１２）を通して、上記マスターノードおよび上記スレーブノードに対し上記同期誤差を伝えるための手段を含む、上記（２０）に記載の分散システム。
【００７０】
【発明の効果】
本発明によれば、分散制御システムにおいて、それぞれのノードは、クロック同期のためどれがマスタークロックであり、どれがスレーブクロックであるかを自動的に判断し、タイミングの高精度な制御を図ることができる。
【図面の簡単な説明】
【図１】クロック同期に関して使用されるマスターおよびスレーブクロックの自動選択のための技法を具体化する分散システムを示す図。
【図２】複数のノードのうちどれが分散システムのマスタークロックとして機能するかを判断するための方法の一実施例を示す図。
【図３】境界ノードに結合されるサブネットを含む分散システムを示す図。
【図４】一対のノード間のタイミングデータ・パケットの転送に関連する遅延を求めるための構成を示す図。
【図５】通信装置内に生じるジッターの量を求め、報告するための機構を含む通信装置を示す図。
【符号の説明】
１０ 分散制御システム
２０,２２,２４ ノード
３０,３２,３４ ローカルクロック
４０,４２,４６ ローカルクロック情報
５０ タイミングデータ・パケット
５２ マスタークロック情報
【発明の属する技術分野】
この発明は、分散システムの分野に関連する。特に、この発明は、分散システムにおける時間同期の構造に関連する。
【０００２】
【従来の技術】
分散制御システムは、一般に、１つまたは複数のネットワーク通信リンクを介して相互接続されるノードの集まりとして構成される。これらのネットワーク通信リンクは、イーサネット(Ethernet)のようなパッケージ化されたリンク、または分散制御システム・アプリケーションに適応する１つまたは複数の多様な他のパッケージ化されたリンクでありうる。
【０００３】
分散制御システムは、一般に、分散ノード内のタイミングの高精度な制御によって利益を得る。Eidson他の米国特許第5,566,180号の明細書は、分散ノード内のローカルクロックを同期することによって分散ノード内のタイミングの高精度な制御を提供する方法および装置を示している。Eidson他によって示される技法は、マスタークロック/スレーブクロック同期プロトコルを使用する。
【０００４】
【発明が解決しようとする課題】
起動時、および新しいノードが取り付けられ、取り除かれ、または一時的にディスエーブルされるとき、どれがマスターノードであり、どれがスレーブノードであるかを分散ノードが自動的に選択することを可能にする技法を提供することが望まれる。これは、分散システムを維持するために必要とされる管理上のオーバヘッドを低減する。さらに、そのようなマスターおよびスレーブノードの自動選択が分散システム内の通信に極めてわずかしか影響を及ぼさないことが望ましい。
【０００５】
【課題を解決するための手段】
クロック同期のために使用されるマスターおよびスレーブクロックの自動選択のための機構をもつ分散システムが開示される。分散システムは、それぞれがローカルクロックおよび該ローカルクロックに関係する１組の情報を有する第１ノードおよび第２ノードを含む１組のノードを含む。第１ノードは、通信リンクで、第１ノード内のローカルクロックに関係する情報を運ぶパケットを転送する。第２ノードは、通信リンクからパケットを受け取り、第２ノード内のローカルクロックが第１ノードのローカルクロックの時間値を同期させるマスタークロックであるか、または第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する。第２ノードは、この判断を、パケット内の情報を第２ノード内のローカルクロックに関係する情報と比較することによって行なう。
【０００６】
さらに、ノードの異なるサブネットを接続する境界ノード内のマスターおよびスレーブクロックの自動選択が開示される。加えて、クロック同期遅延を求めるための機構、および通信装置に関連するジッターを報告するための機構が開示される。
【０００７】
この技法は、多数の側面を有する構造のためわずかに異なる境界ノードについては多少の修正があるが、それぞれのノード内で実質的に同じコード・セットが実行されることを可能にする。さらにこれらの技法は、最小限のネットワーク・トラフィックを提供し、システム内の個々のノードの出現または消滅について容認し、補正する。
【０００８】
この発明の他の機能および利点は、後に続く詳細な説明から明らかになるであろう。
【０００９】
この発明を、特定の典型的な実施例に関して図面を参照して説明する。
【００１０】
【発明の実施の形態】
図1は、通信リンク12に結合される１組のノード20-24の間のクロック同期に使用するマスターおよびスレーブクロックの自動選択のための技法を具体化する分散システム10を示す。ノード20-24は、１組のローカルクロック30-34を含む。ローカルクロック30-34は、それぞれのノード20-24についてローカル時間を保持する。
【００１１】
それぞれのノード20-24は、ローカルクロック30-34を同期させるためのあらかじめ決められた同期プロトコルを支援する要素を含む。あらかじめ決められた同期プロトコルに従って、ノード20-24の１つは、分散システム10のマスタークロックとして機能し、ノード20-24の残りのものは、スレーブクロックとして機能する。マスタークロックであるノード20-24の１つは、タイミングデータ・パケットを周期的に生成し、それを通信リンク12を介して転送する。スレーブクロックであるノード20-24のそれぞれは、タイミングデータ・パケットを受け取り、それに応じてそのローカルクロック30-34からローカル時間値をラッチする。マスタークロックであるノード20-24は、それぞれのタイミングデータ・パケットについてフォローアップ・パケットを生成し、それを通信リンク12を通して転送する。それぞれのフォローアップ・パケットはタイムスタンプを含む。スレーブクロックであるそれぞれのノードは、フォローアップ・パケットを受け取り、ラッチされたローカル時間値とタイムスタンプを比較する。スレーブクロックであるそれぞれのノードは、タイムスタンプとラッチされたローカル時間値の間の差を使用して、そのローカルクロック30-34を調整する。
【００１２】
１つの実施例で、あらかじめ決められた同期プロトコルおよびノード20-24内で実現される関連する機構は、米国特許第5,566,180号の明細書に記述されるものである。例えば、それぞれのノード20-24は、タイミングデータ・パケットが認識されるときにローカル時間値をラッチするための回路を含むことができる。それぞれのスレーブクロックは、通信リンク12を通して転送されるタイミングデータ・パケットの送受信時間の計算に基づいて、それぞれのローカルクロック30-34を調整するための回路を含むことができる。記憶された時間値の調整は、十分な安定性をもつ発振器によって駆動されるカウンタとしてそれぞれのローカルクロック30-34を実現することによって達成することができる。カウンタの最下位の数ビットは、加算器として実現することができ、計算の結果に従って発振器期間のインクリメントを時折増加させ、または減少させて、ローカルクロックを効果的に速めたり、遅くすることができる。
【００１３】
ノード20-24は、分散システム10内のどんなタイプのノードでもよい。例えば、ノード20-24の任意の１つまたは複数は、分散制御システムの中のセンサ・ノード、アクチュエータ・ノード、アプリケーション・コントローラ・ノード、またはこれらの組み合わせでありうる。ノード20-24の任意の１つまたは複数は、クロック調整パラメータを計算するために使用されるプロセッサを有するパーソナル・コンピュータのようなコンピュータシステムでありうる。
【００１４】
通信リンク12は、１つまたは複数の多様な通信機構によって実現することができる。１つの実施例で、通信リンク12は、イーサネット・コミュニケーション・ネットワークである。別の実施例で、通信リンク12は、プロセス制御環境に特化したLonTalkフィールドレべル制御バスである。別の実施例で、通信リンク12は、時分割多重アクセス(TDMA)またはトークンリング・プロトコルによって実現することもできる。これらは、いくつかの例を挙げている。
【００１５】
ノード20-24は、どのノード20-24が分散システム10のマスタークロックとして機能するかを判断するための方法を実現する。これらの方法は、ノード20-24に含まれる１組のローカルクロック情報40-44を使用する。ローカルクロック情報40-44は、それぞれローカルクロック30-32に関係する情報を提供する。
【００１６】
それぞれのノード20-24は、最初に、それがマスタークロックであるとして、通信リンク12を介してタイミングデータ・パケットを転送し始める。それぞれのタイミングデータ・パケットは、発信ノード20-24からローカルクロック情報40-44を運ぶ。タイミングデータ・パケットに応答して、ノード20-24は、タイミングデータ・パケットに含まれるローカルクロック情報を、対応するローカルクロック情報40-44と比較して、「より良い」マスタークロックが伝送しているかどうか判断する。より良いマスタークロックがノードによって検出される場合、そのノードは、スレーブクロックの役目を負い、タイミングデータ・パケットの生成を止める。
【００１７】
例えば、起動時、ノード20は、それが分散システム10のマスタークロックであるとする。これは、分散システム10の初期化の間、またはノード20がインストールされたとき、または除去、通信の失敗もしくは途絶等の後に再起動するときでありうる。マスタークロックとして、ノード20は、タイミングデータ・パケット50のようなタイミングデータ・パケットを周期的に生成し、それを通信リンク12を介して転送する。タイミングデータ・パケット50は、ローカルクロック情報40から得られる１組のマスタークロック情報52を運ぶ。ノード22-24は、タイミングデータ・パケット50を受け取り、マスタークロック情報52をローカルクロック情報42-44とそれぞれ比較して、分散システム10のマスタークロックを選択する目的でノード20がより良いクロックをもつかどうか判断する。
【００１８】
ローカルクロック情報40は、ローカルクロック30が基準時間ソースによって駆動されているかどうかの指示を含むことができる。基準時間ソースは、全地球測位システム(GPS)受信器、WWVのような無線放送時間ソース、またはノード20に関連する原子時計でありうる。ローカルクロック情報40は、ローカルクロック30が機能するものであり、かつ仕様の範囲にあるものとしてあらわれるかどうかの指示を含むことができる。
【００１９】
ローカルクロック情報40は、ローカルクロック30がGPS受信器のような基準クロックに由来するかどうかの指示を含むことができる。例えば、ローカルクロック30は、基準時間ソースに同期された原子時計のような非常に正確なクロックでありうる。そうであれば、ローカルクロック30の精度は、基準クロックとの通信が途絶えた後でさえ、それが高い精度で基準クロックに由来する時間を維持することを可能にする。
【００２０】
ローカルクロック情報40は、精度の評価および/またはローカルクロック30に関連するジッターを含むことができる。ローカルクロック情報40は、ローカルクロック30に関連するユニークな識別子(unique identifier)を含むことができる。ローカルクロック情報40は、ローカルクロック30が複数のサブネットをリンクする境界ノード内の境界クロックであるかどうかの指示を含むことができる。
【００２１】
図2は、どのノード20-24が分散システム10のマスタークロックとして機能するかを判断するための方法の一実施例を示す。図示される方法ステップは、それぞれのノード20-24内で実現され、ノード24に関して説明する。
【００２２】
ステップ60で、ノード24は、通信リンク12上でタイミングデータ・パケット(timing data packet:TDP)の検出を待つ。ステップ62で、TDPが、あらかじめ決められたタイムアウト間隔内に検出されない場合、制御はステップ64へ進む。そうでなければ、制御はステップ72へ進む。
【００２３】
ステップ64で、ノード24は、まだマスタークロックの役目になければマスタークロックの役目を負い、通信リンク12上に規則的な間隔でTDPを発行し始める。ノード24によって発行されるそれぞれのTDPは、受信ノード20-22によってどれがより良いマスタークロックであるかを評価する際に使用されるマスタークロック情報としてローカルクロック情報44を運ぶ。ノード24はステップ60に戻り、より良いマスタークロックでありうるノード20-22の１つからのTDPを検出する。
【００２４】
ステップ72で、ノード24は、ステップ60で検出されたTDPが新しいマスタークロックから発信されたかどうかを判断する。新しいマスタークロックとは、あらかじめ決められた数よりも少ない数のTDPを以前に発行したマスタークロックであり、これらのTDPは、ノード24によって検出されたものである。ノード24は、TDPに含まれるUIDの記録を取り、記録されたUIDに関連するカウントを記録することによって、特定のマスタークロックからTDPが既に受け取られているか判断することができる。ステップ72で新しいマスタークロックである場合、ステップ60で検出されたTDPのUIDは、記録を取られ、そのUIDに関連するカウントがインクリメントされる。そのTDPは無視され、制御はステップ60に戻って他のTDPを検出する。それが新しいマスタークロックでない場合、制御はステップ66へ進む。
【００２５】
ステップ66で、ノード24は、ローカルクロック44またはステップ60で検出されたTDPを発信したノードのローカルクロックが最も良いマスタークロックであるかどうか判断する。以下で、ステップ60で検出されたTDPはタイミングデータ・パケット50であるとする。ステップ66で、ノード24は、優先順位付けされた規則セットを使用してマスタークロック情報52をローカルクロック情報44と比較することによって、最良のマスタークロックを判断する。
【００２６】
１つの実施例で、優先順位付けされた規則セットは、マスタークロック情報52またはローカルクロック情報44が基準時間ソースを示すかどうかの判断を伴う第１規則を含む。マスタークロック情報52が基準時間ソースを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が基準時間ソースを示し、マスタークロック情報52が示さない場合、ステップ66で、ローカルクロック34は、最良のマスタークロックである。マスタークロック情報52およびローカルクロック情報44が共に基準時間ソースを示す場合、ステップ66で、基準クロックのあらかじめ決められた階層に従って最良の基準時間ソースが選択される。例えば、GPS時間ソースは、WWV時間ソースなどより上位でありうる。第１規則が、どれが最も良いマスタークロックであるかを解明できない場合、ステップ66で第２規則が使用される。
【００２７】
実施例で、第２規則は、マスタークロック情報52またはローカルクロック情報44が由来する時間ソースを示すかどうかの判断を伴う。マスタークロック情報52が由来する時間ソースを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が由来する時間ソースを示し、マスタークロック情報52が示さない場合、ステップ66で、ローカルクロック34は、最良のマスタークロックである。第２規則が、どれが最良のマスタークロックであるか解明できない場合、ステップ66で第３規則が使用される。
【００２８】
実施例で、第３規則は、マスタークロック情報52またはローカルクロック情報44が境界クロックを示すかどうかの判断を伴う。マスタークロック情報52が境界クロックを示し、ローカルクロック情報44が示さない場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44が境界クロックを示し、マスタークロック情報52が示さない場合、ローカルクロック34は、ステップ66で最良のマスタークロックである。第３規則が、どれが最良のマスタークロックであるか解明できない場合、第４規則がステップ66で使用される。
【００２９】
実施例で、第４規則は、マスタークロック情報52またはローカルクロック情報44がより良いクロック精度を示すかどうかの判断を伴う。マスタークロック情報52がローカルクロック情報44より良い精度を示す場合、ローカルクロック34は、最良のマスタークロックでない。ローカルクロック情報44がマスタークロック情報52より良い精度を示す場合、ローカルクロック34は、ステップ66で最良のマスタークロックである。第４規則が、どれが最良のマスタークロックであるか解明できない場合、第５規則がステップ66で使用される。
【００３０】
実施例で、第５規則は、タイ・ブレーカー(同点決勝)である。例えば、ステップ66で、マスタークロック情報52およびローカルクロック情報44の中に示される最も低いUIDをもつクロックを最良のマスタークロックとして選択することができる。
【００３１】
図3は、通信リンク90に結合される１組のノード80-84を有する１つのサブネット、および通信リンク12に結合されるノード20-24を含む別のサブネットを含む分散システム100を示す。分散システム100は、通信リンク90-12の間に結合される境界ノード92を含む。境界ノード92の第１の側面は、通信リンク12のサブネットに対応し、第２の側面は、通信リンク90のサブネットに対応する。境界ノードは、概して、n個のサブネットにリンクするためのn個の側面をもつ。
【００３２】
境界ノード92は、境界ノード92の第１または第２の側面で、または第１および第２の両方の側面で、マスタークロックの役目を負うことができる境界クロック94を含む。さらに、境界クロック94は、境界ノード92の第１または第２の側面でスレーブクロックの役目を負うこともできる。境界ノード内の境界クロックは、概して、多くともその側面のうちの１つでスレーブクロックの役目を負う。
【００３３】
境界ノード92は、方法ステップ60-72を実現し、その第１および第２の両方の側面で別々に最良のマスタークロックの選択に参画する。境界ノード92は、第１の側面でどれが最良のマスタークロックであるかを判断するとき、通信リンク12を介して、１組の境界クロック情報96を運ぶタイミングデータ・パケットを転送する。同様に、境界ノード92は、第２の側面でどれが最良のマスタークロックであるかを判断するとき、通信リンク90を介して、境界クロック情報96を運ぶタイミングデータ・パケットを転送する。
【００３４】
境界ノード92は、境界クロック94が(もしあれば)どちらの側面でスレーブクロックの役目を負うかに依存して、第１または第２の側面から境界クロック94を調整するための回路を含む。さらに、境界ノード92は、タイミングデータ・パケットおよびフォローアップ・パケットを使用して、境界クロック94がどちら側でマスタークロックの役目を負うかに依存して第１および/または第２の側面に時間値を分配するための回路を含む。
【００３５】
境界クロック94が、境界ノード92の側面のうち１つの側面でスレーブクロックの役目を負う場合、それは、残りのサブネット上の最良のマスターを判断するとき、そのスレーブ側の最良のクロックから残りのサブネットに対しマスタークロック情報を分配する。例えば、境界ノード92の第１の側面のサブネット上の最良のクロックは、ノード20内のローカルクロック30であるとする。この結果、境界クロック94は、ローカルクロック30に対してスレーブクロックの役目を負い、通信リンク12上のタイミングデータ・パケット50および対応するフォローアップ・パケットを使用して、分配される時間値に同期するようにその時間を調整する。そのような条件の下で、境界ノード92が、通信リンク90を通してタイミングデータ・パケットを転送するとき、それは、タイミングデータ・パケット内にノード20からのマスタークロック情報52を含む。その結果、境界クロック94は、境界クロック情報96ではなくローカルクロック30に関連するクロック情報に基づいて、境界ノード92の第２の側面でマスタークロックの役目を負うことができる。これは、境界クロック94が、他方のサブネット上のマスタークロックとしてその適性を評価するため、それに対しスレーブである一方のサブネット上の最良のマスタークロックの特性を受け継ぐことを可能にする。
【００３６】
図4は、１対のノード120-122間のタイミングデータ・パケットの転送に関連する遅延を求めるための構成を示す。遅延は、一対の通信リンク110-112の伝搬遅延および介在する通信装置114に関連する遅延を含む。１つの実施例で、通信装置114は、中継器(レピータ)であり、他の実施例では、ゲートウェイ、ルータ、スイッチング・ハブ、または同様の装置でありうる。図示される構成は、この遅延の補正、および対応する１対のローカルクロック124-126の間の時間同期の精度の改善を可能にする。
【００３７】
ノード120はマスタークロックであり、ノード122はスレーブクロックであり、この遅延は、ノード120-122間で対称であるとする。初めに、米国特許第5,566,180号の明細書に記述される通常の同期プロトコルを走らせて、ローカルクロック124-126間の同調(syntonization)を達成する。同調は、ローカルクロック124-126が、同じ時間を保持しないが実質的に同じ速さで走ることを意味する。従って、ノード120-122は、タイミングデータ・パケットが伝送され受信されるときにローカルクロック124-126からローカル時間値を取得する時間パケット認識部(リコグナイザ)を含む。ノード120-122はさらに、タイミングデータ・パケットおよびフォローアップ・パケットを生成するための手段と、フォローアップ・パケットで運ばれるタイムスタンプとローカルクロック124-126から取得される時間値との間の差を計算するための処理手段と、計算された差に応じてローカルクロック124-126を調整するための手段を含む。
【００３８】
ノード120は、タイミングデータ・パケット130を生成し、それを通信リンク110を通して転送する。そしてノード120は、タイムスタンプ134を運ぶフォローアップ・パケット132を生成する。タイムスタンプ134は、タイミングデータ・パケット130が生成されたときローカルクロック124からサンプリングされた時間値である。タイミングデータ・パケット130は、通信リンク112を介して受信されるとき、ノード122にローカルクロック126から時間値をサンプリングさせる。ノード122は、ローカルクロック126からサンプリングされた時間値とタイムスタンプ134との間の差を計算することによって、ノード120からノード122までの見掛けの遅延(D1)を求める。
【００３９】
その後、ノード122は、通信リンク112を通して遅延パケット136、それからフォローアップ・パケット138を転送する。フォローアップ・パケット138は、遅延パケット136が生成されたときにローカルクロック126からサンプリングされた時間値であるタイムスタンプ140を運ぶ。１つの実施例で、遅延パケット136は、特別な遅延フラグ・セットを有するタイミングデータ・パケットである。遅延フラグは、他のノードに対し、遅延パケット136がスレーブクロックによって無視されるべきであって、最良のマスタークロックを判断するために使用されるべきではないことを示す。
【００４０】
遅延パケット136は、通信リンク110を通して受信されるとき、ノード120にローカルクロック124から時間値をサンプリングさせる。ノード120は、遅延パケット136が受信されたときローカルクロック124からサンプリングされた時間値とタイムスタンプ140との間の差を計算することによって、ノード122からノード120までの見掛けの遅延(D2)を求める。
【００４１】
その後、ノード120は、通信リンク110を通して較正パケット142を転送する。較正パケット142は、見掛けの遅延D2に等しい遅延144を運ぶ。ノード122は、通信リンク112を通して較正パケット142を受信し、D1およびD2の平均を計算することによってノード120と122の間の遅延全体を求める。遅延全体は、ノード122がローカルクロック126を調整するときスレーブクロックとして使用され、ノード120と122の間の遅延を補正する。
【００４２】
１つの実施例で、ノード120-122は、前述した較正プロシージャを周期的に実施して、遅延の時間変化について補正する。すべてのスレーブクロックが同じ時間に較正して、過度のネットワークトラフィックを引き起こすことのないように、異なるスレーブクロック内の較正プロシージャは、ずらすことができる。スレーブクロックは、ノード・リセット後に第１の較正シーケンスを始めるように、乱数発生器を使用してずらすことができる。
【００４３】
図５は、通信装置１１４によって引き起こされるジッターの量を求め、報告するための機構を含む通信装置１１４の実施例を示す。図示される構成は、報告されるジッターの補正、およびローカルクロック１２４−１２６間の時間同期の精度の改善を可能にする。
【００４４】
通信装置１１４は、通信リンク１１０−１１２および通信リンク252のような追加の通信リンクにインタフェースする１組の物理的インタフェース（ＰＨＹ）回路２１０−２１４を含む。ＰＨＹ回路２１０−２１４は、通信リンク１１０−１１２および２５２を通して受信される伝送からデータおよびクロック信号を回復し、回復されたデータおよびクロック信号を１組のフレーム開始検出器２０２−２０６および中継器回路230へ提供する。
【００４５】
フレーム開始検出器202-206の１つは、通信リンク110-112および252の対応する１つで到来パケットの開始を検出し、対応するフリップフロップ220-224をセットする。フリップフロップ220-224のセットされた１つは、論理和ゲート234を通してカウンタ240を開始させる。残りのフレーム開始検出器202-206は、対応する通信リンク110-112および252上の出発パケットの開始を検出し、対応するフリップフロップ220-224をセットする。フリップフロップ220-224のすべてがセットされると、カウンタ240は、論理積ゲート232を使用して止められる。その後、カウンタ240は、通信装置114へのパケットのエントリ時間と、最後に中継されたパケットが通信装置ll4から送り出される時間との間の差を示すカウントを保有する。
【００４６】
例えば、フレーム開始検出器202は、通信リンク110を通して受信されるタイミングデータ・パケット130の開始を検出し、フリップフロップ220をセットし、カウンタ240を開始させる。中継器回路230は、PHY回路212および214を使用して、通信リンク112および252を介してタイミングデータ・パケット130を再び伝送する。フレーム開始検出器204-206は、通信リンク112および252上の出発タイミングデータ・パケット130の開始を検出し、フリップフロップ222-224をセットする。フリップフロップ222-224のうち出発タイミングデータ・パケット130によって最後にセットされるものが、カウンタ240を止める。 中継器114は、カウンタ240から得られるカウントの統計的測定を実施することができるマイクロプロセッサ242を含む。マイクロプロセッサ242は、中継器114によって扱われるノードとの通信能力をもつ。マイクロプロセッサ242は、ノードに向けられる伝送データを提供し、信号ライン250を通してノードから受信されるデータを取得する。マイクロプロセッサ242は、中継器114によって扱われるノードに対し、その統計的測定の結果を提供することができる。
【００４７】
前述のこの発明の詳細な説明は、説明の目的で与えられるものであり、この発明を開示された厳密な実施例に限定するものではない。
【００４８】
本発明は例として次の実施態様を含む。
【００４９】
（１）分散システムであって、
通信リンク(12)に結合される第１ノードを備え、該第１ノードは、ローカルクロックおよび該ローカルクロックに関係する１組の情報を有し、該第１ノードは、該情報(52)を運ぶパケット(50)を該通信リンク(12)で転送し、
上記通信リンク(12)に結合される第２ノードを備え、該第２ノードは、ローカルクロックおよび該第２ノードのローカルクロックに関係する１組の情報を有し、該第２ノードは、該通信リンク(12)でパケット(50)を受け取り、該パケット(50)内の情報(52)を該第２ノード内のローカルクロックに関係する情報と比較することによって、該第２ノードのローカルクロックが上記第１ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または該第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する、
分散システム。
【００５０】
（２）上記ローカルクロックに関係する情報は、該ローカルクロックが基準クロックに由来するかどうかの指示を含む、上記(1)に記載の分散システム。
【００５１】
（３）上記ローカルクロックに関係する情報は、該ローカルクロックが機能するものであり、かつ仕様の範囲にあるものとしてあらわれるかどうかの指示を含む、上記(1)に記載の分散システム。
【００５２】
（４）上記ローカルクロックに関係する情報は、該ローカルクロックが基準クロックに由来するかどうかの指示を含む、上記(1)に記載の分散システム。
【００５３】
（５）上記ローカルクロックに関係する情報は、該ローカルクロックに関連する精度の評価を含む、上記(1)に記載の分散システム。
【００５４】
（６）上記ローカルクロックに関係する情報は、該ローカルクロックに関連するユニークな名前を含む、上記(1)に記載の分散システム。
【００５５】
（７）上記ローカルクロックに関係する情報は、該ローカルクロックが、１組のサブネットをリンクする境界ノード内の境界クロックであるかどうかの指示を含む、上記(1)に記載の分散システム。
【００５６】
（８）上記第２ノードは、上記情報を評価するための優先順位付けされた規則セットを使用して、上記パケット(50)内の情報(52)を該第２ノード内のローカル情報と比較する、上記(1)に記載の分散システム。
【００５７】
（９）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記通信リンク(12)上で検出されない場合、上記第２ノードはマスタークロックである、上記(1)に記載の分散システム。
【００５８】
（１０）上記第２ノードは、初めに、上記第１ノード内のローカルクロックに関係する情報を運ぶパケットのあらかじめ決められた数を無視する、上記(1)に記載の分散システム。
【００５９】
（１１）さらに、第２通信リンク(90)に結合される第３ノードを備え、該第３ノードは、ローカルクロックおよび該第３ノードのローカルクロックに関係する１組の情報を有し、該第３ノードは、該情報を運ぶパケットを該第２通信リンク(90)で転送し、
上記通信リンク(12)および上記第２通信リンク(90)に結合される境界ノード(92)を備え、該境界ノード(92)は、境界クロック(94)および該境界クロック(94)に関係する１組の情報(96)を有し、該境界ノード(92)は、該通信リンク(12)上でパケットを受け取り、該パケット内の情報を該境界クロック(94)に関係する情報(96)と比較することによって、該境界クロック(94)が上記第１ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または該第１ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断し、該境界ノード(92)は、該第２通信リンク(90)上でパケットを受け取り、該第２通信リンク(90)を通して転送される該パケット内の情報を上記境界クロック(94)に関係する情報(96)と比較することによって、該境界クロック(94)が上記第３ノードのローカルクロック内の時間値を同期するマスタークロックであるか、または上記第３ノード内のローカルクロックからの時間値に同期するスレーブクロックであるかを判断する、
上記(1)に記載の分散システム。
【００６０】
（１２）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記通信リンク(12)上で検出されない場合、上記境界ノード(92)は、該通信リンク(12)上のマスタークロックである、上記(11)に記載の分散システム。
【００６１】
（１３）上記パケットが、あらかじめ決められたタイムアウト間隔の間に上記第１通信リンク(12)上で検出されない場合、上記境界ノード(92)は、上記第２通信リンク(90)上のマスタークロックである、上記(11)に記載の分散システム。
【００６２】
（１４）上記境界クロック(94)に関係する情報(96)は、上記通信リンク(12)上のマスタークロックから導かれる、上記(11)に記載の分散システム。
【００６３】
（１５）上記境界クロック(94)に関係する情報(96)は、上記第２通信リンク(90)上のマスタークロックから導かれる、上記(11)に記載の分散システム。
【００６４】
（１６）分散システムであって、第１通信リンク（１１０）と第２通信リンク（１１２）の間の通信を可能にする通信装置（１１４）と、上記第２通信リンク（１１２）を通して遅延パケット（１３６）およびフォローアップ・パケット（１３８）を転送するスレーブノードであって、該フォローアップ・パケット（１３８）は、該遅延パケット（１３６）が転送されたときのスレーブノード内のローカル時間を示すタイムスタンプ（１４０）を含む、スレーブノードと、上記通信装置（１１４）を通して、上記第１通信リンク（１１０）を通して、上記遅延パケット（１３６）および上記フォローアップ・パケット（１３８）を受け取り、該遅延パケット（１３６）が受け取られるときにマスターノード内のローカルクロックから時間値を取得し、上記タイムスタンプ（１４０）および該時間値を使用して上記スレーブノードから該マスターノードへの遅延パケット（１３６）の転送の際の見掛けの遅延（１４４）を求め、較正パケット（１４２）内の該見掛けの遅延（１４４）を該スレーブノードに転送するマスターノードであって、該スレーブノードは、該見掛けの遅延（１４４）を使用して該マスターノードと該スレーブノードとの間のタイミングデータ・パケット（１３０）の転送の際の遅延を求める、マスターノードと、を備える分散システム。
【００６５】
（１７）上記スレーブノードは、該スレーブノードから上記マスターノードへの遅延パケット(136)の転送の際の見掛けの遅延(144)、および該マスターノードから該スレーブノードへのタイミングデータ・パケットの転送の際の見掛けの遅延(144)の平均を計算することによって遅延を求める、上記(16)に記載の分散システム。
【００６６】
（１８）上記スレーブノードは、上記タイミングデータ・パケット(130)を受け取り、該タイミングデータ・パケット(130)が受け取られたとき該スレーブノード内のローカルクロックから第２時間値を取得し、該タイミングデータ・パケット(130)が転送されたときの該マスターノード内のローカル時間を示す第２タイムスタンプを含む該マスターノードからの該タイミングデータ・パケット(130)に対応したフォローアップ・パケット(138)を受け取り、該第２タイムスタンプおよび該第２時間値を使用して該マスターノードから該スレーブノードへの該タイミングデータ・パケット(130)の転送の際の見掛けの遅延(144)を計算することによって、該マスターノードから該スレーブノードへの該タイミングデータ・パケット(130)の転送の際の見掛けの遅延(144)を求める、上記(17)に記載の分散システム。
【００６７】
（１９）上記遅延パケット(136)は、該遅延パケット(136)を示すフラグをもつタイミングデータ・パケットであり、上記第１および上記第２通信リンク(110-112)に結合される１組の付加のノードは、該フラグをもつタイミングデータ・パケットをマスターおよびスレーブクロックの選択のために使用しないようにする、上記(16)に記載の分散システム。
【００６８】
（２０）上記通信装置（１１４）は、該通信装置（１１４）に関連するジッターによって引き起こされる上記マスターノード内のローカルクロックと上記スレーブノード内のローカルクロックとの間の同期誤差を求めるための手段を備える、上記（１６）に記載の分散システム。
【００６９】
（２１）上記通信装置（１１４）はさらに、上記第１および上記第２通信リンク（１１０−１１２）を通して、上記マスターノードおよび上記スレーブノードに対し上記同期誤差を伝えるための手段を含む、上記（２０）に記載の分散システム。
【００７０】
【発明の効果】
本発明によれば、分散制御システムにおいて、それぞれのノードは、クロック同期のためどれがマスタークロックであり、どれがスレーブクロックであるかを自動的に判断し、タイミングの高精度な制御を図ることができる。
【図面の簡単な説明】
【図１】クロック同期に関して使用されるマスターおよびスレーブクロックの自動選択のための技法を具体化する分散システムを示す図。
【図２】複数のノードのうちどれが分散システムのマスタークロックとして機能するかを判断するための方法の一実施例を示す図。
【図３】境界ノードに結合されるサブネットを含む分散システムを示す図。
【図４】一対のノード間のタイミングデータ・パケットの転送に関連する遅延を求めるための構成を示す図。
【図５】通信装置内に生じるジッターの量を求め、報告するための機構を含む通信装置を示す図。
【符号の説明】
１０ 分散制御システム
２０,２２,２４ ノード
３０,３２,３４ ローカルクロック
４０,４２,４６ ローカルクロック情報
５０ タイミングデータ・パケット
５２ マスタークロック情報
Claims (6)
- 分散システムであって、
第１の通信リンクと第２の通信リンクとの間の通信を可能にする通信装置と、
前記第２の通信リンクを通して遅延パケットおよびフォローアップ・パケットを転送するスレーブノードであって、該フォローアップ・パケットは、該遅延パケットが転送されたときのスレーブノード内のローカル時間を示す第１のタイムスタンプを含む、スレーブノードと、
前記通信装置を通して、前記第１の通信リンクを通して、前記遅延パケットおよび前記フォローアップ・パケットを受け取り、該遅延パケットが受け取られるときにマスターノード内のローカルクロックから第１の時間値を取得し、前記第１のタイムスタンプおよび該第１の時間値を使用して前記スレーブノードから該マスターノードへの遅延パケットの転送の際の見掛けの遅延を求め、較正パケット内の該見掛けの遅延を該スレーブノードに転送するマスターノードであって、該スレーブノードは、該見掛けの遅延を使用して該マスターノードと該スレーブノードとの間のタイミングデータ・パケットの転送の際の遅延を求める、マスターノードと、
を備える分散システム。 - 前記スレーブノードが、
該スレーブノードから前記マスターノードへの遅延パケットの転送の際の見掛けの遅延、および該マスターノードから該スレーブノードへのタイミングデータ・パケットの転送の際の見掛けの遅延の平均を計算することによって遅延を求める、
ことを特徴とする請求項１に記載の分散システム。 - 前記スレーブノードが、
前記タイミングデータ・パケットを受け取り、該タイミングデータ・パケットが受け取られたとき該スレーブノード内のローカルクロックから第２の時間値を取得し、該タイミングデータ・パケットが転送されたときの該マスターノード内のローカル時間を示す第２のタイムスタンプを含む該マスターノードからの該タイミングデータ・パケットに対応したフォローアップ・パケットを受け取り、該第２のタイムスタンプおよび該第２の時間値を使用して該マスターノードから該スレーブノードへの該タイミングデータ・パケットの転送の際の見掛けの遅延を計算することによって、該マスターノードから該スレーブノードへの該タイミングデータ・パケットの転送の際の見掛けの遅延を求める、
ことを特徴とする請求項２に記載の分散システム。 - 前記遅延パケットが、
該遅延パケットを示すフラグをもつタイミングデータ・パケットであり、前記第１の通信リンクおよび前記第２の通信リンクに結合される１組の付加のノードは、該フラグをもつタイミングデータ・パケットをマスターおよびスレーブクロックの選択のために使用しないようにする、
ことを特徴とする請求項１に記載の分散システム。 - 前記通信装置が、
該通信装置に関連するジッターによって引き起こされる前記マスターノード内のローカルクロックと前記スレーブノード内のローカルクロックとの間の同期誤差を求めるための手段を備える、
ことを特徴とする請求項１に記載の分散システム。 - 前記通信装置が、
前記第１および前記第２の通信リンクを通して、前記マスターノードおよび前記スレー ブノードに対し前記同期誤差を伝えるための手段をさらに含む、
ことを特徴とする請求項５に記載の分散システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US162609 | 1998-09-29 | ||
| US09/162,609 US6665316B1 (en) | 1998-09-29 | 1998-09-29 | Organization of time synchronization in a distributed system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000115210A JP2000115210A (ja) | 2000-04-21 |
| JP2000115210A5 JP2000115210A5 (ja) | 2006-08-17 |
| JP4227708B2 true JP4227708B2 (ja) | 2009-02-18 |
Family
ID=22586381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23430499A Expired - Fee Related JP4227708B2 (ja) | 1998-09-29 | 1999-08-20 | 分散システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6665316B1 (ja) |
| EP (1) | EP0991216A3 (ja) |
| JP (1) | JP4227708B2 (ja) |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6278710B1 (en) * | 1998-09-10 | 2001-08-21 | Agilent Technologies, Inc. | Enhancements to time synchronization in distributed systems |
| US6337980B1 (en) * | 1999-03-18 | 2002-01-08 | Hughes Electronics Corporation | Multiple satellite mobile communications method and apparatus for hand-held terminals |
| US6801951B1 (en) * | 1999-10-08 | 2004-10-05 | Honeywell International Inc. | System and method for fault-tolerant clock synchronization using interactive convergence |
| US6891881B2 (en) * | 2000-04-07 | 2005-05-10 | Broadcom Corporation | Method of determining an end of a transmitted frame in a frame-based communications network |
| US7251256B1 (en) * | 2000-05-18 | 2007-07-31 | Luminous Networks, Inc. | Synchronization of asynchronous networks using media access control (MAC) layer synchronization symbols |
| US7046718B1 (en) * | 2000-09-25 | 2006-05-16 | The Directv Group, Inc. | Coherent phase synchronous code division multiple access communications from multiple transponder platforms |
| US6891813B2 (en) | 2000-12-12 | 2005-05-10 | The Directv Group, Inc. | Dynamic cell CDMA code assignment system and method |
| US6470032B2 (en) * | 2001-03-20 | 2002-10-22 | Alloptic, Inc. | System and method for synchronizing telecom-related clocks in ethernet-based passive optical access network |
| US7818457B1 (en) * | 2001-05-22 | 2010-10-19 | Rockwell Automation Technologies, Inc. | Apparatus for multi-chassis configurable time synchronization |
| US6975653B2 (en) * | 2001-06-12 | 2005-12-13 | Agilent Technologies, Inc. | Synchronizing clocks across sub-nets |
| EP1430627B1 (de) * | 2001-09-26 | 2005-02-09 | Siemens Aktiengesellschaft | Verfahren zur synchronisation von knoten eines kommunikationssystems |
| DE10147422A1 (de) | 2001-09-26 | 2003-04-24 | Siemens Ag | Kommunikationssystem und Verfahren zur Synchronisation eines Kommunikationszyklus |
| DE10148878B4 (de) * | 2001-10-04 | 2006-03-02 | Siemens Ag | System und Verfahren zum Übertragen digitaler Daten |
| DE50105630D1 (de) * | 2001-10-09 | 2005-04-21 | Siemens Ag | Verfahren zur Kommunikation über einen Bus zwischen einem Prozessdatenserver und mindestens einem Empfänger |
| GB2392996B (en) * | 2001-12-20 | 2004-04-28 | Dependable Real Time Systems L | Fault-tolerant clock synchronisation |
| US7251199B2 (en) * | 2001-12-24 | 2007-07-31 | Agilent Technologies, Inc. | Distributed system time synchronization including a timing signal path |
| US7099354B2 (en) * | 2002-01-24 | 2006-08-29 | Radioframe Networks, Inc. | Method and apparatus for frequency and timing distribution through a packet-based network |
| US6741952B2 (en) * | 2002-02-15 | 2004-05-25 | Agilent Technologies, Inc. | Instrument timing using synchronized clocks |
| US7114091B2 (en) * | 2002-03-18 | 2006-09-26 | National Instruments Corporation | Synchronization of distributed systems |
| JP2003316468A (ja) * | 2002-04-25 | 2003-11-07 | Nippon Sogo Seisaku Kk | デジタル機器用基準発振器を採用したデータ演算処理及び伝送記録再生方法 |
| NZ520650A (en) * | 2002-08-08 | 2005-08-26 | Tait Electronics Ltd | Improvements relating to radio communication systems |
| US7139346B2 (en) * | 2002-08-09 | 2006-11-21 | The Boeing Company | Mobile network time distribution |
| DE10241429B4 (de) * | 2002-09-06 | 2007-10-25 | Siemens Ag | Verfahren zur Synchronisation von Netzwerkknoten eines Teilnetzwerks |
| US7304981B2 (en) | 2002-09-09 | 2007-12-04 | Itt Manufacturing Enterprises Inc. | Apparatus and method of flywheel time-of-day (TOD) synchronization |
| WO2004034883A2 (en) * | 2002-10-15 | 2004-04-29 | Medtronic Inc. | Synchronization and calibration of clocks for a medical device and calibrated clock |
| US7555017B2 (en) * | 2002-12-17 | 2009-06-30 | Tls Corporation | Low latency digital audio over packet switched networks |
| US7379480B2 (en) * | 2003-01-16 | 2008-05-27 | Rockwell Automation Technologies, Inc. | Fast frequency adjustment method for synchronizing network clocks |
| US7804852B1 (en) * | 2003-01-24 | 2010-09-28 | Douglas Durham | Systems and methods for definition and use of a common time base in multi-protocol environments |
| US7844690B1 (en) | 2003-01-24 | 2010-11-30 | Douglas Durham | Systems and methods for creation and use of a virtual protocol analyzer |
| WO2004075445A1 (en) * | 2003-02-20 | 2004-09-02 | Zarlink Semiconductor Inc. | Method providing distribution means for reference clocks across packetized networks |
| US7397823B2 (en) * | 2003-06-04 | 2008-07-08 | Agilent Technologies, Inc. | Providing time synchronization across store-and-forward communication devices using protocol-enabled switches |
| AT413308B (de) * | 2003-09-10 | 2006-01-15 | Fts Computertechnik Gmbh | Verfahren und apparat zur kalibrierung des uhrengangs in einem verteilten echtzeitsystem |
| US7237152B2 (en) * | 2003-10-24 | 2007-06-26 | Honeywell International Inc. | Fail-operational global time reference in a redundant synchronous data bus system |
| JP2005352936A (ja) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | スレーブデバイス |
| US20060059269A1 (en) * | 2004-09-13 | 2006-03-16 | Chien Chen | Transparent recovery of switch device |
| US20060056424A1 (en) * | 2004-09-15 | 2006-03-16 | Yolin Lih | Packet transmission using output buffer |
| GB2477057B (en) * | 2005-04-27 | 2011-09-07 | Agere Systems Inc | Line-timing in packet-based networks |
| US7539200B2 (en) | 2005-04-27 | 2009-05-26 | Agere Systems Inc. | Line-timing in packet-based networks |
| US7457974B2 (en) * | 2005-09-08 | 2008-11-25 | International Business Machines Corporation | Dynamically changing PCI clocks |
| US8724615B1 (en) | 2005-10-11 | 2014-05-13 | Atmel Corporation | Method and apparatus for generation of a system master timebase of a computing device using indirect signalling of timing information |
| US8510596B1 (en) | 2006-02-09 | 2013-08-13 | Virsec Systems, Inc. | System and methods for run time detection and correction of memory corruption |
| JP4746442B2 (ja) | 2006-02-24 | 2011-08-10 | 株式会社東芝 | 端末装置 |
| GB2443867A (en) * | 2006-03-21 | 2008-05-21 | Zarlink Semiconductor Ltd | Timing source with packet size controller providing a distribution of packet sizes |
| KR100735230B1 (ko) | 2006-05-02 | 2007-07-03 | 삼성전자주식회사 | 분산 제어 시스템에서의 타임 동기화 방법 |
| CN101047490B (zh) * | 2006-05-11 | 2011-07-20 | 华为技术有限公司 | 一种通信系统时间故障的检测方法及其装置 |
| US20080031283A1 (en) * | 2006-08-07 | 2008-02-07 | Martin Curran-Gray | Time synchronization for network aware devices |
| US7738611B2 (en) * | 2006-08-07 | 2010-06-15 | Harris Stratex Networks, Inc. | Remote monitoring and calibration of system reference clock using network timing reference |
| US7710944B1 (en) * | 2006-09-15 | 2010-05-04 | Itt Manufacturing Enterprises, Inc. | Method and apparatus for time-of-day synchronization between network nodes |
| US7689854B2 (en) * | 2006-09-22 | 2010-03-30 | Agilent Technologies, Inc. | Method and apparatus for establishing IEEE 1588 clock synchronization across a network element comprising first and second cooperating smart interface converters wrapping the network element |
| JP2008160428A (ja) * | 2006-12-22 | 2008-07-10 | Toshiba Corp | 情報処理装置 |
| US20080170592A1 (en) * | 2007-01-11 | 2008-07-17 | International Business Machines Corporation | Almost peer-to-peer clock synchronization |
| US7814301B2 (en) * | 2007-04-11 | 2010-10-12 | Hewlett-Packard Development Company, L.P. | Clock architecture for multi-processor systems |
| US7948833B2 (en) * | 2007-07-25 | 2011-05-24 | Computime, Ltd. | Clock setup over a network |
| CN101399757B (zh) | 2007-09-25 | 2011-02-02 | 华为技术有限公司 | 跟踪时钟源的方法和装置 |
| US7864747B2 (en) * | 2008-03-28 | 2011-01-04 | Embarq Holdings Company, Llc | System and method for communicating timing to a remote node |
| US7721164B2 (en) * | 2008-05-30 | 2010-05-18 | International Business Machines Corporation | Method and apparatus for improved storage area network link integrity testing |
| US8774084B2 (en) * | 2008-08-22 | 2014-07-08 | Qualcomm Incorporated | Base station synchronization |
| US8279991B2 (en) | 2008-10-03 | 2012-10-02 | Motorola Solutions, Inc. | Method of efficiently synchronizing to a desired timeslot in a time division multiple access communication system |
| US8358968B2 (en) | 2008-10-03 | 2013-01-22 | Motorola Solutions, Inc. | Method for selecting a channel to be monitored by subscriber units that are idle in a communication system |
| US8184654B2 (en) | 2008-10-03 | 2012-05-22 | Motorola Solutions, Inc. | Method for ending a call session in a communication system |
| US8169856B2 (en) * | 2008-10-24 | 2012-05-01 | Oracle International Corporation | Time synchronization in cluster systems |
| US8064485B1 (en) * | 2008-11-14 | 2011-11-22 | Cisco Technology, Inc. | System and method for providing quality inter-domain network time transport |
| US8416763B1 (en) | 2008-11-14 | 2013-04-09 | Cisco Technology, Inc. | System and method for providing quality inter-domain network time transport |
| FR2939587B1 (fr) * | 2008-12-09 | 2011-04-08 | Alcatel Lucent | Horloge pour un noeud d'un reseau a commutation de paquets et procede de synchronisation associe. |
| US7738504B1 (en) * | 2008-12-22 | 2010-06-15 | The United States Of America As Represented By The Director National Security Agency | Method of establishing and updating master node in computer network |
| US8626980B2 (en) | 2009-05-20 | 2014-01-07 | Chronologic Pty. Ltd. | High density, low jitter, synchronous USB expansion |
| US8635041B2 (en) * | 2009-06-11 | 2014-01-21 | WesternGeo L.L.C. | Synchronizing a seismic data acquisition network |
| US8503409B2 (en) | 2010-04-15 | 2013-08-06 | Motorola Solutions, Inc. | Method for direct mode channel access |
| US8599826B2 (en) * | 2010-04-15 | 2013-12-03 | Motorola Solutions, Inc. | Method for synchronizing direct mode time division multiple access (TDMA) transmissions |
| US20110305165A1 (en) * | 2010-06-10 | 2011-12-15 | Peiqing Wang | Method and system for physical-layer handshaking for timing role transition |
| US9606219B2 (en) | 2010-08-02 | 2017-03-28 | Progeny Systems Corporation | Systems and methods for locating a target in a GPS-denied environment |
| US20120185444A1 (en) * | 2011-01-14 | 2012-07-19 | Sparkes Andrew | Clock Monitoring in a Data-Retention Storage System |
| US8462766B2 (en) | 2011-03-07 | 2013-06-11 | Motorola Solutions, Inc. | Methods and apparatus for diffusing channel timing among subscriber units in TDMA direct mode |
| EP2527935B1 (de) * | 2011-05-26 | 2014-12-03 | Siemens Aktiengesellschaft | Verfahren zum Betrieb eines Automatisierungssystems |
| JP2013085116A (ja) * | 2011-10-07 | 2013-05-09 | Canon Inc | 通信システム、通信システムの制御方法、およびプログラム |
| CN103226208B (zh) * | 2012-01-25 | 2018-02-02 | 英洛瓦(天津)物探装备有限责任公司 | 通过光纤的时钟同步 |
| JP2014191379A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 分散処理システムおよび端末処理装置 |
| US9510286B2 (en) | 2013-03-27 | 2016-11-29 | Qualcomm Incorporated | Systems and methods for synchronization within a neighborhood aware network |
| GB2512605B (en) * | 2013-04-03 | 2015-07-29 | Canon Kk | Method and apparatus for synchronisation of network nodes |
| AU2014318585B2 (en) | 2013-09-12 | 2018-01-04 | Virsec Systems, Inc. | Automated runtime detection of malware |
| JP5826877B2 (ja) * | 2014-03-14 | 2015-12-02 | 株式会社東芝 | クロック同期管理装置、クロック同期管理装置の制御方法及び制御プログラム |
| AU2015279923B9 (en) | 2014-06-24 | 2018-01-25 | Virsec Systems, Inc. | System and methods for automated detection of input and output validation and resource management vulnerability |
| AU2015279920B2 (en) | 2014-06-24 | 2018-03-29 | Virsec Systems, Inc. | Automated root cause analysis of single or N-TIERED applications |
| CN104317354B (zh) | 2014-11-03 | 2018-03-30 | 武汉数字派特科技有限公司 | 一种系统间全局时钟的确定方法和结构 |
| CN107204928B (zh) * | 2016-03-18 | 2021-06-08 | 华为技术有限公司 | 更新时钟同步拓扑的方法、确定时钟同步路径的方法及设备 |
| US11409870B2 (en) | 2016-06-16 | 2022-08-09 | Virsec Systems, Inc. | Systems and methods for remediating memory corruption in a computer application |
| US10285148B2 (en) * | 2017-04-28 | 2019-05-07 | Cisco Technology, Inc. | Synchronized wireless signal transmission by endpoints controlled by a central controller |
| JP6969150B2 (ja) * | 2017-05-11 | 2021-11-24 | 株式会社明電舎 | 時刻同期装置、時刻同期方法及び時刻同期プログラム |
| WO2018212978A1 (en) * | 2017-05-17 | 2018-11-22 | Kwourz Research Llc | Time-based encryption key derivation |
| WO2020105130A1 (ja) * | 2018-11-20 | 2020-05-28 | 三菱電機株式会社 | 通信システム、リスト参照局、リスト配信局、通信方法、および通信プログラム |
| WO2020236164A1 (en) | 2019-05-22 | 2020-11-26 | Vit Tall Llc | Multi-clock synchronization in power grids |
| US11360505B2 (en) | 2020-02-11 | 2022-06-14 | Simmonds Precision Products, Inc. | Distributed network time synchronization |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE452231B (sv) * | 1986-03-07 | 1987-11-16 | Philips Norden Ab | Forfarande for synkronisering av klockor ingaende i ett lokalt netverk av busstyp |
| US5001730A (en) * | 1989-03-31 | 1991-03-19 | International Business Machines Corporation | Clock synchronization algorithm for address independent networks |
| DE3943052A1 (de) * | 1989-12-28 | 1991-07-04 | Philips Patentverwaltung | Hierarchisches synchronisationsverfahren fuer vermittlungsstellen eines fernmeldenetzes |
| US5577075A (en) * | 1991-09-26 | 1996-11-19 | Ipc Information Systems, Inc. | Distributed clocking system |
| US5519726A (en) * | 1994-05-31 | 1996-05-21 | Allen-Bradley Company, Inc. | Industrial controller with coordinated timing |
| US5566180A (en) * | 1994-12-21 | 1996-10-15 | Hewlett-Packard Company | Method for recognizing events and synchronizing clocks |
| US6052726A (en) * | 1997-06-30 | 2000-04-18 | Mci Communications Corp. | Delay calculation for a frame relay network |
| US6212171B1 (en) * | 1998-06-22 | 2001-04-03 | Intel Corporation | Method and apparatus for gap count determination |
-
1998
- 1998-09-29 US US09/162,609 patent/US6665316B1/en not_active Expired - Lifetime
-
1999
- 1999-06-10 EP EP99111373A patent/EP0991216A3/en not_active Withdrawn
- 1999-08-20 JP JP23430499A patent/JP4227708B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0991216A3 (en) | 2004-05-06 |
| JP2000115210A (ja) | 2000-04-21 |
| EP0991216A2 (en) | 2000-04-05 |
| US6665316B1 (en) | 2003-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4227708B2 (ja) | 分散システム | |
| EP0986202B1 (en) | Enhancements to time synchronization in distributed systems | |
| US8559412B1 (en) | Communication time information in a network to enable synchronization | |
| US7916758B2 (en) | Method and system for precise-clock synchronization, and device for precise-clock frequency/time synchronization | |
| CN102577194B (zh) | 使分布式网络内时钟同步的系统和方法 | |
| US9973292B2 (en) | Methods and systems for estimating offset and skew using linear programming | |
| CN1839573B (zh) | 分组交换网络中的远程同步 | |
| Kerö et al. | Performance and reliability aspects of clock synchronization techniques for industrial automation | |
| CN101772872B (zh) | 估计静态时钟之间的时间偏差 | |
| US20110090925A1 (en) | Method for synchronization in networks | |
| US20020131370A1 (en) | Clock offset estimation with bias correction | |
| US7139525B2 (en) | Time synchronization system, satellite system applied to the time synchronization system, ground system applied in the time synchronization system, time synchronization method and a computer-readable recording medium with a program | |
| TW200407045A (en) | Base station synchronization for wireless communication | |
| JP2002185489A (ja) | 同期方法及び同期装置 | |
| KR20160044550A (ko) | 통신 네트워크 내 노드들 사이의 경로 지연 비대칭의 변화에 의하여 영향을 받는 타이밍 레퍼런스들의 감지를 위한 방법 | |
| CN112904705A (zh) | 一种低轨小卫星之间的分级时钟同步方法 | |
| EP4665017A1 (en) | Clock synchronization method and device | |
| KR20090071923A (ko) | 동기식 이더넷에서 단일 타임 싱크 프레임을 이용한 통신단말 및 브리지 장치의 시간 동기화 방법 및 그 장치 | |
| Iwanicki et al. | Gossip-based clock synchronization for large decentralized systems | |
| US6647026B1 (en) | Frame phase synchronous system and a method thereof | |
| CN102664696A (zh) | 面向无线传输环境的ieee1588协议优化系统及其方法 | |
| CN114258126B (zh) | 数据处理方法及其装置 | |
| EP3420655B1 (en) | Methods and systems for estimating frequency synchronization accuracy | |
| EP3420666B1 (en) | Methods and systems for estimating skew | |
| KR100304776B1 (ko) | 동기 시스템, 동기 방법 및 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060627 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060627 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070511 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081010 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |