KR20030005332A - 비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화프로토콜 - Google Patents

비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화프로토콜 Download PDF

Info

Publication number
KR20030005332A
KR20030005332A KR1020027014976A KR20027014976A KR20030005332A KR 20030005332 A KR20030005332 A KR 20030005332A KR 1020027014976 A KR1020027014976 A KR 1020027014976A KR 20027014976 A KR20027014976 A KR 20027014976A KR 20030005332 A KR20030005332 A KR 20030005332A
Authority
KR
South Korea
Prior art keywords
time base
node
value
base register
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020027014976A
Other languages
English (en)
Other versions
KR100483262B1 (ko
Inventor
라우손프리맨레이3세
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20030005332A publication Critical patent/KR20030005332A/ko
Application granted granted Critical
Publication of KR100483262B1 publication Critical patent/KR100483262B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/167—Interprocessor communication using a common memory, e.g. mailbox
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/10—Distribution of clock signals, e.g. skew
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/266—Stopping or restarting the source, e.g. X-on or X-off

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Multi Processors (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Communication Control (AREA)

Abstract

본 발명에는 NUMA 데이터 처리 시스템 등의 멀티 노드 데이터 처리 시스템 안에 중앙 스위치에 접속된 한 세트의 노드들을 동기시키는 시스템 및 방법이 개시되어 있다. 초기에, 타임 베이스 레지스터 값들은 상기 노드 세트의 각 노드로부터 검색된다. 그 다음에, 공통 타임 베이스 레지스터 값은 그 각각의 노드들로부터 수신된 상기 타임 베이스 레지스터 값들을 토대로 결정된다. 그 결정된 공통 타임 베이스 레지스터 값은 그 각각의 노드로 브로드케스트된다. 상기 타임 베이스 레지스터 값들을 판독하기 전에, 상기 노드 세트의 각 노드 사이의 패킷 트래픽은 중지 패킷 트래픽을 각각의 노드로 브로드케스트함으로써 중지될 수 있다. 이러한 실시예에 있어서, 정상 패킷 트래픽은 트래픽 재개 패킷을 각각의 노드로 브로드케스트함으로써 동기화 후에 재개될 수 있다.

Description

비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화 프로토콜 {SWITCHED-BASED TIME SYNCHRONIZATION PROTOCOL FOR A NUMA SYSTEM}
확장형 공유 메모리 멀티프로세서들은 흔히 캐시 코히런시(coherency)를 유지하는 상호 접속 수단을 이용하여 시스템마다 있는 비교적 적은 수의 프로세서들과 대칭형 공유 메모리 멀티프로세서 시스템들을 상호 접속하여 구축된다. 공유 멀티프로세서(SMP : shared multiprocessor) 시스템들의 상호 접속은 기타, 이전의 종종 대용량인 제품을 충분히 이용하여 보다 대규모의 시스템을 만들 수 있다. 이러한 결과로 만들어진 시스템이 캐시 코히런시 비균등 메모리 액세스 멀티프로세서 (ccNUMA : cache coherent non-uniform memory access multiprocessor)이다. 또한, IBM사에서 생산하는 PowerPC아키텍쳐 등의 일부의 아키텍쳐들에서는, 프로세서의 자체 주파수의 어떤 분주비(divisor)로 증분하는 시간 레지스터를 프로세서마다 제공한다. PowerPC시스템에 있어서, 이 레지스터는 타임 베이스 레지스터로 불려진다. PowerPC아키텍쳐에서는 멀티프로세서 시스템 상의 타임 베이스의 프로그램 인식값들이 단조 증가해야 한다. 즉, 프로그램이 타임 베이스를 제1 시간으로 판독한 후에, 제2 시간으로 판독하는 경우에, 그 제2 시간값은 제1 시간값보다 크거나 같아야 한다. 이러한 제한 요소는 복수의 프로세서 상의 타임 베이스 레지스터의 값이 서로 매우 근사한 값이 되어, 하나의 프로그램이 우선 하나의 프로세서 상에서 실행된 다음에, 다른 프로세서에서 실행되는 경우에, 그 프로그램은 제1 시간값보다 크거나 같은 제2 타임 베이스 값을 판독해야 한다는 것을 암시한다. 하나의 프로세서로부터 다른 프로세서로 프로그램을 이동시키는데 걸리는 시간이 대략 100 내지 1000 프로세서 사이클 정도이고, 또 이 타임 베이스 분주비가 10 싸이클 정도이기 때문에, 이러한 요건이 그다지 엄격한 것은 아니다. 그럼에도 불구하고, 멀티 노드 NUMA 시스템에서는 이 시스템 내의 모든 프로세서의 시간 레지스터를 강제로 동기시킨다. 통상적으로 NUMA 시스템 상에는 공통 오실레이터가 없기 때문에, 이 시스템 상의 다양한 노드들의 타임 베이스 레지스터들은 시간이 지나면서 서로 간격이 벌어질지도 모른다. 따라서, 타임 베이스 레지스터는 서로 주기적으로 재 동기되어야 한다. 바람직하게는, 이 타임 베이스 레지스터의 동기화를 구현하는 방법이 네트워크 로드 또는 특정 하드웨어의 관점에서 볼때 저렴한 것이 좋다. 일부의 하드웨어 상호 접속 메커니즘이 이러한 목적에 이용될 수 있는 공통 오실레이터를 갖고, 기타 아키텍쳐들이 특정 패킷 포멧의 페이로드(payload)에 시간값을 가지며, 이러한 시간값이 네트워크를 통하여 전송되어 감에 따라 그 경과 시간(age)을 변경시키는 특정 패킷 포멧을 갖을지라도, 모든 구현에 이 하드웨어를 이용할 수 있는 것은 아니다. 이 하드웨어가 없으면, 바람직하게는 타임 베이스 동기화 메커니즘을 제공하여 시스템 아키텍쳐가 요구하는 동기화 레벨을 유지하는 것이 좋다.
본 발명은 일반적으로 멀티프로세서 컴퓨팅 시스템의 분야에 관한 것으로써, 특히 멀티프로세서 시스템의 다양한 노드 상의 타임 베이스 레지스터(time base register)를 동기시키는 것에 관한 것이다.
도 1은 비균등 메모리 아키텍쳐 데이터 처리 시스템의 블록도.
도 2는 도 1의 NUMA 시스템의 노드로서 이용하는데 적합한 대칭형 멀티프로세싱 시스템의 블록도.
도 3은 도 1의 스위치와 노드 동기화 프로세서 사이의 접속을 도시하는 블록도.
도 4는 도 1의 스위치의 일 실시예의 블록도.
도 5는 멀티 노드 데이터 처리 시스템의 타임 레지스터들을 동기시키는 방법의 흐름도.
따라서, 본 발명의 제1 특징에 따른 비균등 메모리 아키텍쳐(NUMA) 데이터 처리 시스템 내의 한 세트의 노드를 동기화시키는 방법은, 그 노드 세트의 각각의 노드로부터 타임 베이스 레지스터 값을 판독하고, 그 노드 세트의 각각의 노드로부터 수신된 타임 베이스 레지스터 값을 토대로 공통 타임 베이스 레지스터 값을 결정하며, 이 공통 타임 베이스 레지스터 값을 그 노드 세트의 각각의 노드로 브로드케스트하는 단계들을 포함한다.
본 발명의 제1 특징의 방법은, 타임 베이스 레지스터 값들을 판독하기 전에, 이 노드 세트의 노드들 사이의 패킷 트래픽을 중지시키는 단계를 추가로 포함하는 것이 바람직하다.
바람직하게는 패킷 트래픽을 중지시키는 단계는 그 노드 세트의 각각의 노드로 트래픽 중지 패킷을 브로드케스트하는 단계를 포함하는 것이다.
또한, 본 발명의 제1 특징의 방법은, 공통 타임 베이스 레지스터 값을 브로드케스트한 후에, 그 노드 세트의 노드들 사이에서 패킷 트래픽을 재개하는 단계를 더 포함하는 것이 바람직하다.
바람직하게는, 패킷 트래픽을 재개하는 단계는 그 노드 세트의 각각의 노드로 트래픽 재개 패킷을 브로드케스트하는 단계를 포함한다.
바람직하게는, 타임 베이스 레지스터 값들을 판독하는 단계는 타임 베이스 판독 패킷의 수신에 응답하여 노드 제어기로부터 노드의 제1 프로세서로 인터럽트를 발생하는 단계를 포함한다.
바람직하게는, 공통 타임 베이스 레지스터 값을 결정하는 단계는 그 노드 세트의 각각의 노드로부터 판독된 타임 베이스 레지스터 값의 최대값을 선택하는 단계를 포함한다.
바람직하게는, 공통 타임 베이스 레지스터 값을 결정하는 단계는 최대의 타임 베이스 레지스터 값을 조정 인자 만큼 조정하는 단계를 추가로 포함한다.
더욱 바람직하게는, 그 조정 인자는 패킷 트래픽이 중지되는 경우에 타임 베이스 레지스터 값을 설정하는데 필요한 시간 및타임 베이스 레지스터 값을 판독하는데 필요한 시간의 함수이다.
바람직하게는, 본 발명의 제1 특징의 방법은 동기화 프로세스를 주기적으로 반복하여 그 노드 세트의 노드들 사이에 동기 상태를 유지하는 단계를 추가로 포함한다.
바람직하게는, 이 동기화는 감쇄기(decrementer) 레지스터 값 내의 값이 제로에 도달할 때마다 개시된다.
바람직하게는, 타임 베이스 레지스터 값들을 판독하는 단계는 그 노드 세트의 각각의 노드로 타임 베이스 판독(RTB : read time base) 패킷 타입을 발생하는 단계를 포함한다.
바람직하게는, 공통 타임 베이스 레지스터 값을 브로드케스트하는 단계는 그 노드 세트의 각각의 노드로 타임 베이스 기록(WTB : write time base) 패킷 타입을 발생하는 단계를 포함한다.
본 발명의 비균등 메모리 아키텍쳐 시스템은, 타임 베이스 레지스터와 이 타임 베이스 레지스터 값들을 판독 및 기록하는데 적합한 어댑터를 갖춘 적어도 하나의 프로세서로 각각 구성된 한 세트의 노드들과, 그 각각의 노드 어댑터의 각각에 접속되고, 그 노드 세트의 각 노드로부터 수신되는 타임 베이스 레지스터 값들을 토대로 노드 세트의 각 노드들의 타임 베이스 레지스터들을 동기시키도록 구성된 중앙 스위치를 포함한다.
바람직하게는, 그 중앙 스위치는 각각의 타임 베이스 레지스터들로부터 값들을 검색하고, 그 검색된 값들을 토대로 공통 타임 베이스 값을 결정하며, 각각의 노드에 공통 타임 베이스 값을 브로드케스트함으로써, 타임 베이스 레지스터들을 동기화시키도록 구성된다.
바람직하게는, 각각의 노드 제어기는 적어도 하나의 프로세서로 인터럽트를 발생하는 구성이 되며, 이 프로세서는 프로세서의 타임 베이스 레지스터의 값을 어댑터로 반환하여 인터럽트에 응답하는 구성이 된다.
바람직하게는, 중앙 스위치는 그 노드 세트의 각 노드에 해당하는 한 세트의 포트들을 포함하고, 또한 그 포트 세트의 각 포트는 그 대응하는 노드의 타임 베이스 레지스터로부터 검색된 값을 저장하는데 적합한 포트 레지스터를 포함한다.
바람직하게는, 각 포트 레지스터의 폭은 그 대응하는 노드의 타임 베이스 레지스터의 폭과 일치한다.
바람직하게는, 중앙 스위치는 감쇄 레지스터를 추가로 포함하고, 그 감쇄 레지스터의 값이 제로일 때, 타임 베이스 레지스터의 동기를 개시한다.
바람직하게는, 동기화 프로세스가 개시되는 주파수는 조정가능한 감쇄 레지스터의 초기값을 조정하여 제어됨으로써 조정가능하다.
바람직하게는, 중앙 스위치의 동작주파수는 적어도 하나의 노드들의 동작주파수와 다르고, 또한 중앙 스위치는 동작주파수의 변동을 보상하기 위한 체배기/분주기 회로를 포함한다.
본 발명의 제3 특징에 따른 비균등 메모리 아키텍쳐 데이터 처리 시스템의 중앙 스위치는, 데이터 처리 시스템의 노드에 각각 해당하는 한 세트의 포트로서, 각 포트가 데이터 처리 시스템의 노드에 접속하는데 적합하고, 또 이 노드의 타임 베이스 레지스터로부터 검색된 값을 저장하는데 적합한 포트 레지스터를 포함하는 것인 한 세트의 포트와, 그 각각의 포트에 접속되어 포트 레지스터에 대한 판독 및 기록을 행할 수 있는 프로세서와, 각 노드들로부터 타임 베이스 레지스터 값들을 검색하고, 그 검색된 타임 베이스 값들을 토대로 공통 타임 베이스 값을 결정하며, 그 각각의 노드로 공통 타임 베이스 값을 브로드케스트하는 프로세서 실행가능한 명령들로 구성되는 스토리지 장치를 포함한다.
본 발명 제3 특징에 따른 중앙 스위치는 바람직하게는 프로세서에 접속된 스위치 레지스터를 더 포함하고, 그 프로세서는 결정된 공통 타임 베이스 값을 스위치 레지스터에 기억시킨다.
본 발명의 제3 특징에 따른 중앙 스위치는 바람직하게는 프로세서에 접속된 감쇄 레지스터를 추가로 포함하고, 그 감쇄 레지스터의 값이 제로에 도달할 때, 타임 베이스 레지스터들의 동기화를 개시한다.
전술한 관련 기술의 문제점은 대부분 멀티 노드 데이터 처리 시스템, 예컨대 NUMA 데이터 처리 시스템의 중앙 스위치에 접속된 한 세트의 노드들을 동기시키는시스템 및 방법에 의해 해소된다. 처음에, 타임 베이스 레지스터 값들은 그 노드 세트의 각 노드로부터 검색된다. 그 다음에, 공통 타임 베이스 레지스터 값은 그 노드들로부터 수신된 타임 베이스 레지스터 값들을 토대로 결정된다. 그 후에, 그 결정된 공통 타임 베이스 레지스터 값은 각각의 노드로 브로드케스트된다. 이 타임 베이스 레지스터 값들을 판독하기 전에, 노드 세트의 노드 사이의 패킷 트래픽은 트래픽 중지 패킷을 각각의 노드들로 브로드케스트함으로써 중지된다. 이러한 실시예에 있어서, 정상 패킷 트래픽은 트래픽 재개 패킷을 각각의 노드로 브로드케스트함으로써 동기 후에 재개될 수 있다.이 타임 베이스 레지스터 값들은 중앙 스위치에서 타임 베이스 판독 패킷을 수신하는 어댑터에 응답하여 노드 어댑터로부터 노드 프로세서 중 하나로 특정 목적용 인터럽트를 발생함으로써 판독될 수 있다. 공통 타임 베이스 레지스터 값은 그 노드 세트의 각 노드로부터 판독된 타임 베이스 레지스터 값들 중 최대값을 선택하고, 중앙 스위치로부터 노드 프로세서로 패킷이 이동하는데 필요한 시간 + 노드 프로세서로부터 중앙 스위치로 패킷이 이동하는데 필요한 시간 등의 조정 인자에 의해 최대 타임 베이스 레지스터 값을 조정함으로써 결정된다. 동기화 프로세스는 중앙 스위치의 감쇄 레지스터가 제로에 도달할 때마다 동기화를 개시 함으로써 주기적으로 반복될 수 있다.
NUMA 시스템 상에 다양한 노드들을 동기시키는 메커니즘 및 방법을 구현하는이점은 시스템의 제조 비용 및 복잡성이 그다지 증가하지 않는다는 것이다.
이하, 본 발명의 바람직한 실시예들이 첨부한 도면을 참조로 설명될 것이다.
이하, 도면을 참조하면, 도 1은 본 발명의 일 실시예에 따른 NUMA 데이터 처리 시스템(100)의 고급 블록도이다. 시스템(100)은 한 세트의 노드(102a, 102b, 102c, 102d)(이 명세서에서는 일반적으로 또는 통합적으로 노드 102로 칭함)를 포함한다. 노드 (102)는 중앙 스위치(104)에 의해 상호 접속된다. 각 노드(102)는 타임 베이스 레지스터를 갖춘 PowerPC프로세서 등의 적어도 하나의 프로세서에 의해 구성된다. 일 실시예에 있어서, 각 노드(102)는 대칭형 멀티프로세서(SMP : symmetric multiprocessor) 데이터 처리 시스템으로서 구현된다. 바람직한 실시예에 있어서, 중앙 스위치(104)는 명령을 받아서, 그 스위치로 향하는 패킷에 응답하여 개시할 수 있는 능동 장치로서 구성된다. 따라서, 패킷들은 노드(102) 중에 하나로 어드레스되기 보다는 중앙 스위치로 직접 어드레스될 수 있다. 도시된 실시예에서는 시스템(100)의 노드의 갯수가 4개인 것으로 설명하더라도, 대안의 실시예에서 시스템 (100)의 노드 갯수는 4개보다 적거나 많을 수 있다.
이하, 도 2를 참조하면, 본 발명의 일 실시예의 NUMA 시스템(100) 내에서 노드로서 이용하는데 적합한 노드(102)의 블록도가 도시한다. 도 2에 도시된 실시예에 있어서, 노드(102)는 한 세트의 프로세서(202a 내지 202n)(일반적으로 또는 통합적으로 프로세서 202로 칭함)를 포함하는 SMP 시스템이다. 프로세서(202)는 시스템 버스(204)를 통하여 시스템 메모리(207)에 접속된다. 버스 브리지(206)는 I/O 어댑터(210)가 접속되는 주변 버스(208)에 시스템 버스(204)를 접속한다. 주변 버스(208)는 다양한 산업 표준 주변 버스, 예컨대 ISA, PCI, EISA, AGP 및 기타 적합한 주변 버스 중에 하나를 포함할 수 있다. 또한, 노드(102)는 이러한 복수의 주변 버스들을 포함할 수 있다. 노드(102)는 또한 시스템 버스(204)에 접속되고 중앙 스위치(104)에 접속하기에 적합한 NUMA 제어기(212)를 포함한다. 제어기(212)는 노드 대 노드 통신 및 노드 대 스위치 통신에 제공한다.
이하, 도 3을 참조하면, 시스템(100의 노드와 스위치(104) 사이의 상호 접속에 관한 추가적인 세부 사항이 도시된다. 이 실시예에서, 노드(102a)의 각 프로세서(202)는 타임 베이스 레지스터(304)를 포함한다. 일 실시예에 있어서, 제1 프로세서 (202a)는 각 노드(102)용 노드 동기화 프로세서(NSP : node synchronization processor)로서 지정된다. NSP(202a)의 타임 베이스 레지스터(304)는 NUMA 제어기 (212)에 액세스하여, 포트(310a)를 통해 스위치(104)와 통신할 수 있게 구성된다.[스위치(104)는 바람직하게는 후술한 각 노드(102)에 해당하는 포트(310)를 포함한다]. 일 실시예에 있어서, PowerPC프로세서로 노드(102a)를 구현하는 실시예와 같이, 타임 베이스 레지스터(304)는 임의적으로 어떤 값이 설정될 수 있다. (이 실시예는 타임 베이스 레지스터의 내용을 수정하기 위하여 레지스터의 내용이 강제로 제로가 되도록 하는 인텔 IA-32 프로세서로 프로세서(202)를 구현함으로써 대조된다). 단순한 요건에 따르면, 타임 베이스 레지스터(304)의 값은 바람직하게는 항상 이전에 설정된 값보다 큰 값으로 설정된다.
이하, 도 4에는 본 발명의 일 실시예에 따른 중앙 스위치(104)의 추가적인 세부 사항이 도시된다. 도시된 실시예에 있어서, 중앙 스위치(104)는 ROM 또는 기타 적합한 비휘발성 메모리 장치 등의 저장 장치(403)에 접속되어, 이하의 도 5에 상세히 설명된 노드 동기화 프로세스를 개시하고 실행하는데 적합한 프로세서 실행 가능한 명령들을 포함하는 프로세서(401)를 포함한다. 중앙 스위치(104)는 통상적으로 프로세서(401)에 스크래치 메모리(scratch memory)를 제공하는 랜덤 액세스 메모리(상세한 도시 생략)를 추가로 포함한다. 중앙 스위치(104)의 실시예는 프로세서(401)에 모두 접속된 타임 베이스 레지스터(306) 및 감쇄 레지스터(402)를 추가로 포함한다.
중앙 스위치(104)는 한 세트의 포트(310a, 310b, 310c, 310d)(본 명세서에는 일반적으로 또는 통합적으로 포트 310으로 칭함)를 추가로 포함한다. 각 포트(310)는 시스템(100)의 노드(102)에 대응하여 접속하는데 적합하다. 각 포트(310)는 중앙 스위치(104)에 타임 베이스 레지스터 값을 국부적으로 저장하는 설비를 제공함으로써 노드(102)의 동기화를 용이하게 하는 포트 레지스터(404)를 포함할 수 있다. 이러한 실시예에 있어서, 프로세서(401)는 각 포트(310)에 접속되어 포트 레지스터(404)에 대한 값들의 판독 및 기록을 행할 수 있다.
일 실시예에 있어서, 각 포트(310)의 포트 레지스터(404)는 그 해당하는 노드(102)의 타임 베이스 레지스터(304)와 동일한 비트수를 갖는다. 또한, 도 4에 도시된 스위치(104)는 지역 네트워크 또는 시리얼 라인(serial line)에 접속되는 추가적인 포트(312)를 포함한다. 일 실시예에 있어서, 이 추가적인 포트(312)는 스위치(104)를 관리하는 방법을 제공한다.
바람직한 실시예에 있어서, 스토리지 장치(403)에 기억된 프로세서 실행가능한 명령들은 스위치(104)를 동작시켜, 노드(102)로부터 타임 베이스 레지스터 값을 검색하고, 그 검색된 타임 베이스 값들을 토대로 공통 타임 베이스 값을 결정하며, 이 타임 베이스 값을 각 노드(102)로 다시 전송함으로써 노드(102)들의 타임 베이스 레지스터들을 동기시킨다. 도 4에 도시된 바와 같이, 스위치(104)는 동기화 프로세스의 주파수를 제어하는데 바람직하게 이용되는 감쇄기 레지스터(402)를 추가로 포함한다. 일 실시예에 있어서, 예컨대, 감쇄기(402)는 레지스터(402)의 값이 제로에 도달하는 경우에 동기화 프로세스를 개시하는 인터럽트를 발생한다.
바람직한 실시예에 있어서, 스위치 타임 베이스 레지스터(306)가 갱신되는 주파수는 조정 가능하다. 스위치 타임 베이스 레지스터(306)의 주파수 조정은 스위치(104)가 각 NSPs(202a)의 주파수와 일치할 수 있도록 파워를 인가하는 동안에 시퀀스 상에서 체배기 또는 분주기를 설정함으로써 일정해질 수 있다. 그러나, 스위치 타임 베이스 레지스터(306)의 주파수가 조정 불가능한 경우, 본 발명의 일 실시예의 동기화 매커니즘은 각 노드(102)로 보내지는 타임 값을 적합하게 곱하거나 나눔으로써 조정가능한 주파수의 부재를 보상할 수 있다. 또한, 스위치(104)에 곱셈력 및 분주력이 있으면, 스위치(104)는 다른 주파수에서 다양한 NSPs(202a)가 동작하는 NUMA 시스템(100)을 제공할 수 있다. NSPs(202a) 및 스위치(104)의 다양한 주파수가 서로 2개의 관련있는 간단한 파워를 가지면, 곱셈 기능 및 분주 기능은 간단한 시프트 동작으로 구현될 수 있다.
바람직한 실시예에 있어서, 스위치(104)는 다양한 노드(102)의 모든 NUMA 제어기 (212)로 패킷들을 브로드케스트하고, 패킷들을 특정 어댑터로 보낼 수 있다. 본 발명의 실시예는 동기화 방법 프로토콜에 의해 이용되는 적어도 4개의 특정 패킷 타입을 구현하는 것이다. 이 4개의 패킷 타입들에는 유지 트래픽 패킷 타입(hold traffic packet type), 트래픽 재개 패킷 타입, 타임 베이스 판독(RTB) 패킷 타입, 타임 베이스 기록(WTB) 패킷 타입이 있다. 이 유지 트래픽 패킷 타입은 각 NUMA 제어기 (212)로 브로드케스트된다. 이 유지 트래픽 패킷 타입이 NUMA 제어기(212)에 의해 수신되는 경우에, 제어기가 모든 아웃바운드(outbound) 패킷등을 유지함으로써 다양한 노드( 102)사이의 접속간에 정상 트래픽을 떨어뜨리기 때문에, 결정적인 타임 지연 (deterministic time delay)을 갖는 동기화 패킷을 전송할 수 있다. 트래픽 재개 패킷 타입은 그 이름이 암시하는 바와 같이, 각 NUMA 제어기(212)로 브로드케스트되고, 제어기에 지시하여 정상 동작을 재개한다. 트래픽 재개 패킷 타입은 동기화 프로세스의 결정시 정상 동작을 재개하는데 이용된다.이 RTB 및 WTB 패킷 타입들은 다양한 NSPs(202a)의 타임 베이스 레지스터를 검색 및 설정하는데 이용된다. RTB 패킷 타입은 패킷들이 어드레스되는 노드(120)의 NSP(202a)의 타임 베이스 레지스터(304)를 판독하여, 이 타임 베이스 값을 그 대응하는 포트 레지스터(404)에서 검색된 값을 저장하는 스위치(104)로 반환한다. 그 WTB 패킷 타입은 적합한 포트 레지스터(404)로부터 그 대응하는 NSP(202a)의 타임 베이스 레지스터(304)로 타임 베이스 값을 기록한다.
타임 베이스 동기화 매커니즘은 RTB 패킷 타입의 전송과 타임 베이스 값의 수신 사이의 시간(TR)(다른 상호 접속 트래픽이 없다고 가정)이 알려지고, 고정되어 있는 경우에 최적화된다. 유사하게, 각 NSP(202a)의 타임 베이스 레지스터(304)에서 WTB 패킷 타입의 전송과 새로운 타임 베이스 값의 설정사이의 시간도 또한 바람직하게는 알려지고, 고정되어 있는 것이 좋다. 각 NUMA 제어기(212)는 그 해당하는 NSP(202a)의 타임 베이스 레지스터(304)를 적합하게 액세스할 수 있다. 일 실시예에 있어서, 예컨대, 각 NSP(202a)의 펌웨어(firmware)는 NUMA 제어기(212)로부터 특정 목적용 인터럽트에 응답하고, NUMA 제어기(212)로 또는 로부터 타임 베이스 레지스터(304)에 기억된 타임 베이스 값을 판독 또는 기록하는 것에 응답하도록 구성된다. NUMA 제어기(212)는 예컨대, 스위치(104)로부터 타임 베이스 판독 패킷을 수신하면 특정 목적용 인터럽트를 발생할 수 있다. 주목할 점은 판독 및 기록의 감지가 반대로 되어, NSP(202a)가 NUMA 제어기(212)로부터 타임 베이스 값을 판독할 때, 새로운 값을 타임 베이스 레지스터(304)에 기록하고, 반면에 NUMA 제어기(212)로 기록하는 경우에, 타임 레지스터(304)의 현재 값을 NUMA 제어기(212)로 판독하는 것이다.
이하, 도 5에는 NUMA 시스템(100)의 노드(102) 등의 데이터 처리 시스템의 한 세트의 노드들을 동기시키는 방법(500)의 일 실시예를 설명하는 흐름도가 도시된다. 일반적으로, 스위치(104)는 각 노드로부터 타임 베이스 레지스터 값들을 검색함으로써 노드들(102)을 동시시킨 다음, 검색된 타임 베이스 값들의 세트를 토대로 공통 타임 베이스 값을 결정한다. 그 다음에, 공통 타임 베이스 값은 각 노드로 브로드케스트되어, 그 공통 노드 타임 베이스 값을 각 노드의 타임 베이스 레지스터에 기억한다.
도 5에 도시된 바와 같이, 동기화 방법(500)은 그 노드(102)들 사이에 패킷 트래픽이 중지되는 초기 블록(502)을 포함한다. 일 실시예에 있어서, 스위치 (104)는 타임 베이스 레지스터 값들을 판독하기 전에 유지 트래픽 패킷 타입을 각 노드(102)로 브로드케스트함으로써 패킷 트래픽을 중지한다. 그 유지 트래픽 패킷의 브로드케스트에 후속하여, 스위치(104)는 그것을 통과하는 패킷 트래픽을 모니터하여, 패킷 트래픽이 동기화 방법으로 전행할 수 있게 충분히 감소된 시점을 결정한다(블록 505). 일 실시예에 있어서, 패킷 트래픽은 소정의 시간(TW)동안 패킷이 검출되지 않으면 중지된 것으로 고려된다. 즉, 시스템(100)은, 패킷 트래픽이 소정의 임계치 이하로 감소할 때까지, 패킷 트래픽의 모니터를 지속한다[도 5의 블록(505)으로부터 블록 (504)으로 피드백 루프에 의해 나타난 바와 같이].
패킷 트래픽이 검출되지 않으면, 스위치(104)는 각 노드(102)로 RTB 패킷 타입을 브로드케스트한다(블록 504). 타임 베이스 판독 패팃의 수신에 응답하여, 각NUMA 제어기(212)는 그 해당하는 타임 베이스 레지스터(304)로부터 현재의 타임 베이스 값을 검색함으로써 응답한다. 전술한 바와 같이, 각 NSP(202a)로부터 타임 베이스 레지스터 값의 검색은 스위치(104)로부터 타임 베이스 판독 패킷의 수신에 응답하여 특정 목적용 인터럽트를 NSP(202a)로 발생하도록 NUMA 제어기(212)를 구성하고, 타임 베이스 레지스터(202a)의 값을 복귀시키기 위하여 각 NSP(202a)를 구성함으로써 이루어질 수 있다.
각 노드(102)로부터 타임 베이스 레지스터 값이 수신된 후에(블록 508), 스위치(104)는 수신된 타임 베이스 값을 토대로 공통 타임 베이스 값을 결정한다. 그 도시된 실시예에 있어서, 공통 타임 베이스 값의 결정은 블록(510, 512, 514)에서 발생한다. 블록(510)에서, 스위치(104)는 각 노드로부터 수신된 타임 베이스 값들을 조정하여, 타임 베이스 레지스터 값들을 각 노드(102)로부터 검색하는데 필요한 싸이클의 수(즉, 걸리는 시간)를 반영한다. 일 실시예에 있어서, 블록(510)에서 타임 베이스 레지스터 값들의 조정은 수량(TR)을 모든 검색된 값에 부가함으로써 이루어지는데, 여기서 TR은 시스템(100)의 이전에 결정된 지연 특성을 나타낸다. 특히, TR은 정상 패킷 트래픽이 중단된 경우에 시스템으로부터 타임 베이스 레지스터 값을 검색하는데 필요한 시간을 나타낸다. 블록(510)에서 각 타임 베이스 레지스터 값을 조정한 후에, 그 조정된 타임 베이스 값들의 최대값은 블록(512)에서 결정된다. 스위치(104)가 자체의 타임 베이스 레지스터(306)를 포함하는 실시예에 있어서, 타임 베이스 레지스터(306)의 값은 공통 타임 베이스 값의 결정에 포함되기 때문에, 최대 타임 베이스 값은 노드(102)로부터 수신된 타임 베이스 값 또는 레지스터(306)의 타임 베이스 값의 최대값이며, 이 2개의 타임 베이스 값은 어느 한쪽이 크다. 최대값을 공통 타임 베이스 값으로 선택하면 타임 베이스 레지스터 (304)의 단순한 제약 조건과 일치된다. 즉, 그 최대값을 공통 값으로 선택함으로써, 이 방법에서는 각 타임 베이스 레지스터(304)가 기존 값보다 크거나(또는 같은)값으로 설정될 것이다.
블록(514)에 있어서, 블록(512)에서 결정된 최대값은 각 NSP(202a)에서 값을 설정하는데 걸리는 시간을 반영하기 위하여 조정된다. 일 실시예에 있어서, 블록(514)의 조정에는 타임 상수(TS)를 블록(512)에서 결정된 최대값에 부가하는 것을 포함하고, 여기서, TS는 타임 베이스 레지스터(304) 중 하나의 값을 스위치 (104)가 기록하는데 걸리는 시간을 나타낸다(패킷 트래픽 지연에 직면하지 않는다고 가정하면).
블록(514)에서 타임 베이스 레지스터 값을 조정한 후에, 그 조정된 타임 베이스 값은 타임 베이스 기록 패킷을 이용하여 블록(516) 안의 각 NUMA 제어기(212)로 브로드케스트된다. 그 조정된 값들을 수신하면, 각 NUMA 제어기(212)는 스위치(104)로부터 제공된 타임 베이스 값을 그 해당하는 타임 베이스 레지스터(304)에 저장함으로써 응답한다. 타임 베이스 값을 각 노드(102)로 브로드케스트한 후에, 스위치(104)는 자체의 시간 베이스 레지스터(306)의 값들을 설정하고(블록 518), 재개 패킷 타입을 각 노드(102)로 브로드케스트함으로서 노드(102)사이에 정상 패킷 트래픽의 재개를 개시한다(블록 520).
감쇄값(402)은 재동기 주파수를 제어하는데 이용된다. 재동기 프로세스 동안에 수신된 타임 베이스 값의 범위를 토대로, 그 값들이 함께 근접한 경우에는 낮은 주파수로 재동기하고, 그 값들이 멀리 떨어져 있는 경우에는 높은 주파수로 재동기하기 위하여 조정된다. 그 동기 프로세스는 시간이 지나도 다양한 타임 베이스 레지스터를 일정하기 유지하기 위하여 주기적으로 반복될 수 있다. 일 실시예에 있어서, 전술한 방법(500)은 감쇄 레지스터(402) 등의 레지스터의 값이 제로 등의 소정의 값에 도달할 때마다 실행된다. 이러한 실시예에서, 감쇄기(402)의 초기값은 재동기가 개시되는 주파수를 반영한다.

Claims (24)

  1. 비균등 메모리 아키텍쳐(NUMA) 데이터 처리 시스템 내의 한 세트의 노드들을동기시키는 방법에 있어서,
    상기 노드 세트의 각 노드로부터 타임 베이스 레지스터 값들을 판독하는 단계와,
    상기 노드 세트의 각 노드로부터 수신된 한 세트의 타임 베이스 레지스터 값들을 토대로 공통 타임 베이스 레지스터 값을 결정하는 단계와,
    상기 공통 타임 베이스 레지스터 값을 상기 노드 세트의 각각의 노드로 브로드케스트하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 타임 베이스 레지스터 값들을 판독하기 전에, 상기 노드 세트의 노드들 사이의 패킷 트래픽을 중지시키는 단계를 더 포함하는 방법.
  3. 제2항에 있어서, 상기 패킷 트래픽을 중지시키는 단계는 트래픽 중지 패킷 을 상기 노드 세트의 각각의 노드로 브로드케스트하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 공통 타임 베이스 레지스터 값을 브로드케스트한 후에, 상기 노드 세트의 각 노드 사이의 패킷 트래픽을 재개(resume)하는 단계를 더 포함하는 방법.
  5. 제4항에 있어서, 상기 패킷 트래픽 재개 단계는 트래픽 재개 패킷을 상기 노드 세트의 각 노드로 브로드케스트하는 단계를 포함하는 방법.
  6. 제1항에 있어서, 상기 타임 베이스 레지스터 값들을 판독하는 단계는 타임 베이스 판독 패킷의 수신에 응답하여 노드 제어기로부터 상기 노드의 제1 프로세서로 인터럽트를 발생하는 단계를 포함하는 방법.
  7. 제1항에 있어서, 상기 공통 타임 베이스 레지스터 값을 결정하는 단계는 상기 노드 세트의 각 노드로부터 판독된 타임 베이스 레지스터 값들 중 최대값을 선택하는 단계를 포함하는 방법.
  8. 제7항에 있어서, 상기 공통 타임 베이스 레지스터 값을 결정하는 단계는 상기 최대의 타임 베이스 레지스터 값을 조정 인자 만큼 조정하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서, 상기 조정 인자는 패킷 트래픽이 중지되는 경우에, 타임 베이스 레지스터 값을 설정하는데 필요한 시간 및 타임 베이스 레지스터 값을 판독하는데 필요한 시간의 함수인 것인 방법.
  10. 제1항에 있어서, 상기 노드 세트의 노드들 사이에 동기를 유지하기 위하여 주기적으로 동기화 프로세스를 반복하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서, 상기 동기화는 감쇄기 레지스터 값 내의 값이 제로에 도달할 때마다 개시되는 것인 방법.
  12. 제1항에 있어서, 상기 타임 베이스 레지스터 값들을 판독하는 단계는 타임 베이스 판독(RTB) 패킷 타입을 상기 노드 세트의 각각의 노드로 발생하는 단계를 포함하는 것인 방법.
  13. 제1항에 있어서, 상기 공통 타임 베이스 레지스터 값을 브로드케스트하는 단계는 타임 베이스 기록(WTB) 패킷 타입을 상기 노드 세트의 각각의 노드로 발생하는 단계를 포함하는 방법.
  14. 타임 베이스 레지스터 및 타임 베이스 레지스터 값들을 판독 및 기록하는데 적합한 어댑터를 갖춘 적어도 하나의 프로세서를 각각 포함하는 한 세트의 노드들과,
    상기 노드 어댑터의 각각에 접속된 중앙 스위치를 포함하고,
    상기 중앙 스위치는 상기 노드 세트의 각 노드로부터 수신된 타임 베이스 레지스터 값들을 토대로 상기 노드 세트의 각 노드의 상기 타임 베이스 레지스터들을동기시키는 구성인 비균등 메모리 아키텍쳐 시스템.
  15. 제14항에 있어서, 상기 중앙 스위치는 상기 각각의 타임 베이스 레지스터로부터 값들을 검색하고, 상기 검색된 값들을 토대로 공통 타임 베이스 값을 결정하며, 상기 공통 타임 베이스 값을 상기 각각의 노드로 브로드케스트함으로써, 상기 타임 베이스 레지스터를 동기시키도록 구성된 비균등 메모리 아키텍쳐 시스템.
  16. 제14항에 있어서, 각각의 노드 제어기는 상기 적어도 하나의 프로세서로 인터럽트를 발생하도록 구성되고, 상기 프로세서는 상기 프로세서의 타임 베이스 레지스터의 값을 상기 어댑터로 반환시킴으로써 상기 인터럽트에 응답하도록 구성되는 비균등 메모리 아키텍쳐 시스템.
  17. 제14항에 있어서, 상기 중앙 스위치는 상기 노드 세트의 각각의 노드에 해당하는 한 세트의 포트들을 포함하고, 상기 포트 세트의 각각의 포트는 그 대응하는 노드의 타임 베이스 레지스터로부터 검색된 값을 기억하는데 적합한 포트 레지스터를 포함하는 것인 비균등 메모리 아키텍쳐 시스템.
  18. 제17항에 있어서, 상기 각 포트 레지스터의 폭은 그 해당하는 노드의 타임 베이스 레지스터의 폭과 일치하는 것인 비균등 메모리 아키텍쳐 시스템.
  19. 제14항에 있어서, 상기 중앙 스위치는 감쇄 레지스터를 더 포함하고, 상기 중앙 스위치는 감쇄 레지스터의 값이 제로일 때, 상기 타임 베이스 레지스터의 동기화를 개시하는 비균등 메모리 아키텍쳐 시스템.
  20. 제19항에 있어서, 상기 동기화 프로세스가 개시되는 주파수는 상기 감쇄 레지스터의 초기값을 조정하여 제어됨으로써 조정가능한 것인 비균등 메모리 아키텍쳐 시스템.
  21. 제14항에 있어서, 상기 중앙 스위치의 상기 동작 주파수는 적어도 하나의 상기 노드의 동작 주파수와 다르고, 상기 중앙 스위치는 상기 동작 주파수의 변동을 보상하기 위한 체배기/분주기 회로를 포함하는 것인 비균등 메모리 아키텍쳐 시스템.
  22. 비균등 메모리 아키텍쳐 데이터 처리 시스템의 중앙 스위치에 있어서,
    상기 데이터 처리 시스템의 노드에 각각 대응하는 한 세트의 포트로서, 그 각각의 포트는 상기 데이터 처리 시스템의 노드에 접속하는데 적합하고, 또 상기 노드의 타임 베이스 레지스터로부터 검색된 값을 저장하는데 적합한 포트 레지스터를 포함하는 한 세트의 포트와,
    상기 각각의 포트에 접속되어 상기 포트 레지스터들에 대한 판독 및 기록을 행할 수 있는 프로세서와,
    상기 각각의 노드들로부터 타임 베이스 레지스터 값들을 검색하고, 상기 검색된 타임 베이스 값들을 토대로 공통 타임 베이스 값을 결정하며, 상기 공통 타임 베이스 값을 상기 각각의 노드들로 브로드케스트하기 위한 프로세서 실행가능한 명령들을 갖게 구성된 스토리지 장치를 포함하는 비균등 메모리 아키텍쳐 데이터 처리 시스템의 중앙 스위치.
  23. 제22항에 있어서, 상기 프로세서에 접속된 스위치 레지스터를 더 포함하고, 상기 프로세서는 상기 결정된 공통 타임 베이스 값을 상기 스위치 레지스터에 기억시키는 비균등 메모리 아키텍쳐 데이터 처리 시스템의 중앙 스위치.
  24. 제22항에 있어서, 상기 프로세서에 접속된 감쇄 레지스터를 더 포함하고, 상기 중앙 스위치는 상기 감쇄 레지스터의 값이 제로에 도달 할 때 상기 타임 베이스 레지스터의 동기화를 개시하는 비균등 메모리 아키텍쳐 데이터 처리 시스템의 중앙 스위치.
KR10-2002-7014976A 2000-05-25 2001-05-18 비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화프로토콜 Expired - Fee Related KR100483262B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/578,740 2000-05-25
US09/578,740 US6687756B1 (en) 2000-05-25 2000-05-25 Switched-based time synchronization protocol for a NUMA system
PCT/GB2001/002242 WO2001090910A2 (en) 2000-05-25 2001-05-18 Switched-based time synchronization protocol for a numa system

Publications (2)

Publication Number Publication Date
KR20030005332A true KR20030005332A (ko) 2003-01-17
KR100483262B1 KR100483262B1 (ko) 2005-04-15

Family

ID=24314109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-7014976A Expired - Fee Related KR100483262B1 (ko) 2000-05-25 2001-05-18 비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화프로토콜

Country Status (11)

Country Link
US (1) US6687756B1 (ko)
EP (1) EP1292897B1 (ko)
KR (1) KR100483262B1 (ko)
CN (1) CN1199121C (ko)
AT (1) ATE291758T1 (ko)
AU (1) AU2001258577A1 (ko)
BR (1) BR0102131A (ko)
CA (1) CA2409205A1 (ko)
DE (1) DE60109612D1 (ko)
TW (1) TWI220200B (ko)
WO (1) WO2001090910A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10147422A1 (de) * 2001-09-26 2003-04-24 Siemens Ag Kommunikationssystem und Verfahren zur Synchronisation eines Kommunikationszyklus
KR20040089661A (ko) * 2002-02-22 2004-10-21 다르 테크놀로지, 인크 미세냉각을 위한 방법과 장치
US7111195B2 (en) * 2002-02-25 2006-09-19 General Electric Company Method and system for external clock to obtain multiple synchronized redundant computers
DE10241429B4 (de) * 2002-09-06 2007-10-25 Siemens Ag Verfahren zur Synchronisation von Netzwerkknoten eines Teilnetzwerks
US20050254506A1 (en) * 2004-05-11 2005-11-17 Derek Edward Davout Gladding Apparatus and method for transporting data over a ring structure
US20060161647A1 (en) * 2004-12-22 2006-07-20 Waldemar Wojtkiewicz Method and apparatus providing measurement of packet latency in a processor
US7395448B2 (en) * 2006-07-26 2008-07-01 International Business Machines Corporation Directly obtaining by application programs information usable in determining clock accuracy
CN102799212B (zh) * 2012-07-16 2015-05-27 中船重工（武汉）凌久电子有限责任公司 用于多核多处理器并行系统的全局时钟系统及其使用方法
WO2014051615A1 (en) * 2012-09-28 2014-04-03 Hewlett-Packard Development Company, L.P. Synchronizing timestamp counters
WO2014088698A2 (en) * 2012-12-06 2014-06-12 Coherent Logix, Incorporated Processing system with synchronization instruction
US9237093B2 (en) * 2013-03-14 2016-01-12 Silicon Graphics International Corp. Bandwidth on-demand adaptive routing
KR102020358B1 (ko) * 2013-03-14 2019-11-05 삼성전자 주식회사 단말 및 그 단말에서 애플리케이션 동기화 방법
US9256534B2 (en) 2014-01-06 2016-02-09 International Business Machines Corporation Data shuffling in a non-uniform memory access device
US9274835B2 (en) 2014-01-06 2016-03-01 International Business Machines Corporation Data shuffling in a non-uniform memory access device
US9568944B2 (en) * 2014-11-14 2017-02-14 Cavium, Inc. Distributed timer subsystem across multiple devices
US10944694B2 (en) 2016-12-06 2021-03-09 Hewlett Packard Enterprise Development Lp Predictive arbitration circuit
US10237198B2 (en) 2016-12-06 2019-03-19 Hewlett Packard Enterprise Development Lp Shared-credit arbitration circuit
US10721185B2 (en) 2016-12-06 2020-07-21 Hewlett Packard Enterprise Development Lp Age-based arbitration circuit
US10452573B2 (en) 2016-12-06 2019-10-22 Hewlett Packard Enterprise Development Lp Scripted arbitration circuit
US10693811B2 (en) 2018-09-28 2020-06-23 Hewlett Packard Enterprise Development Lp Age class based arbitration

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591977A (en) * 1983-03-23 1986-05-27 The United States Of America As Represented By The Secretary Of The Air Force Plurality of processors where access to the common memory requires only a single clock interval
US5250943A (en) 1991-03-29 1993-10-05 International Business Machines Corporation GVT-NET--A Global Virtual Time Calculation Apparatus for Multi-Stage Networks
US5390216A (en) * 1991-11-02 1995-02-14 Robert Bosch Gmbh Synchronization method for a mobile radiotelephone
US5600822A (en) * 1994-04-05 1997-02-04 International Business Machines Corporation Resource allocation synchronization in a parallel processing system
JP2908739B2 (ja) * 1994-12-16 1999-06-21 インターナショナル・ビジネス・マシーンズ・コーポレイション 多重プロセッサ・システムにおけるｃｐｕのモニタリング・システム及び方法
JP3845114B2 (ja) * 1995-03-29 2006-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データ入出力間に予め設定されたタイミング関係を設けたシステム並びにこのようなシステムの送信機及び受信機
US5822381A (en) * 1995-05-05 1998-10-13 Silicon Graphics, Inc. Distributed global clock system
US5905869A (en) 1996-09-27 1999-05-18 Hewlett-Packard, Co. Time of century counter synchronization using a SCI interconnect
US5896524A (en) * 1997-02-06 1999-04-20 Digital Equipment Corporation Off-line clock synchronization for multiprocessor event traces
DE69833933T2 (de) 1998-07-09 2006-09-28 Bull S.A. Mehrprozessorsystem mit synchronisierter Systemzeit

Also Published As

Publication number Publication date
EP1292897B1 (en) 2005-03-23
US6687756B1 (en) 2004-02-03
CA2409205A1 (en) 2001-11-29
CN1326150A (zh) 2001-12-12
AU2001258577A1 (en) 2001-12-03
TWI220200B (en) 2004-08-11
WO2001090910A2 (en) 2001-11-29
CN1199121C (zh) 2005-04-27
WO2001090910A3 (en) 2003-01-09
DE60109612D1 (de) 2005-04-28
ATE291758T1 (de) 2005-04-15
EP1292897A2 (en) 2003-03-19
BR0102131A (pt) 2001-12-26
KR100483262B1 (ko) 2005-04-15

Similar Documents

Publication Publication Date Title
KR100483262B1 (ko) 비균등 메모리 액세스 시스템용 스위칭 기반 타임 동기화프로토콜
US6351821B1 (en) System and method for synchronizing time across a computer cluster
US7200158B2 (en) Clock synchronizing method over fault-tolerant Ethernet
US7340630B2 (en) Multiprocessor system with interactive synchronization of local clocks
US7702057B2 (en) Apparatus and method for controlling a master/slave system via master device synchronization
EP0579389B1 (en) Source synchronized metastable free bus
JP2003523130A (ja) パケット・ネットワークにおけるノード間のクロック同期方法
US6502141B1 (en) Method and system for approximate, monotonic time synchronization for a multiple node NUMA system
EP0189201A2 (en) Terminal control device for reference station in TDMA satellite communication system
JP2002014185A (ja) 時刻同期化方式
EP0971282B1 (en) Multi-processor system with synchronized system time
WO1996030820A1 (en) Arrangement and method at an integrated circuit
JPH0438508A (ja) クロック供給装置
JP2566350B2 (ja) データウェイ装置
JPH02114360A (ja) マルチプロセッサシステムにおけるクロック同期方法
JPH0927826A (ja) 送信速度最適化装置及び輻輳制御装置
Jones Experiments in high precision clock synchronisation.
KR970019241A (ko) 통신망에서의 T1 링크를 이용한 패킷 데이터 처리를 위한 정합장치(Matching device using T1 link of communication)
JPS62290234A (ja) ル−プ形通信網のフレ−ム同期方式
JPH04233015A (ja) データ伝送装置の時刻管理方式

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20080401

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20090407

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20090407