JPH08212178A

JPH08212178A - 並列計算機

Info

Publication number: JPH08212178A
Application number: JP7020137A
Authority: JP
Inventors: Toshiaki Tarui; 俊明垂井; Hideya Akashi; 英也明石; Naonobu Sukegawa; 直伸助川; Keimei Fujii; 啓明藤井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-02-08
Filing date: 1995-02-08
Publication date: 1996-08-20

Abstract

(57)【要約】【目的】分散記憶を持った並列計算機において、他のプ
ロセッシングユニット（ＰＵ）にある、アドレスの連続
しない複数のデータをアクセスする際の待ち時間，オー
バヘッドを低減する。【構成】他ＰＵへの書き込み処理では、ネットワーク上
のコマンドで、書き込むデータ１ワード毎に書き込みア
ドレスを指定する。コマンドを受け取ったＰＵでは、ネ
ットワークコマンド中の、アクセスアドレス，データの
組をアドレスバス，データバスに振り分け、主記憶に書
き込む。他ＰＵデータの読み出し処理も、ネットワーク
上のコマンドで、読み出すデータ１ワード毎に、読み出
しアドレスと、読み出したデータを格納するための返送
先アドレスを指定する。コマンドを受け取ったＰＵで
は、各々のアドレスのデータを読み出し、返送先アドレ
スに返送する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数のプロセッシングユ
ニットからなる並列計算機におけるデータ転送方式に関
する。

【０００２】

【従来の技術】計算機性能の飛躍的向上に関して、多数
台のプロセッシングユニット（以下、ＰＵ）を並列動作
させる、並列計算機が有望視されている。並列計算機で
は、多数台のＰＵの間で効率良くデータを通信すること
が重要で、特に大規模な数値演算では、計算に必要な大
量のデータを、ＰＵ間で一括して高速に転送するための
アーキテクチャが必要である。

【０００３】従来の並列計算機におけるデータ転送機構
は、特開平6−19856号公報に示されているように、連続
したアドレスのデータを一括して転送する機構が採用さ
れていた。各ＰＵは他ＰＵの主記憶との間でＤＭＡを行
うための機構を持ち、転送したいデータの領域を指定す
ると、ＤＭＡ機構のハードウェアが指定された領域を自
動的に転送する。

【０００４】

【発明が解決しようとする課題】上記従来技術では、転
送しようとするデータが全て連続したアドレス（もしく
はストライドアクセスなどの定型的なパターン）に存在
する場合は有効であるが、転送するデータのアドレス
が、連続でないランダムなアドレスの場合には、効率が
悪いという問題がある。

【０００５】例えば、リモートの非連続な領域に書き込
みを行う場合を考える。その場合、従来の連続アドレス
への書き込みのみが可能なＤＭＡデータ転送機構では、
相手のメモリ上に複数のデータを一括して書き込むこと
ができない。そのため、（１）１ワード毎にリモート書き込みコマンドを出す。（２）書き込むデータと書き込むアドレスを入れた２本
の配列を、一旦、相手先ＰＵの別々の領域に２回に分け
て転送した後、相手先のＰＵに、本来書き込むべき領域
への実際の書き込み処理を依頼する。等の方式が取られ
ていた。

【０００６】（１）の方式は、１ワード毎の書き込みコ
マンドを多数送出しなければならないため、実行時間が
増大するばかりか、ネットワーク上に大量のパケットを
出す必要が有るため、ネットワークの負荷が増大し、問
題である。

【０００７】（２）の方式は、ネットワークの負荷は軽
減されるが、一旦アドレス，データを着地させる領域が
新たに必要になり、メモリの使用効率が落ちる。さら
に、相手先のＰＵに余分な仕事が発生するため、プログ
ラムの実行時間が増大する問題がある。

【０００８】リモートのＰＵの非連続なアドレスにある
データを読み出そうとした場合も、（１）１ワード毎に読み出す（２）相手先のＣＰＵに依頼してデータを連続領域に集
めてもらった後、一括して転送する等の処理が必要となり、書き込みの場合と同様に処理効
率の大幅な低下を招く。

【０００９】特に近年、非定型なデータを扱うため、デ
ータ構造としてリストベクトルを利用したプログラムが
数多く見られる。リストベクトルのアクセスの場合、ア
クセス先のアドレスはポインタの配列で示されているた
め、一般には非連続なアドレスのへのデータアクセスと
なる。従ってリストベクトルのプログラムを高速に実行
するには、非連続なアドレスにあるデータを一括して高
速に転送する機構が必要となる。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、複数のデータを転送するためのネットワークコマン
ドの中で、アクセスを行うリモートアドレスを１データ
毎に指定することが可能なコマンド構造とする。

【００１１】他ＰＵの非連続なアドレスへの書き込みの
場合、書き込み先のＰＵへ送られるネットワークコマン
ドの中に、書き込みアドレスと書き込むべきデータの組
を、任意の個数持たせる。上記コマンドを受け取ったＰ
Ｕは、コマンド中の各組のアドレス部分に入っている値
をアドレスバスに、データ部分に入っている値をデータ
バスに振り分け、アドレスで示される領域にデータを書
き込む処理をコマンドの長さだけ繰り返す。これによ
り、他ＰＵのアドレスが非連続な複数のワードへの書き
込みを一つのコマンドで指示することができる。

【００１２】非連続なアドレスの読み出しの場合には、
ネットワーク上の要求コマンドに読み出しアドレスと、
読み出したデータを書き込むべき要求側のＰＵの主記憶
のアドレス（以下では返送先アドレスと呼ぶ）の組を、
任意の個数持たせる。上記コマンドを受け取ったＰＵ
は、コマンド中の各組の中のアドレス部分に入っている
値をアドレスバスに出力して主記憶中の値を読み出した
後、返送先アドレスに書き込むための処理を行う。ここ
で、読み出した値の返送先アドレスへの書き込みは、そ
れ自体、複数の非連続なアドレスへの書き込みとなるの
で、前に記した非連続なアドレスへの書き込みコマンド
を用いて、読み出した値を返送先アドレスへ書き込むよ
うに指示する。これにより、他ＰＵの、アドレスが非連
続な複数のワードのデータを読み出し、自ＰＵの領域に
書き込むことが出来る。

【００１３】

【作用】本発明によれば、ネットワーク上を流れる主記
憶アクセスコマンドで、アクセス先のアドレスをデータ
毎に指定し、さらに、返答側ＰＵのハードウェアで前記
コマンドを分解し、主記憶をアクセスするハードウェア
を設ける。これにより、他ＰＵの主記憶上のアドレスが
連続しない複数のデータを、１回のネットワークコマン
ドで高速にアクセスすることができる。

【００１４】図１に本発明の並列計算機のブロック図を
示す。図中１３０が他ＰＵからの要求パケットのヘッダ
を分解するための回路、１３１が要求パケットのデータ
部のアドレスとデータ等を振り分けるための回路であ
る。データ部のワードの数をカウンタ１５０で数える。
書き込みコマンドの場合、偶数ワードに入っているアド
レスはアドレスバス１６０へ、奇数ワードに入っている
データはデータバス161へ出力し、主記憶への書き込み
を行う。これにより、主記憶の非連続なアドレスへの書
き込みを一つのネットワークコマンドで依頼することが
できる。

【００１５】読み出しコマンドの場合は、偶数ワードに
入っているアドレスをアドレスバス１６０に出力し、主
記憶をアクセスした後、要求コマンドの奇数ワードに入
っている返送先アドレスと組にして、セレクタ１４１お
よびヘッダ組立回路１４０でリモート書き込みコマンド
を組立て、要求元ＰＵに返送する。要求元ＰＵでは前述
の書き込みコマンドとして処理を行うことにより、他Ｐ
Ｕの非連続なアドレスにあるデータを、自ＰＵの非連続
なアドレスに転送することができる。

【００１６】図中のコンパレータ１５１はコマンド中の
アクセスワード数とカウンタ１５０の値を比べ、コマン
ド処理の終了を検出するための回路である。これによ
り、パケット中でアクセスするワード数を任意に指定で
き、柔軟なリモートアクセスを行うことが出来る。

【００１７】

【実施例】図１ないし図４に本発明の一実施例を示す。
図１は本発明の並列計算機のブロック図である。図２な
いし図４はＰＵ間ネットワークのコマンドパケットのフ
ォーマットである。図２は非連続なアドレスへ複数のデ
ータの書き込みを指定するためのコマンド（以下ではマ
ルチワードライトと呼ぶ）、図３は非連続なアドレスの
複数のデータの読み出しを指定するためのコマンド（以
下ではマルチワードリードと呼ぶ）である。それに対し
て、図４は従来のＤＭＡ書き込みのコマンド（以下では
ＤＭＡライトと呼ぶ）である。

【００１８】図１において、１００，２００はＰＵ、９
００はＰＵ間ネットワークである。以下ではＰＵ１００
の内部のみ詳細に記す。他のＰＵも全く同一の構成を持
つ。ＰＵの内部では、１９０がＣＰＵ、１２０が主記
憶、１６０がアドレスバス、１６１がデータバス、１１
０がＰＵ間で従来型のＤＭＡ転送を行うためのＤＭＡコ
ントローラである。さらに、１３０は他ＰＵからのマル
チワードリード，マルチワードライトコマンドのヘッダ
部を解釈するための要求コマンドヘッダ分解回路、１３
１は要求コマンドのデータ部のアクセスアドレスと，書
き込みデータ（書き込みの場合）又は返送先アドレス
（読み出しの場合）を振り分けるためのスイッチであ
る。１５０はデータ部のワード数を数えるためのカウン
タ、150a0はカウンタの最下位ビット、１５１はコマン
ドパケットの終了を判定するための比較器、１３２，１
３３は主記憶アクセスコマンドを出力するための回路で
ある。１３４はマルチワードリード，マルチワードライ
トコマンドを切り替えるためのスイッチである。１４０
はマルチワードリードの返答を行うためのマルチワード
ライトコマンドのヘッダを組み立てる回路、１４１はマ
ルチワードリードの返答を行うためのマルチワードライ
トコマンドのデータ部の、返送先アドレスとデータの組
を組み立てるためのセレクタである。

【００１９】本発明では、各ＰＵがマルチワードコマン
ドを実行するために、パケット中のアドレス情報をスイ
ッチ１３１により切り分け、主記憶をアクセスする機構
を持つことに特徴が有る。

【００２０】先ず、システム全体の構成について述べ
る。システムは、プログラムを実行するＰＵ（１００，
２００）が、ネットワークにより接続された構成を取
る。各ＰＵはＣＰＵ１９０及び主記憶１２０を持ち、主
記憶分散型のマルチプロセッサシステムを構成してい
る。ＰＵ間の通信はネットワークを経由したパケット通
信で行われる。

【００２１】通常（従来型の）ＰＵ間の通信は１１０の
ＤＭＡ通信機構によって主記憶上のあるまとまった領域
を一括して転送することにより行われる。

【００２２】図４にネットワーク上のＤＭＡライトコマ
ンドのフォーマットを示す。ネットワークコマンドはヘ
ッダとしてコマンド名１００１，宛先ＰＵ番号１００
２，コマンド長（データ部のワード数）１００３，送信
元ＰＵ番号１００４が置かれる。ヘッダ部の後にデータ
部が置かれる。データ部ではＤＭＡの送り先アドレス１
３００ａに引続き、ＤＭＡで送られるデータ１３００ｄ
〜１３０６ｄが置かれる。ここで、この実施例でのデー
タの１ワードは４Ｂである。ＤＭＡの送信側では、図４
に示されるパケットをＣＰＵが主記憶上に作成し、ＤＭ
Ａコントローラは主記憶上のパケットをネットワークに
転送する。ＤＭＡライトコマンドを受けたＰＵのＤＭＡ
コントローラは、ＤＡＴＡ０〜ＤＡＴＡｎ−１のデータ
を開始アドレスで示される領域から順番に書き込む。Ｄ
ＭＡコントローラの詳細については既知の技術であるの
でここでは説明を略す。

【００２３】次にマルチワードライトコマンドの動作に
ついて述べる。図２にマルチワードライトコマンドのフ
ォーマットを示す。ヘッダ部はＤＭＡ転送と同じである
が、データ部の形式が異なる。ＤＭＡ転送ではデータ部
で指定される転送先アドレスは一つであるのに対し、マ
ルチワードライトではデータ１ワード毎にアドレスが指
定される。図の例では、Addr０で示されるアドレスにDa
ta０を、Addr１にＤａｔａ１を、という様に、各データ
を別々のアドレスに書き込むことが出来る。

【００２４】マルチワードライトの要求側のＰＵでは、
図２のパケットをＣＰＵが予め主記憶に作成し、ＤＭＡ
コントローラ１１０を利用して主記憶上のパケットをネ
ットワークに転送する（この部分はＤＭＡライトと全く
同じである）。

【００２５】マルチワードライトを受信したＰＵはパケ
ットのヘッダを要求コマンドヘッダ分解回路１３０に、
データ部をスイッチ１３１に送る。要求コマンドヘッダ
分解回路では、パケットのヘッダ部を分解し、コマンド
種に応じてマルチワードライトの場合は信号１３０ｄを
出力すると同時に、データ部の長さ１３０ｂ，送り元Ｐ
Ｕ番号１３０ｅを出力する。さらにワード数カウンタ１
５０にリセット／スタート信号１３０ｆを送る。カウン
タ１５０の出力とパケット中の長さフィールド１３０ｂ
は比較機１５１で比較され、両者の値が異なる（カウン
タの値がパケットの長さより小さい）間、信号１５１ａ
が出力される。１５１ａにより、カウンタ１５０がイネ
ーブルされると同時に、ゲート１３３によって、書き込
みコマンド１３３ａが主記憶１２０に伝えられる。

【００２６】スイッチ１３１は、カウンタの最下位ビッ
ト１５０ａ０の値、つまり、パケットのデータ部の偶数
ワードか奇数ワードかに応じ、パケットのデータ部の値
１３１ａを、アドレス１３１ｃ（偶数ワードの場合）と
データ１３１ｄ（奇数ワードの場合）に振り分ける（ス
イッチ１３４はマルチワードライトの場合データバス16
1に接続されてる）。これにより、パケット中のアドレ
スとデータの組をアドレスバス１６０とデータバス１６
１に出力し、主記憶１２０に書き込むことが出来る。

【００２７】カウンタ１５０の値がパケットのデータ長
１３０ｂと等しくなる（パケットが終了する）と、１５
１ａ信号が出力されなくなる。それにより、主記憶への
書き込み信号１３３ａが止められ、カウンタ１５０の動
作が止められ、処理が終了する。

【００２８】以上の処理により、マルチワードライトコ
マンドの中の各アドレス，データの組を主記憶に書き込
むことが出来る。

【００２９】次に、マルチワードリードの動作について
述べる。図３にマルチワードリードコマンドのフォーマ
ットを示す。ヘッダ部はＤＭＡ転送等と同じである。マ
ルチワードリードは、相手先ＰＵの任意のアドレスの値
を読み、自ＰＵの任意のアドレスに書き込むためのコマ
ンドである。データ部には読み出す相手先ＰＵのアドレ
スと、読み出したデータを書き込む自ＰＵ上のアドレス
（返送先アドレス）の組を複数持つ。

【００３０】図３の例では、相手先ＰＵのAddr０で示さ
れるアドレスのデータを読み出し、自ＰＵのDest０で示
されるアドレスに書き込み、Addr１のデータをDest１
に、という様に、相手先ＰＵの別々のアドレスのデータ
を読み出し、自ＰＵの別々のアドレスに書き込むことが
出来る。

【００３１】マルチワードリードの要求側のＰＵでは、
図３のパケットをＣＰＵが予め主記憶に作成し、ＤＭＡ
コントローラ１１０を利用して主記憶上のパケットをネ
ットワークに転送する。

【００３２】マルチワードリードを受信したＰＵはパケ
ットのヘッダを要求コマンドヘッダ分解回路１３０に、
データ部をスイッチ１３１に送る。要求コマンドヘッダ
分解回路では、パケットのヘッダ部を分解し、コマンド
種に応じて、マルチワードリードの場合は信号１３０ｃ
を出力すると同時に、データ部の長さ１３０ｂ，送り元
ＰＵ番号１３０ｅを出力する。さらにワード数カウンタ
１５０にリセット／スタート信号１３０ｆを送る。カウ
ンタ１５０の出力とパケット中の長さフィールド１３０
ｂは比較機１５１で比較され、両者の値が異なる（カウ
ンタの値がパケットの長さより小さい）間、信号１５１
ａが出力される。１５１ａにより、カウンタ１５０がイ
ネーブルされると同時に、ゲート１３２によって、読み
出しコマンド１３２ａが主記憶１２０に伝えられる。

【００３３】スイッチ１３１は、カウンタの最下位ビッ
ト１５０ａ０の値、つまり、パケットのデータ部の偶数
ワードか奇数ワードかに応じ、パケットのデータ部の値
131aを、アクセスアドレス１３１ｃ（偶数ワードの場
合）と返送先アドレス１４１ｂ（奇数ワードの場合）に
振り分ける（スイッチ１３４はマルチワードリードの場
合セレクタ１４１に接続されてる）。その後、アドレス
バス１６０上のアドレスを用いて、主記憶の値が読み出
され、読み出されたデータは、データバス１６１を通
り、セレクタ１４１に入力される。

【００３４】その後、返答コマンドヘッダ組立回路１４
０，セレクタ１４１を用いて、読み出された値を送り元
のＰＵに返送するためのマルチワードライトコマンドが
出力される。このコマンドはAddr０〜Addrｎ−１に格納
されていた値を、送り元ＰＵのDest０〜Destｎ−１に書
き込む。

【００３５】まず、返答コマンド組立回路１４０は要求
コマンドヘッダ分解回路１３０から伝えられた送り元Ｐ
Ｕ（つまり返答コマンド宛先ＰＵ）番号１３０ｅ，コマ
ンド長１３０ｂより、返答用のマルチワードライトコマ
ンドのヘッダを送出する。パケットのデータ部１４１ａ
には、スイッチ１４１を用いて、カウンタの最下位ビッ
ト１５０ａ０の値（ただし、返答回路では、主記憶アク
セスを待つために、ディレイラッチ１５２を用いて１サ
イクル遅らせてある）、つまり、パケットのデータ部が
偶数ワードか奇数ワードかに応じ、返送先アドレス１４
１ｂ（偶数ワードの場合）もしくは読み出したデータ１
４１ｃ（奇数ワードの場合）を出力する。これにより、
送り元ＰＵから送られてきた返送先アドレスと、主記憶
を読み出したデータの組をマルチワードライトコマンド
のデータ部として送り元ＰＵに返送することができる。

【００３６】カウンタ１５０の値がパケットのデータ長
１３０ｂと等しくなる（パケットが終了する）と、１５
１ａ信号の出力が止められる。それにより、主記憶への
読み出し信号１３２ａが止められ、カウンタ１５０の動
作が止められ、返送コマンドの送出も終了する。以上の
処理により、マルチワードリードコマンドの中の各アド
レスの値を読み出し、送り元ＰＵの返送先アドレスに書
き込むことができる。

【００３７】以上の方式により、マルチワードライト，
マルチワードリードコマンドを用いて、他ＰＵの主記憶
上のアドレスが非連続な複数のワードに対する、書き込
み，読み出し処理を一つのネットワークコマンドで一括
して行うことが可能である。

【００３８】

【発明の効果】本発明によれば、分散メモリ型の並列計
算機において、他ＰＵにある、アドレスの連続しない複
数のデータに対するアクセスを、一つのネットワークコ
マンドで依頼し、ハードウェアで自動的に行うことによ
り、従来の連続アドレスに対するアクセスのみが可能な
ＤＭＡ機構を使用した場合と比較して、アクセスのオー
バヘッドを大幅に削減することが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例のリモートアクセス機構を持
った並列計算機のブロック図。

【図２】ネットワーク上のマルチワードライトコマンド
のフォーマットを示す図。

【図３】ネットワーク上のマルチワードリードコマンド
のフォーマットを示す図。

【図４】従来のＤＭＡ書き込みコマンドのフォーマット
を示す図。

【符号の説明】

１００，２００…プロセッシングユニット、１１０…Ｄ
ＭＡコントローラ、１１０ａ…ＤＭＡコマンド、１２０
…主記憶、１３０…分解回路、１３０ａ…要求コマンド
ヘッダ、１３０ｂ…データ長、１３０ｃ…マルチワード
リード信号、１３０ｄ…マルチワードライト信号、１３
０ｅ…送り元ＰＵ番号、１３０ｆ…カウンタコントロー
ル信号、１３１…スイッチ、１３１ａ…要求コマンドデ
ータ、１３１ｃ…主記憶アドレス、１３１ｄ…返送先ア
ドレス、１３２…信号出力ゲート、１３３…信号出力ゲ
ート、１３４…切替スイッチ、１４０…組立回路、140a
…返答コマンドヘッダ、１４１…セレクタ、１４１ａ…
データ、１４１ｂ…返送先アドレス、１４１ｃ…読み出
しデータ、１５０…ワード数カウンタ、１５０ａ…カウ
ンタ出力、１５０ａ０…カウンタ出力最下位ビット、１
５１…コンパレータ、１５１ａ…コマンドイネーブル信
号、１５２…ラッチ、１６０…アドレスバス、１６１…
データバス、１９０…ＣＰＵ、９００…ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤井啓明東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】複数のプロセッシングユニットを持ち、各
プロセッシングユニットが独立した主記憶を持ち、前記
各プロセッシングユニットがネットワークにより接続さ
れている並列計算機において、他のプロセッシングユニ
ットの主記憶上にある、アドレスが連続しない複数のデ
ータに対するアクセスを、一つのネットワークコマンド
で指定することを特徴とする並列計算機。
【請求項２】請求項１において、任意のアドレスを持つ
複数のデータへの書き込みを、同一のネットワークコマ
ンドで要求する並列計算機。
【請求項３】請求項２において、前記ネットワーク上の
データ書き込みコマンドで、書き込みアドレス，書き込
みデータの組を任意の個数持つことが可能である並列計
算機。
【請求項４】請求項３において、他プロセッシングユニ
ットから到来した書き込みコマンド中の、書き込みアド
レス，書き込みデータを、主記憶のアドレス線，データ
線に振り分けるためのスイッチを持ち、主記憶への書き
込みを行う並列計算機。
【請求項５】請求項１において、任意のアドレスを持つ
複数のデータへの読み出しを、同一のネットワークコマ
ンドで要求する並列計算機。
【請求項６】請求項５において、他のプロセッシングユ
ニットから読み出した複数のデータを、自プロセッシン
グユニットの主記憶値の任意の位置に置くことが出来る
並列計算機。
【請求項７】請求項６において、ネットワーク上のデー
タ読み出しコマンドで、他プロセッシングの主記憶上の
読み出しアドレス，読み出したデータを格納する自プロ
セッシングユニット上のアドレスの組を任意の個数持つ
ことが可能である並列計算機。
【請求項８】請求項７において、他プロセッシングユニ
ットから到来した読み出しコマンドの中の、読み出しア
ドレス，読み出したデータを格納するアドレスを、主記
憶のアドレス線，読み出したデータの返送先アドレスに
振り分けるためのスイッチを持ち、返送先アドレス，読
み出されたデータの組複数個を、一つの書き込みコマン
ドにまとめ、ネットワークへ出力するためのセレクタを
持つ並列計算機。