JPH09134334A - マルチプロセッサ間同期処理制御方法、並びにマルチプロセッサシステムおよびフォールトトレラントシステム - Google Patents

Abstract

(57)【要約】 【課題】 オペレーティングシステムでの処理負荷を増
加せしめることなく、処理ユニット各々で同一処理を同
期して行うこと。 【解決手段】 処理ユニット１，２各々では、プロセッ
サ３，４から各種状態情報の読出し起動要求があった際
に、相互に自処理ユニットでの各状態情報については勿
論のこと、他処理ユニットからも同一時点での各種状態
情報が同期送受信データバス１３，１４を介し収集取込
みされた上、自処理ユニットでの各種状態情報とともに
全処理ユニット共通な所定フォーマットに再編集された
状態としてプロセッサ３，４に同一タイミングで返送さ
れているものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、処理ユニット各々
では、オペレーティングシステムから状態情報読出し起
動要求があった際に、相互に他処理ユニット各々からは
同一時点での各種状態情報が収集取込みされた上、自処
理ユニットでの各種状態情報とともに全処理ユニット共
通な所定フォーマットに再編集された状態としてオペレ
ーティングシステムに返送されるようにしたマルチプロ
セッサ間同期処理制御方法、更には、そのようなマルチ
プロセッサ間同期処理制御方法が実施可とされたマルチ
プロセッサシステム、あるいはフォールトトレラントシ
ステムそのものに関するものである。

【０００２】

【従来の技術】これまで、１つのオペレーティングシス
テムの下で、２以上の処理ユニット各々が同期をとりな
がら同一処理を行うようなマルチプロセッサシステム
（例えば熱予備系処理ユニットを含むフォールトトレラ
ントシステム）においては、処理ユニット各々での各種
状態情報（ここにいう各種状態情報とは、処理ユニット
自体や入出力装置自体のオン／オフライン状態を含む各
種の状態（ステータス）を識別するための複数のビット
からなる情報として定義される）は他処理ユニット各々
から相互に独立した状態として発生／更新されているこ
とから、そのオペレーティングシステム上からは、ハー
ドウェア上での多重化が意識された状態で処理ユニット
各々が個々に制御される必要があるものとなっている。
より詳細に、例えばマルチプロセッサシステムが２つの
処理ユニットＩ，ＩＩからなり、しかも処理ユニット
Ｉ，ＩＩ各々のある時点での各種状態情報により次処理
が決定される場合を例に採り想定すれば、処理ユニット
Ｉ，ＩＩ各々からは順次各種状態情報がオペレーティン
グシステムに読み出された上、処理ユニットＩ，ＩＩ各
々はそれぞれ個別に制御される必要があったものであ
る。一般的に、“処理ユニットＩからの各種状態情報の
読出し→処理ユニットＩＩからの各種状態情報の読出し
→状態判定→処理ユニットＩへの状態制御→処理ユニッ
トＩＩへの状態制御”といった手順が採られていたもの
である。

【０００３】なお、この種の従来技術に関するものとし
て、例えば特開平１ー１０３７６１号公報（多重系バス
同期システムの故障診断装置）や特開昭６２ー２４２２
６９号公報（計算機間同期方式）が挙げられる。このう
ち、前者公報では、同一処理が同期して行われている、
複数のＣＰＵ各々と、相互に非同期動作状態にある、Ｃ
ＰＵ対応入出力インタフェースとの間にはそれらＣＰＵ
対応にラッチ回路が設けられており、ラッチ回路各々に
ラッチされた、ＣＰＵ対応入出力インタフェースからの
ステータス情報は相互に他ＣＰＵにも取込まれた上、比
較照合されることによって、何れかの入出力インタフェ
ースでの故障が検出可とされたものとなっている。ま
た、後者公報では、複数の計算機が多段、あるいは環状
に接続されている場合に、それら計算機各々に同期パタ
ーン保持用レジスタやその同期パターンを次段に転送す
るか否かを選択する切替回路等が設けられることによっ
て、任意の段間での同期や多パターン同期がハードウェ
アにより高速に実現可とされたものとなっている。

【０００４】

【発明が解決しようとする課題】以上のように、これま
でにあっては、処理ユニットＩ，ＩＩ各々からは順次各
種状態情報が読み出された上、状態判定が行われてお
り、その判定結果により処理ユニットＩ，ＩＩ各々が順
次制御されていたものであるが、このようにして処理ユ
ニットＩ，ＩＩ各々が制御される場合での問題点として
は、状態判定に供される、処理ユニットＩ，ＩＩ各々か
らの各種状態情報が同一時点でのものではなく、したが
って、制御上での誤処理は免れ得ないことが挙げられる
ものとなっている。これは、処理ユニットＩ，ＩＩ各々
での各種状態はハードウェア要因等の外乱により独立
に、しかも様々に変化する可能性があるも、以上のよう
にして、各種状態情報が読み出された上、状態判定され
るに際しては、オペレーティングシステムでは、処理ユ
ニットＩ，ＩＩ各々での各種状態を同一時点でのものと
して確実に認識することは不可能であり、誤った制御処
理が行われる可能性があるからである。このような不具
合を回避するには、オペレーティングシステムでは、処
理ユニットＩ，ＩＩ各々からの各種状態はタイムラグ
（時間遅れ）が極力抑えられた状態として認識されるべ
く、割込み禁止状態で認識処理を行うか、またはより認
識処理の妥当性を増すべく、２度読み、３度読み等によ
り状態変化が起こっていないことを再確認の上、制御処
理を行う必要があったものである。更に、処理の重要性
が増す程に、ソフトウェア的外乱やハードウェア的外乱
は一切排除された状態、即ち、状態変化が絶対に起こり
得ない状況を創出の上、処理を行う必要があったもので
ある。結局、オペレーティングシステムがハードウェア
上での多重化、即ち、複数の処理ユニットの存在を意識
しつつ、これら処理ユニット各々を制御する場合、複数
の相互に独立した処理ユニット各々に固有な各種状態情
報を同一時点でのものとして、しかも同時に認識するこ
とは不可能であったものである。これまでにあっては、
そのような不具合を不完全ながらも補うべく、様々の手
法が駆使されているにしても、以降、ダイナミックにシ
ステムの構成状況が変化する程に、そのような対処手法
は、もはや、オペレーティングシステムでの処理負荷を
増大させるだけであり、マルチプロセッサシステムとし
ての応答性や性能を著しく低化させる要因となっている
のが実情である。

【０００５】本発明の第１の目的は、オペレーティング
システムでの処理負荷を増加せしめることなく、処理ユ
ニット各々で同一処理が同期して行われ得るマルチプロ
セッサ間同期処理制御方法、更には、そのような同期処
理制御方法が容易に実施可とされた構成のマルチプロセ
ッサシステムを供するにある。本発明の第２の目的は、
オペレーティングシステムでの処理負荷を増加せしめる
ことなく、フォールトトレラントシステムの構成要素と
しての処理ユニット各々で同一処理が同期して行われ得
るマルチプロセッサ間同期処理制御方法、更には、その
ような同期処理制御方法が容易に実施可とされた構成の
フォールトトレラントシステムを供するにある。

【０００６】

【課題を解決するための手段】上記第１の目的は、処理
ユニット各々では、オペレーティングシステムから状態
情報読出し起動要求があった際に、相互に他処理ユニッ
ト各々からは同一時点での各種状態情報が収集取込みさ
れた上、自処理ユニットでの各種状態情報とともに全処
理ユニット共通な所定フォーマットに再編集された状態
としてオペレーティングシステムに返送されることで達
成され、また、処理ユニット各々を、該処理ユニット外
部で他処理ユニット各々と状態情報収集取込み用同期バ
スを介し相互に接続せしめるとともに、処理ユニット各
々の内部には、オペレーティングシステムから状態情報
読出し起動要求があった際に、上記状態情報収集取込み
用同期バスを介し他処理ユニット各々から収集取込みさ
れる、同一時点での各種状態情報を自処理ユニットでの
各種状態情報とともに全処理ユニット共通な所定フォー
マットに再編集した状態としてオペレーティングシステ
ムに返送するためのプロセッサ間同期制御手段を具備せ
しめるべく構成することで達成される。

【０００７】上記第２の目的はまた、フォールトトレラ
ントシステムの構成要素としての処理ユニット各々で
は、オペレーティングシステムから状態情報読出し起動
要求があった際に、相互に他処理ユニット各々からは同
一時点での各種状態情報が収集取込みされた上、自ユニ
ットでの各種状態情報とともに全処理ユニット共通な所
定フォーマットに再編集された状態としてオペレーティ
ングシステムに返送されることで達成され、また、フォ
ールトトレラントシステムの構成要素としての処理ユニ
ット各々を、該処理ユニット外部で他処理ユニット各々
と状態情報収集取込み用同期バスを介し相互に接続せし
めるとともに、処理ユニット各々の内部には、オペレー
ティングシステムから状態情報読出し起動要求があった
際に、上記状態情報収集取込み用同期バスを介し他処理
ユニット各々から収集取込みされる、同一時点での各種
状態情報を自処理ユニットでの各種状態情報とともに全
処理ユニット共通な所定フォーマットに再編集した状態
としてオペレーティングシステムに返送するためのプロ
セッサ間同期制御手段を具備せしめるべく構成すること
で達成される。

【０００８】

【発明の実施の形態】先ず本発明を具体的に説明する前
に、その概要について簡単ながら説明すれば、処理ユニ
ット各々では、オペレーティングシステムから各種状態
情報の読出し起動要求があった際に、相互に自処理ユニ
ットでの各状態情報については勿論のこと、他処理ユニ
ット各々からも同一時点での各種状態情報が収集取込み
された上、自処理ユニットでの各種状態情報とともに全
処理ユニット共通な所定フォーマットに再編集された状
態としてオペレーティングシステムに同一タイミングで
返送されるようにしたものである。この結果として、オ
ペレーティングシステムでは、同期処理状態を損なうこ
となく、全処理ユニット各々についての各種状態情報が
ただ１回の読出しアクセスにより読み取れ得、その分、
マルチプロセッサシステムとしての応答性や性能は向上
され得るものである。このような事情はフォールトトレ
ラントシステムでも同様である。

【０００９】さて、本発明を図１から図４により具体的
に説明すれば、図１に本発明によるマルチプロセッサシ
ステムの一例でのシステム構成を示す。図示のように、
本例では、処理ユニットの数が２である場合について示
されているが、一般にその数が２以上のものに適用可と
されたものとなっている。そのシステム構成であるが、
処理ユニット（ＰＵ１，ＰＵ２）１，２は同一構成とさ
れ、その内部には、プロセッサ３，４やプログラムメモ
リ５，６、プロセッサ間メモリインタフェース７，８、
プロセッサ間同期制御部９，１０、システムバス１１，
１２、クロック生成部１５，１６等が具備せしめられた
ものとなっている。ここで、上記構成要素のうち、クロ
ック生成部１５，１６について説明すれば、クロック生
成部１５，１６各々からのクロックは相互に処理ユニッ
ト１，２間で授受転送された上、位相同期化せしめられ
ることで、処理ユニット１，２はともに同一クロックＣ
ＬＫにて動作すべくシステム構成されたものとなってい
る。また、プロセッサ間同期制御部９，１０は直接本発
明に係るものとされるが、これらプロセッサ間同期制御
部９，１０間は相互に独立した同期送受信データバス１
３，１４を介し接続されることによって、処理ユニット
１，２各々では、互に相手処理ユニットからの各種状態
情報が自処理ユニットに取込み可されているものであ
る。

【００１０】既述のように、各種構成情報が読み出され
る場合、処理ユニット１，２各々ででの動作は同一とさ
れるが、その動作概要を処理ユニット１について説明す
れば以下のようである。即ち、先ずプロッセサ３からの
各種状態情報の読出し起動要求がプロセッサ間メモリイ
ンタフェース７を介しプロセッサ間同期制御部９にあっ
た場合、プロセッサ間同期制御部９では、その応答とし
て、自処理ユニット１での各状態情報についての取込は
勿論のこと、同期送受信データバス１３を介し他処理ユ
ニット２からも同一時点での各種状態を収集取込みした
上、自処理ユニットでの各種状態情報とともに全処理ユ
ニット共通な所定フォーマットに再編集された状態とし
て逆経路を介しプロッセサ３に返送されているものであ
る。

【００１１】以上のように、プロセッサ間同期制御部９
は処理ユニット１での各状態情報についての取込は勿論
のこと、他処理ユニット２からも同一時点での各種状態
を収集取込みする上で重要なものとされるが、図２はプ
ロセッサ間同期制御部９，１０の一例での詳細構成を示
したものである。図示のように、プロセッサ間同期制御
部９，１０は同一構成とされているが、説明の便宜上、
主にプロセッサ間同期制御部９について、その構成とそ
の動作を図３を参照しつつ説明すれば以下のようであ
る。

【００１２】即ち、プロセッサ３からの、各種状態情報
の読出し起動要求信号（ＰＲＥＱ）２０１はプロセッサ
インタフェース部３０を介し、マスタコントロール部４
１にはマスタ制御部起動信号（ＭＲＥＱ）３０１として
入力されるものとなっている。マスタ制御部起動信号３
０１が入力された場合、マスタコントロール部４１で
は、処理ユニット２から各種状態情報を読み出すべく、
マスタコントロール部４１からはマスタ起動信号（ＹＲ
ＥＱ₁₂）４０１が同期送受信データバス１３の一部を介
しプロセッサ間同期制御部１０に対し出力されるが、こ
のマスタ起動信号４０１はプロセッサ間同期制御部１０
内のスレーブコントロール部５２を介し、プロセッサ間
同期制御部１０内のレジスタ部に対し他系要求信号（Ｘ
ＲＥＱ）５０４として出力されるものとなっている。こ
れに応答して、そのレジスタ部からは、処理ユニット２
での各種状態情報（ＲＤＡＴ）４１３が同期送受信デー
タバス１３を介しプロセッサ間同期制御部９内のレジス
タ部７０に読み出されているものである。プロセッサ間
同期制御部１０内のレジスタ部から各種状態情報４１３
が読み出されるに際しては、そのレジスタ部からの応答
信号（ＸＡＣＫ）５０５はスレーブコントロール部５２
を介し、応答信号（ＹＡＣＫ）４０２としてレジスタ部
７０に出力されることから、レジスタ部７０では、その
応答信号４０２のタイミングで各種状態情報４１３を取
込みすればよいものである。

【００１３】一方、以上の動作に並行して、マスタコン
トロール部４１では、他系要求信号５０４に同期して、
即ち、マスタ起動信号４０１の終了した時点から１ＣＬ
Ｋ周期に亘って自系要求信号（ＳＲＥＱ）３０４がレジ
スタ部７０に対し出力されるものとなっている。その自
系要求信号３０４に応答して、レジスタ部７０からは、
処理ユニット１での各種状態情報（ＳＤＡＴ）４０３が
同期送受信データバス１４を介しプロセッサ間同期制御
部１０内のレジスタ部に読み出されているものである。
結局、レジスタ部７０には処理ユニット２での各種状態
情報が読み出されるのに同期して、そのレジスタ部７０
からプロセッサ間同期制御部１０内のレジスタ部には、
処理ユニット１での各種状態情報が読み出されているも
のである。そのレジスタ部７０内ではまた、処理ユニッ
ト１での各種状態情報は上位４ビットに、処理ユニット
２での各種状態情報は下位４ビットにそれぞれ位置すべ
く、全処理ユニット１，２共通に予め定められたフォー
マットデータ（ＳＸＤＡＴ）５１３としてそれら各種状
態情報が再編集された上、応答信号４０２の終了後の１
ＣＬＫ周期分経過した時点から、プロセッサインタフェ
ース部３０を介し応答データ（ＰＡＣＫ）２０２として
プロセッサ３に返送されているものである。これに並行
して、プロセッサ間同期制御部１０内のレジスタ部で
も、処理ユニット１での各種状態情報は上位４ビット
に、処理ユニット２での各種状態情報は下位４ビットに
それぞれ位置すべく、全処理ユニット１，２共通に予め
定められたフォーマットデータとしてそれら各種状態情
報が再編集された上、応答データ２０２と同一タイミン
グでプロセッサ４に返送されているものである。

【００１４】最後に、処理ユニットの数が２である場合
でのレジスタ部７０の一例での詳細構成について説明す
る前に、処理ユニット１，２各々を一義的に識別するた
めの処理ユニット固有のユニット番号について説明すれ
ば、例えば処理ユニット１にはユニット番号として
「０」が、また、処理ユニット２にはユニット番号とし
て「１」がそれぞれ予め付与されたものとなっている。
これらユニット番号「０」，「１」にもとづき処理ユニ
ット１，２各々では、自処理ユニットでの各種状態情報
と他処理ユニットでの各種状態情報とが所定フォーマッ
トとして再編集されているものである。

【００１５】さて、処理ユニット１，２各々での各種状
態情報が４ビットから、また、再編集後の各種状態情報
が８ビットからなるものとして、先ず処理ユニット１に
係るレジスタ部７０の構成とその動作について説明すれ
ば、この場合、レジスタ部７０にはユニット番号として
「０」が予め設定された上、セレクタ６００，６０１各
々に選択制御信号として与えられるものとなっている。
この結果、セレクタ６００からは、自状態情報（処理ユ
ニット１での各種状態情報）が上位４ビットデータとし
て選択出力される一方では、セレクタ６０１からは、他
状態情報（処理ユニット２での各種状態情報）が下位４
ビットデータとして選択出力され得るものである。選択
出力された上位４ビットデータおよび下位４ビットデー
タはレジスタ６０２上に８ビットデータとして設定され
ることで、再編集された各種状態情報が処理ユニット１
で得られているものである。一方、処理ユニット２に係
るレジスタ部の構成はレジスタ部７０と同一構成とされ
た上、ユニット番号として「１」が予め設定されたもの
となっている。図４を参照しつつ、その動作について説
明すれば、ユニット番号としての「１」はセレクタ６０
０，６０１各々に選択制御信号として与えられているも
のである。この結果、セレクタ６００からは、他状態情
報（処理ユニット１での各種状態情報）が上位４ビット
データとして選択出力される一方では、セレクタ６０１
からは、自状態情報（処理ユニット２での各種状態情
報）が下位４ビットデータとして選択出力され得るもの
である。選択出力された上位４ビットデータおよび下位
４ビットデータはレジスタ６０２上に８ビットデータと
して設定されることで、処理ユニット２でも、再編集さ
れた各種状態情報が処理ユニット１でのものと内容同一
として、同時に得られているものである。

【００１６】

【発明の効果】以上、説明したように、請求項１，２に
よる場合は、オペレーティングシステムでの処理負荷を
増加せしめることなく、処理ユニット各々で同一処理が
同期して行われ得るマルチプロセッサ間同期処理制御方
法、更には、そのような同期処理制御方法が容易に実施
可とされた構成のマルチプロセッサシステムが、また、
請求項１，２による場合には、オペレーティングシステ
ムでの処理負荷を増加せしめることなく、フォールトト
レラントシステムの構成要素としての処理ユニット各々
で同一処理が同期して行われ得るマルチプロセッサ間同
期処理制御方法、更には、そのような同期処理制御方法
が容易に実施可とされた構成のフォールトトレラントシ
ステムがそれぞれ得られるものとなっている。

【図面の簡単な説明】

【図１】図１は、本発明によるマルチプロセッサシステ
ムの一例でのシステム構成を示す図

【図２】図２は、そのシステム構成要素としての処理ユ
ニット各々に具備されているプロセッサ間同期制御部の
一例での詳細構成を示す図

【図３】図３は、そのプロセッサ間同期制御部での動作
を説明するための図

【図４】図４は、そのプロセッサ間同期制御部内におけ
るレジスタ部の一例での詳細構成を示す図

【符号の説明】

１，２…処理ユニット（ＰＵ１，ＰＵ２）、３，４…プ
ロセッサ、５，６…プログラムメモリ、７，８…プロセ
ッサ間メモリインタフェース、９，１０…プロセッサ間
同期制御部、１３，１４…同期送受信データバス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 萩谷 貞夫 茨城県日立市大みか町五丁目２番１号 株 式会社日立情報制御システム内 (72)発明者 宮崎 義弘 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内 (72)発明者 日向 一弘 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内 (72)発明者 江原 修 茨城県日立市大みか町五丁目２番１号 株 式会社日立情報制御システム内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 同一オペレーティングシステムの下で、
   同一クロックにより２以上の処理ユニット各々で同一処
   理が同期して行われるマルチプロセッサシステムにおけ
   るマルチプロセッサ間同期処理制御方法であって、処理
   ユニット各々では、オペレーティングシステムから状態
   情報読出し起動要求があった際に、相互に他処理ユニッ
   ト各々からは同一時点での各種状態情報が収集取込みさ
   れた上、自処理ユニットでの各種状態情報とともに全処
   理ユニット共通な所定フォーマットに再編集された状態
   としてオペレーティングシステムに返送されるようにし
   たマルチプロセッサ間同期処理制御方法。
2. 【請求項２】 同一オペレーティングシステムの下で、
   同一クロックにより２以上の処理ユニット各々で同一処
   理が同期して行われるマルチプロセッサシステムであっ
   て、処理ユニット各々を、該処理ユニット外部で他処理
   ユニット各々と状態情報収集取込み用同期バスを介し相
   互に接続せしめるとともに、処理ユニット各々の内部に
   は、オペレーティングシステムから状態情報読出し起動
   要求があった際に、上記状態情報収集取込み用同期バス
   を介し他処理ユニット各々から収集取込みされる、同一
   時点での各種状態情報を自処理ユニットでの各種状態情
   報とともに全処理ユニット共通な所定フォーマットに再
   編集した状態としてオペレーティングシステムに返送す
   るためのプロセッサ間同期制御手段を具備せしめてなる
   構成のマルチプロセッサシステム。
3. 【請求項３】 同一オペレーティングシステムの下で、
   同一クロックにより２以上の処理ユニット各々で同一処
   理が同期して行われる、マルチプロセッサシステムとし
   てのフォールトトレラントシステムにおけるマルチプロ
   セッサ間同期処理制御方法であって、処理ユニット各々
   では、オペレーティングシステムから状態情報読出し起
   動要求があった際に、相互に他処理ユニット各々からは
   同一時点での各種状態情報が収集取込みされた上、自ユ
   ニットでの各種状態情報とともに全処理ユニット共通な
   所定フォーマットに再編集された状態としてオペレーテ
   ィングシステムに返送されるようにしたマルチプロセッ
   サ間同期処理制御方法。
4. 【請求項４】 同一オペレーティングシステムの下で、
   同一クロックにより２以上の処理ユニット各々で同一処
   理が同期して行われる、マルチプロセッサシステムとし
   てのフォールトトレラントシステムであって、処理ユニ
   ット各々を、該処理ユニット外部で他処理ユニット各々
   と状態情報収集取込み用同期バスを介し相互に接続せし
   めるとともに、処理ユニット各々の内部には、オペレー
   ティングシステムから状態情報読出し起動要求があった
   際に、上記状態情報収集取込み用同期バスを介し他処理
   ユニット各々から収集取込みされる、同一時点での各種
   状態情報を自処理ユニットでの各種状態情報とともに全
   処理ユニット共通な所定フォーマットに再編集した状態
   としてオペレーティングシステムに返送するためのプロ
   セッサ間同期制御手段を具備せしめてなる構成のフォー
   ルトトレラントシステム。