JPH0259955A - マルチプロセッサシステムにおける動作監視方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、複数のマイクロプロセッサ（以下、単にプロ
セッサという）が共有メモリを介してデータの授受を行
なうマルチプロセッサシステムにおいて、これらのプロ
セッサが相互に監視を行なうための動作監視方法に関す
る。

（従来の技術） 従来、この種の動作監視方法として、プロセッサ相互間
で予め決められた手順でデータのやりとりを行ない、そ
の動作が実施されなくなった時にそのプロセッサを異常
として判断する方法がある。

例えば、第１０図に示すように複数のプロセッサ２１．
２２，２３．共有バス２４、共有メモリ２５及びバス調
停回路２６を備えたマルチプロセッサシステムにおいて
、プロセッサ２２の動作をプロセッサ２１が監視する場
合を例にとると、まずプロセッサ２２は、共有メモリ２
５内の所定のアドレスのデータΔに対して一定時間ごと
に。

（Ａ）＋　Ｉ→Ａ の演算を施してデータへの内容を更新する。これに対し
、プロセッサ２１は上記のデータＡを一定時間ごとに読
み出してそれが前回値と異なることを確認する。

ここで、仮りにプロセッサ２２に障害が発生していわゆ
る暴走状態になると、データＡの更新が行なわれなくな
り（データＡが変化しなくなり）、データＡを監視する
プロセッサ２１によってプロセッサ２２の異常を検出す
ることができる。これを相互監視動作のために予め決め
られたプロセッサ間で相互に実施することにより、マル
チプロセッサシステムにおける動作監視を行なっている
。

（発明が解決しようとする課題） 上記のように相互監視時の監視側及び被監視側の関係が
予め決められた従来の方式では、相互監視を行なうへく
組み合わされたプロセッサの一方、例えばプロセッサ２
２が暴走すれば、健全なプロセッサ２１によって暴走の
発生を検出することができるが、これと同時に暴走した
プロセッサ２２がもともと行なっていた他の健全なプロ
セッサ、例えばプロセッサ２３の動作を監視するべきプ
ロセッサがなくなり、プロセッサ２３の信頼性も同時に
低下するという問題を有している。

これを防ぐ意味で、単一のプロセッサを常に監視側プロ
セッサとしてシステムを構成する複数のプロセンサの動
作監視を行なう方式や、単一のプロセッサがシステムを
構成する他の全てのプロセッサの動作監視を行なう方式
が考えられる。しかるに、前者は一部プロセッサの故障
に対して信頼性を維持する点では有効であるが、後述の
ような監視動作の起動のばらつきに起因する問題に対し
ては改善効果はない。また、後者の場合には、ｎ個のプ
ロセッサで構成されるシステムにおいて、単一のプロセ
ッサが他のｎ−１個のプロセッサすべての動作監視を行
なう必要があり、システムの規模が大きくなるのに比例
して監視側プロセッサの負荷が大きくなるという欠点が
あった。

また、電源投入によるパワーオン・リセット直後のよう
に、システムを構成するプロセッサ相互間で起動（前記
の相互監視処理を開始）するタイミングのずれがある場
合、監視側プロセッサが監視動作を開始した時点で被監
視側プロセッサがまだ相互監視動作を開始していないと
、監視側プロセッサは一時的しこ被監視側プロセッサを
異常と判断してしまうおそれがある。このような誤検出
を防ぐ目的で、被監視側プロセッサがまだ起動していな
い場合にはそれを検出し、起動するまでの間、監視動作
を停止する方法があるが、被監視側プロセッサが起動し
ていないことを判別し、かつその場合には監視動作を行
なわないという処理が新たに必要となり、ソフトウェア
がそれだけ複雑になる。

しかも、これとは逆に被監視側プロセッサが相互監視動
作を開始した時点で、監視側プロセッサがまだ相互監視
動作を開始していない場合には、監視側プロセッサが相
互監視動作を開始するまでの間、被監視側プロセッサの
動作を監視するものがなく、このため信頼性の低下を招
くという問題がある。加えて、従来のように複数のプロ
セッサの監視側、被監視側の組み合わせを予め決めてお
く方式では、プロセッサの追加や除去によってシステム
構成が変更されるたびに新たな組み合わせを指定する必
要があり、ソフトウェア設計の負担が増大するという問
題があった。

本発明は上記問題点を解決するために提案されたもので
、その目的とするところは、監視側プロセッサの負荷増
大を招くことがなく、また、起動直後のタイミングのず
れによる誤検出や信頼性低下を防ぐと共に、システム構
成の変化時にもソフトウェアの変更を伴うことなく相互
監視体制を直ちに構築できるようにしたマルチプロセッ
サシステムにおける動作監視方法を提供することにある
。

（課題を解決するための手段） 上記目的を達成するため、本発明は、マルチプロセッサ
システムの共有メモリ内に設けたリンク情報格納領域に
、各プロセッサが監視する対象である被監視側プロセッ
サを示す監視リンク情報と、各プロセッサを監視対象と
する監視側プロセッサを示す被監視リンク情報とを格納
する領域を各プロセッサごとに設け、かつ、前記システ
ムの起動後に順次相互監視体制に入るプロセッサを示す
最終リンク情報を格納する領域を設け、前記システムを
構成するプロセッサが起動される度に、このプロセッサ
によって最終リンク情報が示すプロセッサを監視するべ
く監視リンク情報及び被監視リンク情報を更新して相互
監視体制を構築すると共に最終リンク情報を更新し、監
視側のプロセッサがこのプロセッサにかかる監視リンク
情報に示すプロセッサの異常を検出した際に、この異常
発生プロセッサにかかる監視リンク情報が示すプロセッ
サを前記監視側プロセッサの新たな監視対象とするべく
監視リンク情報及び被監視リンク情報を更新して異常発
生プロセッサを除外した相互監視体制を再構築すると共
に、異常発生プロセッサが最終リンク情報に示すプロセ
ッサである場合には最終リンク情報に前記監視側プロセ
ッサを示す情報を格納することを特徴とする。

（作用） 本発明は、動作監視を行なうためのプロセッサの監視側
及び被監視側の組み合わせ（関係）は、システム全体が
果たすべき機能におけるプロセッサの関係とは必ずしも
同一のものである必要はないことに着目してなされたも
ので、本発明においては、動作監視を行なうプロセッサ
の組み合わせをシステム構成上のプロセッサの関係から
切り放してリング状になるようにし、システムの起動時
にいわゆる先着順で前記リングを拡大するようにプロセ
ッサを割り当てていくことにより、プロセッサ相互の起
動タイミングのずれに関係なく監視及び被監視動作の可
能なものから相互監視動作に入っていく。

すなわち、複数のプロセッサに起動タイミングのずれが
ある場合には、新たに相互監視体制に加わったプロセッ
サが、直０７ｉに相互監視体制に入ったプロセッサを監
視するように各プロセッサの監視、被監視の関係を組み
替えていく。

更に、一部プロセッサの異常を検出した場合には、既存
の相互監視体制から異常と判定されたプロセッサのみを
除外し、この除外されて切り離された部分をつなぎ合わ
せるように残りのプロセッサでリングを構成するように
相互監視のための新たな組み合わせを再構築することに
より、健全なプロセッサについては常に相互監視体制が
維持されることになる。

（実施例） 以下、図に沿って本発明の一実施例を説明する。

第１図は、複数のプロセッサにより例えば分散処理を行
なうマルチプロセッサシステムを示しており、図中、１
１．１２．１３．１４はプロセッサ、１５は共有メモリ
、２４は共有バス、２６はバス調停回路である。各プロ
セッサ１１〜１４は、共有メモ１月５を介してデータの
授受を行なうが、複数のプロセッサが共有メモリ１５に
対して同時にアクセスした場合に共有バス２４」二で信
号が競合、交＃ｉｔ　Ｌないように。

予め決められた優先順位に従ってバス調停回路２６によ
り唯一のプロセッサに対して共有メモリ１５へのアクセ
ス権が与えられ、このプロセッサがアクセスを終了（ア
クセス権を放棄）するまでの間は他のプロセッサが共有
メモリ１５にアクセスできないようになっている。

しかして、この実施例では、第２図に示すようなリンク
情報格納領域１５ａが共有メモリＨ内に設けられている
。このリンク情報格納領域１５ａにおいて、最終リンク
情報とはマルチプロセッサシステムに最後に加わったプ
ロセッサを示す情報、また、各プロセッサ１１〜１４に
対応してそれぞれ設けられた監視リンク情報とは、当該
プロセッサが監視側である場合に監視する対象となるプ
ロセッサ（被監視側プロセッサ）を示す情報、更に、被
監視リンク情報とは当該プロセッサが被監視側である場
合にどのプロセッサ（監視側プロセッサ）によって監視
されるかを示す情報である。そして、これらの最終リン
ク情報、監視リンク情報及び被監視リンク情報は、例え
ば各プロセッサ１１〜１４を識別するための番号等から
なるプロセッサコードによって溝底されるものである。

次に、このマルチプロセッサシステムにおける起動時の
処理を第３図に沿って説明する。

まず、システムの電源投入直後の初期化プログラムの一
部として、共有メモリ１５の初期化処理にあてられたプ
ロセッサは、始めに初期化処理の要否を判断しく第３図
ステップＳｌ）、必要な場合には所定の初期化（同Ｓ２
）終了の後、リンク情報格納領域１５ａの最終リンク情
報に自らのプロセッサコートを設定した上で、同じくリ
ンク情報格納領域１５ａの自己の監視リンク情報、被監
視リンク情報の双方に自己のプロセッサコードを設定し
く同Ｓ３）、しかる後に他のプロセッサが共有メモリ１
５を使用してもよい旨を、例えば共有メモリ１５の所定
の領域に使用許可フラグをセットすることによって他の
プロセッサに対し通知する（同Ｓ４）。

その後、後述する相互監視動作を含む通常の処理動作を
開始する。

共有メモリ１５の初期化処理を行なわないプロセッサは
、所定の初期化処理が終了していることを確認しく同３
１）、その後、共有メモリ１５の使用が許可されたこと
を確認した上で（同Ｓ６）ステップ７に移行する。

このステップＳ７においては、■最終リンク情報で指定
されたプロセッサコードをリンク情報格納領域１５ａに
設けられた自己の監視リンク情報に設定する。■リンク
情報格納領域１５ａにおいて、最終リンク情報で指定さ
れたプロセッサに割り当てられた被監視リンク情報に設
定されているプロセッサコードを、自己の被監視リンク
情報に設定する。■最終リンク情報で指定されたプロセ
ッサに割り当てられた被監視リンク情報に自己のプロセ
ッサコードを設定する。■自己のプロセッサコートを最
終リンク情報に設定する。■自己の被監視リンク情報に
設定したプロセッサ（前記■におけるプロセッサコード
にかかるプロセッサ）に割当てられた監視リンク情報に
、自己のプロセッサコートを設定する。しかる後、相互
監視動作を含む通常の処理動作を開始する（同Ｓ５）。

従って、例えばプロセッサ１２が共有メモリ１５の初期
化処理を実施した後、プロセッサ１４→同１１の順で相
互監視体制を構築していく過程では、リンク情報格納領
域１５ａの各リンク情報は第４図、（ａ）→（ｂ）→（
ｃ）の順で変化していくと共に、プロセッサ１３が新た
に追加される場合のプロセッサ１３の具体的な処理は以
下のようになる。なｇ、同図においてプロセッサコード
は、各プロセッサ１１〜１４につきぞれぞれ＃　１１．
　＃　１２．　＃　１３．　＃　１４により示しである
。

■まず、最終リンク情報で指定されるプロセッサコード
（＃１１）をプロセッサ１３に割り当てられた監視リン
ク情報に設定する。■最終リンク情報で指定されたプロ
セッサ１１に割り当てられた被監視リンク情報に設定さ
れているプロセッサコード（＃１２）を、プロセッサ１
３の被監視リンク情報に設定する。■最終リンク情報で
指定されたプロセッサ１１に割り当てられた被監視リン
ク情報に、自己のプロセッサコード（＃１３）を設定す
る。■自己のプロセッサコード（８１３）を最終リンク
情報にセットする。■自己の被監視リンク情報に設定し
たプロセッサ１２に割当てられた監視リンク情報に、自
己のプロセッサコード（＃１３）を設定する。

この結果、リンク情報格納領域１５ａの各リンク情報は
、最終的に第４図（ｄ）のとおりとなる。また、各段階
（第４図（ａ）〜（ｄ））における各プロセッサ相互の
監視・被監視の関係は第５図（ａ）〜（ｄ）のようにな
る。すなわち、第５図において、各プロセッサ間の矢印
の根元は監視側、矢印の先は被監視側であり、これらの
相互関係は第４図（ａ）〜（ｄ）の各段階における各プ
ロセッサの監視リンク情報及び被監視リンク情報に基づ
くものである。また、実線の円で表わされたプロセッサ
は起動中のもの、破線の円で表わされたプロセッサは未
起動のものを示す。

次いで、前記リンク情報に基づいた各プロセッサ間の相
互監視動作について説明する。第７図及び第８図は、そ
れぞれ被監視側及び監視側のプロセッサの処理を示すフ
ローチャートである。まず、被監視側のプロセッサは、
第７図に示すように、共有ツーモリ１５内にプロセッサ
ごとに予め設けられた動作監視用データの内容を一定時
間ごとに１だけ加算（インクリメント）する（ステップ
Ｓ　１０１）。

従って、この被監視側プロセッサが正常に動作していれ
ば、そのプロセッサの動作監視用データの内容は一定の
時間をかけて変化し続ける。

また、第８図において、監視側プロセッサは第７図のフ
ローチャートの処理と同時に、リンク情報格納領域１５
ａに設けられた自己の監視リンク情報で指定されたプロ
セッサの動作監視用データの内容を一定期間毎に共有メ
モリ１５から読み出しく同Ｓ　２０１）、その内容が常
に変化していることを確認する（同Ｓ　２０２）。動作
監視用データの内容が所定の期間を経過しても変化しな
い場合は、そのプロセッサに障害が生じたものとして他
のプロセッサに対して障害発生を通知する（同Ｓ　２０
３）と共に、後述のシステム再構成処理（同Ｓ　２０４
）を実施して相互監視体制から障害の発生したプロセッ
サを除外する。

第９図は上述した相互監視動作の結果、他のプロセッサ
の障害発生を検出した場合、相互監視体制から障害の発
生したプロセッサを除外するためのシステム再構成処理
のフローチャートを表わしたものであり、実質上、第８
図のステップＳ　２０４に相当する。すなわち、監視側
プロセッサは自己の監視リンク情報で指定されたプロセ
ッサコードで表わされるプロセッサ（すなわち異常が発
生したプロセッサであり、相互監視動作の枠組みから外
す必要があるプロセッサ）の監視リンク情報に設定され
ているプロセッサコードを自己の監視リンク情報に設定
する（ステップＳ　３０１）と共に、設定したプロセッ
サコードにかかるプロセッサの被監視リンク情報に自己
のプロセッサコードを設定する（同Ｓ　３０２）。

つまり監視側プロセッサは、それまで監視対象であった
異常発生プロセッサに代えて、この異常発生プロセッサ
が監視していたプロセッサを以後の監視対象とし、この
新たに監視対象となったプロセッサは、自己を監視する
プロセッサとして前記監視側プロセッサのプロセッサコ
ードを設定することになる。

その後、リンク情報格納領域１５ａの最終リンク情報の
内容が異常と判定されたプロセッサである場合は（同Ｓ
　３０３）、自己のプロセッサコードを新たな最終リン
ク情報として設定する（同Ｓ　３０４）。

前述の第５図（ｄ）で表わされる相互監視の組み合わせ
で、プロセッサ１２がプロセッサ１３の異常を検出して
プロセッサ１３を相互監視体制から除外する場合を例に
とると、その処理は以下のとおりである。■自己（プロ
セッサ１２）の監視リンク情報で指定されたプロセッサ
（プロセッサ１３）の動作監視のだめのデータが一定時
間変化しないことから、プロセッサ１３の異常を検出す
る。■プロセッサ１３の異常を検出したことを共有メモ
リ１５内に設けられた故障検出フラグ等を使用して他の
プロセッサに通知する。■リンク情報格納領域１５ａ内
に設けられたプロセッサ１３の監視リンク情報に設定さ
れているプロセッサコード（＃１１）を自己の監視リン
ク情報に設定すると共に、設定したプロセッサコードで
表わされるプロセッサ１１の被監視リンク情報に自己の
プロセッサコード（＃１２）を設定する。

■最終リンク情報の内容（＄１３）が異常と判断された
プロセッサ１３に相当するため、自己のプロセッサコー
ド（＃１２）を新たな最終リンク情報の内容として設定
する。

この結果、再構成されたシステムの相互監視の関係は第
６図のように変化する。また、異常と判定されたプロセ
ッサ１３が正常状態に復帰した場合には、電源投入直後
と同一の手順に従ってこのプロセッサ１３が相互監視体
制に組み入れられ、再び第５図（ｄ）の状態に戻る。

なお、上記システムの再構成処理は、別の監視側、被監
視側プロセッサ間においても同様であり、例えば第５図
（ｄ）において、プロセッサ１１がプロセッサ１４の異
常を検出した場合にはプロセッサ１４がシステムから除
去され、以後、プロセッサ１１はプロセッサ１２を監視
することになる。この場合、最終リンク情報（３１３）
は変化しない。

また、上記実施例はシステムを構成するプロセッサが４
つである場合についてのものであるが、本発明は一般に
複数のプロセッサからなるマルチプロセッサシステム全
般に適用することができる。

（発明の効果） 以上のように本発明によれば、マルチプロセッサシステ
ムを構成する複数のプロセッサの一部に障害が発生した
場合も、異常と判定されたプロセッサを除外して共有メ
モリを介した相互監視のための組み合わせを新たに再構
築することから、健全なプロセッサ間では障害発生の有
無に関わらず常に相互監視動作を継続できるため、シス
テムの信頼性を高めることができると共に、単一のプロ
セッサが複数ないし多数のプロセッサを監視するもので
はないから、監視側プロセッサの負荷も少なく〈済むと
いう効果がある。

また、電源投入による起動直後のように個々のプロセッ
サの動作を同期させることが困難な場合でも、準備の整
ったプロセッサから順次相互監視の枠組みに組み込まれ
ていくために相互監視動作の抜けがなくなり、その為の
ソフトウェアも極めて単純なものとなってプログラムの
簡略化を図ることができる。

更に、相互監視を行なうためのプロセッサの組み合わせ
を固定せずに、いわゆる先着順で決定していくため、シ
ステム構成（プロセッサの数）が変更されてもプロセッ
サの追加・削減のたびごとに新たな組み合わせが構築さ
れていくことから、相互監視のためのソフトウェアはシ
ステムを構成するプロセッサの数に影響されることがな
い。例えば、システム内でプロセッサがひとつしか起動
していない場合でも、システムを構成する全てのプロセ
ッサが起動している場合でも、実行されるソフトウェア
は同一のものでよく（例えば第５図（ａ）の場合、自分
で自分の動作監視を行なうことになり、そのプロセッサ
の動作が正常である限り実質的な支障はなく、むしろ第
７図と第８図のソフトウェア（監視側・被監視側の処置
）を実行するプログラムレベルが異なる場合は、実行周
期の相違等により、第７図のラフ１−ウェアを実行する
プログラムレベルの動作を第８図のラフ１−ウェアを実
行するプログラムレベルが監視するという効果も生しる
）、システム変更に対しても柔軟に対応することができ
る等の効果がある。

【図面の簡単な説明】

第１図ないし第９図は本発明の一実施例を示すもので、
第１図はマルチプロセッサシステムの構成図、第２図は
リンク情報格納領域の説明図、第３図はマルチプロセッ
サシステムにおける起動時の処理を示すフローチャート
、第４図（ａ）、（ｂ）。 （Ｃ）、（ｄ）はリンク情報の変化を示す説明図、第５
図（ａ）、（ｂ）、（ｃ）、（ｄ）及び第６図はプロセ
ッサ内の相互監視の関係を示す説明図、第７図は被監視
側プロセッサの処理を示すフローチャート、第８図は監
視側プロセッサの処理を示すフローチャート、第９図は
システム再構成処理を示すフローチャート、第１０図は
従来例を説明するためのマルチプロセッサシステムの構
成図である。 １１〜１４・・・プロセッサ　　　　　１５・・・共有
メモリ１５ａ・・リンク情報格納領域　　２４・・共有
バス２６・・バス調停回路

Claims (1)

1. 【特許請求の範囲】 複数のプロセッサと、その共有メモリとから構成される
   マルチプロセッサシステムであって前記プロセッサが相
   互に監視を行なう動作監視方法において、 前記共有メモリ内に設けたリンク情報格納領域に、前記
   各プロセッサが監視する対象である被監視側プロセッサ
   を示す監視リンク情報と、各プロセッサを監視対象とす
   る監視側プロセッサを示す被監視リンク情報とを格納す
   る領域を各プロセッサごとに設け、かつ、前記システム
   の起動後に順次相互監視体制に入るプロセッサを示す最
   終リンク情報を格納する領域を設け、 前記システムを構成するプロセッサが起動される度に、
   このプロセッサによって前記最終リンク情報が示すプロ
   セッサを監視するべく前記監視リンク情報及び被監視リ
   ンク情報を更新して相互監視体制を構築すると共に前記
   最終リンク情報を更新し、 監視側のプロセッサがこのプロセッサにかかる前記監視
   リンク情報に示すプロセッサの異常を検出した際に、こ
   の異常発生プロセッサにかかる前記監視リンク情報が示
   すプロセッサを前記監視側プロセッサの新たな監視対象
   とするべく前記監視リンク情報及び被監視リンク情報を
   更新して前記異常発生プロセッサを除外した相互監視体
   制を再構築すると共に、前記異常発生プロセッサが前記
   最終リンク情報に示すプロセッサである場合には前記最
   終リンク情報に前記監視側プロセッサを示す情報を格納
   することを特徴とするマルチプロセッサシステムにおけ
   る動作監視方法。