JPH08314744A - フォールトトレラントシステム - Google Patents

Abstract

(57)【要約】 【目的】分散配置に適したフォ−ルトトレラントシステ
ムの構成を提供する。 【構成】複数のプロセッシングノード１１〜１ｎと、各
プロセッシングノードにおけるデータ処理の結果である
データのうち最も信頼度の高いデータを選択して出力信
号２５０として与える出力選択ノ−ド２０と、これらを
接続するネットワ−ク３より、フォ−ルトトレラントシ
ステムを構成する。各プロセッシングノード１１〜１ｎ
は自己診断機能１２１〜１２ｎによって検出した障害の
発生状況を表す障害発生情報をデータと共に出力選択ノ
−ド２０に送る。出力選択ノード２０の判定機能２３０
は、各プロセッシングノード１１〜１ｎからのデータ相
互間の一致／不一致と、各プロセッシングノード１１〜
１ｎからの障害発生情報に基づき、最も信頼度の高いデ
ータを判定し、これを選択機能２４０に出力させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、サブシステムを多重化
したフォ−ルトトレラントシステムに関するものであ
る。

【０００２】

【従来の技術】制御コンピュ−タシステム等の信頼性を
高める技術としては、サブシステムを多重化したフォ−
ルトトレラントシステムが知られている。

【０００３】また、このようなフォ−ルトトレラントシ
ステムにおいて、多重化した各サブシステムに同じ処理
を実行させ、各サブシステムの出力する処理結果のうち
から最も確からしい処理結果を選択し、制御対象に出力
することが行われている。

【０００４】最も確からしい出力結果を選択する技術と
しては、多数決論理によって最も確からしい処理結果を
決定する技術や、各サブシステムの自己診断結果に基づ
いて最も確からしい処理結果を選択する技術等が知られ
ている。

【０００５】また、特開平３−１５９４６号公報等に記
載されているように、シンドローム（障害発生状況）に
基づき各サブシステムの処理結果の信頼度を推定し、最
も信頼度の高い処理結果を選択する技術等が知られてい
る。この技術では、各サブシステム間、および、各シス
テムと各サブシステムの出力する処理結果のうちから制
御対象に出力する処理結果を選択する出力選択回路とを
各々独立した通信路で接続し、相互に情報を交換しなが
ら最終的に出力する処理結果を出力選択回路で選択して
いる。

【０００６】また、高信頼化の技術としては、ハードウ
ェアの多重度を高める技術の他に、１つのハードウェア
の中の処理を多重化する技術が知られている。

【０００７】

【発明が解決しようとする課題】さて、このようなフォ
−ルトトレラントシステムにおいては、各サブシステム
や、各サブシステムの出力する処理結果のうちから制御
対象に出力する処理結果を選択する出力処理回路を広域
に分散して配置する必要がある場合がある。しかし、こ
のような分散配置は、前述した特開平３−１５９４６号
公報の技術では、必要となる通信路が膨大な規模となっ
てしまうために実現が困難である。

【０００８】また、前述した特開平３−１５９４６号公
報等に記載されている、各サブシステムの処理結果の信
頼度を推定し最も信頼度の高い処理結果を選択する技術
は、各サブシステムの内部構成が同一であり、障害検出
／障害回復機能のカバレッジ（障害検出／障害回復漏れ
がない確率）が等しいという仮定に基づいている。

【０００９】しかし、実際のシステムは、システムの拡
張等によって新旧のサブシステムが混在した構成となる
こともある。そして、このような場合には、サブシステ
ムごとに障害検出／障害回復機能のカバレッジが異なる
ことがある。また、デザインダイバーシティの効果のた
めに意図的に異なる製造業者により製造されたサブシス
テムを混在させるような場合も同様に、サブシステムご
とに内部構成や、障害検出／障害回復機能のカバレッジ
が異なることがある。このような場合、前述した特開平
３−１５９４６号公報等に記載されている技術では、必
ずしも最も信頼度が高い処理結果が選択されない場合が
ある。

【００１０】また、前述した１つのハードウェアの中の
処理を多重化する技術によれば、多重化化した処理の間
で相関した誤りが発生したり、誤りの影響が局所化され
ないために処理結果の選択が正常に行えなくなることが
ある。

【００１１】そこで、本発明は、サブシステムや出力選
択回路の分散配置に適したフォ−ルトトレラントシステ
ムを提供することを目的とする。

【００１２】また、さらに、サブシステム毎に障害検出
／障害回復機能のカバレッジが異なる場合にも、各サブ
システムが出力する処理結果のうちから最も信頼度が高
い処理結果を選択することができるフォ−ルトトレラン
トシステムを提供することを目的とする。

【００１３】また、本発明は、１つのハードウェアの中
の処理を多重化する場合に、各処理の誤りが伝搬しない
ように局所化することを目的とする。

【００１４】

【課題を解決するための手段】一例を挙げれば、前記第
１番目の目的達成のために、本発明は、たとえば、同じ
処理を実行する複数のプロセッシングノードと、少なく
とも１つの出力選択ノードと、前記複数のプロセッシン
グノ−ドと出力選択ノ−ドとに接続するネットワ−クと
を有し、前記各プロセッシングノードは、前記処理を実
行するデータ処理手段と、データ処理手段が行う処理に
関して発生した障害を検出もしくは回復する自己診断手
段と、前記データ処理手段が実行した処理の処理結果で
あるデータと、前記自己診断手段の障害検出もしくは回
復の状況を表す障害発生情報とを前記ネットワ−クに送
信する送信手段とを備え、前記出力選択ノードは、各プ
ロセッシングノ−ドから前記ネットワ−クに送信された
各データ相互間の一致／不一致を検出するデータ比較手
段と、検出した各データ相互間の一致／不一致と、各プ
ロセッシングノ−ドから前記ネットワ−クに送信された
障害発生情報が表す各プロセッシングノ−ドにおける障
害の検出もしくは回復の状況とに基づき、各プロッセッ
シグノ−ドから前記ネットワ−クに送信された各データ
のうちの最も信頼度が高いデータを判定する判定手段
と、最も信頼度が高いと判定されたデータを出力する選
択手段とを有することを特徴とするフォールトトレラン
トシステムを提供する。

【００１５】

【作用】前記本発明に係るフォル−トトレラントシステ
ムによれば、ネットワークの特質を活かしたシステム構
成、情報伝送方式を取り入れて、広域に分散したシステ
ムにおいても莫大な通信路を必要とせずに障害発生情報
に基づく信頼度推定により、最も信頼度の高いデータの
選択を実現することができる。

【００１６】

【実施例】以下、本発明に係るフォ−ルトトレラントシ
ステムの実施例を説明する。

【００１７】まず、第１の実施例について説明する。

【００１８】図１に、本第１実施例に係るフォ−ルトト
レラントシステムの構成を示す。

【００１９】図示するように、本第１実施例に係るフォ
−ルトトレラントシステムは、データ処理を行う複数の
プロセッシングノード１１〜１ｎと、各プロセッシング
ノード１１〜１ｎにおけるデータ処理の結果であるデー
タ１４１〜１４ｎのうち最も信頼度の高いデータを選択
して制御対象（不図示）に出力信号２５０として与える
出力選択ノ−ド２０と、出力選択ノ−ド２０と各プロセ
ッシングノード１１〜１ｎを接続したネットワ−ク３よ
り構成される。

【００２０】プロセッシングノード１１〜１ｎはデータ
処理機能１１１〜１１ｎ、障害の発生状況を検出する自
己診断機能１２１〜１２ｎ、処理結果送信機能１３１〜
１３ｎをそれぞれ有している。データ処理機能１１１〜
１１ｎにおけるデータ処理の結果であるデータ１４１〜
１４ｎと、自己診断機能１２１〜１２ｎによって検出し
た障害の発生状況を表す障害発生情報１５１〜１５ｎは
処理結果送信機能１３１〜１３ｎによりネットワーク３
を通じて他のノードへ送信される。

【００２１】一方、出力選択ノード２０は、処理結果収
集機能２１０、データ比較機能２２０、判定機能２３
０、選択機能２４０を有している。

【００２２】但し、プロセッシングノード１１〜１ｎお
よび出力選択ノード２０の内部構成は、機能の構成を示
したものであり、ハ−ドウェア的には、プロセッシング
ノード１１〜１ｎおよび出力選択ノード２０はＭＰＵや
メモリを備えた一般的な構成のコンピュ−タであってよ
い。この場合、図１に示したプロセッシングノード１１
〜１ｎおよび出力選択ノード２０の内部の各機能は、コ
ンピュ−タ上で実行されるソフトウェアのプロセスとし
て実現される。

【００２３】処理結果収集機能２１０は各プロセッシン
グノードがネットワーク３上に送信したデータ１４１〜
１４ｎと障害発生情報１５１〜１５ｎを収集する。デー
タ比較機能２２０は収集されたデータ１４１〜１４ｎ同
士を比較照合し、比較照合の結果、即ち、一致／不一致
の情報を判定機能２３０に報告する。判定機能２３０で
は、データ１４１〜１４ｎの比較照合の結果と、収集さ
れた障害発生情報１５１〜１５ｎに基づき、データ１４
１〜１４ｎそれぞれが正しい確率（データの信頼度）を
推定し、推定した信頼度が最も高いデータが、どれかを
選択機能２４０へ報告する。選択機能２４０は判定機能
２３０からの報告に基づき、データ１４１〜１４ｎの中
から出力信号２５０として出力するデータを選択する。

【００２４】判定機能２３０におけるデータの信頼度の
推定は、特開平３−１６９４６号公報記載の技術を用い
て行うことができる。

【００２５】以下に、データの信頼度の推定の方法につ
いて説明する。

【００２６】データの信頼度Ｒｄはデータ１４１〜１４
ｎの一致／不一致および障害発生情報１５１〜１５ｎか
らなるSyndromeに依存する。したがい、Syndromeは、デ
ータの信頼度Ｒｄの高い順に、 Syndrome1,Syndrome2,・・・SyndromeＬ （Ｌ：Syndro
meの総数） すなわち Ｒｄ(Syndrome1)＞Ｒｄ(Syndrome２)＞・・・＞Ｒｄ(SyndromeＬ) ただし、Ｒｄ(Syndromeｉ)：Syndromeｉが観測されてい
るときの出力の信頼度 と順序づけることができる。

【００２７】ここで、Syndrome1は最良の症状即ち全く
異常が検出されないということを表し、一方SyndromeＬ
は最悪の症状即ち全てのチェック項目で異常が検出され
たということを表す。例えば、チェック項目が障害発生
情報とデータ比較の２つだけである場合には、Syndrome
1は自己診断で異常が検出されずかつデータが他のプロ
セッシングノ−ドが出力したデータと一致していること
を表し、SyndromeＬは、自己診断で異常が検出されかつ
データが他のプロセッシングノ−ドが出力したデータと
不一致を起こしていることを表す。

【００２８】このようなSyndromeを定義することによ
り、以下のように最良の症状から順次症状のグレードを
下げながら存在するSyndromeを探索して、存在するSynd
romeのうち最も高い信頼度Ｒｄに対応するSyndromeを検
出し、そのSyndromeを持つプロセッシングノ−ドの出力
するデータを選択することにより、各プロセッシングノ
−ドから出力されるデータのうちから、一番信頼度Ｒｄ
のものを選択することができる。

【００２９】 if any subsystem has Syndrome1 then select the subsystem(s) which has Syndrome1, else if any subsystem has Syndrome2 then select the subsystem(s) which has Syndrome2, ・ ・ ・ else if any subsystem has SyndromeL-1 then select the subsystem(s) which has SyndromeL-1， else output fail safe signal. 簡単のためにデータ１４１〜１４ｎの一致／不一致およ
び１つの自己診断の結果即ち、正常／異常という２段階
（１ビットの情報）の障害発生情報１５１〜１５ｎから
Syndromeが構成されている場合を例にとり具体的に、こ
のデータの信頼度の推定の方法を説明する。

【００３０】いま、各プロセッシングノ−ドの自己診断
の欠報率（プロセッシングノ−ドが異常であるのに正常
であると誤判定されてしまう確率、すなわち１−カバレ
ッジ）をＰdε，誤ったデ−タが一致してしまう確率を
Ｐaε，プロセッシングノ−ドにおいて誤りの発生する
確率をＰεとする。

【００３１】この場合、誤ったデ−タが一致してしまう
確率は、その誤り方がランダムであると仮定すれば、ラ
ンダムな２つのデ−タが一致する確率と考えられ、 Ｐaε＝２の−ｎ乗 ただし ｎ：デ−タのbit長 と表される。コンピュ−タシステム等でデ−タをソフト
ウェアにより照合する場合には、通常デ−タのbit長ｎ
は大きな値をとることが多いため、 Ｐaε≒０ であり、 Ｐaε≪Ｐdε と考えることができる。

【００３２】したがい、これらことを考慮すると各Synd
romeに対応するデータの信頼度Ｒdは、信頼度Ｒdの高い
順に (1) 自己診断の結果正常と診断されかつデータが他のｋ
個のプロセッシングノ−ドのものと一致している場合

【００３３】

【数１】

【００３４】(2)データが他のｋ個のサブシステムのも
のと一致している場合

【００３５】

【数２】

【００３６】(3)自己診断の結果正常と診断された場合

【００３７】

【数３】

【００３８】となる。

【００３９】したがい、判定機能２３０は、データ１４
１〜１４ｎの比較照合の結果と、収集された障害発生情
報１５１〜１５ｎに基づき以下のような手順に従って、
最も信頼度の高いデータを選択することができる。ただ
し本第１実施例では、、各プロセッシングノ−ドの自己
診断の欠報率Ｐdε、各プロセッシングノ−ドにおいて
誤りの発生する確率Ｐεは全て等しいものとする。

【００４０】(1)自己診断の結果正常と診断されかつデ
ータが他のプロセッシングノ−ドのものと一致している
プロセッシングノ−ドを正常とみなしそのデータを選択
する。

【００４１】条件(1)を満たすプロセッシングノ−ドが
ない場合には、 (2) データが他のプロセッシングノ−ドのものと一致し
ているプロセッシングノ−ドを正常とみなしそのデータ
を選択する。

【００４２】条件(2)を満たすプロセッシングノ−ドが
ない場合には、 (3) 自己診断の結果正常と診断されたプロセッシングノ
−ドを正常とみなしそのデータを選択する。

【００４３】なお、さらに条件(3)を満たすプロセッシ
ングノ−ドがない場合には、判定機能２３０は、 (4) 選択機能２４０からの出力を停止させるか、または
選択機能２４０から正常な出力が得られないことを警告
する信号を出力させる。

【００４４】なお、以上では、簡単のために障害発生情
報１５１〜１５ｎが１つの自己診断の結果からなる場合
について説明したが、障害発生情報１５１〜１５ｎが複
数の自己診断の結果の組合せから構成される場合には、
データの信頼度Ｒdは以下の通りとなる。

【００４５】

【数４】

【００４６】なお、数４のようにＲdの計算が複雑な場
合には、上記、判断のアルゴリズムも複雑になり多段階
となる。そこで、段階の数が多い場合には、信頼度Ｒd
の高い順に、シンドロームと選択すべきデータとを表形
式に並べ、最初に一致したシンドロームに対応するデー
タを選択するようにしてもよい。

【００４７】なお、プロセッシングノード１１〜１ｎの
自己診断機能１２１〜１２ｎで障害発生情報１５１〜１
５ｎを生成するために行う自己診断としてはコンピュ−
タ・システムの場合を例にとれば、 (1) ＲＡＭ等に付加されたにＥＣＣ(Error Correcting
Code：誤り訂正符号)エンコ−ダ／デコ−ダによる記憶
データのbit誤りの検出、訂正の情報 (2) マイクロプロセッサが持つ誤り検出機能による検出
結果(バス・エラ−、アドレス・エラ−など) (3) ハ−ドウェアの機能診断プログラムの実行結果 (4) 分散配置デ−タ（同一プロセッシングノ−ド内で多
重化したデータ）の照合結果（照合によって、不一致が
検出された場合にはプロセッシングノ−ド内で多数決論
理により訂正を行う） (5) マイクロプロセッサの演算ユニットなどに付加され
た誤り検出機能による誤り検出結果 次に、プロセッシングノード１１〜１ｎの処理結果送信
機能１３１〜１３ｎについて説明する。

【００４８】図２に、処理結果送信機能１３１の構成を
示す。

【００４９】図中の、レジスタ１３１１は障害発生のた
びに自己診断機能１２１より送られる障害発生情報１５
１をデータ処理機能１１１の処理の間蓄積する。蓄積す
る期間はデータ処理機能１１１から前回のデータ１４１
が送られてから次の回、即ち該当する回のデータ１４１
が送られて来るまでの期間である。即ち、データ１４１
の到来はレジスタ１３１１の蓄積動作を制御するトリガ
ー１３１５の役割を果たす。

【００５０】パケット編集機能１３１２では、データ処
理機能１１１の処理が終了しデータ１４１が得られたな
らば、データ１４１とレジスタに蓄えられている障害発
生情報１５１をひとまとめに編集して、パケット１３１
３にして送信機能１３１４に渡す。送信機能１３１４は
所定のプロトコルに従ってネットワーク３を通じてパケ
ット１３１３の内容をメッセージとして送信する。

【００５１】図３には、データ処理機能１１１での処
理、自己診断機能１２１、パケット編集機能１３１２、
送信機能１３１４の動作の時間的な関連を示した。

【００５２】図示するように、データ処理機能１１１で
の処理の間に発生した障害は障害発生情報１５１として
自己診断機能１２１により検出され随時、レジスタ１３
１１に蓄積される。データ処理機能１１１での処理が終
了すると、データ１４１と障害発生情報１５１をもとに
パケット編集機能１３１２においてパケット１３１３に
編集され、送信機能１３１４に渡される。

【００５３】以上、本発明の第１実施例について説明し
た。

【００５４】このように本第１実施例によれば、ネット
ワークで結ばれ、分散したシステムにおいて、データ１
４１〜１４ｎ間の一致／不一致の情報、障害発生情報１
５１〜１５ｎからデータの信頼度を推定し、信頼度が最
も高いデータをシステムの最終出力として選択すること
ができる。

【００５５】以下、本発明の第２の実施例について説明
する。

【００５６】図４に、本第２実施例に係るフォ−ルトト
レラントシステムの構成を示す。

【００５７】図示するように、本第２実施例では、前述
した第１の実施例に係るフォ−ルトトレラントシステム
において、プロセッシングノード１１〜１ｎがプロセッ
シングノードの信頼度、構成、障害検出／回復のカバレ
ッジを表すカテゴリを出力するカテゴリ１６１〜１６ｉ
を付加したものである。

【００５８】このような構成によって、本フォ−ルトト
レラントシステムでは、各プロセッシングノード１１〜
１ｎの処理結果送信機能１３１〜１３ｉは、データ１４
１から１４ｎ、障害発生情報１５１〜１５ｎに加えてプ
ロセッシングノードの信頼度、構成、障害検出／回復の
カバレッジを表すカテゴリ１６１〜１６ｎをネットワー
ク３を通じて出力選択ノード２０へ送信する。

【００５９】一方、出力選択ノード２０内の判定機能２
３０では、データ１４１〜１４ｎの比較照合結果、障害
発生情報１５１〜１５ｎ、カテゴリ１６１〜１６ｎに基
づき、データ１４１〜１４ｎそれぞれが正しい確率（デ
ータの信頼度）を推定し、そのデータの信頼度が最も高
いかを選択機能２４０へ報告する。選択機能２４０は判
定機能２３０からの報告に基づき、データ１４１〜１４
ｎの中から出力信号２５０を選択する。

【００６０】ここで、カテゴリ１６１〜１６ｎのプロセ
ッシングノードの信頼度は、そのプロセッシングノード
で誤りの発生する確率Ｐεを表し、プロセッシングノー
ドの構成より、誤ったデ−タが一致してしまう確率Ｐa
εを求めることができ、カテゴリ１６１〜１６ｎの障害
検出／回復のカバレッジより各自己診断の欠報率Ｐdεi
を求めることができるので、このようにカテゴリ１６１
〜１６ｎを出力選択ノード２０に送信するようにするこ
とにより、判定機能２３０は各プロセッシングノ−ドか
ら送られた各データの信頼度Ｒdを先に示した数４と同
様の式より求めることができる。

【００６１】なお、本第２実施例では、第１実施例とは
異なり、データのビット数のみならず、プロセッシング
ノードの構成の多様度より、２つのプロセッシグノ−ド
の誤ったデ−タが一致してしまう確率Ｐaεを求める。
同じ処理を実行する２つのプロセッシングノードの構成
が異なるほど、同じ誤りを犯す確率は低くなるので、判
定機能２３０は、受け取った各プロセッシングノードの
構成より、データが一致した２つのプロセッシングノー
ドの構成の多様度を求め、多様度が大きい程度確率Ｐa
εが小さくなるように定める。また、データの信頼度
は、数４式中の確率Ｐaεのｋ−１乗の項を、そのデー
タと、当該データと一致した各データとの間の確率Ｐa
εの積に置き換えて求める。

【００６２】つまり、本第２実施例では図１に示す実施
例に加えて、各プッロセッシングノードの信頼度や、種
別構成や、自己診断機能の誤り検出漏れの確率が異なる
場合にも正しく最も信頼度の高いデータを選択すること
ができる。従って、本実施例によれば、様々なプロセッ
シングノードを組み合わせて高信頼なシステムを構築す
ることができる。

【００６３】図５に、本第２実施例におけるプロセッシ
ングノ−ド１１〜１ｎの処理結果送信機能１３１の構成
を示す。図示するように、図３に示した第１実施例係る
処理結果送信機能１３１の構成において、カテゴリもパ
ケット編集１３１２に入力するようにしたものである。

【００６４】パケット編集１３１２は、たとえば、図６
に示すような形式のパケット１３１３を編集する。

【００６５】すなわち、パケット１３１３を、入力され
た障害発生情報１５ｘ、カテゴリ１６ｘ、データ１４ｘ
から構成する。ここでは、障害発生情報１５ｘ、カテゴ
リ１６ｘ、データ１４ｘの順番とした。

【００６６】また、この例では、障害発生情報１５ｘ
は、パリティ誤りが検出／非検出、ECCで１ビット誤り
が検出／非検出、２ビット誤りが検出／非検出、自己診
断の結果が正常／異常、２重化比較照合結果が一致／不
一致の情報から構成した。また、また、カテゴリ１６ｘ
は２重化比較照合カバレッジ、ECCカバレッジパリティ
バレッジ、自己診断カバレッジ、ハードウエア多様度、
ソフトウエア多様度の情報から構成した。ハードウエア
多様度、ソフトウエア多様度は、プロセッシングノード
のハ−ドウェア構成、ソフトウェア構成を表すバ−ジョ
ンＮｏ等である。

【００６７】さて、本図では、各プロセッシングノード
の信頼度は送信しない場合の例を示した。この場合に
は、そのプロセッシングノードで誤りの発生する確率Ｐ
εを出力選択ノ−ドの判定機能において固定とする。こ
のように、本第２実施例においては、カテゴリ１６１〜
１６ｎとして、プロセッシングノードの信頼度、構成、
障害検出／回復のカバレッジのうちの一つまたは二つの
みを用い、確率Ｐε、確率Ｐaε、確率Ｐdεiのうちの
一つまたは二つのみをプロセッシングノ−ド毎に可変と
するようにしてもよい。

【００６８】次に、送信機能１３１４は、このようなパ
ケット１３１３を受取り、これに、図７にに示すよう
に、ヘッダ−３１を付加したメッセ−ジを作成し、ネッ
トワーク３を介して出力選択ノ−ドに送信する。ヘッダ
−３１は発信元のノード、宛先のノード、メッセージの
種別等の情報を表し、含まれている情報はネットワーク
３の種類、プロトコルに依存する。

【００６９】ところで、パケット編集１３１２が編集す
るパケット１３１３は、図８に示すように構成してもよ
い。図８の形式は、データ１４ｘ、障害発生情報１５
ｘ、カテゴリ１６ｘの順番でパケットを構成したもので
ある。

【００７０】この場合送信機能１３１２からは、ネット
ワーク３を介して図９に示すメッセ−ジが出力選択ノ−
ドに伝送されることになる。

【００７１】このようなメッセ−ジは、通常のネットワ
ークで交換されるメッセージつまり、ヘッダ３１、デー
タ１４ｘの順番で構成されるメッセージの後に、本第２
実施例特有の障害発生情報１５ｘ、カテゴリ１６ｘを付
加した形となる。したがって、ネットワークに障害発生
情報１５ｘ、もしくは、障害発生情報１５ｘおよびカテ
ゴリ１６ｘを送信する機能を有していないプロセッシン
グノードがシステム中に存在する場合でも、出力選択ノ
−ド２０において、当該プロセッシングノードについて
は最初のヘッダ３１、データ１４ｘのみを参照し、それ
以降の障害発生情報１５ｘ、カテゴリ１６ｘを無視する
ようにすれば、他のプロセッシングノ−ドと同様に扱う
ことができる。すなわち、従来のプロセッシングノード
をシステム中に混在することを許容することができる。
なお、図８、図９において、障害発生情報１５ｘ、カテ
ゴリ１６ｘの順番が反対の場合も同じ効果がある。

【００７２】なお、図７、９のメッセ−ジからカテゴリ
を省略したものが、前述した第１実施例において各プロ
セッシングノ−ドが送信するメッセ−ジに相当する。

【００７３】以下、本発明の第３の実施例について説明
する。

【００７４】図１０に、本第３実施例に係るフォ−ルト
トレラントシステムの構成を示す。

【００７５】本第３実施例では、プロセッシングノード
１１〜１ｎで複数のタスク１（４１）〜タスクｍ（４
ｍ）を実行する。また、各タスクに対応して、出力選択
ノード２１〜２ｍを設けている。

【００７６】図１０ではプロセッシングノード１１〜１
ｎの内プロセッシングノード１１〜１ｉはタスク１（４
１）を実行し、プロセッシングノード１ｊ〜１ｎはタス
クｍ（４ｍ）を実行している。

【００７７】出力選択ノード２１〜２ｍはそれぞれタス
ク１（４１）〜タスクｍ（４ｍ）に対応して設けられて
おり、対応するタスクを実行しているプロセッシングノ
−ドの出力する出のうちから最も信頼度の高いデータを
選択して出力２５１〜２５ｍとしている。

【００７８】例として、タスク１（４１）のデータを出
力２５１する出力選択ノード２１の動作を説明する。タ
スク１（４１）を実行しているプロセッシングノード１
１〜１ｉからのデータ１４１〜１４ｉ、障害発生情報１
５１〜１５ｉ、カテゴリ１６１〜１６ｉはネットワーク
３を通じて送信され、出力選択ノード２１内の処理結果
収集機能により選びだされる。判定機能２３１では、デ
ータ１４１〜１４ｉの比較照合の結果、障害発生情報１
５１〜１５ｉ、カテゴリ１６１〜１６ｉに基づき、デー
タ１４１〜１４ｉそれぞれが正しい確率（データの信頼
度）を推定し、そのデータの信頼度が最も高いかを選択
機能２４１へ報告する。選択機能２４１は判定機能２３
１からの報告に基づき、データ１４１〜１４ｎの中から
出力信号２５１を選択する。

【００７９】以上述べた実施例によれば、ネットワーク
の特質を活かして、膨大な通信路を必要とせずに多機能
な高信頼度の分散システムをに実現することができる。
なお、さらに、ネットワークを冗長化してネットワーク
の障害によりシステム全体が影響を受けないようにして
もよい。

【００８０】以下、本発明の第４の実施例について説明
する。

【００８１】図１１に、本第４実施例に係るフォ−ルト
トレラントシステムの構成を示す。

【００８２】図示するように、本第４実施例に係るフォ
−ルトトレラントシステムは、第３実施例に係るフォ−
ルトトレラントシステムの構成（図１０参照）におい
て、各プロセッシングノード１１〜１ｎに、処理結果収
集機能１３１’〜１３ｎ’、データ比較機能１７１〜１
７ｎ、実行タスク決定機能１８１〜１８ｎを付加した構
成となっている。

【００８３】このような構成において、各プロセッシン
グノ−ド１１〜１ｎは、実行するタスクを自ら決定し、
実行する。

【００８４】さて、各プロセッシングノードの処理結果
収集機能１３１’〜１３ｎ’はプロセッシングノード１
１〜１ｎがネットワークを通じて送信するデータ１４１
〜１４ｉ、障害発生情報１５１〜１５ｉ、カテゴリ１６
１〜１６ｉを収集する。データ比較機能１７１〜１７ｎ
は収集されたデータ１４１〜１４ｎ同士を比較照合し、
比較照合の結果即ち、一致／不一致を実行タスク決定機
能１８１〜１８ｎに報告する。実行タスク決定機能１８
１〜１８ｎは障害発生情報１５１〜１５ｉ、カテゴリ１
６１〜１６ｉおよびデータ比較機能１７１〜１７ｎより
報告されたデータ１４１〜１４ｎ同士の一致／不一致情
報に基づき、各タスクの信頼度を推定し、信頼度の最も
低いタスクを実行すべきタスクと判断し、実行を開始す
る。

【００８５】すなわち、確率Ｐε、確率Ｐaε、確率Ｐd
εiが全て等しく、Ｎ１個のプロセッシングノ−ドが同
じタスクを実行しており、その内Ｎ２個のプロセッシン
グノ−ドの障害発生情報が障害が発生していないことを
表しており、Ｎ３個のプロセッシングノ−ドのデータが
一致したときには、Ｎ１個のプロセッシングノ−ドの確
率Ｐεの積と、障害が発生していないＮ２個のプロセッ
シングノ−ドの確率Ｐdεiの積と、Ｎ３個のプロセッシ
ングノ−ドのデータが誤って一致してしまう確率との積
を、タスクの処理結果が誤っている確率として求め、こ
れを、１から減じた値を当該タスクの信頼度として用い
る。または、さらに、これにタスクを実行しているプロ
セッシングノ−ド数を考慮してもよい。タスクを実行し
ているプロセッシングノ−ド数が多ければ多いほど当該
タスクの信頼度は高いと考えることができる。

【００８６】そして、各プロセッシングノ−ド毎に、求
めたタスクの信頼度に予めタスク毎に定めたオフセット
値を与えることにより各タスクの信頼度の値を修正す
る。同じタスクに当られるオフセット値はプロセッシン
グノ−ド毎に異ならせるようにする。たとえば、タスク
毎に、このタスクを主に担当するプロセッシングノ−ド
を定め、このプロセッシングノ−ドでは、このタスクの
信頼度が相対的に小さくなるように、このプロセッシン
グノ−ドにおける、このタスクのオフセット値を定め
る。このようにすることにより、各プロセッシングノ−
ドにおいて、そのプロセッシングノ−ドが主に担当する
タスクの信頼度が相対的に低くなるので、このプロセッ
シングノ−ドが、このタスクに代えて他のタスクを実行
することがなくなる。

【００８７】そして、各プロセッシングノ−ドの実行タ
スク決定機能１８１〜１８ｎは、自プロセッシングノ−
ドで実行しているタスクより信頼度の低いタスクが存在
する場合、このタスクを実行するようデータ処理機能を
制御する。

【００８８】この際、同じタスクに当られるオフセット
値はプロセッシングノ−ド毎に異ならせるようにしてい
るので、各オフセット値を適宜定めれば、全てのプロセ
ッシングノ−ドが同じタスクを実行したり、実行されな
いタスクが生じたりすることを防止することができる。

【００８９】以下、本発明の第５実施例を説明する。

【００９０】本第５実施例に係るフォ−ルトトレラント
システムの基本構成は、第３実施例に係るフォ−ルトト
レラントシステムの構成（図１０参照）と同じであり、
プロセッシングノード１１〜１ｎで複数のタスク１（４
１）〜タスクｍ（４ｍ）を実行する。また、各タスクに
対応して、出力選択ノード２１〜２ｍを設けている。

【００９１】ただし、図１２に示すように、同じタスク
を実行する複数のプロセッシングノ−ドのうち一つのプ
ロセッシングノ−ドを除くプロセッシングノ−ドは図１
２のプロセッシングノ−ド１ｉのように構成する。すな
わち、処理結果収集機能１３ｉ’、データ処理機能１１
ｉ，データ比較機能１９１ｉ、自己診断機能１２ｉ、カ
テゴリ１６ｉ、処理結果障害発生情報比較機能１９３ｉ
と、比較情報ステップ心機能１３ｉ”でプロセッシング
ノ−ドを構成する。

【００９２】図１２は、本第５実施例に係るフォ−ルト
トレラントシステムのノ−ドうち、タスク１（４１）に
関連した処理を行うノ−ドのみを表したものである。図
中において、プロセッシングノード１１〜１ｉはタスク
１（４１）をデータ処理機能１１１〜１１ｉで実行し、
出力選択ノード２１は、対応するタスク１を実行してい
るプロセッシングノ−ド１１〜１ｉで求まったデータの
うちから最も信頼度の高いデータを選択して出力２５１
とするためのノ−ドでである。

【００９３】ただし、図１２ではプロセッシングノード
１２〜１（ｉ−１）も図示を省略している。

【００９４】さて、いま、図１２において、プロセッシ
ングノード１２〜１ｉは、図示したプロセッシングノー
ド１ｉと同じ構成を有しているのものとする。

【００９５】このような構成において、タスク１（４
１）を実行しているプロセッシングノード１１〜１ｉの
うち、プロセッシングノード１１は、前記第３実施例に
おける場合と同様にデータ１４１、障害発生情報１５
１、カテゴリ１６１を処理結果送信機能１３１によりメ
ッセージとしてネットワーク３を通じて送信する。ただ
し、送信先は、出力選択ノ−ド２１とプロセッシングノ
−ド１２〜１ｉとする。

【００９６】プロセッシングノード１２〜１ｉは送信さ
れたデータ１４１、障害発生情報１５１、カテゴリ１６
１と自らのデータ処理機能１１２〜１１ｉで行ったタス
ク１の処理の処理結果のデータ１４２〜１４ｉ、自己診
断機能１２２〜１２ｉで生成した障害発生情報１５２〜
１５ｉ、カテゴリ１６２〜１６ｉとをデータ比較機能１
９１２〜１９１ｉおよび障害発生情報比較機能１９３２
〜１９３ｉで比較し、データ比較情報１９２２〜１９２
ｉ、障害発生情報比較情報１９４２〜１９４ｉを比較情
報送信機能１３２”〜１３ｉ”より出力選択ノ−ド２１
に送信する。データ比較情報１９２２〜１９２２は、自
データ処理機能１１２〜１１ｉで求めたデータ１４ｉと
データ１４１との一致、または差分を表す情報である。
また、同様に、障害発生情報比較情報１９４２〜１９４
２は、自己診断機能１２２〜１２ｉと障害発生情報１５
１との一致または差分と、カテゴリ１６２〜１６ｉとカ
テゴリ１６１との一致または差分を表す情報である。

【００９７】ここで、理解を助けるためにプロセッシン
グノード１ｉに着目して動作を説明する。プロセッシン
グノード１ｉは送信されたデータ１４１、障害発生情報
１５１、カテゴリ１６１と自らの処理結果のデータ１
ｉ、障害発生情報１５ｉ、カテゴリ１６ｉとをデータ比
較機能１９１ｉおよび障害発生情報比較機能１９３ｉで
比較し、データ比較情報１９２ｉ、障害発生情報比較情
報１９４ｉを生成し、こ比較情報送信機能１３１”より
ネットワーク３を通じて出力選択ノ−ド２１送信する。

【００９８】データ比較情報１９２ｉ、障害発生情報比
較情報１９４ｉは、前述した比較の結果が一致であれば
一致である旨をある情報とし、不一致であれば差分を表
す情報とする。

【００９９】出力選択ノード２１内の判定機能２３１で
は、障害発生情報１５１、カテゴリ１６１、データ比較
情報１９２２〜１９２ｉ、障害発生情報比較情報１９４
２〜１９４ｉに基づき、プロセッシングノ−ド１２〜１
ｉから送られたデータ比較情報１９２２〜１９２ｉ、障
害発生情報比較情報１９４２〜１９４ｉの全てが一致を
表しており、障害発生情報１５１が障害の発生を表して
いない場合には、データ１４１を選択するよう選択機能
２４０へ報告する。データ比較情報１９２２〜１９２
ｉ、障害発生情報比較情報１９４２〜１９４ｉの全てが
一致を表しており、障害発生情報１５１が障害の発生を
表している場合には、制御対象がフェイルセ−フ側に停
止する予め定めたデータを出力するよう選択機能２４０
を制御する。

【０１００】もし、データ比較情報１９２２〜１９２
ｉ、障害発生情報比較情報１９４２〜１９４ｉの全てが
一致を表していない場合には、一致を表さないデータ比
較情報、障害発生情報比較情報が表す差分から、これら
の情報を送った各プロセッシングノ−ドのデータ、障害
発生情報、カテゴリを復元し、前述したように、データ
１４１と、復元した各データの信頼度を推定し、どのデ
ータの信頼度が最も高いかを選択機能２４０へ報告す
る。選択機能２４０は判定機能２３０からの報告に基づ
き、選択を行う。

【０１０１】以上のようにすれば、障害が発生しない場
合には、プロセッシングノード１２〜１ｉはデータ比較
情報１９２２〜１９２ｉ、障害発生情報比較情報１９４
２〜１９４ｉつまり、データ１４１、障害発生情報１５
１、カテゴリ１６１との一致のみを送信するので、ネッ
トワーク３を介して交換される情報量を削減することが
できる。

【０１０２】さらに、プロセッシングノード１２〜１ｉ
が、一致を表す場合にはデータ比較情報１９２２〜１９
２ｉ、障害発生情報比較情報１９４２〜１９４ｉの送信
を省略するようにすれば、メッセージ交換の回数自体も
大幅に削減される。この場合、出力選択ノ−ド２１は、
あるプロセッシングノ−ドからデータ比較情報、障害発
生情報比較情報を受け取らなかった場合、その受け取ら
なかったプロセッシグノ−ドから一致を表すデータ比較
情報、障害発生情報比較情報を受け取ったものとして前
記動作を行うようにする。

【０１０３】以下、本発明の第６の実施例について説明
する。

【０１０４】本第６実施例は、フォ−ルトトレラントシ
ステムの要素となる先の実施例で示してきたようなノー
ドの高信頼化に関するものである。

【０１０５】図１３に、本第６実施例に係るノード５０
の構成を示す。図示するように本実施例では、ノ−ド５
０に出力選択装置７を付加している。

【０１０６】ノ−ド５０は、後に示すようにＭＰＵやメ
モリを備えた一般的な構成のコンピュ−タであり、ソフ
トウェアの実行によって実現される同一の機能を持つ処
理１（６１）〜処理Ｎ（６Ｎ）を内部で時分割に実行す
る。この処理１（６１）〜処理Ｎ（６Ｎ）の結果は出力
選択装置７の入力ポート１（７１１）〜入力ポートＮ
（７１Ｎ）に入力され、正しいと思われる一つの処理結
果が出力選択回路７２で選択され出力される。

【０１０７】なお、出力選択回路７２は、単純な多数決
論理によって処理結果を選択して出力したり、特開平３
−１５９４６号等に記載されている、所定の障害検出機
能によって障害が検出されていない固定数の処理結果の
多数決と取るＭＶ(ModifiedVoter)などによって処理結
果を選択して出力したりするようにしてもよい。

【０１０８】本第６実施例によれば、ハードウェアの増
大を招かずに、発生するフォールトの大半を占める過渡
フォールトの影響はノード内での処理の冗長化によりマ
スクすることができる。

【０１０９】次に本発明の第７の実施例について説明す
る。

【０１１０】図１４に、本第７実施例に係るプロセッシ
ングノード５０の構成を示す。

【０１１１】図示するように本第７実施例では、プロセ
ッシングノードをノード５ａ〜５ｘと多重化し、さら
に、それぞれのノードで実行する処理を多重化したもの
である。ノード５ａ〜５ｘの構成は第６実施例のノ−ド
５０と同一のものである。

【０１１２】出力選択装置７は、多重化したノード５ａ
〜５ｘのさらに多重化した処理の結果のなかから、前述
したように、ひとつの処理結果を出力選択装置７で選択
する。

【０１１３】ここで、同一のノード内で多重化した処理
結果のうち過半数が一致している場合には、その処理結
果に過渡フォールトによる誤りが生じていないことが判
る。さらにその処理結果が他のノードの少なくとも１つ
の処理結果と一致している場合には処理を実行している
ハードウェアの故障つまり、固定フォールトによる誤り
が生じていないことががわかる。

【０１１４】そこで、本第７実施例では、同一のノード
内で多重化した処理結果のうち過半数が一致し、かつ他
のノードの少なくとも１つの処理結果と一致している場
合にはその出力を出力選択装置７で選択するようにす
る。これにより、過渡フォールト、固定フォールトのい
ずれもの影響も受けていない処理結果、即ち正しい処理
結果を常に得ることができる。

【０１１５】本第７実施例によれば、発生するフォール
トの大半を占める過渡フォールトの影響はノード内での
処理の多重化によりマスクされ、ノ−ドのハードウェア
の故障などに代表される固定フォールトの影響はノード
の多重化によりマスクされる。ハードウェアの多重度よ
りも処理の多重度の方が高いので、発生する頻度のより
高い過渡フォールトにより強い合理的な構成である。

【０１１６】ところで、本第７実施例に係るノ−ドの最
小構成は、図１５のようになる。

【０１１７】図１５はノードを２重化し、それぞれのノ
ードの中で処理を２重化、つまり、ハードウェアを２重
化、処理を４重化した実施例である。過渡フォールト発
生時には処理１ａ、処理２ａ、処理１ｂ、処理２ｂのい
ずれか１つの結果が異なるので、他と一致している結果
を選択すればよい。しかし、固定フォールト時には処理
１ａ、処理２ａの結果と処理１ｂ、処理２ｂの結果とが
不一致となり、正常な出力が特定できない場合がある。
そこで、安全性が重視される用途では、このような場合
には、７３出力によって制御される対象が、安全側に動
作を停止する出力を出すようにする。すなわち、フェイ
ルセーフ動作を行うようにする。一方、もし、稼働率が
重視される用途では、他と一致している結果を出力とし
て選択すればよい。

【０１１８】ここで、安全性が重視される用途に適した
出力選択回路７２の選択の例を示しておく。

【０１１９】以下に論理式で示した選択の例は、過渡フ
ォールト発生時には一つの処理結果を選択して出力する
選択を行って処理を継続し、固定フォールト発生時には
安全側に動作を停止させる出力を選択するファイルセー
フな動作を実現するものである。

【０１２０】

【数５】 SEL_1a = (1a = 2a) AND ((1a = 1b) OR (1a = 2b))

【０１２１】

【数６】 ＳＥＬ＿２ａ ＝ （１ａ ＝ ２ａ） ＡＮＤ
（（２ａ ＝ １ｂ） ＯＲ （２ａ ＝ ２ｂ））

【０１２２】

【数７】 ＳＥＬ＿１ｂ ＝ （１ｂ ＝ ２ｂ） ＡＮＤ
（（１ａ ＝ １ｂ） ＯＲ （２ａ ＝ １ｂ））

【０１２３】

【数８】 SEL_2b = (1b = 2b) AND ((1a = 2b) OR (2a = 2b))

【０１２４】

【数９】Fail-Safe = NOT (SEL_1a OR SEL_1b) 但し、 SEL_1aが真のとき：処理１ａの結果を選択す
る。

【０１２５】SEL_2aが真のとき：処理２ａの結果を選択
する。

【０１２６】SEL_1bが真のとき：処理１ｂの結果を選択
する。

【０１２７】SEL_2bが真のとき：処理２ｂの結果を選択
する。

【０１２８】Fail-Safeが真のとき：安全側停止出力を
選択する。

【０１２９】1a：処理１ａの結果 2a：処理２ａの結果 1b：処理１ｂの結果 2b：処理２ｂの結果 以上述べたように例によれば、ハードウェアの少ない増
加で発生頻度の比較的高い過渡フォールト発生時には処
理を継続させ、発生頻度の比較的低い固定フォールト発
生時にはフェイルセーフ動作をさせることができ、稼働
率の向上と安全性の確保の両立を図れる。

【０１３０】以下、本発明の第８の実施例について説明
する。

【０１３１】本第８実施例は、第１〜第５実施例で示し
た出力選択ノ−ドに、第６実施例を適用したものであ
る。

【０１３２】図１６に、この場合の出力選択ノ−ド２０
の構成を示す。

【０１３３】選択ノードのデータ選択機能つまり、処理
結果収集機能２１０データ比較機能２３０、判定機能２
３０、選択機能２４０を、多重化する処理１（６１）〜
処理Ｎ（６Ｎ）としたものである。

【０１３４】このようにすることにより、データ選択自
体の信頼度を向上させ、ひいてはシステム全体の信頼度
を大幅に向上させることができる。

【０１３５】また、同様に、処理結果収集機能２１０デ
ータ比較機能２３０、判定機能２３０、選択機能２４０
を、多重化する処理１（６１）〜処理Ｎ（６Ｎ）とし
て、第１〜第５実施例で示した出力選択ノ−ドに、第７
実施例を適用することもできる。

【０１３６】また、同様に、第６実施例、第７実施例の
多重化の技術を前述した第１実施例から第５実施例のプ
ロセッシングノ−ドに適用することもできる。この場合
はたとえば、第６実施例、第７実施例で示したプロセッ
シングノ−ドの機能全体を多重化する処理とすればよ
い。

【０１３７】次に、本発明の第９の実施例を説明する。

【０１３８】本第９実施例は、第６、７、８実施例で示
したノ−ド内の処理の多重化を実現するノ−ド５０内の
構成についてのものである。

【０１３９】本第９実施例に係るノ−ド５０の構成を図
１７に示す。

【０１４０】図示するように、本ノ−ド５０は、ＭＰＵ
(Micro-Processing Unit)５０１、メモリ（ＭＥＭ）５
０３、インタフェース（Ｉ／Ｆ）５０４がバス５００を
介してお互いに接続した構成を有している。ＭＰＵ５０
１はメモリ（ＭＥＭ）５０３に各種のデータを読み書き
しながらソフトウェアに従い処理を実行するのは通常の
コンピュータである。出力選択装置７２の入力ポート１
（７１１）〜入力ポートＮ（７１Ｎ）に接続しているイ
ンタフェース（Ｉ／Ｆ）５０４の出力ポート１（５１
１）〜ポートＮ（５１Ｎ）にはそれぞれ異なるアドレス
が割り当ててある。

【０１４１】ＭＰＵ５０１は図１８に示すように同一の
機能を持つ処理１（６１）、処理２（６２）、．．．処
理Ｎ（６Ｎ）を順次実行し、実行の度に処理１（６１）
〜処理Ｎ（６Ｎ）の結果をインタフェース（Ｉ／Ｆ）５
０４の出力ポート１（５１１）〜ポートＮ（５１Ｎ）に
書き込む。また、処理１（６１）〜処理Ｎ（６Ｎ）ごと
にメモリ（ＭＥＭ）５０３を分割して使用する。すなわ
ち、各処理で異なる出力ポート１（５１１）〜ポートＮ
（５１Ｎ）、メモリ５０３の異なる領域を使用する。

【０１４２】これにより、処理１（６１）〜処理Ｎ（６
Ｎ）の独立性を高めることができる。本第９実施例のメ
モリ（ＭＥＭ）５０３、出力ポ−トのアドレスマップを
図１９に示しておく。

【０１４３】以上述べた本第９実施例によれば、プロセ
ッサ５０１の誤動作が過渡フォールトによるものである
場合には、正常に実行できた処理結果を選択することに
より、正常な出力を得ることができる。また、プロセッ
サ５０１の誤動作の要因の大半が過渡フォールトによる
ものであるので本実施例によれば、ハードウェアの増加
を招かずにフォールトの大半の影響をマスクすることが
できる。

【０１４４】次に、本発明の第１０実施例について説明
する。

【０１４５】本第１０実施例も、第９実施例と同様に、
第６、７、８実施例で示したノ−ド内の処理の多重化を
実現するノ−ド５０の構成についてのものである。

【０１４６】本第１０実施例に係るノ−ド５０の構成を
図２０に示す。

【０１４７】本第１０実施例が第９実施例と異なる点
は、ノ−ドのインタフェ−ス５０４の出力ポ−トを一つ
だけ用い、カウンタ５０６の出力値によって出力選択装
置７の入力ポート１（７１１）〜入力ポートＮ（７１
Ｎ）を切り替えるようにした点である。

【０１４８】タイマ５０５は１回の処理が終了する時間
ごとに信号を出力し、カウンタ５０６はその度に計数
値、現在実行されている処理が処理１（６１）〜処理Ｎ
（６Ｎ）のどの処理なのかを認識し、処理番号５０９を
出力する。ポート選択装置５０７は処理番号５０９に従
い、対応する入力ポートを選択する。

【０１４９】本第１０実施例によれば、プロセッサ５０
１が誤動作した場合でも、処理番号に応じた入力ポート
を選択することができるので、プロセッサ５０１の誤動
作の場合でも出力選択装置７を確実に動作させられる。
したがって、プロセッサ５０１の誤動作が過渡フォール
トによるものである場合には、正常に実行できた処理結
果を選択することにより、正常な出力を得ることができ
る。

【０１５０】また更に、タイマ５０５からの１回の処理
が終了する時間ごとの信号によりプロセッサ５０１をリ
セットすれば、ある処理で過渡フォールトが発生しても
次の処理ではリセット後なので過渡フォールトの影響を
除去できる。したがって、処理１（６１）〜Ｎ（６Ｎ）
間の独立性をさらに高めることが可能となる。

【０１５１】次に、本発明の第１１の実施例について説
明する。

【０１５２】本第１１実施例も、第９実施例と同様に、
第６、７、８実施例で示したノ−ド内の処理の多重化を
実現するノ−ド５０内の構成についてのものである。

【０１５３】本第１１実施例に係るノ−ド５０の構成を
図２１に示す。

【０１５４】本第１１実施例が第９実施例と異なる点
は、ＭＰＵ５０１からのアドレスを処理ごとにアドレス
変換機能５０８で異なるアドレス領域に変換することに
より、強制的に処理毎に異なるメモリ５０１の領域が使
用されるようにした点である。

【０１５５】図中において、タイマ５０５は１回の処理
が終了する時間ごとに信号を出力し、カウンタ５０６は
その度に計数値、現在実行されている処理が処理１（６
１）〜処理Ｎ（６Ｎ）のどの処理なのかを認識し、処理
番号５０９を出力する。アドレス変換機能５０８はカウ
ンタ５０６からの処理番号５０９に従い、ＭＰＵ５０１
からのアドレスを変換する。

【０１５６】アドレス変換機能の変換の例を図２２に示
す。図２２に示すように、カウンタ５０６の出力値を、
ＭＰＵ５０１の出力するアドレスの上位２ビット目の上
位ビットの位置に挿入すれば、図２３に示すようにＭＰ
Ｕ５０１が毎回全く同一の処理を繰り返していても、処
理の番号に応じて使用するメモリの領域、出力ポートは
図２４のアドレスマップに示すように強制的に変換され
る。但し、ＭＰＵ５０１の出力する最上位ビットａｍ
は、処理毎のメモリ５０１の使用、出力ポ−トのアドレ
ッシングに際して変化しないものとする。

【０１５７】本第１０実施例によれば、プロセッサ５０
１が誤動作した場合でも、処理番号に応じた入力ポート
を選択することができるので、プロセッサ５０１の誤動
作の場合でも出力選択装置７を確実に動作させられる。
その上、同一の処理プログラムで処理１（６１）〜処理
Ｎ（６Ｎ）を実行させることができるので、ソフトウェ
アに対する透過性（トランスペアレンシ）を実現でき
る。

【０１５８】以上、本発明の各実施例を説明した。

【０１５９】このように本発明の各実施例によれば、ネ
ットワークの特質を活かした広域に分散したシステムに
適した高信頼化の方法、冗長資源管理の方法を実現する
ことができる。さらに、より少ないハードウェアの増加
で、稼働率、安全性共に高いシステムを提供することが
できる。

【０１６０】

【発明の効果】以上のように、本発明によれば、サブシ
ステムや出力選択回路の分散配置に適したフォ−ルトト
レラントシステムを提供することを目的とする。

【０１６１】また、さらに、サブシステム毎に障害検出
／障害回復機能のカバレッジが異なる場合にも、各サブ
システムが出力する処理結果のうちから最も信頼度が高
い処理結果を選択することができるフォ−ルトトレラン
トシステムを提供することができる。

【０１６２】また、本発明によれば、１つのハードウェ
アの中の処理を多重化する場合に、各処理の誤りが、他
の処理に波及しないようにを局所化することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係るフォ−ルトトレラン
トシステムの構成を示すブロック図である。

【図２】本発明の第１実施例に係る処理結果送信機能の
構成を示すブロック図である。

【図３】本発明の第１実施例に係る処理結果送信機能の
動作を示すタイミングチャ−トである。

【図４】本発明の第２実施例に係るフォ−ルトトレラン
トシステムの構成を示すブロック図である。

【図５】本発明の第２実施例に係る処理結果送信機能の
構成を示すブロック図である。

【図６】本発明の第２実施例で用いるパケットの第１の
フォーマット例を示す図である。

【図７】本発明の第２実施例で用いるメッセージの第１
のフォーマット例を示す図である。

【図８】本発明の第２実施例で用いるパケットの第２の
フォーマット例を示す図である。

【図９】本発明の第２実施例で用いるメッセージの第２
のフォーマット例を示す図である。

【図１０】本発明の第３実施例に係るフォ−ルトトレラ
ントシステムの構成を示すブロック図である。

【図１１】本発明の第４実施例に係るフォ−ルトトレラ
ントシステムの構成を示すブロック図である。

【図１２】本発明の第５実施例に係るフォ−ルトトレラ
ントシステムの構成を示すブロック図である。

【図１３】本発明の第６実施例に係るフォ−ルトトレラ
ントシステムのノ−ドの構成を示すブロック図である。

【図１４】本発明の第７実施例に係るフォ−ルトトレラ
ントシステムのノ−ドの第１の構成例を示すブロック図
である。

【図１５】本発明の第７実施例に係るフォ−ルトトレラ
ントシステムのノ−ドの第２の構成例を示すブロック図
である。

【図１６】本発明の第８実施例に係るフォ−ルトトレラ
ントシステムの出力選択ノ−ドの構成を示すブロック図
である。

【図１７】本発明の第９実施例に係るフォ−ルトトレラ
ントシステムのノ−ド内の構成を示すブロック図であ
る。

【図１８】本発明の第９実施例に係るフォ−ルトトレラ
ントシステムのノ−ドが行う処理の手順を示す図であ
る。

【図１９】本発明の第９実施例に係るフォ−ルトトレラ
ントシステムのノ−ドにおけるアドレスマップを示す図
である。

【図２０】本発明の第１０実施例に係るフォ−ルトトレ
ラントシステムのノ−ド内の構成を示すブロック図であ
る。

【図２１】本発明の第１１実施例に係るフォ−ルトトレ
ラントシステムのノ−ド内の構成を示すブロック図であ
る。

【図２２】本発明の第１１実施例に係るフォ−ルトトレ
ラントシステムのノ−ドアドレス変換機能の構成を示す
図である。

【図２３】本発明の第１１実施例に係るフォ−ルトトレ
ラントシステムのノ−ドの行う処理手順を示す図であ
る。

【図２４】本発明の第１１実施例に係るフォ−ルトトレ
ラントシステムのノ−ドにおけるアドレスマップを示す
図である。

【符号の説明】

１１〜１ｎ……プロセッシングノード、２０〜２ｍ……
出力選択ノード、３……ネットワーク、１１１〜１１ｎ
……データ処理機能、１２１〜１２ｎ……自己診断機
能、１１１〜１１ｎ……実行タスク決定機能、１３１〜
１３ｎ……処理結果送信機能、２１０〜２１ｍ……処理
結果収集機能、２２０〜２２ｍ……データ比較機能、２
３０〜２３ｍ……判定機能、２４０〜２４ｍ……選択機
能、７……出力選択装置、５０……ノード

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 美道 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 大辻 信也 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 堀田 多加志 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内

Claims (14)

【特許請求の範囲】
1. 【請求項１】同じ処理を実行する複数のプロセッシング
   ノードと、少なくとも１つの出力選択ノードと、前記複
   数のプロセッシングノ−ドと出力選択ノ−ドとに接続す
   るネットワ−クとを有し、 前記各プロセッシングノードは、前記処理を実行するデ
   ータ処理手段と、データ処理手段が行う処理に関して発
   生した障害を検出もしくは回復する自己診断手段と、前
   記データ処理手段が実行した処理の処理結果であるデー
   タと、前記自己診断手段の障害検出もしくは回復の状況
   を表す障害発生情報とを前記ネットワ−クに送信する送
   信手段とを備え、 前記出力選択ノードは、各プロセッシングノ−ドから前
   記ネットワ−クに送信された各データ相互間の一致／不
   一致を検出するデータ比較手段と、検出した各データ相
   互間の一致／不一致と、各プロセッシングノ−ドから前
   記ネットワ−クに送信された障害発生情報が表す各プロ
   セッシングノ−ドにおける障害の検出もしくは回復の状
   況とに基づき、各プロッセッシグノ−ドから前記ネット
   ワ−クに送信された各データのうちの最も信頼度が高い
   データを判定する判定手段と、最も信頼度が高いと判定
   されたデータを出力する選択手段とを有することを特徴
   とするフォールトトレラントシステム。
2. 【請求項２】請求項１記載のフォールトトレラントシス
   テムであって、 前記プロセッシングノードは、さらに、プロセッシング
   ノードの構成と、プロセッシングノードの信頼度と、前
   記自己診断手段の障害検出もしくは回復のカバレッジと
   のうちの少なくとも一つを表す情報であるカテゴリを、
   前記データと障害発生情報と共に前記ネットワ−クに送
   信する手段を有し、 前記出力選択ノードの前記判定手段は、前記検出した各
   データ相互間の一致／不一致と、各プロセッシングノ−
   ドから前記ネットワ−クに送信された障害発生情報が表
   す各プロセッシングノ−ドにおける障害の検出もしくは
   回復の状況に加え、さらに、各プロセッシングノ−ドか
   ら前記ネットワ−クに送信されたカテゴリが表す、各プ
   ロセッシングノードの構成と、各プロセッシングノード
   の信頼度と、各プロセッシングノ−ドの前記自己診断手
   段の障害検出もしくは回復のカバレッジとのうちの少な
   くとも一つに基づき、各プロッセッシグノ−ドから送信
   された各データのうちの最も信頼度が高いデータを判定
   することを特徴とするフォールトトレラントシステム。
3. 【請求項３】請求項１記載のフォールトトレラントシス
   テムであって複数の処理の各々に毎に、それぞれ、当該
   処理を実行する複数のプロセッシングノードと、前記出
   力選択ノードとを備え、 前記複数のプロセッシングノードの少なくとも一部のプ
   ロセッシングノ−ドは、さらに、他の各プロセッシング
   ノ−ドから前記ネットワ−クに送信された各データ相互
   間の一致／不一致を検出する手段と、検出した各データ
   相互間の一致／不一致と他の各プロセッシングノ−ドか
   ら前記ネットワ−クに送信された障害発生情報が表す他
   の各プロセッシングノ−ドにおける障害の検出もしくは
   回復の状況に基づき、各プロッセッシグノ−ドが実行し
   ている処理のうち最も処理の信頼度が低い処理を判定
   し、判定最も処理の信頼度が低い処理を前記データ処理
   手段に実行させる実行処理決定手段とを有することを特
   徴とするフォールトトレラントシステム。
4. 【請求項４】請求項２記載のフォールトトレラントシス
   テムであって、 複数の処理の各々に毎に、それぞれ、当該処理を実行す
   る複数のプロセッシングノードと、前記出力選択ノード
   とを備え、 前記複数のプロセッシングノードの少なくとも一部のプ
   ロセッシングノ−ドは、さらに、他の各プロセッシング
   ノ−ドから前記ネットワ−クに送信された各データ相互
   間の一致／不一致を検出する手段と、 検出した各データ相互間の一致／不一致と、 他の各プロセッシングノ−ドから前記ネットワ−クに送
   信された障害発生情報が表す他の各プロセッシングノ−
   ドにおける障害の検出もしくは回復の状況と、 他の各プロセッシングノ−ドから前記ネットワ−クに送
   信された前記カテゴリが表す、各プロセッシングノ−ド
   における障害の検出もしくは回復の状況と、前記カテゴ
   リの表すプロセッシングノードの構成と、プロセッシン
   グノードの信頼度と、前記自己診断手段の障害検出もし
   くは回復のカバレッジとのうちの少なくとも一つと、 に基づき、各プロッセッシグノ−ドが実行している処理
   のうち最も処理の信頼度が低い処理を判定し、判定した
   最も処理の信頼度が低い処理を前記データ処理手段に実
   行させる実行処理決定手段とを有することを特徴とする
   フォールトトレラントシステム。
5. 【請求項５】処理結果を、それぞれ受け取る複数の入力
   ポ−トと、前記複数の入力ポ−トで受け取った各処理結
   果を収集し、各処理結果の比較照合結果、もしくは、各
   実行結果の多数決に応じて、収集した各処理結果のうち
   の最も確からしい処理結果を出力する出力選択装置と、 同一の処理を複数回繰り返して実行するプロセッサと、
   前記プロセッサが実行した各回の処理の処理結果を、そ
   れぞれ、前記出力選択装置の異なる入力ポ−トに出力す
   る手段とを備えたノ−ドとを備えたことを特徴とするフ
   ォールトトレラントシステム。
6. 【請求項６】請求項５記載のフォオ−ルトトレラントシ
   ステムであって、 前記ノ−ドは、前記プロセッサの処理結果を、各回の処
   理毎に前記出力選択装置の異なる入力ポ−トに中継する
   切換手段とを有することを特徴とするフォールトトレラ
   ントシステム。
7. 【請求項７】請求項５記載のフォオ−ルトトレラントシ
   ステムであって、 前記ノ−ドは、前記プロセッサの各回の処理結果が、そ
   れぞれ入力される複数の出力ポ−トを有し、 前記複数の出力ポ−トは、入力された処理結果を、前記
   出力選択装置の、それぞれ異なる入力ポ−トに出力する
   ことを特徴とするフォールトトレラントシステム。
8. 【請求項８】請求項５記載のフォオ−ルトトレラントシ
   ステムであって、 前記ノ−ドは、前記プロセッサの処理結果が入力される
   複数の出力ポ−トと、前記プロセッサの処理結果が入力
   される出力ポ−トを各回の処理毎に強制的に切り替える
   手段とを有し、 前記複数の出力ポ−トは、入力された処理結果を、前記
   出力選択装置の、それぞれ異なる入力ポ−トに出力する
   ことを特徴とするフォールトトレラントシステム。
9. 【請求項９】メモリと、同一の処理を複数回前記メモリ
   を用いながら繰り返して実行するプロセッサと、前記プ
   ロセッサが用いるメモリ上の領域を各回の処理毎に強制
   的に切り替える手段とを備えたノ−ドと、 前記プロセッサが実行した各回の処理の実行結果を収集
   し、各実行結果の比較照合結果、もしくは、各実行結果
   の多数決に応じて、収集した各実行結果のうちの最も確
   からしい処理結果を出力する出力選択装置とを備えたこ
   とを特徴とするフォールトトレラントシステム。
10. 【請求項１０】請求項６、８または９記載ののフォール
    トトレラントシステムであって、 前記プロセッサは、各回の処理毎に初期化されることを
    特徴とするフォールトトレラントシステム。
11. 【請求項１１】複数のノ−ドと、出力選択装置とを有
    し、 前記各ノ−ドは、同一の処理を複数回繰り返して実行す
    るプロセッサを備え、 前記出力装置は、各プロセッサの各回の処理の処理結果
    を収集し、同一のノードで実行された複数回の処理の処
    理結果のうち過半数の処理結果が一致し、かつ、当該一
    致した処理結果が、他のノードで実行された複数回の処
    理の処理結果のうちの少なくとも１つの処理結果と一致
    した場合に、当該一致した処理結果を選択し出力するこ
    とを特徴とするフォールトトレラントシステム。
12. 【請求項１２】請求項１１記載のフォールトトレラント
    システムであって、 出力装置は、各プロセッサの各回の処理の処理結果を収
    集し、同一のノードで実行された複数回の処理の処理結
    果のうち過半数の処理結果が一致する処理結果であっ
    て、かつ、他のノードで実行された複数回の処理の処理
    結果のうちの少なくとも１つの処理結果と一致する処理
    結果が存在しない場合に、警報を示す値の信号を出力す
    ることを特徴とするフォールトトレラントシステム。
13. 【請求項１３】請求項１１記載のフォールトトレラント
    システムであって、 出力装置は、各プロセッサの各回の処理の処理結果を収
    集し、同一のノードで実行された複数回の処理の処理結
    果のうち過半数の処理結果が一致する処理結果であっ
    て、かつ、他のノードで実行された複数回の処理の処理
    結果のうちの少なくとも１つの処理結果と一致する処理
    結果が存在しない場合に、当該出力装置の出力によって
    制御される対象を、比較的に安全に動作させる信号を出
    力することを特徴とするフォールトトレラントシステ
    ム。
14. 【請求項１４】同じ処理を実行する複数のプロセッシン
    グノードと、少なくとも１つの出力選択ノードと、前記
    複数のプロセッシングノ−ドと出力選択ノ−ドとに接続
    するネットワ−クとを有し、 前記各プロセッシングノードは、前記処理を実行するデ
    ータ処理手段と、データ処理手段が行う処理に関して発
    生した障害を検出もしくは回復する自己診断手段と、前
    記データ処理手段が実行した処理の処理結果であるデー
    タと、前記自己診断手段の障害検出もしくは回復の状況
    を表す障害発生情報とを前記ネットワ−クに送信する送
    信手段とを備え、 前記出力選択ノードは、 各プロセッシングノ−ドから前記ネットワ−クに送信さ
    れた各データ相互間の一致／不一致を検出し、検出した
    各データ相互間の一致／不一致と、各プロセッシングノ
    −ドから前記ネットワ−クに送信された障害発生情報が
    表す各プロセッシングノ−ドにおける障害の検出もしく
    は回復の状況とに基づき、各プロッセッシグノ−ドから
    前記ネットワ−クに送信された各データのうちの最も信
    頼度が高いデータを判定し、最も信頼度が高いと判定さ
    れたデータを前記処理結果として出力する処理を理を複
    数回繰り返して実行するプロセッサと、 前記プロセッサが実行した各回の処理の実行結果を収集
    し、各実行結果の比較照合結果、もしくは、各実行結果
    の多数決に応じて、収集した各実行結果のうちの最も確
    からしい処理結果を出力する出力選択装置とを備えたこ
    とを特徴とするフォールトトレラントシステム。