JP5028202B2 - 制御ネットワークシステム - Google Patents

Description

リアルタイム制御に係るデータ通信に供される制御ネットワークシステムに関する。

制御システムにおける、リアルタイム制御に係るデータ通信（以下制御通信）では、システムの制御周期との同期を維持することが重要である。従って、制御ネットワークに対する要求として、制御通信の通信速度（スループット）よりも、通信に伴う遅延（レイテンシ）や通信タイミングのゆらぎ（ジッタ）の少なさがより重視される場合がある。

上記に関連する既存技術として、制御通信の周期を維持する方法が特許文献１に記載されている。こちらでは、自装置がリング状仮想サイクリック伝送路上に送出したサイクリックデータの受信時刻より、前記伝送路における制御通信の周期を推定している。前記伝送路の混雑等により受信周期が所定の値を逸脱した場合には、非サイクリックデータの送出を抑制して前記伝送路の混雑を解消し、サイクリックデータの通信周期を回復する。

また、別の既存技術として、ネットワーク上の通信が適正なものであるかどうかを判断し、該通信を制御する方法が特許文献２に記載されている。こちらでは、宛先アドレス等より設備通信として分類した通信パケットについて、特定アドレスへの連続送信や、一定頻度以上のマルチキャストおよびブロードキャストである場合にそのパケットを異常アクセスによるものと判断し、遮断等の措置をとっている。

特開２０００−３５３０１１号公報 特開２００６−１３５９５０号公報

制御通信を麻痺させる目的で、悪意を持つ者が不正な機器を構成して制御ネットワークに接続したり、既にネットワークに接続されている正常な機器から不正な手段で制御権を奪ったりした上で、ネットワーク上に大量の不正パケットを放出させる、いわゆるDenial of Service（ＤｏＳ）攻撃を実行する場合がある。

特許文献１では、各プラント入出力装置は、他のプラント入出力装置から送信されたデータに対して送信制御を適用できない。このため、標的となる装置に対してのみ大量のパケットを送りつけるようなＤｏＳ攻撃が実行された場合、標的となる装置は送りつけられたパケットを遮断できない。また、標的以外の装置は異常を検出できないためアクションを起こすことができない。

また、不正な機器をスイッチングハブに直接接続された場合には、いずれの装置も流入してくる不正パケットを遮断することができない。

一方、特許文献２では、異常アクセスと判定するための基準値を予め規定しておく必要があるが、本当の異常アクセスと、単に高負荷である状態を明確に区別できる基準値を設定することは現実には困難である。さらに、多数の機器が接続されたネットワークでは、転送元と転送先の全ての組み合わせについて前記のような基準値を個別に設定することは現実的でない。

本発明は、悪意を持った者によって引き起こされる障害にも対処でき、制御通信の周期の安定化を図ると共に、制御通信に適したセキュリティ向上を実現できる制御ネットワークシステムを提供することを目的とする。

本発明は、上記課題を解決するために、所定の周期で制御通信を行う複数の制御機器と、複数のセグメントから構成される通信路と、複数のセグメントの各セグメント間に配置され、セグメントと制御機器との接続状態を制御するネットワークスイッチと、通信路と接続された障害検知手段と、を有し、障害検知手段は、通信路上から収集したパケットのヘッダ部分から経路を抽出し、且つパケットの収集時刻からパケット情報を生成する経路分類部と、パケット情報から各経路における制御通信周期を算出する周期計測部と、その算出された各経路における制御通信周期と、予め記憶された各経路における制御通信周期の適正範囲と、を比較し、制御通信周期が適正範囲を逸脱した場合、障害検知信号を出力する逸脱判定部と、前記障害検知信号を検出すると、逸脱の原因となった制御通信の経路を推定すると、前記適正範囲を逸脱した経路におけるパケット送信元の前記制御機器が逸脱の原因であると推定するとともに、前記逸脱した経路における前記制御通信周期が前記適正範囲よりも短い周期で逸脱したか、または、長い周期で逸脱したかを判断し、短い周期で逸脱した場合には、逸脱の原因と推定された前記制御機器による不正パケットの放出が障害原因であると推定する障害原因推定部と、前記推定された経路における前記制御機器のアドレスを送信元とするパケット情報の送信を遮断する指令を、前記ネットワークスイッチに出力する遮断ルール生成部と、を有する構成とする。

悪意を持った者によって引き起こされる障害にも対処でき、制御通信の周期の安定化を図ると共に、制御通信に適したセキュリティ向上を実現できる制御ネットワークシステムが提供できる。

以下、図面を参照し、本発明の実施例について説明する。

本発明の第一の実施形態を表す制御ネットワークシステムの構成を図１に示す。

複数の制御ネットワークセグメント２０は、それぞれネットワークスイッチ３によって連結され、一つの通信路である制御ネットワーク２を形成する。制御ネットワーク２のトポロジーとして、本図ではバス接続のように記載しているが、実施の際はスター型，リング型など任意のトポロジーを採用してよく、それにより本発明の内容が影響を受けることはない。

ネットワークスイッチ２は、複数の制御ネットワークセグメント２０の各セグメント間に配置され、その制御ネットワークセグメント２０と制御機器１との接続状態を制御するものであって、アクセス制御リスト３１で指定されたアドレス情報を持つパケットに対して通過または遮断のアクションをとることができる。アクセス制御リスト３１で指定するアドレスは、ＩＥＥＥ８０２．３アドレス（いわゆるＭＡＣアドレス）のほか、Internet Protocol（ＩＰ）アドレスや、Transmission Control Protocol（ＴＣＰ）／User Datagram Protocol（ＵＤＰ）におけるポート番号を用いて記述できてもよい。制御機器１は、ネットワークスイッチ２の機器用ポート３２を介して接続される。機器用ポート３２はネットワークスイッチ２に複数備わっていてよい。

制御機器１は、それぞれが所定の周期で制御演算，制御通信を実行しており、その過程において、他の制御機器との間で制御ネットワーク２を介して制御通信を実行する。一方、不正機器１ｘは悪意を持つ者によって構成された機器であり、ネットワークスイッチ３を経由して制御ネットワーク２へ大量のパケットを放出し、制御機器１による制御通信を妨害しようとする。

障害検知装置４は、通信路である制御ネットワーク２と接続され、通信路上に設けられ、通信路上に伝送されたパケットを収集するパケット収集用ポート３３を通じて通信パケットを収集する。このとき、各パケットを収集した時刻を該パケットに関連づけて記録しておく（図示せず）。パケット収集用ポート３３には、独立したリピータハブを用いてもよいし、ネットワークスイッチ２の機器用ポート３２の一つを用いてもよい（ただし、前記機器用ポートは、制御ネットワーク２上の全てのパケットを転送するよう設定したものであること）。なお、障害検知装置４は通信を妨害しないよう、パケットを収集するのみであり、収集したパケットに対していかなる形の返信もしない。

経路分類部４０は、通信路である制御ネットワーク２から収集したパケットのヘッダ部分から経路を示す送信元および送信先アドレスを抽出し、かつ、前記パケットのヘッダ部分と前記パケットの収集時刻からパケット情報４１０を生成する。なお、経路を示すそれぞれのアドレスは、システムで用いられるＩＰアドレス，ＩＥＥＥ８０２．３アドレス，ＴＣＰ／ＵＤＰのポート番号、およびそれらの組み合わせを任意に用いてよい。さらに、前記パケット情報４１０を、経路が同じもの同士でグループ化してパケット情報蓄積部４１に蓄積する。また、経路の送信先アドレスがブロードキャストアドレスやマルチキャストアドレスである場合、そのことを示すマーク（図中では、ブロードキャストパケットに対し“Ｂ”）を付けた上で、他の単一アドレスと同様に扱う。図２に、前記手順を模式的に表した図を示す。

以上、パケットを収集して、経路分類部４０にてパケット情報４１０を生成し、パケット情報蓄積部４１に蓄積するまでの手順は、制御ネットワーク２にパケットが流れるたびに実行される必要がある。

周期計測部４２は、パケット情報４１０から各経路における制御通信周期である平均周期を算出する。具体的には、パケット情報蓄積部４１に蓄積されたパケット情報４１０から経路と収集時刻の組を単位時間（例えば１秒）分だけ読み出し、同一経路を持つ組に対して収集時刻の統計処理を施し、各経路における制御通信の平均周期（Ｔ）４３を算出する。図３に、前記手順を模式的に表した図を示す。このとき、平均周期に加えて、周期の分散（σ²）や平均周期の変動率（ΔＴ／Δｔ）などのような統計量も求めておくとよい（後述）。

通信周期の適正範囲４４は、障害検知装置４の起動時に予め設定されるパラメータであり、ネットワークシステム上で利用する予定の各経路における適正な通信周期の範囲が定義される。

逸脱判定部５０は、周期計測部４２において算出された各経路の制御通信周期である平均周期４３と、各経路における制御通信周期の適正範囲４４とを比較する。その結果、平均周期４３が適正範囲４４に収まっていた場合には、該経路の通信は正常であると判定し、次の経路における通信周期を判定する。もし、平均周期４３が適正範囲４４から逸脱していた場合には、該通信に障害が発生していると判定し、該通信の経路情報および障害の程度情報（例えば、適正範囲４４からの平均周期４３の逸脱割合）を含む障害検知信号５１を出力する。

このとき、障害検知信号５１を、例えば別途設けた操作卓５で受信し、オペレータに対し障害の発生を報告する警報６を生成するために利用してもよい。また、算出された経路の平均周期４３に対応する適正範囲４４が定義されていない場合、そもそもシステムにおいて想定していない不正な通信が発生したということであり、平均周期４３の値にかかわらず直ちに障害検知信号５１を出力する。

以上、周期計測部４２にて平均周期４３を算出し、適正範囲４４と比較するまでの手順は、任意に設定した単位時間を周期として実行してよい。その場合、パケット情報蓄積部４１に必要な蓄積容量は設定する単位時間に比例するため、どちらか一方が制約条件となる場合はそちらをもとに他方を決定するとよい。

障害原因推定部５２は、障害検知信号５１が出力されたことを検出すると、周期計測部４２において算出された全経路の平均周期を取得して調べることで、逸脱の原因となった制御通信の経路を推定する、つまり障害の直接の原因となっている通信がどの経路上のものかを推定する。以下、原因の推定についての単純な例を図４から６に示し説明する。

図４に示すように、障害と判定された経路（１ｘ→１ａ）において、通常の制御通信における適正な通信周期よりも大幅に短い周期でパケットが送信されている場合、送信元アドレスが不正機器１ｘによって取得されており、そこから制御機器１ａへのＤｏＳ攻撃が行われていると推定される。この場合、同時に、制御機器１ａを送信元とする別の経路（１ａ→１ｂ，１ａ→１ｃ）で適正な通信周期からの遅延による障害が検知されている可能性があり、あわせてＤｏＳ攻撃が行われているとの推定を強めることができる。

図５に示すように、障害と判定された経路がブロードキャスト経路（１ｘ→１ａ，１ｂ，１ｃ，…）であり、かつ通常の制御通信における適正な通信周期よりも短い周期でパケットが送信されている場合、送信元アドレスが不正機器１ｘによって取得されており、そこから無差別型のＤｏＳ攻撃が行われていると推定される。

図６に示すように、障害と判定された経路（１ａ→１ｂ）において、通常の制御通信における適正な通信周期よりも大幅に長い周期でパケットが送信されているが、他の経路（１ｂ→１ｃなど）では障害が検出されていない場合、制御機器１ａ単独の故障であり、ネットワークシステムとしての障害ではないと推定される。

いずれの例でも、上記のように障害検出時点での各経路の平均周期のみで判断することは可能であるが、周期計測部４２において周期の分散（σ²）や平均周期の変動率（ΔＴ／Δｔ）などの統計量をあわせて求めておくと、例えば周期の分散により適正範囲４４からの逸脱が有意なものであるか否かを判断することができたり、平均周期の変動率により、障害が突発的なものか一定の期間継続する可能性があるのかといったことを判断でき、障害の原因推定の精度を高めることができて好適である。

障害原因推定部５２において障害原因となっている経路が特定され、かつその原因がＤｏＳ攻撃などの有害なものであると推定された場合、その経路で行われている通信を遮断してネットワークシステムを障害状態から回復させる必要がある。

障害原因推定部５２は、前記推定した障害原因経路のアドレス情報を遮断経路情報５３として遮断ルール生成部５４へ出力する。遮断ルール生成部５４は図７に示すように、遮断経路情報５３で示されたアドレス情報に基づきアクセス制御リスト３１により障害原因経路の遮断をネットワークスイッチ３に指令する。図中の“deny src 1x dst all”は、「アドレス１ｘを送信元とする、任意の送信先へのパケットを遮断する」という意味である。

最終的に、各々のネットワークスイッチ３がネットワークセグメント２０の境界で障害原因経路に属する通信パケットを阻止することにより、障害が排除されて正常な制御通信を行える状態が回復される。

本実施例では、以上説明した動作により制御ネットワーク上の制御通信を監視し、制御にとって有害な異常をきたしていると推定される経路の通信を遮断することで、他の制御通信の周期を維持し、システム全体としての安定性を向上させることができる。

本発明の第二の実施形態を表す制御ネットワークシステムの構成を図８に示す。

本実施例では、制御ネットワークを乱し、システムの制御動作を妨害する目的で、不正機器１ｘが制御ネットワーク３に接続されていると仮定する。

第一の実施例では、制御通信周期の適正範囲４４が定義されていない通信経路を不正な通信とみなし、障害として扱うことを説明したが、不正機器１ｘは自らの存在を隠し、妨害動作をなるべく長い間行えるよう、しばしば既存の制御機器１ａ，１ｂ，…のアドレスを詐称してパケットを送信する場合がある。それにより、信頼できない経路情報に基いて周期の監視がなされるため、正確な障害検知ができなくなるほか、場合によっては本来正常であるはずの制御機器１ａや１ｂを含む経路が異常を判断され、誤って遮断されてしまう可能性がある。上記のような事例に対処するために、悪意を持つ者が故意に制御通信の周期を乱そうとして送信するパケットについても正しく検知し、適切に対処することを目的とする。

本実施例では、第一の実施例における構成に加え、制御機器１ａおよび１ｂが各々認証コード生成部６０と認証コード検証部６１を備え、かつ障害検知装置４も認証コード検証部６１を備える。

制御装置１ａから制御装置１ｂへの通常の制御通信においては、図９に示すように、制御装置１ａの内部で生成された制御通信メッセージ６２に、認証コード生成部６０で生成した認証コード６３を付加し、制御通信パケット６５を生成して制御装置１ｂへ送信する。制御装置１ｂは、受信した制御通信パケット６５を制御通信メッセージ６２と認証コード６３とに再分解し、認証コード検証部６１において、受信された認証コード６３と同じ認証コードを生成できるかどうかを検証する。

前記認証コード６３は、前記制御通信メッセージ６２と、予め制御装置１の間で合意されている秘密の共通鍵６４とから、メッセージ認証コード（Message Authentication Code； ＭＡＣ）として知られている技術を用いて生成・検証されるものである。ＭＡＣを生成する過程で用いられる、ハッシュ関数と呼ばれる関数の数学的性質より、共通鍵６４を知らない者が同一の認証コード６３を生成することは著しく困難である。本実施例では、認証コード生成部６０が予め定められた共通鍵６４に基づいてパケットを生成する。また認証コード検証部６１は、その共通鍵に基づいて認証コードを検証する。なお、共通鍵６４は、制御機器１及び障害検知装置４内に予め記憶しておく。

従って、本実施例では、共通鍵６４の秘密が保たれている限り、正当な制御機器１ａ，１ｂ，…のみが有効な認証コードを６３を含む制御通信パケット６５を生成することができ、例え不正機器１ｘが制御機器１ａなどのアドレスを不当に名乗っていても、不正機器１ｘから送信されたパケットを峻別することが可能である。

障害検知装置４において、上記の手順により制御通信パケット６５から認証コード６３と同一の認証コードを生成できた場合、実施例１と同様にして経路ごとに集計し、適正な周期であるかどうかをチェックする。一方、図１０に示すように、受信した制御通信パケット６５から生成した認証コード６３ｘと受信したした認証コード６３とが一致しなかった場合、パケット情報蓄積部４１で不正なパケットであることを示すマーク（図中の“！”）を付け、他の正当なパケットとは区別して集計する。そのようなパケットの発生が散発的であれば、ノイズ等による単なるパケット破損の可能性が高いが、ある頻度を超えて検出されるような場合には不正機器による攻撃の可能性が高いと推定される。そのような場合には、集計や適正周期のチェックなど行わず、遮断ルール生成部５４から不正パケットを遮断するためのアクセス制御リスト３１をネットワークスイッチ２へ即座に出力するような構成にしてもよい。

本発明の第三の実施形態を表す制御ネットワークシステムの構成を図１１に示す。

基本的構成は、障害検知装置４も含めて実施例１と同様であるが、設計情報変換・検証手段７１およびそれに与える設計情報７０が追加されている。

第一および第二の実施例では、各経路における通信周期の適正範囲４４の与え方を定義しなかったが、大規模なシステムでは制御通信の経路数が膨大になると考えられ、これらを手作業で決定し入力することは非常に煩雑な作業となる。本実施例では、上記適正範囲を制御ネットワークシステムの設計情報７０に基づいて抽出することにより上記問題の解決を図る。また、逆に、運転中のシステムにおいて観測された制御通信の周期を設計の見直しを行う際の情報として用い、システムの改善に資することも目的とする。

利用する設計情報７０としては、実際に制御機器１に搭載される設定ファイルや制御用ソフトウェアなどの具体的なデータのほか、各制御装置１が行うべき制御通信の具体的な仕様（制御データのスループットやデータ長、許容される遅延時間など。もちろん通信周期そのものであってもよい）が定義された電子的な文書を用いてもよい。設計情報変換・検証手段７１は、制御ネットワークシステムの起動時に、与えられた前記設計情報７０を走査して含まれている制御通信の仕様情報を抽出し、さらにそれらに基づいて各制御通信周期の適正範囲４４を算出し、障害検知装置４に設定する。

システムの定常運転中、障害検知装置４は各制御通信経路を監視し、周期計測部４２にて制御通信周期である平均周期４３を算出する。設計情報変換・検証手段７１は所定の頻度で各経路の平均周期４３を取得し、その取得した平均周期と前記算出した適正範囲４４と比較し、その比較結果を報告書であるレポート７２を作成してシステムの管理者に通知する。通知されたレポート７２より、通信周期が適正範囲４４に収まってはいるが変動に対して余裕のない経路や、通信周期の変動が大きく安定性に欠ける経路があるかどうかを読み取ることができ、例えばそれらを解決するための通信仕様見直しを検討する資料として用いることができる。

本発明に係る制御ネットワークシステムの第一の実施形態を示す図である。 第一の実施形態において収集したパケットの蓄積手順を示す模式図である。 通信周期を算出する手順を示す模式図である。 制御ネットワークシステムにおける障害原因の推定例（１）の模式図である。 制御ネットワークシステムにおける障害原因の推定例（２）の模式図である。 制御ネットワークシステムにおける障害原因の推定例（３）の模式図である。 本発明に係る制御ネットワークシステムのパケット遮断手順を示す模式図である。 本発明に係る制御ネットワークシステムの第二の実施形態を示す図である。 第二の実施形態におけるＭＡＣ適用手順の模式図である。 不正パケットの取り扱いの例を示す模式図である。 本発明に係る制御ネットワークシステムの第三の実施形態を示す図である。

符号の説明

１ 制御機器
１ｘ 不正機器
２ 制御ネットワーク
３ ネットワークスイッチ
４ 障害検知装置
５ 操作卓
６ 警報
２０ ネットワークセグメント
３１ アクセス制御リスト
３２ 機器用ポート
３３ パケット収集用ポート
４０ 経路分類部
４１ パケット情報蓄積部
４２ 周期計測部
４３ 平均周期
４４ 適正範囲
５０ 逸脱判定部
５１ 障害検知信号
５２ 障害原因推定部
５３ 遮断経路情報
５４ 遮断ルール生成部
６０ 認証コード生成部
６１ 認証コード検証部
６２ 制御通信メッセージ
６３ 認証コード
６４ 共通鍵
６５ 制御通信パケット
７０ 設計情報
７１ 設計情報変換・検証手段
７２ レポート
４１０ パケット情報

Claims (10)

1. 所定の周期で制御通信を行う複数の制御機器と、
   複数のセグメントから構成される通信路と、
   前記複数のセグメントの各セグメント間に配置され、前記セグメントと前記制御機器との接続状態を制御するネットワークスイッチと、
   前記通信路と接続された障害検知手段と、を有し、
   前記障害検知手段は、
   前記通信路上から収集したパケットのヘッダ部分から経路を抽出し、且つ前記パケットの収集時刻からパケット情報を生成する経路分類部と、
   前記パケット情報から各経路における制御通信周期を算出する周期計測部と、
   前記算出された各経路における制御通信周期と、予め設定された前記各経路における制御通信周期の適正範囲と、を比較し、前記制御通信周期が前記適正範囲を逸脱した場合、障害検知信号を出力する逸脱判定部と、
   前記障害検知信号を検出すると、前記適正範囲を逸脱した経路におけるパケット送信元の前記制御機器が逸脱の原因であると推定するとともに、前記逸脱した経路における前記制御通信周期が前記適正範囲よりも短い周期で逸脱したか、または、長い周期で逸脱したかを判断し、短い周期で逸脱した場合には、逸脱の原因と推定された前記制御機器による不正パケットの放出が障害原因であると推定する障害原因推定部と、
   前記推定された経路における前記制御機器のアドレスを送信元とするパケット情報の送信を遮断する指令を、前記ネットワークスイッチに出力する遮断ルール生成部と、
   を有する制御ネットワークシステム。
2. 請求項１に記載の制御ネットワークシステムにおいて、
   前記障害原因推定部は、前記逸脱した経路における前記制御通信周期が前記適正範囲よりも長い周期で逸脱した場合であって、前記逸脱した経路とは別の経路の前記制御通信周期が前記適正範囲を逸脱していない場合には、前記逸脱した経路におけるパケット送信元の前記制御機器の故障が障害原因であると推定することを特徴とする制御ネットワークシステム。
3. 請求項１または２に記載の制御ネットワークシステムにおいて、
   前記通信路上に設けられ、前記通信路上に伝送されるパケットを収集するパケット収集用ポートを有する制御ネットワークシステム。
4. 請求項１または２に記載の制御ネットワークシステムにおいて、
   前記経路分類部で生成されたパケット情報を経路が同じもの同士でグループ化して蓄積するパケット情報蓄積部を有する制御ネットワークシステム。
5. 請求項１または２に記載の制御ネットワークシステムにおいて、
   前記制御機器は、
   生成された制御通信メッセージに対して認証コードを付加し、パケットを生成して出力する認証コード生成部と、
   入力されたパケットから前記制御通信メッセージと前記認証コードを分離させ、分離した前記認証コードと同じ認証コードを生成可能かどうかを検証する認証コード検証部と、
   を有する制御ネットワークシステム。
6. 請求項５記載の制御ネットワークシステムにおいて、
   前記認証コード生成部は、予め定められた共通鍵に基づいて認証コードを生成し、
   前記認証コード検証部は、前記共通鍵を用いて前記認証コードを検証する制御ネットワークシステム。
7. 請求項６記載の制御ネットワークシステムにおいて、
   前記障害検知手段は、入力されたパケットから前記制御通信メッセージと前記認証コードを分離させ、分離した前記認証コードと同じ認証コードを生成可能かどうかを検証する認証コード検証部を有し、
   前記認証コード検証部は、前記通信路上から収集したパケットに対して前記共通鍵を用いて分離した前記認証コードを検証し、
   前記経路分類部は、前記認証コード検証部で検証された結果、正当性が確認されたパケットについてのみ、前記パケットのヘッダ部分から経路を抽出し、且つ前記パケットの収集時刻からパケット情報を生成する制御ネットワークシステム。
8. 請求項１または２に記載の制御ネットワークシステムにおいて、
   前記制御通信周期の適正範囲は、制御ネットワークシステムの設計情報に基づいて生成する設計情報変換・検証手段を有する制御ネットワークシステム。
9. 請求項８記載の制御ネットワークシステムにおいて、
   前記設計情報変換・検証手段は、制御ネットワークシステムの起動時に、前記設計情報から制御通信の仕様情報を抽出し、前記仕様情報に基づいて前記制御通信周期の適正範囲を算出する制御ネットワークシステム。
10. 請求項９記載の制御ネットワークシステムにおいて、
    前記設計情報変換・検証手段は、所定の頻度で各経路の制御通信周期を取得し、前記取得した各経路の制御通信周期と前記算出された前記制御通信周期の適正範囲とを比較し、比較した結果を報告書として出力する制御ネットワークシステム。

Images