JP7201844B2 - グラディエントベースのセンサ識別を利用した障害予測 - Google Patents

Description

この出願は、２０１９年５月２９日に出願された米国特許仮出願第６２／８５３，８２８号及び２０２０年３月１２日に出願された米国特許出願第１６／８１６，７５２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、サイバーフィジカルシステムにおける障害予測に関し、より詳細には、そのようなシステムにおける障害の前兆の検出及び関係するセンサの時系列の識別に関する。

障害予測は、事前に定義された障害の発生を予測するタスクである。タスクを通じて、発生する障害の種類及びその期間を提供できる。障害を正確に予測すれば、障害による損失を回避できる、または最小限に抑制できる。

障害の前兆は、保存された障害事象の情報から判定できるが、多くの場合、そのような前兆についての記述はない。このことは、検出された前兆を用いて障害を予測することを困難にする。

サイバーフィジカルシステムにおける障害を予測する方法は、サイバーフィジカルシステムにおける各センサからの複数の入力時系列と複数の障害の前兆との比較結果に基づいて予測指標を決定することを含む。予測指標と閾値との比較結果に応じて複数の入力時系列における障害の前兆が検出される。予測指標のグラディエント（gradient）に基づいて障害の前兆に関係するセンサのサブセットを決定する。是正処置は、決定したセンサのサブセットに応じて実行される。

サイバーフィジカルシステムにおける障害を予測するシステムは、サイバーフィジカルシステムにおける各センサからの複数の入力時系列と複数の障害の前兆との比較結果に基づいて予測指標を決定し、予測指標と閾値との比較結果に応じて複数の入力時系列における障害の前兆を検出するように構成されるニューラルネットワークを含む。障害防止装置は、予測指標のグラディエントに基づいて障害の前兆に関係するセンサのサブセットを決定し、決定したセンサのサブセットに対応した是正処置を実行するように構成される。

これらの及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。

本開示では、以下の図面を参照しながら好ましい実施形態について、以下で詳細に説明する。

図１は、本発明の一実施形態による、障害予測システムを含むサイバーフィジカルシステムの監視を示す図である。

図２は、本発明の一実施形態による、サイバーフィジカルシステムにおける障害を検出及び是正するための方法のブロック／フロー図である。

図３は、本発明の一実施形態による、サイバーフィジカルシステムにおける障害を検出するためのニューラルネットワークのブロック／フロー図である。

図４は、本発明の一実施形態による、異なる期間で特定された一組の時系列の図である。

図５は、本発明の一実施形態による、特定の期間セグメントと保存された特徴ベクトルとの距離を決定するための方法のブロック／フロー図である。

図６は、本発明の一実施形態による、障害予測システムのブロック図である。

図７は、本発明の一実施形態による、人工ニューラルネットワークのブロック図である。

本発明の実施形態は、サイバーフィジカルシステムにおける障害の予測を提供する。サイバーフィジカルシステムのセンサから情報が収集され、機械学習システムを訓練するために使用される。機械学習システムは、サイバーフィジカルシステムの障害に関係するセンサデータの状態を識別し、障害の種類及びその時間フレームに関する情報を提供することを含む、差し迫った障害をオペレータに警告する。さらに、本実施形態は、障害の根本的な原因を特定して対処することを容易にし、障害を潜在的に防止し、または少なくともその影響を最小限に抑制するために、障害に関係する特定のセンサを識別できる。

前兆が検出されると、本実施形態は、各センサによってそれぞれ生成された時系列に関するグラディエントに基づいてセンサ毎のスコアを計算する。これにより、本実施形態は、障害の基になる、幾つかの原因となる情報を提供する。スコアは、入力時系列におけるグラディエントの経時的な統計値に基づいていてもよい。

本実施形態は、ルールベースの障害予測システムよりも優れている。例えば、機械学習システムは、ルールベースのアプローチよりも一般的であり、周囲の状況の変化に容易に適合する。さらに、本実施形態は、障害の発生回数が制限される場合であっても、障害の特徴的な性質を見つけるために、障害事象の履歴及びセンサの時系列の両方を使用する。重みは、重要なサブシーケンスが異常期間の直前に先行すると仮定するのではなく、重要なサブシーケンスからのシグナルを増強する、初期徴候領域におけるサブシーケンスに与えられる。その結果、本実施形態は、複雑なシステムにおいて、初期徴候領域が多数の正常なサブシーケンスを含んでいても有効である。本実施形態は、さらに前兆検出の理解に関するセンサのリストを提供する。これにより、問題の根本原因を特定することが容易になり、状況によっては問題の自動的な是正を提供できる。

ここで、同じ数字が同一または同様の要素を表す図面、図１を詳細に参照すると、図１には、本発明の一実施形態による、障害予測のための高レベルシステム／方法が例示的に示されている。発電所等のサイバーフィジカルシステムは、いくつかの有用な出力を生成するために動作する、いくつかの機械的、物理的または他の有形のシステムを含む。これらのサイバーフィジカルシステムは、システムの物理的な状態を追跡する様々なセンサによって監視される。

サイバーフィジカルシステム１０２は、制御可能または制御不能なセンサ１０４一式によって監視される。センサ１０４は、サイバーフィジカルシステム１０２に関する情報を記録し、その情報を障害予測システム１０６に送信する。この情報は、時系列としてそれぞれ提供され、各時系列は関係する時間情報を伴うセンサの値のリストを含む。障害予測システム１０６は、時系列情報及び障害事象等の履歴事象に関する情報を記録する。障害事象の記述には、障害の種類の特定及び障害を是正するために使用される解決策を含むことができる。また、時系列データと障害の前兆との明確な関係を提供するために、センサの時系列からの障害前兆情報を記述してもよい。障害予測システム１０６は、収集されたデータを用いて機械学習モデルを訓練し、検出された障害を抑制する、または障害の種類を低減するためにサイバーフィジカルシステム１０２のパラメータを最適化し、新しいセンサデータの障害の前兆の判定結果に基づいて上記の障害の影響を最小化する。

サイバーフィジカルシステム１０２は、物理的または機械的なプロセスと分散監視とを統合する任意の適切なシステムとすることができる。サイバーフィジカルシステム１０２は、発電所や工場に実装できると考えられるが、本原理は任意のそのようなシステムに適用できることを理解されたい。

サイバーフィジカルシステム１０２の物理的な状態は時間と共に変化する。この状態の変化がもたらす影響には、気候の変化及び季節の変化を含む環境の変化、電気負荷、物理的な構成要素の老朽化、劣化及び故障が含まれる。障害は、サイバーフィジカルシステム１０２の動作のいかなる乱れによっても引き起こされる可能性がある。いくつかのケースにおいて、障害は、例えば機能部位のアクシデントまたは消耗部位の突然の故障のために、ほとんど警告無しに起こり得る。他のケースにおいて、障害を示す前兆情報は、実際に障害が発生する前にセンサ１０４の出力において良好に検出され得る。

センサ１０４は、サイバーフィジカルシステム１０２の任意の物理的または電気的なプロセスまたはシステムを監視できる。典型的なセンサ１０４は、温度センサ、湿度センサ、気圧センサ等の周囲または環境の情報を測定する環境センサと、加速度計、計数器、重量計等の物理的プロセスの特性を測定する動作センサと、サイバーフィジカルシステム１０２のソフトウェアプログラムで保持されるログ等の電気的またはソフトウェアプロセスの特性を測定する電子センサとを含む。任意の特定のセンサブロック１０４は、複数の独立したセンサを含むことが可能であり、センサ１０４は、サイバーフィジカルシステム１０２の異なる物理的機械またはシステムと統合できることを理解されたい。任意の数のセンサ１０４を使用することが可能であり、特に多くのそのようなセンサ１０４を使用することは、サイバーフィジカルシステム１０２の多くの異なる態様に関するリアルタイムな情報を提供できると考えられる。

センサ１０４は、制御可能または制御不能のどちらであるかが特定される。制御可能なセンサは、サイバーフィジカルシステム１０２の何れかのパラメータによって制御できるサイバーフィジカルシステム１０２の特性を測定するものである。例えば、加熱／冷却システムの制御は、周囲の温度の制御に利用できるため、加熱／冷却システムが存在する実施形態では、周囲の温度を測定するセンサを制御可能なセンサとすることができる。一方、別の実施例において、周囲の温度を測定するセンサは、サイバーフィジカルシステム１０２にその特性を制御できるプロセスが存在せずに外気にさらされた場合、制御可能なセンサとはならない。

いくつかの実施形態において、センサ１０４は、サイバーフィジカルシステム１０２の通信ネットワークとインタフェースで接続する、通信能力を備えた「Internet of Things（モノのインターネット）」デバイスとして配置できる。例えば、各センサ１０４は、無線アクセスポイントと通信し、自身の情報を監視して最適化システム１０６に送信できる。代替の実施形態において、センサ１０４はメッシュネットワークを介して障害予測システム１０６と通信できる。これらの特定の例に代えて、任意の種類の有線または無線通信を使用できることを理解されたい。

障害予測システム１０６について、以下でより詳細に説明する。システム１０６は、サイバーフィジカルシステム１０２の状態の変化に対応して、検出された障害の前兆に基づき、その動作パラメータを変更し、障害を回避または最小限に抑制するために、サイバーフィジカルシステム１０２の１つまたは複数の部位にコマンドを発行する能力を有する。発電プラントの例を受けて、前兆情報は特定のセンサからの温度情報を含むことが可能であり、これはサイバーフィジカルシステム１０２の１つまたは複数の構成要素の進行中または差し迫った障害を示すことができる。障害予測システム１０６は、センサ１０４の測定値と、結果として生じる障害との関係のモデルを学習し、学習したモデルを用いて制御可能なセンサ１０４のパラメータを設定する。

いくつかの実施形態において、障害予測システム１０６は、過去の障害をコンパクトな表現で出力できる。時系列情報は、例えばベクトルフォーマットを用いて表すことが可能であり、その変換プロセスは以下でより詳細に説明する。時系列からベクトルへの変換は、計算された過去の障害に関する猶予期間で確認できる。本明細書で使用する猶予期間は、前兆を検出して関連する障害が発生するまでの期間を指し、特定の障害がいつ発生するかの予測を助けるために使用できる。本実施形態によれば、過去の障害のタイミング情報の平均値及び標準偏差を用いて、障害が発生する可能性のある期間を提供できる。例えば、Ｔを現在のタイムスタンプとし、ｍを猶予期間の平均値とし、ｓを猶予期間の標準偏差とすると、障害までの時間は、例えばＴ＋ｍ±３ｓとすることができる。

次に、図２を参照すると、図２には、障害予測システム１０６が新しい時系列でどのように障害が検出できるかを示す、障害予測の方法が示されている。ブロック２０２は、ブロック２１２において各時系列のサブシーケンスを生成し、ブロック２１４において各サブシーケンスをベクトルに変換することで、入力された時系列を新しいベクトルに変換する。続いて、ブロック２０４は、新しいベクトルと、過去の障害の前兆を表すベクトルとの距離を決定する。該距離は、例えばユークリッド距離として計算できるが、コサイン類似度等、任意の適切な距離メトリックを使用できることも理解されたい。ブロック２０６は、ブロック２２２において先の障害を表すベクトルと、新しいベクトルとの類似度（例えば、ベクトル間の距離として測定される）を見つけることで、測定された距離に基づいて予測指標を決定する。ブロック２２４において、最も類似した障害ベクトルが識別される。予測指標は、例えば測定された距離のうちの最小距離とすればよい。

ブロック２０８は、予測指標を閾値と比較する。該閾値は、時系列変換で使用されるモデルの交差検証によって決定できる。例えば、１つの障害クラスがある場合、Ｎは使用可能な訓練データの障害の数である。モデルが構築されると、使用可能な残りのデータについて予測指標が計算される。モデル化と計算とは繰り返され、繰り返し毎にモデルの訓練データが変更される。一組の時系列が与えられると、性能メトリックは、閾値の異なる値に関して決定される。最良の性能を与える値が使用のために選択される。性能メトリックは、再現率（recall）、適合率（precision）またはＦ１スコア等の任意の適切なメトリックとすることができる。

予測指標が閾値を満たすとき、例えば新しいベクトルと前兆ベクトルとの最小距離が閾値の距離よりも短い場合、障害が検出される。ブロック２０９は、どのセンサ１０４が障害の前兆を示したかを特定するために、ブロック２０９で測定された類似度のグラディエントを計算し、センサ１０４のスコアを決定し、ブロック２１０で是正処置を実行する。是正処置には、様々な異なる工程を含むことができる。いくつかの実施形態において、是正ステップには、オペレータに警告を送信することを含んでいてもよい。警告は、検出された障害の性質、障害の前兆に特に関係すると識別されたセンサ１０４、並びに障害の猶予期間に関する情報を示す。そのような猶予期間の情報は、例えばヒストグラムを含んでいてもよく、関係する猶予期間の最小値、平均値、中央値及び最大値のうちの少なくとも１つを含んでいてもよい。

いくつかの実施形態において、是正ステップは、例えば予測される障害を防止する、またはその影響を軽減するために動作の状態を調整する、サイバーフィジカルシステム１０２の１つまたは複数のパラメータを制御することを含めてもよい。例えば、予測された障害が物理的な構成要素における過熱状態に関係する場合、ブロック２１０は、サイバーフィジカルシステム１０２の冷却システムにコマンドを発行し、冷却能力を増大させて温度を下げることで、障害のリスクを低減させる。

次に、図３を参照すると、図３には、ブロック２０２における時系列からベクトルへの変換に関して、さらなる詳細が示されている。いくつかの実施形態において、時系列変換は、ニューラルネットワークを用いて実行可能であり、特徴抽出器３０２、特徴選択器３０６及び特徴変換器３０４を含むことができる。本明細書で開示されるこれらの構成要素の個別の実装は、限定を意図していないことを理解されたい。代わりに、これらの構成要素は、時系列変換を実行するための任意の適切な構造に置き換えることもできる。

特徴抽出器３０２は、サブシーケンス生成器３０８及び長短期メモリ（Long Short-Term Memory：ＬＳＴＭ）モデル３１０を含むことができる。特に、ＬＳＴＭモデル３１０は、任意の適切なニューラルネットワーク構造に置き換えができることを理解されたい。特徴抽出器３０２は、スライディングウィンドウを有する特定の多変量時系列のサブシーケンスを生成し、各サブシーケンスを特徴ベクトルに変換する。特徴抽出器３０２は、多変量時系列のサブシーケンスを特徴ベクトルに変換するＬＳＴＭモデル３１０を含むことができる。特徴抽出器３０２は、特徴ベクトルｈ_ｔを与えるために、特徴抽出器３０２の出力を行列Ｈ＝［ｈ_１，ｈ_２．．．ｈ_ｔ．．．ｈ_Ｔ］とすることができる。各ＬＳＴＭモデル３１０は、個々の属性毎に構築できる。ＬＳＴＭモデル３１０の出力は、特徴ベクトルとなるように結合される。特徴セレクタ３０６は、特徴ベクトルの要素ｉ毎に重みｗ_ｉを与え、Ｈ’＝［ｈ’_１，ｈ’_２．．．ｈ’_ｔ．．．ｈ’_Ｔ］を出力する。特徴変換器３０４は、複数の特徴ベクトルＨ’を新しい特徴ベクトルｚに変換する。特徴変換器３０４の出力は、入力された特徴ベクトルの順序に影響されない。以下の式は、この性質を満たしている。

ここで、関数ｆは次のように表すことができる。

ここで、ｔは時刻、

は要素ごとの積、ｓｉｇｍ（・）はシグモイド関数、ｃは重みベクトル、Ｕ及びＶは重み行列である。

時系列変換器で変数を訓練するには、次の最適化に従ってトリプレット損失を最小限に抑制してもよい。

ここで、ｄ（ａ_ｉ，ｐ_ｊ）はｉ番目のアンカーとｊ番目のポジティブサンプルとの距離であり、ｄ（ａ_ｉ，ｎ_ｊ）はｉ番目のアンカーとｊ番目のネガティブサンプルとの距離であり、ｍはマージンを表している。アンカー、ポジティブサンプル及びネガティブサンプルはそれぞれベクトルである。ベクトルｚは、特徴変換器３０４によって出力される。距離関数ｄ（・）は２つのベクトル間のユークリッド距離を計算してもよい。最小化を通して特徴抽出器３０２及び特徴変換器３０４は共に訓練される。

ＬＳＴＭモデル３１０を用いる実施形態において、特徴抽出器３０２のＬＳＴＭモデル３１０の数は、属性の数より少なくてもよい。例えば、同じＬＳＴＭモデル３１０を全ての属性に適用し、全てのＬＳＴＭモデル３１０が適用されるまで繰り返し、複数のＬＳＴＭモデル３１０からの特徴ベクトルを結合してもよい。結合された特徴ベクトルは、特徴抽出器３０４からの特徴ベクトルとして使用できる。

時系列から複数の特徴時系列が生成される場合、各ＬＳＴＭモデル３１０は時系列のオリジナルの属性に関して構築されてもよく、複数の特徴時系列はＬＳＴＭモデル３１０に入力されてもよい。これら複数の特徴時系列は、何らかの信号処理を用いて生成してもよい。ウィンドウサイズ及び使用するスライディングウィンドウ方式が与えられると、例えば、平均値、分散、中央値、５％分位点、９５％分位点、特定の範囲の周波数のパワースペクトル密度、並びに例えば自己回帰係数のような個々の属性に関するいくつかのパラメトリックモデルの係数の時系列を生成してもよい。

特徴選択器３０４は、特徴抽出器３０２の出力に代えて特徴抽出器５１１の入力に重みを与えてもよい。

次に、図４を参照すると、図４には一組の時系列が示されている。訓練データには、障害の種類毎に少なくとも１つの初期徴候領域と少なくとも１つの正常領域とが含まれる。障害の履歴を有する１つの多変量時系列が与えられると、３つの異なる領域が多変量時系列に重ねて示される。典型的な多変量時系列ｓ_１、ｓ_２及びｓ_３が示されている。正常領域をｒ_ｎ、初期徴候領域をｒ_ｓｙｍｐ、異常領域をｒ_ａと指定する。正常領域ｒ_ｎは、どのような障害も含まず、異常領域ｒ_ａから離れている。初期徴候領域ｒ_ｓｙｍｐは、徴候を含む領域であり、障害の直前の期間である。初期徴候領域は、異常領域の直前に生じる、固定の幅を有する領域として与えられる。幅は、モデルを訓練するためのパラメータとして与えることができる。

ポジティブサンプルは初期徴候領域の時系列である。ネガティブサンプルは正常領域の時系列を含む。アンカーを選択すると、ネガティブサンプルは残りのクラスの初期徴候領域の時系列を含むことが可能であり、残りのクラスの異常領域の時系列を含むことができる。障害の履歴を考慮して、障害の発生毎に１つの初期徴候領域が定義される。

最も単純なケースは、初期徴候領域の長さｒ_ｓｙｍｐが異なるサンプル間で同じということである。一般的な使用例において、正常領域ｒ_ｎの長さは初期徴候領域ｒ_ｓｙｍｐよりも長くなる。その場合、正常領域ｒ_ｎの多変量時系列から多変量サブシーケンスが与えられる。これらの多変量サブシーケンス及び初期徴候領域ｒ_ｓｙｍｐのサブシーケンスは、シグネチャ生成器３０８の入力である。それらはｚに変換され、サンプルとして上述した最適化に供給される。

正常期間データを除く種類毎に、少なくとも１つのアンカーが選択されてもよい。各アンカーに関して、アンカーと同じ種類に属するサンプルはポジティブサンプルとなり、他のサンプルはネガティブサンプルとなる。ｒ_ｓｙｍｐの長さがサンプル毎に異なる場合、最大の長さは訓練の前に決定してもよい。さらに、サブシーケンスを生成する特徴抽出器３０４の一部は、Ｈにおけるベクトルｈ_ｔの個数が一定となるように、いくつかのサブシーケンスを複製する。

いくつかの実施形態において、ブロック２０６で生成された予測指標のグラディエントに基づいて、ブロック２０９において、各センサ１０４に関するスコアを計算できる。特に、グラディエントは、例えばニューラルネットワークを用いて、入力時系列セグメントに関する予測指標の距離のために計算される。過去の障害のｚベクトルを用いてグラディエントを計算する。ｚベクトルは、入力時系列から計算された最少の距離を有するベクトルであってもよい。グラディエントは、例えばバックプロゲーションを用いて計算できる。

本実施形態では、サンプル間で同じ値を有するセンサ１０４に対して低いスコアを割り当ててもよい。最小値がゼロの場合、対応するセンサ一式の値は、ゼロに設定してもよく、負の値に設定してもよい。一般に、変動する時系列は、一定の値の時系列よりも関連性が高い傾向がある。したがって、本実施形態は、いかなる正の値のセンサスコアも考慮されないことを示すために、そのようなセンサに割り当てられた値を負の数値に変更できる。いくつかの実施形態において、一定の値のセンサに関するスコアは、レビューのために個別のテーブルに保存できる。

本実施形態は、入力時系列データに関して決定される、損失関数の一部のグラディエントに基づいてセンサのスコアを計算できる。損失関数がトリプレット損失である場合、過去の障害のｚベクトル及び正常期間のｚベクトルもグラディエントを計算するために使用される。この場合、グラディエントに関する損失関数の一部には、入力時系列セグメントｓのｚベクトルと入力時系列ａ_ｍｉｎからの最小距離を有する過去の障害からのｚベクトルとの距離ｄ（ｓ，ａ_ｍｉｎ）と、入力時系列セグメントｓのｚベクトルとネガティブサンプルｎからのｚベクトルとの距離ｄ（ｓ，ｎ）の２つの距離が含まれる。ネガティブサンプルは、障害予測アラームを生成しない最新の時系列セグメントである。損失関数は以下のように表すことができる。

いくつかの実施形態において、損失関数は、以下のように異なる複数のネガティブサンプルを合計してもよい。

これは、結果を平滑化する効果を有する。複数のネガティブサンプルを使用することは、関係するセンサと関係しないセンサとのスコアのコントラストを増大させる。関係しないセンサの影響は、本質的にランダムとみなすことができるため、複数のネガティブサンプルが平均化される。

スコアはクラスタ化することが可能であり、特定のクラスタにおける複数のセンサのスコアは一緒に加算される。複数のセンサは、専門知識に基づいてグループ化できる。例えば、センサのクラスタは、それらの機能に基づき、特定のサブシステムに基づくことができる。いくつかの実施形態において、ルールベースの自動選択が機能しないとき、ユーザは、センサのスコアを計算するためにネガティブサンプルの指定を要求できる。例えば、最新の正常期間は、障害状態とは異なる動作モードに属する場合がある。しかしながら、同じ動作モードを有する正常期間があってもよい。このような場合、同じ動作モードのネガティブサンプルを用いると、重要なセンサを識別するときに、より正確な結果が得られる。

図５は、例えばブロック２０４において、特定のセグメントと保存された特徴ベクトルとの距離を計算するプロセスを示すブロック図である。この実施形態において、サブセグメントは、検出のための過去の障害のコンパクトな表現として選択できる。このような実施形態は、ｚベクトルの代わりにｈ_ｔを使用する。

入力シグナルｓ_ｔの分散は正常期間で計算され、その後、ｓ_ｔのトリビアルな範囲が決定される。それぞれの初期徴候領域ｒ_ｓｙｍｐに関し、対応する時間における最先の最重要なｓ_ｔが決定され、それに対応する特徴ベクトルｈ’_ｔが対応する検出器にｈ’_{ｓｔｏｒｅｄ}として保存される。検出器の閾値は、正常期間からの距離の分布に基づいて定義できる。閾値は、距離の最小値であってもよい。閾値は、距離のｍ％分位点（ｍは小さい実数）のようないくつかの統計的手法で決定できる。閾値には、いくらかのマージンを加えることができる。訓練後、検出器はターゲットシステムの監視を維持する。

検出に対応する時間とそのｒ_ａの開始時間との時間差は、障害の種類毎の経験的根拠として知識データベースに格納される。この分布は、ユーザに表示してもよい。サブシーケンスが訓練で複製されている場合、複製されたサブシーケンス毎のｓ_ｔを合計してから最重要を探索すればよい。

本明細書に記載する実施形態は、全てハードウェアで実現してもよく、全てソフトウェアで実現してもよく、ハードウェアとソフトウェアの両方の要素を含んでいてもよい。好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、これらに限定されないソフトウェアでも実現可能である。

実施形態には、コンピュータもしくは任意の命令実行システムによって使用される、または関連して使用されるプログラムコードを提供する、コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体からアクセスできる、コンピュータプログラム製品を含んでもいてよい。コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体には、命令実行システム、機器、もしくは装置によって使用される、または関連して使用されるプログラムを格納、伝達、伝搬または転送する任意の機器を含んでいてもよい。該媒体は、磁気媒体、光学媒体、電子媒体、電磁気媒体、赤外線媒体または半導体システム（または機器もしくは装置）、あるいは伝搬媒体であってもよい。該媒体には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスク等のコンピュータで読み取り可能な媒体を含んでいてもよい。

各コンピュータプログラムは、汎用または特別な目的を持つプログラム可能なコンピュータで読み取ることができる、機械で読み取り可能なストレージメディアまたは装置（例えば、プログラムメモリまたは磁気ディスク）に格納される。該コンピュータプログラムは、ストレージメディアまたは装置から本明細書に記載された手順を実行するコンピュータで読み出される、該コンピュータの設定及び制御動作のためのものである。本発明のシステムには、本明細書に記載した機能を実行する、特定の及び事前に定義された方法をコンピュータに動作させるように構成されたコンピュータプログラムを含む、コンピュータで読み取り可能なストレージメディアも考慮される。

プログラムコードを記憶及び／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に接続された少なくとも１つのプロセッサを備えていてもよい。このメモリ要素には、処理の実行中にバルクメモリ装置からコードが検索される回数を減らすために、プログラムコードの実際の実行中に用いられるローカルメモリ、バルクメモリ装置及び少なくともいくつかのプログラムコードを一時的に記憶するキャッシュメモリを備えていてもよい。入出力またはＩ／Ｏ装置（限定されるものではないが、キーボード、ディスプレイ、ポインティング装置等を含む）は、直接またはＩ／Ｏコントローラを介してシステムに接続されてもよい。

ネットワークアダプタは、データ処理システムが、プライベートネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたはリモートプリンタもしくはメモリ装置に接続されることを可能にするために、上記システムと接続されていてもよい。モデム、ケーブルモデム及びイーサネット（登録商標）カードは、現在利用可能なタイプのネットワークアダプタのほんの一例である。

本明細書で用いる「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態において、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイス等）を含むことができる。１つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置及び／または個別のプロセッサまたはコンピューティング要素ベースのコントローラ（例えば、論理ゲート等）を含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリ等）を含むことができる。任意の実施形態において、ハードウェアプロセッササブシステムは、オンボードまたはオフボードとすることができる、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）等）で用いるための専用の１つ以上のメモリを含むことができる。

任意の実施形態において、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含み実行できる。１つ以上のソフトウェア要素は、特定の結果を達成するためにオペレーティングシステム及び／または１つ以上のアプリケーション及び／または特定のコードを含むことができる。

他の実施形態において、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用回路を含むことができる。そのような回路は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／またはプログラマブルロジックアレイ（ＰＬＡ）を含むことができる。

ハードウェアプロセッササブシステムのこれら及び他の変形例もまた、本発明の実施形態によって考えられる。

例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」、並びに「Ａ及びＢのうちの少なくとも１つ」の場合における「／」、「及び／または」、並びに「うちの少なくとも１つ」のうちのいずれかの使用は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むことを意図したものと理解すべきである。さらに例を挙げれば、「Ａ、Ｂ及び／またはＣ」、並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」の場合、このような表現法は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、第３に挙げた選択肢（Ｃ）のみの選択、第１及び第２に挙げた選択肢（Ａ及びＢ）のみの選択、第１及び第３に挙げた選択肢（Ａ及びＣ）のみの選択、第２及び第３に挙げた選択肢（Ｂ及びＣ）のみの選択、または３つの選択肢全て（Ａ及びＢ及びＣ）の選択を含むことを意図したものである。上述した例は、当業者に容易に明らかとなるように、列挙される多数の項目に応じて拡大適用される。

次に、図６を参照すると、図６には障害予測システム１０６に関するさらなる詳細が示されている。システム１０６は、ハードウェアプロセッサ６０２とメモリ６０４とを含み、オプションで１つ以上の機能モジュールを含むことができる。いくつかの実施形態において、機能モジュールは、メモリ６０４で保存され、プロセッサ６０２によって実行されるソフトウェアとして実現できる。他の実施形態において、１つまたは複数の機能モジュールは、例えば特定用途向け集積チップまたはフィールドプログラマブルゲートアレイの形態で、１つまたは複数の個別のハードウェア構成要素として実装できる。

センサインタフェース６１２は、任意の適切な有線または無線通信媒体及びプロトコルを介して複数のセンサ１０４から情報を収集する。いくつかの実施形態において、センサインタフェース６１２は、任意の適切な有線または無線ネットワーク媒体及びプロトコルによって、ネットワークインタフェース６０５を介してセンサ１０４と通信してもよい。いくつかの実施形態において、センサインタフェース６１２は、専用の通信媒体またはプロトコルを用いて、直接的な接続を介して１つまたは複数のセンサ１０４と通信してもよい。

センサ情報は、センサデータベース６０６のメモリ６０４で保存される。保存されたセンサ情報は、人工ニューラルネットワーク（ＡＮＮ）モデル６００等の機械学習モデルを訓練するためのモデルトレーナー６０８で使用される。障害防止装置６１２は、センサデータ及び訓練モデル６１０を用いて障害の前兆が発生したことを判定し、例えば、障害を是正、防止または軽減するためにサイバーフィジカルシステム１０２の１つまたは複数の動作パラメータを変更する等）、１つまたは複数の是正処置を実施する。障害防止装置６１２は、ネットワークインタフェース６０５を用いてサイバーフィジカルシステム１０２と通信し、サイバーフィジカルシステム１０２の構成要素にコマンドを発行できる。

図７を参照すると、図７には、人工ニューラルネットワーク（ＡＮＮ）のアーキテクチャ６１０が示されている。本アーキテクチャは、純粋に例示的なものであり、代わりに他のアーキテクチャまたは他のタイプのニューラルネットワークを使用できることを理解されたい。本明細書で説明するＡＮＮの実施形態は、一般性の高いレベルでニューラルネットワーク計算の一般的な原理を示すことを意図して含むものであり、いかなる方法も限定されるものと解釈されるべきではない。

さらに、以下に記載されるニューロンの層及びそれらを接続する重みは、一般的な様式で記載され、任意の適切な程度の相互接続性または任意の適切な種類の相互接続性を有する任意のタイプのニューラルネットワーク層によって置き換えることができる。例えば、複数の層には、畳み込み層、プーリング層、全結合層、ソフトマックス層または任意の他の適切な種類のニューラルネットワーク層を含むことができる。さらに、必要に応じて層を追加または削除してもよく、相互接続のより複雑な形態のために重みを省略してもよい。

フィードフォワード動作中、１組の入力ニューロン７０２は、重み７０４の各行と並列に入力信号をそれぞれ供給する。複数の重み７０４は、隠れニューロン７０６に対する重み付き入力を表す、重み出力が重み７０４から隠れニューロン７０６にそれぞれ渡されるような、設定可能な値をそれぞれ有する。ソフトウェアの実施形態において、重み７０４は、関連する信号に乗算される単なる係数の値として表すことができる。複数の重みからの信号は、列毎に加算されて、隠れニューロン７０６に導かれる。

隠れニューロン７０６は、重み７０４のアレイからの信号を用いて何らかの計算を実行する。隠れニューロン７０６は、それ自体の信号を別の重み７０４のアレイに出力する。このアレイは、重み７０４の列が隠れニューロン７０６から信号を受け取り、行毎に加算して出力ニューロン７０８に提供される、重み付けされた信号出力を生成するために、同じ方法を実行する。

アレイ及び隠れニューロン７０６の追加の層を介在させることで、任意の数の段階が実現できることを理解されたい。いくつかのニューロンは、アレイに一定の出力を提供する定数ニューロン７０９であってもよいことにも留意されたい。定数ニューロン７０９は、入力ニューロン７０２及び／または隠れニューロン７０６の間に存在可能であり、フィードフォワード動作のみで使用される。

バックプロパゲーションの間、出力ニューロン７０８は、重み７０４のアレイを横断して戻る信号を提供する。出力層は、生成されたネットワークのレスポンスを訓練データと比較し、エラーを計算する。エラー信号は、エラーの値と比例するものでもよい。本実施例では、重み７０４の行が、それぞれの出力ニューロン７０８から並列に信号を受信し、列毎に加算して隠れニューロン７０６に入力を提供する、出力を生成する。隠れニューロン７０６は、重み付けされたフィードバック信号を、そのフィードフォワード計算のデリバティブと結合し、フィードバック信号を重み７０４のそれぞれの列に出力する前にエラー値を保存する。このバックプロパゲーションは、全ての隠れニューロン７０６及び入力ニューロン７０２がエラー値を保存するまで、ネットワーク７００全体を通して進行する。

重みの更新の間、保存されたエラー値は、設定可能な重み７０４の値を更新するために使用される。このようにして、重み７０４は、ニューラルネットワーク７００を、そのステップにおけるエラーに適応させるように訓練できる。３つの動作モード、フィードフォワード、バックプロパゲーション及び重みの更新は、互いに重複しないことに留意されたい。

本明細書で、本発明の「１つの実施形態」または「実施形態」だけでなく、それらの他のバリエーションに言及することは、該実施形態と共に説明する、個別の特徴、構成、特性等々が、本発明の少なくとも１つの実施形態に含まれることを意味する。そのため、「１つの実施形態において」または「一実施形態において」という語句、任意の他のバリエーションの記載は、本明細書の全体を通して様々な場所で現れるが、それらは必ずしも全てが同じ実施形態に言及しているわけではない。しかしながら、本明細書で提供される本発明の教示を前提として、１つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。

上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。

Claims (20)

1. サイバーフィジカルシステムにおける障害を予測する方法であって、
   サイバーフィジカルシステムにおける各センサからの複数の入力時系列と複数の障害の前兆との比較結果に基づいて予測指標を決定し、
   前記予測指標と閾値との比較結果に応じて前記複数の入力時系列における障害の前兆を検出し、
   前記予測指標のグラディエントに基づいて前記障害の前兆に関係するセンサのサブセットを決定し、
   決定したセンサのサブセットに対応した是正処置を実行する、方法。
2. 前記複数の入力時系列を入力ベクトルの表現に変換することをさらに含む、請求項１に記載の方法。
3. 前記予測指標を決定することは、前記入力ベクトルの表現を前記複数の障害の前兆のベクトルの表現とそれぞれ比較することを含む、請求項２に記載の方法。
4. 前記予測指標は、前記入力ベクトルの表現と前記複数の障害の前兆のうちの少なくとも１つのベクトルの表現との類似度である、請求項３に記載の方法。
5. 前記障害の前兆に関係する前記センサのサブセットを決定することは、前記センサのスコアを決定することを含む、請求項２に記載の方法。
6. 前記センサのスコアを決定することは、過去の障害のベクトルの表現を用いて前記予測指標の距離に関するグラディエントを計算することを含む、請求項５に記載の方法。
7. 前記過去の障害の前記ベクトルの表現が、前記入力ベクトルの表現からの最小距離を有する、請求項６に記載の方法。
8. 前記センサに関するスコアが、ニューラルネットワークにおけるバックプロパゲーションを用いて決定される、請求項６に記載の方法。
9. 一定の値の出力を有するセンサに関するスコアが、ゼロまたは負の値に設定される、請求項５に記載の方法。
10. 前記是正処置が、前記サイバーフィジカルシステムの少なくとも１つの動作パラメータを変更することを含む、請求項１に記載の方法。
11. サイバーフィジカルシステムにおける障害を予測するためのシステムであって、
    サイバーフィジカルシステムにおける各センサからの複数の入力時系列と複数の障害の前兆との比較結果に基づいて予測指標を決定し、前記予測指標と閾値との比較結果に応じて前記複数の入力時系列における障害の前兆を検出するように構成されるニューラルネットワークと、
    前記予測指標のグラディエントに基づいて前記障害の前兆に関係するセンサのサブセットを決定し、決定したセンサのサブセットに対応した是正処置を実行するように構成された障害防止装置と、
    を有するシステム。
12. 前記ニューラルネットワークが、前記複数の入力時系列を入力ベクトルの表現に変換するようにさらに構成された、請求項１１に記載のシステム。
13. 前記ニューラルネットワークが、前記入力ベクトルの表現を前記複数の障害の前兆のベクトルの表現とそれぞれ比較するようにさらに構成された、請求項１２に記載のシステム。
14. 前記予測指標は、前記入力ベクトルの表現と前記複数の障害の前兆のうちの少なくとも１つのベクトルの表現との類似度である、請求項１３に記載のシステム。
15. 前記障害防止装置が、前記センサのスコアを決定するようにさらに構成された、請求項１２に記載のシステム。
16. 前記障害防止装置が、過去の障害のベクトルの表現を用いて前記予測指標の距離に関するグラディエントを計算するようにさらに構成された、請求項１５に記載のシステム。
17. 前記過去の障害の前記ベクトルの表現が、前記入力ベクトルの表現からの最小距離を有する、請求項１６に記載のシステム。
18. 前記センサに関するスコアが、ニューラルネットワークにおけるバックプロパゲーションを用いて決定される、請求項１６に記載のシステム。
19. 一定の値の出力を有するセンサに関するスコアが、ゼロまたは負の値に設定される、請求項１５に記載のシステム。
20. 前記是正処置が、前記サイバーフィジカルシステムの少なくとも１つの動作パラメータを変更することを含む、請求項１１に記載のシステム。

Images