JP7635216B2 - 資産の動作状態を評価するためのシステム及び方法 - Google Patents

Description

本開示は、複数のセンサデータを使用して、資産の動作状態を判定することに関する。

資産の健康及び状態（機械システム、構造物、構造構成要素、人間、及び他の物体、或いは資産の動作又は環境状態など）の検査及び診断は、かなりの量の時間、コスト、及び専門知識を必要とし、資産を適切に監視できないことにより、適用に応じて、資産の劣化、非効率、ダウンタイム、又は突発的故障に至る可能性がある。これらの多大な労力を要する活動、並びにこれらの活動を包括的に又は全く行うことができなかったことによって生じる弊害は、例えば、多数の機械システムを維持し且つ大量のインフラを有する組織の資源に負担をかける可能性がある。その結果、必要な検査及び診断が一貫して持続されない可能性があり、不調なシステムが故障する前に特定されない。設備及びインフラの故障は、多大な不必要なコスト又は組織の目標達成ができないこと、更には負傷及び死亡事故の可能性をもたらす。本発明は、資産（機械システム及びインフラストラクチャ機械の健全性など）の評価及び報告を行うのに必要な時間、労力、及び専門知識を低減し、組織がより包括的な資産の健全性評価を行うことを可能にし、資産の故障の可能性を低減することができる。

センサ技術は、長年にわたり機器の監視に使用されてきた。既存の実施構成では、センサは一般的に、特定の資産の変化又は規格外状態を検出するために物理的に設定された固定／静止センサである。複数の資産にセンサを追加するには、固定センサーアレイの複製及び個々の資産又は資産の各構成要素に特定のチューニングを行う必要がある。この手法は、複雑で、場所を取り、コストがかかることが多い。

資産の動作状態を評価するための例示的なモバイル装置が開示され、本装置は、動作中の資産の動作特性又は資産の動作環境に関連するデータを取得するための少なくとも１つのセンサデバイスと、センサのタイプに応じて取得されたデータを処理することによって資産の１又は２以上の動作状態を識別するようにトレーニングされた１又は２以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置であって、処理装置は、取得されたデータから特徴を抽出し、抽出された特徴の属性を１又は２以上のモデルのトレーニングを通じて決定された少なくとも１つの既知の動作状態の属性と比較することによって、対象資産の動作状態の決定を実行するように構成された処理装置と、処理装置によって実行された決定の結果を出力するように構成された出力インタフェースであって、結果を外部コンピューティングデバイスに伝達することを含むことができる、出力インタフェースとを備える。

資産の動作状態を評価するための例示的な方法が開示され、本方法は、モバイル装置の１又は２以上のセンサを介して、動作中の資産の動作特性又は環境特性のうちの少なくとも１つに関連するデータを取得するステップと、１又は２以上の資産の少なくとも１つの状態及び機能を認識するようにトレーニングされた１又は２以上の層を各々が有する１又は２以上のトレーニングされたモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置を介して、センサのタイプ及びセンサ場所の１又は２以上、１又は２以上のセンサの１又は２以上の動作状態、並びに１又は２以上の資産に対する潜在的な悪影響を有する動作状態又は環境状態に基づいて取得されたデータから１又は２以上の特徴を抽出する、センサのタイプに基づいて前記取得されたデータから１又は２以上の特徴を抽出するステップと、処理装置を介して、抽出された特徴の属性を１又は２以上のトレーニングされたモデルのトレーニングを通じて既知である少なくとも１つの動作状態の属性と比較するステップと、処理装置を介して、少なくとも１つの比較の結果に基づいて資産の動作状態を決定するステップと、出力インタフェースを介して、決定の結果を出力するステップであって、結果を外部のコンピューティングデバイスに伝達することを含むことができる、ステップとを含む。

資産の動作状態を評価するための例示的なコンピューティングデバイスが開示され、コンピューティングデバイスは、ネットワークを介して少なくとも１つのリモートセンサデバイスから１又は２以上の資産に関連付けられたセンサデータを受信するように構成された通信インタフェースであって、センサデータが複数のセンサのタイプに関連付けられる通信インタフェースと、１又は２以上のモデルを含むニューラルネットワークアーキテクチャで符号化された処理装置であって、センサデータに基づいて１又は２以上のモデルをトレーニングし、センサデータに基づく資産タイプに応じて１又は２以上の資産の少なくとも１つの正常な動作状態及び少なくとも１つの故障状態を識別するように構成された処理装置と、を備える。

資産の動作状態を評価するための例示的な方法が開示され、本方法は、通信インタフェースにおいて、１又は２以上のモバイル装置からアセットデータを受信するステップであって、アセットデータは、少なくとも１つのセンサのタイプ及び１つのアセットタイプに関連付けられた少なくともセンサデータと、１又は２以上のモバイル装置のそれぞれのモバイル装置に関連付けられたメタデータとを含む、ステップと、１又は２以上のデータインタフェースにおいて、それぞれのセンサのタイプに基づいてセンサデータを構文解析するステップと、１又は２以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置において、構文解析されたデータを処理して、１又は２以上の資産の動作状態を決定し、対応する資産タイプ、センサデータ、関連するセンサのタイプ、及びメタデータに応じて、１又は２以上の資産の少なくとも１つの正常な動作状態及び１又は２以上の故障状態を識別するためにモデルをトレーニングするステップと、を有する。

例示的な実施形態は、添付図面と共に読まれると、以下の詳細な説明から最もよく理解される。

本開示の例示的な実施形態によるシステム構造を示す図である。 本開示の例示的な実施形態によるモバイル装置及び処理サーバを示す図である。 本開示の例示的な実施形態による、モバイル装置によって資産の動作状態を評価するための方法を示す図である。 本開示の例示的な実施形態による、処理サーバによって資産の動作状態を評価するための方法を示す図である。

本開示の適用性の更なる領域は、本明細書で提供される詳細な説明から明らかになるであろう。例示的な実施形態の詳細な説明は、例示のみを目的としており、従って、本開示の範囲を必ずしも限定することを意図していないことを理解されたい。

本開示の例示的な実施形態は、資産の状態を分析するためのシステム及び方法に向けられている。特に有用なのは、遠隔又は限られた帯域幅の環境での使用を可能にする例示的な実施形態である。本方法のこれらの実施形態は、音声、画像、及び動作データなどのセンサデータをエッジデバイスから取得し、動作環境において帯域幅が利用可能でない又は制限されている場合に、デバイス上で動作する機械トレーニングモデルを通じてデータを処理して、関連する資産の健全性を評価することを含む。十分な帯域幅が利用できる場合、クラウド又は離れた場所で処理をすることができる。処理結果は、ユーザに表示されて診断報告を構築するか、又は他のデータシステム及びアプリケーション（例えば、拡張現実）に供給される。システムは、特定された状態を保守マニュアルに自動的にリンクさせ、資産を補修するのに必要な部品を特定することができる。具体的には、本発明の応用は、機械システム（例えば、軍事システム、自動車、固定又は移動機械）及びインフラ（例えば、構造構成要素、送電線、ガスパイプライン、橋）において潜在的又は実際のメンテナンス問題を特定するため、並びにモデルの推論結果を報告するためのこのようなモデルの使用に関連することができる。

図１は、本開示の例示的な実施形態によるシステム構造を示す図である。

図１に示すように、システム１００は、資産１２０の動作状態を評価するためのモバイル装置１１０を含む。モバイル装置１１０は、動作中の資産１２０（又は資産の動作特性に影響する可能性がある、風の状態、接近する海の波のパターン、周囲及び接近する大気圧の測定値、空気密度、資産の周囲の流体の流れのｐＨ又は速度、流体中の資産の深さ、雲量、雨、資産と相互作用する物の重量、環境温度、湿気、資産の半径内の他の物体、外部の音又はノイズ、資産温度等、その他などその関連する外部又は内部環境特性）の１又は２以上の動作特性に関するデータを取得するために複数のセンサデバイス１１２を含むことができる。資産１０２の動作は、資産が静止している又は動いている様々な動作モードを含むことができる。資産は、空、陸、又は水で移動するための個人用又は産業用車両などの機械、あらゆるタイプの電気機械エンジン、ロボット機械、電気機械バルブ、機械器具、印刷装置、又は機械化運動、駆動、及び／又は動作サイクルを有する他の何れかの物体又は装置を含むことができる。モバイル装置１１０は、２つの場所の間で手動又は自律的に移動するように設計され、複数のセンサデバイス１１２を支持する構造的能力を有する何れかのポータブル装置とすることができる。例えば、本開示の例示的な実施形態によれば、モバイル装置１１０は、スマートフォン、空中又は陸上車両、手持ち又は可搬式電子デバイス又はツール、又は必要に応じて人又は移動体によって取り付け、固定し、又は運ぶことができる他の何れかの適切な電子デバイスの形態で実施することが可能である。

複数のセンサ１１２は、画像センサ、音響センサ、運動センサ、熱センサ、ガスセンサ、湿度／湿気センサ、気流センサ、何れかのタイプの放射線センサ、一酸化炭素センサ、二酸化炭素センサ、空気流センサ、距離測定センサ、圧力センサ、又は資産１０２もしくは資産の動作環境の物理特性又は動作特性を検出するための他の何れかの適切な感知デバイスの何れかの組み合わせを含むことができる。別の例示的な実施形態によれば、センサデバイスは、人間又は動物の生理学的特性を検出するように構成することができる。例えば、センサは、心拍センサ、パルス酸素センサ、血圧センサ、又は他の何れかの適切なセンサ、又は、例えば、Ｘ線、ＣＴ、及びＭＲＩスキャン、超音波検査、心電図、患者の身体の写真などを含む身体の画像、又は患者の健康を判定するために医療専門家によって使用される、時間の経過による前記の様々なシリーズなどの健康特性の測定を含むことができる。センサデバイス１１２は、モバイル装置１１０のハウジング１１６に一体化されるか又はこれに取り付けることができる。別の例示的な実施形態によれば、センサデバイス１１２は、直接的な有線又は無線接続又はアダプタを介して外部のセンサデバイス１１２に接続するためのポート１１８を含むことができる。

モバイル装置１１０は、センサのタイプに応じて取得されたセンサデータを指定フォーマットに変換するように構成された１又は２以上のデータインタフェース１１４を含むことができる。データインタフェースは、ハードウェアとソフトウェアの組み合わせを含むことができる。例えば、例示的な実施形態によれば、センサデバイス１１２は、可視光又は赤外線、無線周波数、マイクロ波、又は必要に応じて資産１０２による他の関連信号放射を含む電磁放射を検出する画像センサとして構成することができる。画像センサは、検出された電磁放射からビデオ画像又は静止画像を生成するように構成することができる。センサデバイス１１２はまた、音又はオーディオ記録を検出する音響センサ、及び振動、加速度、速度、又は全体的な運動データを検出するためのジャイロスコープ、速度センサ、又は加速度計などの動きセンサとして構成することができる。１又は２以上のデータインタフェース１１４は、データを分析のために必要な特定のフォーマットに変換することによって、センサデータを処理するように構成される。例えば、変換プロセスは、センサデータのタイプ及びセンサのタイプに固有のものとすることができ、画像ホワイトニング、オーディオ信号分離、サンプルレート正規化、又は必要に応じて特定の信号を正規化するための他の何れかの適切な操作又はプロセスなどの動作を含むことができる。本開示の例示的な実施形態によれば、１又は２以上のデータインタフェース１１４によって実行される変換プロセスは、センサデータの抽象的な（例えば、理論的又は数学的に導かれた）表現を生成するのに使用することができる。例えば、音響データ及び振動データは、更なる分析に先立ち、スペクトグラム変換で処理することができる。

例示的な実施形態によれば、センサデバイス１１２はまた、対象資産１０２を取り巻く環境に係るデータを取得するように構成することができる。例えば、センサデバイスは、気象情報、露点、湿度、気温、風速、風向、空気の組成、又は所望される他の何れかの適切な環境状態を取得するように構成することができる。

図１に示すように、モバイル装置は、ハウジング１１６内に封入された処理装置１２０を含むことができる。処理装置１２０は、資産タイプに従って複数の資産１０２の１又は２以上の動作状態を識別するようにトレーニングされた１又は２以上のモデルを有するニューラルネットワークアーキテクチャ１２２で符号化することができる。処理装置１２０は、変換されたデータから特徴を抽出し、抽出された特徴の属性を１又は２以上のモデルのトレーニングを通じて決定された既知の動作状態の属性と比較することによって、対象資産１０２の動作状態を決定するように構成することができる。例えば、処理装置は、センサのタイプに応じて抽出された特徴に重み付けカーネル（例えば、マトリクス）を適用し、カーネルと抽出された特徴の１又は２以上の要素との比較に基づいて、動作状態が正常状態、機械故障、構造故障、電気故障、又は潜在的な有害動作環境のうちの１又は２以上を含むかどうかを決定することができる。ニューラルネットワークアーキテクチャ１２２の１又は２以上のモデルは、機械システム及びインフラストラクチャの広範な問題に敏感であると共に、これらの機械システムの動作の変化する状態（高効率及び低効率動作など）を認識できるように各モデルを調整するために選択されるデータを使用してトレーニングすることができる。決定された動作状態に基づいて、ニューラルネットワークアーキテクチャ１２２は、機械故障、構造故障、及び電気故障のうちの１又は２以上のものの補修に関連する１又は２以上の部品を特定することができる。

ニューラルネットワークアーキテクチャ１２２は、凝縮された表現に変換された１又は２以上のデータインタフェース１１４からセンサデータを受信する。変換プロセス及び方法は、モデル性能に関係している。本開示の例示的な実施形態によれば、特にオーディオ及び振動特徴変換は、畳み込みモデルなどのニューラルネットワークアーキテクチャ１２２の複数のモデルのうちの１つへの入力のためのスペクトグラム変換を含む。スペクトグラム変換は、オーディオデータ及び振動データが画像データの特性を有するように変換されることを含む。例えば、オーディオデータ又は振動データは、より小さい重複するセグメントに構文解析され、時間領域から周波数領域に変換することができる。周波数領域の値は極座標に変換され、異なる周波数の大きさ及び位相が得られる。周波数領域のデータは、高速フーリエ変換を用いてサンプリングされ、極座標データを時間領域に変換する。結果として得られる時間領域のデータは、異なる周波数の経時的変化を示すのに使用することができる。

モバイル装置１１０は、処理装置によって実行された決定の結果を出力するように構成された出力インタフェース１２４を含む。出力インタフェース１２４は、ハウジング１１６に一体化され、ユーザ又はオペレータが情報を受信し、場合によっては入力することを可能にする何れかの適切なディスプレイ又は出力デバイスを含むことができる。出力インタフェース１２４は、グラフィカル表示装置、プリンタ、オーディオ出力装置、１又は２以上の発光ダイオード（ＬＥＤ）、外部メモリデバイス、外部コンピューティングデバイス、又は他の適切な電子装置もしくは出力タイプのうちの１又は２以上を必要に応じて含むことができる。例えば、例示的な実施形態によれば、出力インタフェース１２４は、画像及びテキストを表示し、グラフィカルアイコン、グラフィカルオブジェクト、仮想キー、又は必要に応じてインタラクティブな制御又はコマンドを提供する他の何れかの適切な方法を操作することによってコマンド又は情報をモバイル装置１１０に入力できるよう構成することができる。

図１に示すように、モバイル装置１１０は、ハウジング１１６に一体化され及び／又はハウジング１１６によって封入される通信インタフェース１２６を含むことができる。通信インタフェース１２６は、通信又はデータネットワーク１４０を介してリモートデバイスと通信するように構成される。本開示の例示的な実施形態によれば、通信インタフェース１２６は、変換されたデータをネットワーク１４０を介してリモートコンピューティング装置に送信するように構成することができ、このリモートコンピューティング装置は、１又は２以上の他のモバイル装置１５０及び処理（例えば、中央）サーバ１６０を含むことができる。別の例示的な実施形態によれば、通信インタフェース１２６は、処理サーバ１６０からのニューラルネットワークアーキテクチャ１２２の更新されたモデル、及び他のモバイル装置１５０からの生のセンサデータ、変換されたセンサデータ、又は動作状態の決定をネットワーク１４０を介して受信するように構成することができる。通信インタフェース１２６は、アンテナ、ネットワークインタフェース（例えば、イーサネットカード）、通信ポート、ＰＣＭＣＩＡスロット及びカードなどのハードウェア構成要素、又は所望の他の適切な構成要素もしくはデバイスを含むことができる。通信インタフェース１２６のハードウェア及びソフトウェア構成要素は、１又は２以上の通信プロトコル及びデータ形式に従って、データ、例えば、画像を受信するように構成することができる。例えば、通信インタフェース１２６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク（例えば、Ｗｉ－Ｆｉ）、移動通信ネットワーク、衛星ネットワーク、インターネット、光ファイバ、同軸ケーブル、赤外線、無線周波数（ＲＦ）、又はこれらの何れかの組み合わせを含むことができるネットワーク１４０を介して通信するように構成することができる。受信動作中、通信インタフェース１２６は、ヘッダを介して受信データの部分を識別し、データ信号及び／又はデータパケットを処理装置１２０での更なる処理のために小さなフレーム（例えば、バイト、ワード）又はセグメントに解析するように構成することができる。

モバイル装置１１０はまた、第１のメモリ構造１３０及び第２のメモリ構造１３２を含むメモリデバイス１２８を含むことができる。メモリデバイス１２８は、ハウジング１１６に封入することができ、又は第１又は第２のメモリ構造１３０、１３２の何れかをハウジング１１６の外部に有するように構成することができる。第１のメモリ構造１３０は、モバイル装置１１０に一体化された又は取り付けられた複数のセンサ１１２の生のセンサデータ及び／又は変換されたデータを格納するように構成されている。第１のメモリ構造１３０はまた、ネットワーク１４０を介して別のモバイル装置１５０から通信インタフェース１２６によって受信された生のセンサデータ及び／又は変換されたデータを格納するように構成される。第２のメモリ構造１３２は、ニューラルネットワークアーキテクチャ１２２のモデルを格納するように構成することができ、このモデルは、ネットワーク１４０を介して処理サーバ１６０から通信インタフェース１２６によって受信されたニューラルネットワークアーキテクチャ１２２の更新されたモデルを含むことができる。更新されたモデルは、適用に応じて、モバイル装置１１０によってネットワークを介して処理サーバ１６０に送信された生データ又は変換されたデータに基づく変更を含むことができる。

本開示の例示的な実施形態によれば、モバイル装置１１０は、ナビゲーションシステム１７０を含むことができる。ナビゲーションシステム１７０は、指定された座標に対する及び資産１０２に対するモバイル装置１１０の自動又は手動のナビゲーション又は位置決めを提供することができるハードウェア及びソフトウェア構成要素の組み合わせを含むことができる。例示的な実施形態によれば、ナビゲーションシステム１７０を備えて構成されたモバイル装置１１０は、モバイル装置１１０を陸、空、又は水上で移動させるための推進システムを含むことができる。例えば、ナビゲーションシステム１７０は、メモリデバイス１２８の第２のメモリ構造１３２に格納され且つ処理装置１２０によって実行されるプログラムコード又はソフトウェアを含むことができる。例示的な実施形態によれば、モバイル装置１１０は、ナビゲーションシステム１７０のコマンド及び制御のために第２のメモリ構造１３２に格納されたプログラムコード又はソフトウェアを実行するための少なくとも１つの他の処理装置１８０を含むことができる。手動ナビゲーションのために、モバイル装置１１０は、ネットワーク１４０上で通信インタフェース１２６を介してリモートコントロールデバイス１５５からコマンド及び／又は制御信号を受信するように構成することができる。例示的な実施形態によれば、通信インタフェース１２６はまた、センサ１１２のうちの１又は２以上のデータをリモートコントロールデバイス１５５に送信し、資産１０２に対してモバイル装置１１０を位置付けるためのコマンドを受信し、及び／又はリモートコントロールデバイス１５５から１又は２以上のセンサコマンドを受け取って、資産１０２の動作状態に関連するデータを取得するためにセンサ１１２の１又は２以上を方向付けするように構成することができる。処理装置１２０は、画像データのようなセンサデータをリモートコントロールデバイス１５５に伝達して、モバイル装置１１０の視覚的向き及び位置をオペレータに提供することができる。ナビゲーションシステム１７０はまた、資産１０２に対するモバイル装置１１０の自律的な位置決めをするように構成することができる。ナビゲーションシステム１７０は、センサ１１２の１又は２以上によって取得されたデータを受信し、複数のセンサ１１２を介して資産１０２からデータを取得する位置にモバイル装置１１０の運動系を制御することができる。また、１又は２以上のセンサ１１２から取得されたデータに基づいて、ナビゲーションシステム１７０は、資産１０２の動作状態に関連するデータを取得するために１又は２以上のセンサ１１２を自律的に方向付けるように構成することができる。

モバイル装置１１０は、データ及び制御信号の通信のために、通信インタフェース１２６、データインタフェース１１４、処理装置１２０、メモリデバイス１２８、及び出力インタフェース１２４を接続するための、バス、メッセージキュー、ネットワーク、マルチコアメッセージパッシング方式等を含む通信インフラストラクチャ１２５を含むことができる。

図１に示すように、処理サーバ１６０は、ネットワーク１４０を介して複数のモバイル装置１０４と通信するように構成された通信インタフェース１６２を含むことができる。例示的な実施形態によれば、処理サーバ１６０は、ネットワーク１４０を介して複数のモバイル装置１０４の少なくとも１つから１又は２以上の資産１０２に関連する資産データを受信するように構成することができる。資産データは、それぞれのモバイル装置１０４の複数のセンサにより生成された生のセンサデータ（又は、適宜、変換されたセンサデータ）を含むことができる。例えば、変換されたセンサデータは、センサのタイプに応じてそれぞれのモバイル装置１０４によって指定されたフォーマットに変換されたセンサデータを含むことができる。また、資産データは、１又は２以上の資産１０２の動作状態の決定と、モバイル装置１１０に関連するメタデータとを含むことができる。モバイル装置１１０のメタデータは、モバイル装置１１０の場所（例えば、地理空間座標）、モバイル装置１１０によって実行されるオペレーティングシステム、モバイル装置１１０のハードウェア構成、モバイル装置１１０によって実行可能なアプリケーションソフトウェア、資産データが通信されたときのネットワーク１４０の信号強度、モバイル通信デバイス１１０のバッテリーレベル、資産データ（例えば、センサデータ）が得られた時刻、天候（例えば、温度、湿度、気圧、露点など）、モバイル装置１１０の登録ユーザ又は所有者に関する情報、又は必要に応じて他の何れかの適切なデータ又は情報を含むことができる。メタデータの一部は、処理装置１２０上に格納され、及び／又は処理装置１２０によって実行される、或いは第２のメモリ構造１３２及び／又はメモリデバイス１２８の揮発性又は不揮発性部分に格納される何れかの数の別個のアプリケーション又はプログラムコードを通じて取得することができることは理解されたい。

通信インタフェース１６２は、モバイル装置１１０の通信インタフェース１２６に関して上述したのと同じハードウェア及びソフトウェア構成要素で構成することができ、通信インタフェース１２６に関して議論した同じネットワーク又は通信リンクの何れかに接続するように構成することができる。

処理サーバ１６０は、通信インタフェース１６２によって受信された生のセンサデータを変換するための１又は２以上のデータインタフェース１６４を含むことができる。データインタフェース１６４は、ハードウェアとソフトウェアの組み合わせを含むことができ、モバイル装置１１０のデータインタフェース１１４に関して、生のセンサデータ又は変換されたセンサデータに対して適用に応じて処理及び／又は操作を行うように構成することができる。

処理サーバ１６０は、１又は２以上のモデルを含むニューラルネットワークアーキテクチャ１６３で符号化された処理装置１６６を含むことができ、処理装置１６６は、資産データに基づいて１又は２以上のモデルをトレーニングし、資産タイプに従って１又は２以上の資産の１又は２以上の正常な動作状態及び１又は２以上の故障状態を識別するように構成されている。別の例示的な実施形態によれば、資産データが生のセンサデータを含む場合、処理装置１６４は、１又は２以上のデータインタフェース１６４によって生成された変換されたデータに基づいて、１又は２以上の資産１０２の動作状態を決定するように構成される。更に別の例示的な実施形態によれば、資産データが、変換されたセンサデータと、１又は２以上の資産１０２の動作状態の決定とを含む場合、処理装置１６６は、決定された条件に基づいてニューラルネットワークアーキテクチャ１６３の１又は２以上のモデルをトレーニングして、更新されたモデルを生成するよう構成される。処理装置１６４は、更新されたモデルをネットワーク１４０を介してモバイル装置１１０に送信する。

処理サーバ１６０は、複数のモバイル装置１０４から受信した生の又は変換されたセンサデータ、動作状態の決定、及びメタデータを格納するように構成された第１のメモリ構造１７０を有するメモリデバイス１６８を含むことができる。メモリデバイス１６８はまた、ニューラルネットワークアーキテクチャ１６３に関連付けられた１又は２以上のモデルを格納するように構成された第２のメモリ構造１７２を含む。第１のメモリ構造１７０はまた、複数の資産１０２に関連する何れかの追加情報を格納するように構成することができる。追加情報は、処理装置１６６の通信インタフェース１６２を介して、製造業者、業界、公共、又は政府のデータベースからネットワーク１４０を介して要求及び／又はアクセスすることができる。

処理装置１６６は、指定されたタイプ又は識別された資産に関して、メモリデバイス１６８の第１のメモリ構造１７０に格納された情報に基づいて、動作状態傾向分析、保守スケジュール勧告及び計画、部品及び在庫の注文、修復計画、在庫状況報告、又は必要に応じて他の適切な報告のうちの１又は２以上を生成するよう構成することができる。報告は、指定されたスケジュールに基づいて自動的に生成することができ、又は複数のモバイル装置１０４のうちの少なくとも１つからの要求に応答して生成することができる。報告は、要求元のモバイル装置１１０に伝達することができ、又は通信インタフェース１２６を介して複数のモバイル装置１０４に所望のスケジュールに従ってブロードキャストすることができる。

処理サーバ１６０は、入力／出力（Ｉ／Ｏ）インタフェース１７６を介して処理装置１６６からデータを受信するように接続することができる出力インタフェース１７４を含むことができる。Ｉ／Ｏインタフェース１７６は、処理装置１６６から信号を受信し、出力インタフェース１７４による出力に適したデータ信号を生成するように構成することができる。Ｉ／Ｏインタフェース１７６は、例えば、出力インタフェース１７４と直接有線又は無線リンクを介して通信するためのプログラムコード、ソフトウェア、及び／又はファームウェアで符号化されたプロセッサ、回路カード、又は他の何れかの適切なハードウェアデバイスなどのハードウェアとソフトウェアの組み合わせを含むことができる。出力インタフェース１７４は、グラフィカル表示装置、プリンタ、オーディオ出力装置、１又は２以上の発光ダイオード（ＬＥＤ）、外部メモリデバイス、外部コンピューティングデバイス、又は必要に応じて他の適切な電子装置もしくは出力タイプのうちの１又は２以上を含むことができる。

処理サーバ１６０は、データ及び制御信号の通信のために、通信インタフェース１６２、データインタフェース１６４、処理装置１６６、メモリデバイス１６８、及び出力インタフェース１７４を接続するための、バス、メッセージキュー、ネットワーク、マルチコアメッセージパッシング方式を含む通信インフラストラクチャ１６５を含むことができる。

処理サーバ１６０は、モバイル装置１０４による機器及びインフラストラクチャの評価、並びに、ネットワーク１４０を介して常時報告するか、又は、資産の動作状態に関連するセンサデータが収集された時点で接続性が利用できないか制限されている場合にモバイル装置１０４がネットワーク１４０とのデータ接続性の適切なレベルを達成すると定期的に報告する電子デバイス、データベース及びモバイル装置の集合から評価情報及び他のデータを集約するために構成される。複数のモバイル装置１０４のうちの何れかの数からの評価が集約され、処理サーバ１６０のメモリデバイス１６８に格納されると、処理サーバ１６０は、モバイル装置１０４からの評価の集約内容に基づいて高レベルの分析及び勧告を提供する１又は２以上の報告を生成することができる。

図３は、資産の動作状態を評価するための方法を示す図である。図３の方法は、複数のモバイル装置１０４の各々によって実行することができる。ステップ３００において、モバイル装置１１０は、複数のセンサ１１２のうちの１又は複数を作動させて、動作中の資産１０２の物理的品質に関連するデータを取得する。本開示の例示的な実施形態によれば、センサデータを取得することは、複数のセンサデバイス１１２のうちの１又は２以上が、資産１０２のビデオ画像又は静止画像を生成すること、又は資産１０２に対する放射音、温度、放出ガス、及び湿分を検出することを含むことができる。取得されたデータは、１又は２以上のデータインタフェース１１４を使用して、センサのタイプに応じて指定されたフォーマットに変換される（ステップ３０２）。変換されたデータは、メモリデバイス１２８の第１メモリ構造１３０に格納される（ステップ３０４）。モバイル装置１１０がネットワーク１４０への適切な接続性を有する場合（ステップ３０６）、変換されたデータは、通信インタフェース１２６を介してリモートコンピューティングデバイス１０４、１６０に送信することができる（ステップ３０８）。そうでなければ、ネットワーク接続性が制限されているか、又は利用できない場合、処理装置１２０は、センサのタイプに基づいて変換されたデータから１又は２以上の特徴を抽出し（ステップ３１０）、抽出された特徴に１又は２以上の重み付けカーネルを適用して、１又は２以上のトレーニングされたモデルのトレーニングを通して決定される既知の動作状態の属性と比較する（ステップ３１２）。重み付けされたカーネルは、既知の動作状態の属性を含む。処理装置１２０は、比較の結果に基づいて、機械故障、構造故障、及び電気故障のうちの１又は２以上を特定することを含む、資産１０２の動作状態を決定する（ステップ３１４）。動作状態が決定されると、処理装置１２０は、機械故障、構造故障、及び電気故障のうちの１又は２以上のものの補修に関連する１又は２以上の部品を特定することができる（ステップ３１６）。変換されたデータ、動作状態の判定結果、及びモバイル装置に関連付けられたメタデータをコンパイルし、コンパイルされたデータに基づいて報告を生成することにより、判定結果の出力が出力インタフェース１２４を介してユーザに提供される（ステップ３１８）。ネットワーク１４０への接続性が適切であるか、又は回復したとき、モバイル装置１１０は、そのメタデータ、動作判定、及び変換されたセンサデータを資産データとして通信インタフェース１２６を介して処理サーバ１４０に送信することができる（ステップ３２０）。この通信に応答して、モバイル装置１１０は、処理サーバ１４０から通信インタフェース１２６を介して、ニューラルネットワークアーキテクチャ１２２の更新されたモデルを受信する（ステップ３２２）。更新されたモデルは、メモリデバイス１２８の第２のメモリ構造１３２に格納される（ステップ３２４）。

図４は、本開示の例示的な実施形態による、資産の動作状態を評価する方法を示す図である。ステップ４００において、処理サーバ１６０は、通信インタフェース１２６を介してネットワーク１４０を介して１又は２以上のモバイル装置１０４からアセットデータを受信する。アセットデータは、適用可能なセンサのタイプに関連するセンサデータと、１又は２以上のモバイル装置１０２のそれぞれのモバイル装置１１０に関連するメタデータとを含む。センサデータは、データを取得したモバイル装置１１０のそれぞれのセンサのタイプに基づいて、１又は２以上のデータインタフェース１６４において解析される（ステップ４０２）。１又は２以上のデータインタフェース１６４は、解析されたセンサデータをそれぞれのセンサのタイプに応じて指定されたフォーマットに変換する（ステップ４０４）。１又は２以上のモデルを有するニューラルネットワークアーキテクチャ１６３で符号化された処理サーバ１６０の処理装置１６６は、変換されたデータを処理して、１又は２以上の資産１０２の動作状態を決定し、１又は２以上のモデルをトレーニングして、資産タイプに応じて１又は２以上の資産の正常な動作状態及び複数の故障状態を識別する（ステップ４０６）。トレーニングの結果得られた１又は２以上の更新されたモデルは、通信インタフェース１６２を介してネットワーク１４０を介してモバイル装置１１０に送信される。処理サーバ１６０は、ネットワーク１４０を介して通信インタフェース１６２を介して１又は２以上の他のモバイル装置１０４からそれぞれの資産の動作状態の評価を含む資産データを受信し、メモリデバイス１６８の第１のメモリ構造１７０に格納することによって資産データを集計することができる（ステップ４０８）。処理装置１６６は、指定されたタイプ又は識別された資産に関連して、メモリデバイスの第１のメモリ構造に格納された情報に基づいて、動作状態傾向分析、保守スケジュール勧告及び計画、部品及び在庫の注文、修復計画、及び在庫状況報告のうちの１又は複数を生成することができる（ステップ４１０）。処理装置１６６は、生成された報告のうちの１又は複数を、通信インタフェース１６２を介してネットワーク１４０を介してモバイル装置１０４のうちの１又は複数に送信することができる（ステップ４１２）。

本明細書で説明した専門的な機能を実行するためのコンピュータプログラムコードは、コンピュータ使用可能な媒体に格納することができ、この媒体は、メモリ半導体（例えば、ＤＲＡＭなど）であってもよいモバイル装置１０４及び処理サーバ１６０のメモリデバイスなどのメモリを指すことがある。これらのコンピュータプログラム製品は、モバイル機器１０４及び処理サーバ１６０にソフトウェアを提供するための有形非一時的な手段であってもよい。コンピュータプログラム（例えば、コンピュータ制御ロジック）又はソフトウェアは、モバイル装置１０４又は処理サーバ１６０に常駐するメモリデバイス１５５に格納されてもよい。また、コンピュータプログラムは、それぞれの通信インタフェース１２６、１６２を介して受信されてもよい。そのようなコンピュータプログラムは、実行されると、モバイル装置１０４及び処理サーバ１６０が、本明細書で議論される本方法及び例示的な実施形態を実施することを可能にすることができる。従って、そのようなコンピュータプログラムは、モバイル装置１０４及び処理サーバ１６０のコントローラを表すことができる。本開示がソフトウェアを用いて実施構成される場合、ソフトウェアは、コンピュータプログラム製品又は非一過性のコンピュータ可読媒体に格納され、リムーバブルストレージドライブ、インタフェース、ハードディスクドライブ、又は通信インタフェースを用いてモバイル装置１０４及び処理サーバ１６０にロードされてもよく、該当する場合、そのようなソフトウェアは、モバイル装置１０４及び処理サーバ１６０にロードされてもよい。

モバイル装置１０４及び処理サーバ１６０の処理装置１２０、１６６はそれぞれ、本明細書に記載される例示的な実施形態の機能を実行するように構成された１又は２以上のモジュール又はエンジンを含むことができる。モジュール又はエンジンの各々は、ハードウェアを用いて実施構成されてもよく、いくつかの例では、メモリに格納されたプログラムコード及び／又はプログラムに対応するなど、ソフトウェアも利用することができる。そのような例では、プログラムコードは、実行に先立って、それぞれのプロセッサによって（例えば、コンパイルモジュール又はエンジンによって）コンパイルされてもよい。例えば、プログラムコードは、１又は２以上のプロセッサ及び／又は何れかの追加のハードウェア構成要素による実行のために、アセンブリ言語又はマシンコードなどの低レベル言語に翻訳される、プログラミング言語で書かれたソースコードであってもよい。コンパイルのプロセスは、字句解析、前処理、構文解析、意味解析、構文指向翻訳、コード生成、コード最適化、及びモバイル装置１０４及び処理サーバ１６０を制御して本明細書に開示する機能を実行するのに適した低レベル言語へのプログラムコードの翻訳に適していると考えられる他の何れかの技法を用いることを含んでもよい。そのようなプロセスの結果、モバイル装置１０４及び処理サーバ１６０は、上述した機能を実行するように独自にプログラムされた特別に構成されたコンピューティングデバイスとなることは、関連技術の当業者には明らかであろう。

本発明は、その精神又は本質的な特徴から逸脱することなく、他の特定の形態で具現化できることは、当業者には理解されるであろう。従って、本開示の実施形態は、全ての点で例示的なものであり、限定ではないと考えられる。本発明の範囲は、上述の説明ではなく添付の特許請求の範囲によって示され、その意味、範囲、及び均等物の範囲内にある全ての変更が包含されることが意図されている。

１０２ 資産
１０４ モバイル装置
１１２ センサ
１４０ ネットワーク
１５５ メモリデバイス
１６０ 処理サーバ

Claims (20)

1. 資産の動作状態を評価するためのモバイル装置であって、
   動作中の前記資産の動作特性と前記資産に関連付けられた動作環境の属性に関連するデータを取得するための少なくとも１つのセンサデバイスと、
   センサのタイプに応じて取得されたデータを処理することによって前記資産の１又は２以上の動作状態を識別するようにトレーニングされた１又は２以上のモデルを有するニューラルネットワークを用いてプログラムされた処理装置であって、前記処理装置は、前記取得されたデータから特徴を抽出し、該抽出された前記特徴の属性を、前記１又は２以上のモデルのトレーニングを通じて決定された少なくとも１つの既知の動作状態の属性及び動作中の前記資産に関連付けられた前記動作環境の属性と比較することにより前記資産の動作状態の決定を実行するように構成された、処理装置と、
   前記処理装置によって実行された前記決定の結果を出力するように構成された出力インタフェースであって、前記結果を外部デバイスに伝達することを含むことができる、出力インタフェースと、
   を備え、
   前記プロセッサが、センサのタイプ、センサ場所、並びに前記センサ及び前記資産の関連する動作状態及び環境状態に基づいて、各センサの前記抽出された特徴に重みを割り当て、前記抽出された特徴のうちの１又は２以上に基づいて、前記動作状態が正常状態、機械故障、構造故障、電気故障、及び有害動作環境のうちの１又は２以上を含むかどうかを決定するよう構成されている、モバイル装置。
2. 前記センサのタイプに応じて前記処理装置により分析するために、前記センサのタイプ及び前記ニューラルネットワークに応じて前記取得されたデータを１又は２以上の指定されたデータ形式に変換するように構成された１又は２以上のデータインタフェースを備える、請求項１に記載のモバイル装置。
3. 少なくとも１つの前記センサの前記取得されたデータ又は前記変換されたデータを格納するように構成されたメモリ構造を含むメモリデバイスと、
   前記取得されたデータ又は前記変換されたデータをネットワークを介してリモートコンピューティングデバイスに送信するように構成された通信インタフェースと、
   を備える、請求項２に記載のモバイル装置。
4. 前記少なくとも１つのセンサは、画像センサ、音響センサ、運動センサ、熱センサ、ガスセンサ、湿度センサ、無線周波数センサ、及び流体流れセンサのうちの１又は２以上を含み、
   前記通信インタフェースは、前記リモートコンピューティングデバイスから前記ニューラルネットワークの更新されたモデルを受信するように構成され、
   前記メモリデバイスは、受信した前記更新されたモデルを含む前記ニューラルネットワークのモデルを前記メモリ構造に格納するように構成され、
   前記更新されたモデルは、前記ネットワークを介して前記リモートコンピューティングデバイスに送信された少なくとも前記取得されたデータ又は前記変換されたデータに基づく変更を含み、
   前記画像センサは、ビデオ画像及び静止画像のうちの１又は２以上を生成するように構成され、
   前記画像センサは、赤外線、非可視光、又は可視光を検出するように構成されている、請求項３に記載のモバイル装置。
5. 少なくとも１又は２以上のセンサインタフェース、前記処理装置、及びグラフィカルインタフェースのうちの１又は２以上を封入するためのハウジングを備え、
   少なくとも１つのセンサが、前記ハウジングに一体化されるか、又は前記１又は２以上のセンサインタフェースのうち関連するセンサインタフェースを介して前記ハウジングに接続されている、請求項１に記載のモバイル装置。
6. 前記モバイル装置が車両であり、
   前記車両が、
   前記少なくとも１つのセンサから取得されたデータに基づいて、前記車両を前記資産に対して自律的に位置付けるように構成されたナビゲーションシステムを備える、
   請求項３に記載のモバイル装置。
7. 前記モバイル装置が車両であり、
   前記車両が、
   前記車両を前記資産に対して位置付けるように構成されたナビゲーションシステムを備え、
   前記通信インタフェースは、前記車両の場所及び位置を決定するために前記少なくとも１つのセンサのうちの１又は２以上から取得されたデータをネットワークを介して送信し、リモートコントロールデバイスからナビゲーションコマンドを受信して、前記車両を前記資産に対して位置付け及び／又は前記少なくとも１つのセンサのうちの１又は２以上を方向付けるように構成される、
   請求項３に記載のモバイル装置。
8. 前記処理装置は、前記機械故障、前記構造故障、及び前記電気故障のうちの１又は２以上のものの補修に関連する１又は２以上の部品を特定する、或いは前記有害動作環境に対処するアクションを特定する、ように構成される、
   請求項１に記載のモバイル装置。
9. 資産の動作状態を評価するための方法であって、
   モバイル装置の１又は２以上のセンサを介して、動作中の資産の動作特性又は環境特性のうちの少なくとも１つに関連するデータを取得するステップと、
   １又は２以上の資産の少なくとも１つの状態及び機能を認識するようにトレーニングされた１又は２以上の層を各々が有する１又は２以上のトレーニングされたモデルを有するニューラルネットワークを用いてプログラムされた処理装置を介して、センサのタイプ及びセンサ場所の１又は２以上、前記１又は２以上のセンサの１又は２以上の動作状態、前記１又は２以上の資産に対する潜在的な悪影響を有する動作状態又は環境状態に基づいて取得されたデータから１又は２以上の特徴を抽出する、或いはセンサのタイプに基づいて前記取得されたデータから１又は２以上の特徴を抽出するステップと、
   前記処理装置を介して、センサのタイプ、センサ場所、並びに前記センサ及び前記資産の関連する動作状態及び環境状態に基づいて、各センサの前記抽出された特徴に重みを割り当てるステップと、
   前記抽出された特徴の属性を、前記１又は２以上のトレーニングされたモデルのトレーニングを通じて既知である少なくとも１つの動作状態の属性と比較することにより、前記処理装置を介して、前記抽出された特徴のうちの１又は２以上に基づいて、前記動作状態が正常状態、機械故障、構造故障、電気故障、及び有害動作環境のうちの１又は２以上を含むかどうかを決定するステップと、
   前記処理装置を介して、前記少なくとも１つの比較の結果に基づいて前記資産の動作状態を決定するステップと、
   出力インタフェースを介して前記決定の結果を出力するステップであって、前記結果を外部のコンピューティングデバイスに伝達することを含むことができる、ステップと、
   を含む、方法。
10. １又は２以上のセンサインタフェースを介して、センサのタイプ及びニューラルネットワークに従って前記処理装置による解析のために前記取得されたデータを指定されたデータフォーマットに変換するステップと、
    メモリデバイスのメモリ構造に、前記１又は２以上のセンサの前記取得されたデータ又は前記変換されたデータを格納するステップと、
    通信インタフェースを介して、前記取得されたデータ又は前記変換されたデータをネットワークを介してリモートコンピューティングデバイスに送信するステップと、
    を含む、請求項９に記載の方法。
11. 通信インタフェースを介して、リモートコンピューティングデバイスから前記ニューラルネットワークのための更新されたモデルを受信するステップと、
    メモリデバイスのメモリ構造に、前記受信した更新されたモデルを含む前記ニューラルネットワークのモデルを格納するステップと、
    を含む、請求項９に記載の方法。
12. 前記データを取得するステップが、
    前記１又は２以上のセンサを介して、ビデオ画像又は静止画像を生成するステップ、又は、
    前記１又は２以上のセンサを介して、前記資産に関連する放射音、温度、放出ガス、湿度、運動、速度、加速度、反射光、発熱、及び流体流を検出するステップ
    を含む、請求項９に記載の方法。
13. 前記１又は２以上の特徴を抽出するステップは、
    前記取得されたデータ又は前記変換されたデータに１又は２以上の重み付けカーネルを適用し、前記重み付けカーネルは、対応する既知の動作状態の属性を含む、請求項１０に記載の方法。
14. 前記動作状態を決定するステップは、
    前記処理装置を介して、前記機械故障、前記構造故障、及び前記電気故障のうちの１又は２以上のものの補修、又は前記潜在的有害環境もしくは動作状態に対処するアクションに関連する１又は２以上の部品を特定するステップ、
    を含む、請求項９に記載の方法。
15. 前記決定の結果を出力するステップは、
    前記処理装置を介して、前記取得されたデータ又は前記変換されたデータ、前記動作状態の決定、及び前記モバイル装置に関連付けられたメタデータをコンパイルするステップと、
    前記処理装置を介して、前記コンパイルされたデータに基づいて報告を生成するステップと、
    を含む、請求項１０に記載の方法。
16. 資産の動作状態を評価するためのコンピューティングデバイスであって、
    ネットワークを介して少なくとも１つのリモートセンサデバイスから１又は２以上の資産に関連するセンサデータを受信するように構成された通信インタフェースであって、前記センサデータが複数のセンサのタイプに関連付けられる、通信インタフェースと、
    １又は２以上のモデルを含むニューラルネットワークを用いてプログラムされた処理装置であって、前記センサデータに基づいて前記１又は２以上のモデルをトレーニングして各センサの資産センサデータから特徴を抽出し、センサのタイプ、センサ場所、並びに前記センサ及び前記資産の関連する動作状態及び環境状態に基づいて、各センサの前記抽出された特徴に重みを割り当て、前記センサデータに基づく前記資産のタイプに応じて前記１又は２以上の資産の少なくとも１つの正常な動作状態、機械故障、構造故障、電気故障、及び有害動作環境を、前記抽出された特徴のうちの１又は２以上に基づいて決定及び識別するように構成された処理装置と、
    を備える、コンピューティングデバイス。
17. 前記センサデータは、１又は２以上のセンサのタイプの生のセンサデータを含み、
    前記コンピューティングデバイスは、
    前記処理装置による分析のために前記関連するセンサのタイプ及び前記ニューラルネットワークに応じて前記生のセンサデータの少なくとも一部を１又は２以上の指定されたデータ形式に変換するように構成されたデータインタフェースと、
    を備え、前記処理装置は、前記変換されたセンサデータに基づいて、前記１又は２以上の資産の動作状態を決定するように構成されている、請求項１６に記載のコンピューティングデバイス。
18. 前記１又は２以上のモデルをトレーニングすることにより１又は２以上の更新されたモデルを生成し、前記通信インタフェースは、前記１又は２以上の更新されたモデルを前記ネットワークを介して前記少なくとも１つのリモートデバイスに送信するように構成されている、請求項１６に記載のコンピューティングデバイス。
19. 前記受信したセンサデータは、前記１又は２以上の資産の動作状態の決定に関連する資産データ、及び前記少なくとも１つのリモートセンサデバイスに関連するメタデータを含み、
    前記コンピューティングデバイスは、
    前記１又は２以上の資産を含む複数の資産に関連する動作状態の決定と、前記少なくとも１つのリモートセンサデバイスを含む複数のリモートデバイスの前記メタデータとを格納するように構成された第１のメモリ構造を含むメモリデバイスを備える、請求項１６に記載のコンピューティングデバイス。
20. 前記処理装置は、前記メモリデバイスの前記第１のメモリ構造に格納された情報に基づいて、指定されたタイプの資産又は識別された資産に関連して、動作状態傾向分析、保守スケジュール推奨及び計画、部品及び在庫の注文、修復計画、及び在庫状況報告のうちの１又は２以上を生成するように構成されている、請求項１９に記載のコンピューティングデバイス。