JP2020009410A - パラメータの多次元時系列を分類するためのシステムおよび方法 - Google Patents

Abstract

【課題】伝統的なシステムおよび方法は、複雑さをもたらし、かつドメインの知識を必要とする、長さが変わる時系列からの、手作りの特徴抽出を実装していた。分類モデルの構築は、大規模な、ラベル付きデータを必要とし、計算コストが高い。
【解決手段】管理されていない符号器を介して、実体のパラメータから特徴を抽出することにより、多次元時系列を使って分類作業するための学習モデルを実装し、非一時的線形分類器モデルを構築する。固定次元特徴ベクトルは、既製の特徴抽出器の役割を果たす、事前にトレーニングされた管理されていない符号器を使用して出力される。抽出した特徴を連結して、非一時的線形分類モデルを学習し、クラスごとに妥当なパラメータを決定するのに役立つ重みを、学習中に抽出した特徴それぞれに割り当てる。線形モデルを制約して、多数の特徴のサブセットだけを使用しながら、パラメータから目標クラスへのマッピングを考慮する。
【選択図】図２

Description

（関連出願の相互参照）
本出願は、２０１８年７月９日にインドで提出された、「パラメータの多次元時系列を分類するためのシステムおよび方法」と題するインド特許出願公開第２０１８２１０２５６０３号完全明細書の優先権を主張する。

本明細書の本開示は、一般に時系列分析に関し、より詳細にはパラメータの多次元時系列を分類するためのシステムおよび方法に関する。

電子健康記録（Ｅｌｅｃｔｒｏｎｉｃ Ｈｅａｌｔｈ Ｒｅｃｏｒｄ、ＨＥＲ）から、さまざまな臨床的予測作業のために、医療診断のために、患者の将来の疾病を予測するために、退院後の予想外の再入院を予測するために、さらにまた機器／機械の健全性をモニタするなどのためにディープ・ラーニング・モデルを使用することに関心が高まっている。再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）は、ある期間にわたりデータベースに記録されているさまざまなパラメータを用いて、ＥＨＲデータの順次的面を、たとえば、診断、死亡率予測、ならびに入院期間の推定、および機械などから得られるセンサデータによる故障診断の順次的面をモデル化するための効果的方法となる可能性がある。しかしながら、ＲＮＮをトレーニングするには、任意の他のディープラーニングの取り組み方法のように、大量のラベル付きトレーニングデータを必要とし、計算の順次的性質のために、計算効率が悪くなる可能性がある。

インド特許出願公開第２０１８２１０２５６０３号完全明細書

Ａｌｉｓｔａｉｒ ＥＷ Ｊｏｈｎｓｏｎ，Ｔｏｍ Ｊ Ｐｏｌｌａｒｄ、Ｌｕ Ｓｈｅｎ、Ｈ Ｌｅｈｍａｎ Ｌｉ−ｗｅｉ、Ｍｅｎｇｌｉｎｇ Ｆｅｎｇ，Ｍｏｈａｍｍａｄ Ｇｈａｓｓｅｍｉ、Ｂｅｎｊａｍｉｎ Ｍｏｏｄｙ、Ｐｅｔｅｒ Ｓｚｏｌｏｖｉｔｓ、Ｌｅｏ Ａｎｔｈｏｎｙ Ｃｅｌｉ、およびＲｏｇｅｒ Ｇ Ｍａｒｋ、Ｍｉｍｉｃ−ｉｉｉ、ａ ｆｒｅｅｌｙ ａｃｃｅｓｓｉｂｌｅ ｃｒｉｔｉｃａｌ ｃａｒｅ ｄａｔａｂａｓｅ（Ｍｉｍｉｃ−ｉｉｉ、自由にアクセス可能な救命治療データベース）、Ｓｃｉｅｎｔｉｆｉｃ ｄａｔａ、３：１６００３５、２０１６年 ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｙｅｒｅｖａｎｎ／ｍｉｍｉＣ３−ｂｅｎｃｈｍａｒｋｓ Ｈａｒｕｔｙｕｎｙａｎ ｅｔ ａｌ．、２０１７年−Ｈｒａｙｒ Ｈａｒｕｔｙｕｎｙａｎ、Ｈｒａｎｔ Ｋｈａｃｈａｔｒｉａｎ、Ｄａｖｉｄ Ｃ Ｋａｌｅ、およびＡｒａｍ Ｇａｌｓｔｙａｎ、Ｍｕｌｔｉｔａｓｋ ｌｅａｒｎｉｎｇ ａｎｄ ｂｅｎｃｈｍａｒｋｉｎｇ ｗｉｔｈ ｃｌｉｎｉｃａｌ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ（時系列データを用いたマルチタスク学習およびベンチマーキング）．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０３．０７７７１、２０１７年 Ｓｏｎｇ ｅｔ ａｌ．、２０１７年−Ｈｕａｎ Ｓｏｎｇ Ｄｅｅｐｔａ Ｒａｊａｎ、Ｊａｙａｒａｍａｎ Ｊ Ｔｈｉａｇａｒａｊａｎ、およびＡｎｄｒｅｓａ Ｓｐａｎｉａｓ、Ａｔｔｅｎｄ ａｎｄ ｄｉａｇｎｏｓｅ：Ｃｌｉｎｉｃａｌ ｔｉｍｅ ｓｅｒｉｅｓ ａｎａｌｙｓｉｓ ｕｓｉｎｇ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌｓ（注意および診断：注意モデルを使用する臨床時系列分析）． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７１１．０３９０５、２０１７年

本開示の実施形態は、従来のシステムで本発明者らが認識した、上述の技術的問題の１つまたは複数に対する解決手段として技術上の本改善を提示する。

たとえば、一様態では、パラメータの多次元時系列を分類するためのプロセッサ実装方法が提供される。方法は、１つまたは複数の実体の複数のパラメータに対応する複数の独特の時系列データを得るステップであって、独特の時系列データはそれぞれ、複数のパラメータの各パラメータに対応する１つまたは複数の時系列データを備え、独特の時系列データは、固定長データまたは可変長データであるステップと；深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、独特の時系列から１つまたは複数の特徴を自動的に抽出して、複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得るステップと；複数のパラメータの各々に関係する独特の特徴セットからの特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得るステップと；連結された特徴セットに基づき、非一時的線形分類モデルを学習するステップであって、非一時的線形分類モデルの学習中、連結された特徴セットからの各特徴に重みを割り当てて、重みは、ＬＡＳＳＯ−正規化損失関数（「最小絶対収縮および選択操作（Ｌｅａｓｔ Ａｂｓｏｌｕｔｅ Ｓｈｒｉｎｋａｇｅ Ｓｅｌｅｃｔｉｏｎ Ｏｐｅｒａｔｏｒ）−正規化損失関数」とも呼ばれる）を使用して得られるステップと；連結された特徴セットからの各特徴の重みに基づき、複数のパラメータごとに妥当性スコアを生成して、学習した非一時的線形分類モデルを検証するステップとを備える。

一実施形態では、方法は、実体の複数のパラメータに対応する入力時系列を受信するステップと；入力時系列から１つまたは複数の特徴を自動的に抽出するステップと；抽出した１つまたは複数の特徴に基づき、検証され学習された分類モデルを入力時系列に適用して、実体の複数のパラメータに対応する入力時系列に関するクラスを得るステップとをさらに備えてもよい。

一様態では、パラメータの多次元時系列を分類するためのプロセッサ実装システムが提供される。システムは：命令を記憶するためのメモリと；１つまたは複数の通信インタフェースと；１つまたは複数の通信インタフェースを介してメモリに結合された１つまたは複数のハードウェアプロセッサとを備え、１つまたは複数のハードウェアプロセッサは、命令により：実体の複数のパラメータに対応する独特の時系列データを得て；システムにより実装された深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、独特の時系列から１つまたは複数の特徴を自動的に抽出して、複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得て；複数のパラメータの各々に関係する独特の特徴セットからの特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得て；連結された特徴セットに基づき、非一時的線形分類モデルを学習し、非一時的線形分類モデルの学習中に、ＬＡＳＳＯ−正規化損失関数（「最小絶対収縮および選択操作−正規化損失関数」とも呼ばれる）を使用して得られる重みを、連結された特徴セットからの各特徴に割り当てて；連結された特徴セットからの各特徴の重みに基づき、複数のパラメータごとに妥当性スコアを生成して、学習された非一時的線形分類モデルを検証するように構成される。

一実施形態では、１つまたは複数のハードウェアプロセッサは、実体の複数のパラメータに対応する入力時系列を受信し；入力時系列から１つまたは複数の特徴を自動的に抽出し；抽出した１つまたは複数の特徴に基づき、検証され学習された分類モデルを入力時系列に適用して、実体の複数のパラメータに対応する入力時系列に関するクラスを得るようにさらに構成される。

一実施形態では、入力時系列および独特の時系列データは、固定長データまたは可変長データである。

さらに別の様態では、１つまたは複数のハードウェアプロセッサにより実行されたとき、実体の複数のパラメータに対応する、固定長データまたは可変長データである独特の時系列データを得ることにより、パラメータの多次元時系列を分類するステップと；深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、独特の時系列から１つまたは複数の特徴を自動的に抽出して、複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得るステップと；複数のパラメータの各々に関係する独特の特徴セットからの特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得るステップと；連結された特徴セットに基づき、非一時的線形分類モデルを学習するステップであって、非一時的線形分類モデルの学習中、連結された特徴セットからの各特徴に重みが割り当てられ、重みは、ＬＡＳＳＯ−正規化損失関数（「最小絶対収縮および選択操作−正規化損失関数」とも呼ばれる）を使用して得られるステップと；連結された特徴セットからの各特徴の重みに基づき、複数のパラメータごとに妥当性スコアを生成して、学習された非一時的線形分類モデルを検証するステップとを引き起こす１つまたは複数の命令を備える１つまたは複数の非一時的機械可読情報記憶媒体が提供される。

一実施形態では、命令は、１つまたは複数のハードウェアプロセッサにより実行されたとき、実体の複数のパラメータに対応する入力時系列を受信するステップと；入力時系列から１つまたは複数の特徴を自動的に抽出するステップと；抽出した１つまたは複数の特徴に基づき、検証され学習された分類モデルを入力時系列に適用して、実体の複数のパラメータに対応する入力時系列に関するクラスを得るステップとをさらに引き起こしてもよい。

前述の一般的説明も以下の詳細な説明も、代表的なものであり、説明のためだけのものであり、特許請求される本発明を限定するものではないことを理解されたい。

本開示に組み込まれ、本開示の一部を構成する添付図面は、代表的実施形態を示し、本明細書と共に、開示する原理を説明するのに役立つ。

本開示の一実施形態による、実体のパラメータの多次元時系列を分類するためのシステムの代表的構成図を示す。 本開示の一実施形態による図１のシステムを使用して、パラメータの多次元時系列を分類するための方法を示す代表的流れ図を示す。 本開示の例示的実施形態による図１のシステムにより実装された３つの隠れゲート付き再帰型ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ、ＧＲＵ）層を伴うＲＮＮ符号器−復号器を介してトレーニングされたＴｉｍｅＮｅｔを示す。 本開示の例示的一実施形態による図１のシステムにより実装されるような、ＴｉｍｅＮｅｔに基づく特徴抽出を示す。 本開示の例示的一実施形態による図１のシステムを使用して、未加工入力パラメータに関する妥当性スコアを生成することを示す。 本開示の一実施形態による、合併症を伴う表現型糖尿病に関するグルコース濃度（パラメータ１）に関して得られた最高の妥当性スコアを示すグラフ表示である。 本開示の一実施形態による、表現型本態性高血圧症に関する収縮期血圧（パラメータ２０）に関して得られた最高の妥当性スコアを示すグラフ表示である。

添付図面を参照して、代表的実施形態について説明する。図では、参照番号の１つまたは複数の左端の数字は、参照番号が最初に出現する図を識別する。好都合なときはいつでも、同じまたは類似する部分を指すために、図面全体を通して同じ参照番号を使用する。開示する原理の例および特徴について本明細書で説明するが、開示する実施形態の精神および範囲を逸脱することなく、修正形態、適応形態、および他の実装形態が可能である。以下の詳細な説明は、ただ単に代表的であると考えられ、真の範囲および精神は、以下の特許請求の範囲により示されることが意図される。

多様な実例に対して深層ネットワークをトレーニングすることにより、今まで見たことがない実例に関する一般的特徴を、たとえば、画像に関するＶＧＧＮｅｔを提供することができる。また、転移学習を用いて事前にトレーニングされたネットワークを微調整することは、多くの場合、新しいネットワークを最初から構築し、トレーニングするよりも時間がかからず、容易である。そのような手法で学習する利点は、事前にトレーニングされたネットワークが、広範な他の類似の作業に後で適用することができる、豊富な１組の特徴をすでに学習していることである。

本開示では、実施形態およびシステム、ならびにそれらに関連する方法が、ＴｉｍｅＮｅｔを介して汎用特徴を活用することにより、臨床上の時系列に関する予測モデルを学習するための効率的方法を提供する。ＴｉｍｅＮｅｔは、容易にトレーニングできる非一時的線形分類モデルを介して、分類（たとえば、患者の表現型検査、およびＭＩＭＩＣ−ＩＩＩデータベース上での院内死亡率予測作業）のために実質的に使用される固定次元特徴ベクトルに可変長時系列（たとえば、臨床上の時系列）をマッピングする。ＴｉｍｅＮｅｔに基づく特徴を使用して、非常にわずかなトレーニング努力でそのような分類モデルを構築することができ、その一方で、手作りの特徴に、または注意深くトレーニングされたドメイン特有ＲＮＮを伴うモデルに匹敵する性能を生み出すことが本開示により観察された。本開示は、線形分類モデルの重みを活用して、未加工入力パラメータそれぞれの妥当性への洞察を提供することをさらに提案する。

次に、類似する参照文字が一貫して図全体を通して、対応する特徴を示す図面を参照すると、より詳細には図１〜図４Ｂを参照すると、好ましい実施形態が示されており、これらの実施形態について、以下の代表的なシステムおよび／または方法に関連して説明する。

図１は、本開示の一実施形態による、実体のパラメータの多次元時系列を分類するためのシステム１００の代表的構成図を示す。一実施形態では、システム１００はまた、「分類システム」とも呼ばれる場合があり、本明細書で以後、交換可能に使用される場合がある。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４と、１つもしくは複数の通信インタフェース機器または１つもしくは複数の入出力（Ｉ／Ｏ）インタフェース１０６と、１つまたは複数のプロセッサ１０４に動作可能に結合された１つもしくは複数のデータ記憶装置またはメモリ１０２とを備える。メモリ１０２は、データベース１０８を備える。ハードウェアプロセッサである１つまたは複数のプロセッサ１０４を、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル・シグナル・プロセッサ、中央処理装置、状態機械、論理回路、および／または動作命令に基づき信号を操作する任意の機器として実装することができる。他の機能の中でも、１つまたは複数のプロセッサは、メモリに記憶されたコンピュータ可読命令を取り出して、実行するように構成される。一実施形態では、システム１００を、ラップトップコンピュータ、ノートブック、ハンドヘルド機器、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどのような、さまざまなコンピューティングシステムの形で実装することができる。

１つまたは複数のＩ／Ｏインタフェース１０６は、さまざまなソフトウェアインタフェースおよびハードウェアインタフェースを、たとえば、ウェブインタフェース、グラフィカル・ユーザ・インタフェースなどを含むことができ、有線ネットワーク、たとえばＬＡＮ、ケーブルなど、およびＷＬＡＮ、携帯電話、または衛星などの無線ネットワークを含む、多種多様のネットワークＮ／Ｗおよびプロトコルのタイプの範囲で多重通信を容易にすることができる。一実施形態では、１つまたは複数のＩ／Ｏインタフェース機器は、いくつかの機器を互いに、または別のサーバに接続するための、１つまたは複数のポートを含むことができる。

メモリ１０２は、たとえば、スタティック・ランダム・アクセス・メモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＲＡＭ）およびダイナミック・ランダム・アクセス・メモリ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＤＲＡＭ）などの揮発性メモリ、ならびに／または読出し専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラム可能ＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で公知の任意のコンピュータ可読媒体を含んでもよい。

データベース１０８は、１つまたは複数のセンサから得た、実体（たとえば、ユーザ、機械など）に特有の複数のパラメータに限定されることなく、情報を記憶してもよい。パラメータは、１人もしくは複数のユーザ、および／または１つもしくは複数の機械に接続されたセンサを通して取り込んだセンサデータを備えてもよい。さらにデータベース１０８は、本明細書で説明する方法論に特有の、システム１００に供給される入力、および／または（たとえば、各ステージで）システムにより生成される出力に関係する情報を記憶する。より詳細には、データベース１０８は、提案する方法論の各ステップで処理されている情報を記憶する。

図１を参照すると、図２は、本開示の一実施形態による図１のシステム１００を使用して、パラメータの多次元時系列を分類するための方法を示す代表的流れ図を示す。一実施形態では、システム１００は、１つまたは複数のハードウェアプロセッサ１０４に動作可能に結合され、かつ１つまたは複数のプロセッサ１０４により方法のステップを実行するための命令を記憶するように構成された１つまたは複数のデータ記憶装置またはメモリ１０２を備える。ＴｉｍｅＮｅｔは、たとえば、６０のゲート付き再帰型ユニット（ＧＲＵ）をそれぞれ有する３つの再帰層を伴う単変量時系列のための、事前にトレーニングされた既製の特徴抽出器である。ＴｉｍｅＮｅｔは、図３Ａに示すように、シーケンスごとの学習フレームワークを使用して同時にトレーニングされた、符号器ＲＮＮおよび復号器ＲＮＮから構成される自動符号器を介してトレーニングされたＲＮＮである。より詳細には、図１および図２を参照すると、図３Ａには、本開示の例示的一実施形態による図１のシステム１００により実装された、３つの隠れＧＲＵ層を伴うＲＮＮ符号器−復号器を介してトレーニングされたＴｉｍｅＮｅｔを示す。ＲＮＮ自動符号器は、入力

に関して、目標の出力時系列ｘ_T…１＝ｘ_T，ｘ_T-1，…，ｘ₁が入力の逆になるように、再構築作業を介して符号器ＲＮＮｆ_EのパラメータW_Eを得るようにトレーニングされる。ＲＮＮ符号器f_Eは、多変量入力時系列から固定次元ベクトル表現

への非線形マッピングを提供し、次に、z_Tから多変量時系列

への、ＲＮＮ復号器f_Dに基づく非線形マッピングが続き、式中、W_EおよびW_Dは、それぞれ符号器および復号器のパラメータである。平均２乗再構築誤差を最小にするように、モデルをトレーニングする。いくつかの多様なデータセットで同時にトレーニングすることにより、ロバストな時系列特徴がz_Tに取り込まれることとなり、復号器は、時系列を再構築するための唯一の入力としてz_Tに依存し、符号器に、時系列内のすべての妥当な情報を固定次元ベクトルz_Tの中に取り込ませる。このベクトルz_Tは、入力ｘ₁…Ｔに関する特徴ベクトルとして使用される。次いで、この特徴ベクトルを使用して、最後の作業のために、より簡単な分類器（たとえば、サポート・ベクター・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ））をトレーニングする。ＴｉｍｅＮｅｔは、多変量入力時系列を１８０次元特徴ベクトルにマッピングし、各次元は、３つの再帰層内にある６０のＧＲＵの１つの最終出力に対応する。

次に、図１に示すようなシステム１００の構成要素および図２の流れ図を参照して、本開示の方法のステップについて説明する。本開示の一実施形態では、ステップ２０２で、１つまたは複数のハードウェアプロセッサ１０４は、１つまたは複数の実体（たとえばこの場合、実体はユーザ、機械などとすることができる）の複数のパラメータに対応する独特の時系列データを得る。一実施形態では、１つまたは複数のセンサから、たとえば、温度センサ、動きセンサ、１つまたは複数の健康モニタセンサなどから、複数のパラメータを得る。一実施形態では、１つまたは複数の実体はまた、「複数の実体」と呼ぶことができ、本明細書では以後、交換可能に使用される。独特の時系列データはそれぞれ、複数のパラメータの各パラメータに対応する１つまたは複数の時系列データを備える。１つまたは複数の時系列データは、特徴抽出を遂行する前にシステムへの入力として得られる独特の時系列データを累積的に構成する。したがって、システム１００への入力として供給される、複数の独特の時系列データ（ＵＴＳＤ１、ＵＴＳＤ２、ＵＴＳＤ３など）が存在する可能性があり、複数の独特の時系列データの各々はそれぞれ、対応するパラメータおよび実体に特有なものである。たとえば、ＵＴＳＤ１は、たとえば実体Ｅ１のパラメータ（たとえば、Ｐ１、Ｐ２、Ｐ３など）に対応する１つまたは複数の時系列データ（たとえば、ＴＳＤ１、ＴＳＤ２、ＴＳＤ３など）を備える。同様に、別の独特の時系列データ（たとえば、ＵＴＳＤ２）は、たとえば別の実体Ｅ２のパラメータ（たとえばＰ１、Ｐ２、Ｐ３など）に対応する１つまたは複数の時系列データ（たとえば、ＴＳＤ１１、ＴＳＤ１２、ＴＳＤ１３など）を備える。本開示の一実施形態では、ステップ２０４で、１つまたは複数のハードウェアプロセッサ１０４は、深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、独特の時系列から１つまたは複数の特徴を自動的に抽出して、複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得る。

である多変量時系列ｘ＝ｘ₁ｘ₂…ｘ_Tについては、システム１００は、ｎの未加工入力パラメータ（たとえば、グルコース濃度、心拍数などの生理学的パラメータ）ごとに時系列を独立に考慮して、単変量時系列ｘ_j＝ｘ_j1ｘ_j2…ｘ_jT、ｊ＝１，…，ｎを得る。システムは、ｘ_jに関するベクトル表現

をさらに得て、式中

であり、（後の節で説明するように）ｃ＝１８０を用いてｆ_EとしてＴｉｍｅＮｅｔを使用する。一般に、時系列長Ｔもまた、たとえば、入院の長さに基づきｉに依存する。システム１００は、事前／事後に０を適切に埋め込むことにより、等しい長さＴを有するように各時系列をさらに変換する。換言すれば、独特の特徴セットは、固定次元特徴ベクトルを備える。

本開示の一実施形態では、ステップ２０６で、１つまたは複数のハードウェアプロセッサ１０４は、複数のパラメータの各々に関係する独特の特徴セットからの特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得る。換言すれば、システム１００は、各未加工入力パラメータｊに関するＴｉｍｅＮｅｔ−特徴z_jTを連結して、固定次元の、連結された特徴ベクトルでもある時系列ｘに関する最終特徴ベクトル

を獲得し、図３Ｂに示すように、

、ｍ＝ｎ×ｃである。より詳細には、図１〜図３Ａを参照すると、図３Ｂは、本開示の例示的一実施形態による図１のシステム１００により実装されるような、ＴｉｍｅＮｅｔに基づく特徴抽出を示す。

本開示の一実施形態では、ステップ２０８で、１つまたは複数のハードウェアプロセッサ１０４は、連結された特徴セットに基づき、非一時的線形分類モデルを学習し、非一時的線形分類モデルの学習中、連結された特徴セットからの各特徴に重みを割り当てる。換言すれば、最終的な連結された特徴ベクトルz_Tは、分類作業（たとえば、生理学的パラメータの場合、表現型検査および死亡率予測など）に関する入力として使用される。上記で論じたように、ｃ＝１８０は大きいので、z_Tは、多数の特徴ｍ≧１８０を有する。入力ＴｉｍｅＮｅｔ特徴z_Tから目標ラベルｙへのマッピングは、推定値が

になるように考慮され、式中、

である。システム１００は、重みｗを用いて非一時的線形分類モデルを制約して、これらの多数の特徴のうち少しだけを使用する。一実施形態では、重みは、以下の例によって表現されるＬＡＳＳＯ−正規化損失関数（「最小絶対収縮および選択操作−正規化損失関数」とも呼ばれる）を使用して得られる。

式中ｙ⁽ⁱ⁾＝∈｛０，１｝であり、

は、Ｌ₁−ノルムであり、ｗ_jkは、ｊ番目の未加工入力パラメータに関するｋ番目のＴｉｍｅＮｅｔ特徴に割り当てられた重みを表し、αは、疎の程度を制御し、より高いαは、より疎であることを意味し、すなわち、最終分類器のために、より少ないＴｉｍｅＮｅｔ特徴が選択される。

本開示の一実施形態では、ステップ２１０で、１つまたは複数のハードウェアプロセッサ１０４は、連結された特徴セットからの各特徴の重みに基づき、複数のパラメータごとに妥当性スコアを生成して、学習した非一時的線形分類モデルを検証する。本開示の一実施形態では、学習した非一時的線形分類モデルの検証は、（ｉ）入力された時系列を検証するステップ、（ｉｉ）特徴抽出、およびその関連出力を検証するステップ、（ｉｉｉ）連結する処理、およびその生成された出力を検証し、それにより、学習した非一時的線形分類モデル自体を検証するステップを含む。

上記の妥当性スコア生成について、以下で例によって記述する。

所与の表現型に関するｎの未加工入力パラメータの妥当性を決定することは、得られる分類モデルへの洞察を得るのに、場合によっては有用である。疎重みｗは、解釈が容易であり、分類作業のための妥当なパラメータへの興味深い洞察をもたらす。本開示では、システム１００は、図３Ｃに示すように、対応するＴｉｍｅＮｅｔ特徴z_jTに割り当てられた重みｗ_jkの絶対値の合計として、ｊ番目の未加工入力パラメータに関する妥当性スコア、たとえばｒ_jを生成する。より詳細には、図１〜図３Ｂを参照すると、図３Ｃは、本開示の例示的実施形態による図１のシステム１００を使用して未加工入力パラメータに関する妥当性スコアを生成することを示す。ここで、Ｔは、時系列長であり、ｎは、未加工入力パラメータの数である。妥当性スコアは、以下の例示的表現によって生成される。

さらに、ｒ_jは、

となるように、ｍｉｎ−ｍａｘ正規化を使用して正規化され、ｒ_minは、｛ｒ₁、…，ｒ_n｝の最小値であり、かつｒ_maxは、｛ｒ₁、…，ｒ_n｝の最大値である。実際には、未加工入力パラメータに関してこの種の妥当性スコアを生成することは、上述のように、学習した非一時的線形分類モデルを解釈し、検証するのに役立つ。たとえば、糖尿病表現型を検出するためのモデルを学習するとき、高い妥当性スコアを有するグルコース濃度特徴が期待される。

（検証後に）総合的に解釈可能な、学習された分類モデルを得ると、システム１００は、試験入力データに対してこの解釈可能な分類モデルをさらに実装し、実体の複数のパラメータに対応する入力時系列を受信し、入力時系列から１つまたは複数の特徴を自動的に抽出する。次いで、システム１００は、抽出した１つまたは複数の特徴に基づき、検証され学習された分類モデルを入力時系列に適用して、実体の複数のパラメータに対応する入力時系列に関するクラスを得る。本開示の一実施形態では、トレーニング段階中（または分類モデルの学習中）も試験段階中も、システム１００が受信する入力時系列は、固定長データであっても、可変長データであってもよい。
実験的評価：

本開示では、４０，０００人の救命治療患者にわたり６０，０００を超えるＩＣＵ滞在から構成されるＭＩＭＩＣ−ＩＩＩ（ｖ１．４）臨床データベースを使用した（たとえば、「Ａｌｉｓｔａｉｒ ＥＷ Ｊｏｈｎｓｏｎ，Ｔｏｍ Ｊ Ｐｏｌｌａｒｄ、Ｌｕ Ｓｈｅｎ、Ｈ Ｌｅｈｍａｎ Ｌｉ−ｗｅｉ、Ｍｅｎｇｌｉｎｇ Ｆｅｎｇ，Ｍｏｈａｍｍａｄ Ｇｈａｓｓｅｍｉ、Ｂｅｎｊａｍｉｎ Ｍｏｏｄｙ、Ｐｅｔｅｒ Ｓｚｏｌｏｖｉｔｓ、Ｌｅｏ Ａｎｔｈｏｎｙ Ｃｅｌｉ、およびＲｏｇｅｒ Ｇ Ｍａｒｋ、Ｍｉｍｉｃ−ｉｉｉ、ａ ｆｒｅｅｌｙ ａｃｃｅｓｓｉｂｌｅ ｃｒｉｔｉｃａｌ ｃａｒｅ ｄａｔａｂａｓｅ（Ｍｉｍｉｃ−ｉｉｉ、自由にアクセス可能な救命治療データベース）、Ｓｃｉｅｎｔｉｆｉｃ ｄａｔａ、３：１６００３５、２０１６年」を参照のこと）。１時間間隔でサンプリングされた、１２の実数値および５つのカテゴリ時系列を伴う１７の生理学的時系列に基づき、一定数の分割、列、検証、および試験データセット（たとえば、「ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｙｅｒｅｖａｎｎ／ｍｉｍｉＣ３−ｂｅｎｃｈｍａｒｋｓ」を参照のこと）を用いて実験的セットアップを実装した。最終多変量時系列が、ｎ＝７６の未加工入力パラメータ（５９の実パラメータ、および欠測値を示す１７のマスキングパラメータ）を有するように、カテゴリ変数を（ｏｎｅ−ｈｏｔ）ベクトルに変換した。

表現型検査作業については、成人のＩＣＵで一般的な２５の表現型を分類することが目的であった。院内死亡率の作業については、患者が生き残るか、最大４８時間まで時系列観察をもたらさないかどうかを予測することが目的であった。本開示のシステムおよび方法により遂行したすべての実験では、時系列データのトレーニングは、ＩＣＵ滞在の最大で最初の４８時間までに制限され、その結果、表現型検査作業用分類器をトレーニングするために時系列全体を使用する従来の研究（または技法）（たとえば、従来の方法１−「Ｈａｒｕｔｙｕｎｙａｎ ｅｔ ａｌ．、２０１７年−Ｈｒａｙｒ Ｈａｒｕｔｙｕｎｙａｎ、Ｈｒａｎｔ Ｋｈａｃｈａｔｒｉａｎ、Ｄａｖｉｄ Ｃ Ｋａｌｅ、およびＡｒａｍ Ｇａｌｓｔｙａｎ、Ｍｕｌｔｉｔａｓｋ ｌｅａｒｎｉｎｇ ａｎｄ ｂｅｎｃｈｍａｒｋｉｎｇ ｗｉｔｈ ｃｌｉｎｉｃａｌ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ（時系列データを用いたマルチタスク学習およびベンチマーキング）．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０３．０７７７１、２０１７年」、および従来の方法２−「Ｓｏｎｇ ｅｔ ａｌ．、２０１７年−Ｈｕａｎ Ｓｏｎｇ Ｄｅｅｐｔａ Ｒａｊａｎ、Ｊａｙａｒａｍａｎ Ｊ Ｔｈｉａｇａｒａｊａｎ、およびＡｎｄｒｅｓａ Ｓｐａｎｉａｓ、Ａｔｔｅｎｄ ａｎｄ ｄｉａｇｎｏｓｅ：Ｃｌｉｎｉｃａｌ ｔｉｍｅ ｓｅｒｉｅｓ ａｎａｌｙｓｉｓ ｕｓｉｎｇ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌｓ（注意および診断：注意モデルを使用する臨床時系列分析）． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７１１．０３９０５、２０１７年」を参照のこと）と異なり、Ｔ＝４８時間であるが、すべてのモデルをトレーニングして、早期予測が重要な実際の発症を模倣する。
評価：

本開示は、ｎ＝７６の未加工入力パラメータを有し、その結果、入院ごとに、ｍ＝１３，６８０次元（ｍ＝７６×１８０）のＴｉｍｅＮｅｔ特徴ベクトルがもたらされた。本開示のシステムおよび方法は、表現型分類に関してはα＝０．０００１、院内死亡率に関してはα＝０．０００３を使用した（ホールドアウト検証セットに基づきαを選んだ）。以下の表１は、結果を要約し、既存の／伝統的なベンチマークとの比較を提供する。表２は、表現型に関する結果を詳細に記述している。

上記の表１では、ＬＲは、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）を指し、ＬＳＴＭ−マルチは、ＬＳＴＭに基づくマルチタスクモデルを指し、ＳＡｎＤ（Ｓｉｍｐｌｙ Ａｔｔｅｎｄ ａｎｄ Ｄｉａｇｎｏｓｅ）は、完全に注意に基づくモデルを指し、ＳＡｎＤ−マルチは、ＳＡｎＤに基づくマルチタスクモデルを指す（注：^*表現型検査については、本開示、ならびにそれに関連するシステムおよび方法は、実際の発症に、より適用可能であるので、ＴｉｍｅＮｅｔ−全−Ｅｐｓについて既存の／従来の、または伝統的なベンチマークとＴｉｍｅＮｅｔ−４８−Ｅｐｓを比較する。^**ＴｉｍｅＮｅｔ−４８の変形形態だけが、院内死亡率の作業のために適用可能である）。

上記の表（表１および表２）で理解することができるように、本開示では、表現型検査の作業のために、分類モデルの２つの変形形態について、すなわち、ｉ）現在の発症からのデータを使用するＴｉｍｅＮｅｔ−ｘ、ｉｉ）これまでの発症で表現型の存在または欠如に関係がある追加の入力特徴を介して、（利用できるときはいつでも）患者のこれまでの発症からのデータを同様に使用するＴｉｍｅＮｅｔ−ｘ−Ｅｐｓについて考慮した。ＩＣＵ入院後の、最大で最初の４８時間までのデータを使用して、各分類器をトレーニングした。しかしながら、試験時に目標のクラスを推定するために使用した何時間ものデータｘに応じて、２つの分類器変形形態について考慮した。ｘ＝４８については、表現型を決定するために、入院後、最大で最初の４８時間までのデータを使用した。ｘ＝全については、患者のＩＣＵ滞在期間全体にわたり（２４時間の移動で重なる）すべての４８時間窓に、学習した分類器を適用し、窓全体にわたる平均表現型確率を目標クラスの最終推定値として使用した。ＴｉｍｅＮｅｔ−ｘ−Ｅｐｓでは、追加の特徴は、これまでの発症中に表現型が存在する（１）、または欠如する（０）に関係づけられる。この特徴に関するグランドトルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）値を、トレーニング時間中に使用し、（ＬＡＳＳＯに基づく分類器（「最小絶対収縮および選択操作−正規化損失関数」とも呼ばれる）を介して与えられるような）これまでの発症中の表現型の存在確率を、試験時に使用した。

表３は、以下のように、ユーザに関係する入力パラメータ（この場合、生理学的パラメータ）のリストを示す。

１つまたは複数の所見：
１つまたは複数の分類作業：

表現型検査作業について、表１から以下の所見が得られた。

ＴｉｍｅＮｅｔ−４８対ＬＲ：ＴｉｍｅＮｅｔに基づく特徴は、発症データ全体を使用するＬＲ（ロジスティック回帰）の取り組み方法と異なり、最初の４８時間のデータだけを使用しているが、ＬＲで使用するような手作りの特徴よりも著しく良好に作動する。これは、ＭＩＭＩＣ−ＩＩＩデータに関するＴｉｍｅＮｅｔ特徴の有効性を証明している。さらに、ＴｉｍｅＮｅｔ特徴は、いくつかの隠れユニット、層、学習速度などを調整するステップを伴う、ＬＳＴＭのような他の取り組み手法（たとえば、従来の方法１を参照のこと）と異なり、ＬＡＳＳＯに関する単一のハイパーパラメータを調節するステップを必要とするだけである。

ＴｉｍｅＮｅｔ−ｘ対ＴｉｍｅＮｅｔ−ｘ−Ｅｐｓ：患者に関するこれまでの発症の時系列データを活用することにより、分類性能が著しく改善される。

ＴｉｍｅＮｅｔ−４８−Ｅｐｓは、既存の／従来の（または伝統的な）ベンチマークよりも良好に作動し、その一方で、現在の発症全体ではなくむしろ患者の現在の発症の最大４８時間までだけに目を向けるので、依然として事実上、より実現可能である。院内死亡率の作業については、上記の表２に示すように、既存のベンチマークと比較したとき、同等の性能が観察された。

線形モデルのトレーニングは、著しく高速であり、２．７ＧＨｚのクアッドＣｏｒｅ ｉ７プロセッサを伴う３２ＧＢ ＲＡＭの機械で、α∈［１０^-5〜１０^-3］の間で調整しながら、２値分類器のいずれかを得るためにほぼ３０分かかった。ＬＡＳＳＯは、表現型分類ごとに（１３，６８０の特徴の中から）ほぼ５５０の有用な特徴につながる分類器すべてに関して、９１．２±０．８％の疎（すなわち、重みのパーセンテージｗ_jk≒０）につながることが観察された。
未加工入力パラメータに関する妥当性スコア：

さまざまなＴｉｍｅＮｅｔ特徴に割り当てられた重みを使用して、未加工入力パラメータの妥当性に関する直感的解釈が観察された（式（２）を参照のこと）。たとえば、図４Ａおよび図４Ｂに示すように、合併症を伴う糖尿病（図４Ａ）および本態性高血圧症（図４Ｂ）それぞれに関するグルコース濃度（パラメータ１）および収縮期血圧（パラメータ２０）に関して、最高の妥当性スコアが得られた。より具体的には、図１〜図３Ｃを参照すると、図４Ａは、本開示の一実施形態による、合併症を伴う表現型糖尿病に関してグルコース濃度（パラメータ１）で得られた最高の妥当性スコアを示すグラフ表示である。図１〜図４Ａを参照すると、図４Ｂは、本開示の一実施形態による、表現型本態性高血圧症に関して収縮期血圧（パラメータ２０）で得られた最高の妥当性スコアを示すグラフ表示である。上記の実験結果から理解することができるように、ＴｉｍｅＮｅｔ符号器は、ＵＣＲ時系列アーカイブから取得したさまざまなドメインからの時系列に対して事前にトレーニングされていたので、未加工入力パラメータの時系列から意味のある汎用特徴を提供し、ＬＡＳＳＯは、ラベル付きデータを使用することにより、最後の作業のために最も妥当なスコアを選択するのに役立つ。さらに、多変量時系列を考慮するのではなくむしろ、未加工入力パラメータそれぞれの時系列に関する深層再帰型ニューラル・ネットワーク・モデルを使用して特徴を抽出することにより、最終的に入力ドメイン内の未加工入力パラメータに妥当性スコアを容易に割り当てることができるようになり、ドメインエキスパートによる高水準の基本モデル検証が可能になる。伝統的なシステムの従来技術では、分類判断および分類モデルが、本開示の実施形態および提案するシステムおよび方法によりどれが克服されるかを解釈できず、検証することが困難であることを、再帰型ニューラルネットワークでの非線形変換が意味することに留意されたい。本開示は、１人または複数のユーザの電子健康記録に関係する例示的発症について記述しているが、そのような例が、本開示の範囲を分類作業に限定していると解釈してはならないことを当業者は理解されたい。

記載した説明は、任意の当業者が実施形態を作成し、使用することができるようにする、本明細書の主題について説明している。主題の実施形態の範囲は、特許請求の範囲により規定され、当業者が思いつく他の修正形態を含んでもよい。そのような他の修正形態は、特許請求の範囲の文言と異ならない類似の要素を有する場合、または特許請求の範囲の文言とわずかな差を有する均等の要素を含む場合、特許請求の範囲に入ることが意図される。

保護の範囲は、そのようなプログラムに、さらには中にメッセージを有するコンピュータ可読手段に拡張され、そのようなコンピュータ可読記憶手段は、プログラムがサーバもしくは移動体機器、または任意の適切なプログラム可能機器上で走るとき、方法の１つまたは複数のステップを実装するためのプログラムコード手段を含有することを理解されたい。ハードウェア機器は、たとえば、サーバもしくはパーソナルコンピュータなど、またはそれらの任意の組合せのような任意の種類のコンピュータを含む、プログラムすることができる任意の種類の機器とすることができる。機器はまた、たとえば、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）などのようなハードウェア手段、またはたとえば、ＡＳＩＣおよびＦＰＧＡ、もしくは少なくとも１つのマイクロプロセッサおよび中にソフトウェアモジュールが配置された少なくとも１つのメモリなどのハードウェアとソフトウェアの組合せとすることができる手段を含んでもよい。したがって、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明する方法の実施形態を、ハードウェアおよびソフトウェアの形で実装することができる。機器はまた、ソフトウェア手段を含んでもよい。あるいは、たとえば複数のＣＰＵを使用して、異なるハードウェア機器上に実施形態を実装してもよい。

本明細書の実施形態は、ハードウェア要素およびソフトウェア要素を備えることができる。ソフトウェアの形で実装された実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、それらに限定されない。本明細書で説明するさまざまなモジュールが遂行する機能を、他のモジュールで、または他のモジュールを組み合わせて実装してもよい。本明細書が意図するところでは、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、もしくは機器により、またはそれらと共に使用するためのプログラムを備える、記憶する、伝達する、伝播する、または移送することができる任意の装置とすることができる。

例示するステップは、示されている代表的実施形態を説明するために提示され、進展している技術開発により、特定の機能を遂行する手法が変わることを認識されたい。これらの例は、例示のために本明細書に提示され、限定するために提示されているわけではない。さらに、説明の便宜上、機能構成要素の境界について、本明細書で任意に規定してきた。指定された機能およびそれらの関係が適切に遂行される限り、代わりの境界を規定することができる。代替形態（本明細書で説明する実施形態の均等形態、拡張形態、変形形態、偏向形態などを含む）は、本明細書に包含される教示に基づき、１つまたは複数の関連技術分野の当業者に明らかであろう。そのような代替形態は、開示する実施形態の範囲および精神に入る。また、用語「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含有する）」、および「ｉｎｃｌｕｄｉｎｇ（含む）」、ならびに他の類似の形態は、意味が同等であることが意図され、これらの用語の任意の１つに続く１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的な列挙であることを意味することも、列挙した１つまたは複数の項目だけに限定されることを意味することもないという点で、オープンエンド形式であることが意図される。また、本明細書および添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、前後関係が他の方法で明確に規定しない限り、複数の参照を含むことを留意しなければならない。

さらに、本開示と矛盾しない実施形態を実装する際、１つまたは複数のコンピュータ可読記憶媒体を利用してもよい。コンピュータ可読記憶媒体は、プロセッサにより可読の情報またはデータを記憶してもよい、任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書で説明する実施形態と矛盾しないステップまたはステージを１つまたは複数のプロセッサに遂行させるための命令を含む、１つまたは複数のプロセッサにより実行するための命令を記憶してもよい。用語「コンピュータ可読媒体」は、有形の項目を含み、かつ搬送波および過渡信号を除外する、すなわち、非一時的であることを理解されたい。例には、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュディスク、ディスク、および任意の他の公知の物理的記憶媒体が含まれる。

本開示および例はただ単に代表的であると考えられ、かつ開示する実施形態の真の範囲および精神は、以下の特許請求の範囲により示されることが意図される。

Claims (12)

1. プロセッサ実装方法であって、
   １つまたは複数のハードウェアプロセッサを介して、１つまたは複数の実体の複数のパラメータに対応する独特の時系列データを得るステップ（２０２）と、
   前記１つまたは複数のハードウェアプロセッサにより実行される深層再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）の中に一体化された管理されていない符号器を使用して、前記独特の時系列データから１つまたは複数の特徴を自動的に抽出して、前記複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得るステップ（２０４）と、
   前記複数のパラメータの各々に関係する前記独特の特徴セットからの前記抽出した１つまたは複数の特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得るステップ（２０６）と、
   前記連結された特徴セットに基づき、非一時的線形分類モデルを学習するステップであって、前記非一時的線形分類モデルの前記学習中、前記連結された特徴セットからの各特徴に重みを割り当てるステップ（２０８）と、
   前記連結された特徴セットからの各特徴の前記重みに基づき、前記複数のパラメータごとに妥当性スコアを生成して、前記学習された非一時的線形分類モデルを検証するステップ（２１０）と
   を備えるプロセッサ実装方法。
2. 前記実体の前記複数のパラメータに対応する入力時系列を受信するステップ（２１２）と、
   前記入力時系列から１つまたは複数の特徴を自動的に抽出するステップ（２１４）と、
   前記抽出した１つまたは複数の特徴に基づき、前記検証され学習された分類モデルを前記入力時系列に適用して、前記実体の前記複数のパラメータに対応する前記入力時系列に関するクラスを得るステップ（２１６）と
   をさらに備える、請求項１に記載のプロセッサ実装方法。
3. 前記入力時系列および前記独特の時系列データは、固定長データまたは可変長データである、請求項２に記載のプロセッサ実装方法。
4. 前記重みは、ＬＡＳＳＯ（Ｌｅａｓｔ Ａｂｓｏｌｕｔｅ Ｓｈｒｉｎｋａｇｅ ａｎｄ Ｓｅｌｅｃｔｉｏｎ Ｏｐｅｒａｔｏｒ、最小絶対収縮および選択操作）−正規化損失関数を使用して得られる、請求項１に記載のプロセッサ実装方法。
5. システムであって、
   命令を記憶するメモリ（１０２）と、
   １つまたは複数の通信インタフェース（１０６）と、
   前記１つまたは複数の通信インタフェース（１０６）を介して前記メモリ（１０２）に結合された１つまたは複数のハードウェアプロセッサ（１０４）とを備え、前記１つまたは複数のハードウェアプロセッサ（１０４）は、前記命令により、
   １つまたは複数の実体の複数のパラメータに対応する独特の時系列データを得て、
   前記システム１００により実行される深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、前記独特の時系列データから１つまたは複数の特徴を自動的に抽出して、前記複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得て、
   前記複数のパラメータの各々に関係する前記独特の特徴セットからの前記抽出した１つまたは複数の特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得て、
   前記連結された特徴セットに基づき、非一時的線形分類モデルを学習し、前記非一時的線形分類モデルの前記学習中、前記連結された特徴セットからの各特徴に重みを割り当てて、
   前記連結された特徴セットからの各特徴の前記重みに基づき、前記複数のパラメータごとに妥当性スコアを生成して、前記学習された非一時的線形分類モデルを検証する
   ように構成されるシステム。
6. 前記１つまたは複数のハードウェアプロセッサは、
   前記実体の前記複数のパラメータに対応する入力時系列を受信し、
   前記入力時系列から１つまたは複数の特徴を自動的に抽出し、
   前記抽出した１つまたは複数の特徴に基づき、前記検証され学習された分類モデルを前記入力時系列に適用して、前記実体の前記複数のパラメータに対応する前記入力時系列に関するクラスを得る
   ようにさらに構成される、請求項５に記載のシステム。
7. 前記入力時系列および前記独特の時系列データは、固定長データまたは可変長データである、請求項５に記載のシステム。
8. 前記重みは、ＬＡＳＳＯ−正規化損失関数を使用して得られる、請求項５に記載のシステム。
9. １つまたは複数の命令を備える１つまたは複数の非一時的機械可読情報記憶媒体であって、前記命令は、１つまたは複数のハードウェアプロセッサにより実行されたとき、
   前記１つまたは複数のハードウェアプロセッサを介して、１つまたは複数の実体の複数のパラメータに対応する独特の時系列データを得て、
   前記１つまたは複数のハードウェアプロセッサにより実行される深層再帰型ニューラルネットワーク（ＲＮＮ）の中に一体化された管理されていない符号器を使用して、前記独特の時系列データから１つまたは複数の特徴を自動的に抽出して、前記複数のパラメータごとに、固定次元特徴ベクトルを備える独特の特徴セットを得て、
   前記複数のパラメータの各々に関係する前記独特の特徴セットからの前記抽出した１つまたは複数の特徴を連結して、固定次元の、連結された特徴ベクトルを備える、連結された特徴セットを得て、
   前記連結された特徴セットに基づき、非一時的線形分類モデルを学習して、前記非一時的線形分類モデルの前記学習中、前記連結された特徴セットからの各特徴に重みを割り当てて、
   前記連結された特徴セットからの各特徴の前記重みに基づき、前記複数のパラメータごとに妥当性スコアを生成して、前記学習された非一時的線形分類モデルを検証する
   ことにより、パラメータの多次元時系列を分類するステップを引き起こす１つまたは複数の非一時的機械可読情報記憶媒体。
10. 前記命令は、前記１つまたは複数のハードウェアプロセッサにより実行されたとき、
    前記実体の前記複数のパラメータに対応する入力時系列を受信するステップと、
    前記入力時系列から１つまたは複数の特徴を自動的に抽出するステップと、
    前記抽出した１つまたは複数の特徴に基づき、前記検証され学習された分類モデルを前記入力時系列に適用して、前記実体の前記複数のパラメータに対応する前記入力時系列に関するクラスを得るステップと
    をさらに引き起こす、請求項９に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
11. 前記入力時系列および前記独特の時系列データは、固定長データまたは可変長データである、請求項１０に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
12. 前記重みは、ＬＡＳＳＯ−正規化損失関数を使用して得られる、請求項９に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
    
    

Images