JP7641925B2

JP7641925B2 - 情報処理システム及び情報処理方法

Info

Publication number: JP7641925B2
Application number: JP2022027826A
Authority: JP
Inventors: 子盛黎; 昌宏荻野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2022-02-25
Filing date: 2022-02-25
Publication date: 2025-03-07
Anticipated expiration: 2042-02-25
Also published as: JP2023124200A; US20230273984A1; US12380191B2

Description

本発明は、情報処理システムに関し、特に、ユーザを測定した生体データの欠損を補間して、適切な介入施策を提案する技術に関する。

ユーザを測定した生体データの欠損を補間する場合、欠損値前後の測定データを用いるフィルタリングや機械学習モデルが用いられる。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１５－２００９６８号公報）には、歩行情報データベースと位置情報データベースとを検索して、歩行情報と位置情報との両方が存在する時刻を検索し、移動情報およびその時刻を基に移動速度、移動距離、移動時間を算出し、算出した移動速度が略一定である期間について、移動速度、移動距離、および歩数から、歩行速度、歩幅および歩行率を算出し、算出した歩行速度、歩幅、および歩行率の関係式を算出する処理部と、を備え、処理部は、利用者が歩行により移動し、かつ、歩行情報がないと判定した期間について、利用者の位置情報に基づいて移動速度と移動時間とを算出し、算出した移動速度を、歩行速度と歩行率との関係式に代入して歩行率を算出し、算出した歩行率と移動時間とを乗じて歩数を算出する歩行情報管理システムが記載されている。

特開２０１５－２００９６８号公報

前述した先行技術では、測定データの補間には、介入施策や他の影響因子による変化が考慮されていないため、補間後のデータを用いた因果推論の精度が低下する場合がある。

本発明は、補間後のデータを用いた因果推論の精度の低下を抑制できる測定データの補間方法を提案する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、情報処理システムであって、プログラムを実行する演算装置と、前記プログラムを記憶する記憶デバイスとを有し、前記記憶デバイスは、センサデバイスによって計測されたユーザの生体情報であるセンサデータと、前記センサデータに付随して収集されるデータとを含むユーザデータを記憶し、前記演算装置は、前記センサデータを取得し、前記取得したセンサデータにランダムのマスクをかけて部分的に欠損した学習用のマスクデータを生成し、前記ユーザデータの項目間の相関関係を用いて、前記取得したセンサデータ及び前記生成したマスクデータを補間することを特徴とする。

本発明の一態様によれば、欠損データを正確に予測できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例の計算機システムの物理的な構成を示すブロック図である。本発明の実施例の計算機システムの論理的な構成を示すブロック図である。本発明の実施例のユーザデータの構成例を示す図である。実施例１の学習部の構成を示す図である。実施例１のデータ補間部の学習時の構成を示す図である。本発明の実施例のグラフの構成例を示す図である。グラフを構成するノードとノード特徴量の例を示す図である。グラフを構成するエッジとエッジ特徴量の例を示す図である。実施例１の予測部の構成を示す図である。実施例１のデータ補間部の予測推論時の構成を示す図である。情報端末に表示される入力画面の例を示す図である。情報端末に表示される出力画面の例を示す図である。情報端末に表示される介入施策決定結果画面の例を示す図である。実施例２の学習部の構成を示す図である。実施例２のデータ補間部の学習時の構成を示す図である。実施例２の予測部の構成を示す図である。実施例２のデータ補間部の予測推論時の構成を示す図である。

＜実施例１＞
図１は、本実施例の計算機システム１００の物理的な構成を示すブロック図である。

本発明の情報処理システムの一実施例である本実施例の計算機システム１００は、プロセッサ（ＣＰＵ）１０１、主記憶装置１０２、補助記憶装置１０３、ネットワークアダプタ１０４、入力装置１０５及び出力装置１０６を有する計算機で構成される。

プロセッサ１０１は、主記憶装置１０２に格納されたプログラム（例えば、学習部２００や予測部２０１を実現するプログラム）を実行する。主記憶装置１０２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータ（例えば、学習済モデル、特徴量）を一時的に格納する。

補助記憶装置１０３は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０３から読み出されて、主記憶装置１０２にロードされて、プロセッサ１０１によって実行される。

ネットワークアダプタ１０４は、所定のプロトコルに従って、ネットワーク１０９を介して他の装置（情報端末１１０、外部記憶装置１１１など）との通信を制御する通信インターフェース装置である。

入力装置１０５は、キーボード、マウス、タッチパネルなどの、ユーザからのデータ入力（例えば、メタ情報）を受けるインターフェース装置である。出力装置１０６は、ディスプレイ装置やプリンタなどの、プログラムの実行結果（例えば、センサデータ補間結果、介入効果予測）をオペレータが視認可能な形式で出力するインターフェース装置である。なお、計算機システム１００にネットワーク１０９を介して接続されたユーザ端末（例えば、情報端末１１０）が入力装置１０５及び出力装置１０６を提供してもよい。この場合、計算機システム１００がウェブサーバの機能を有し、ユーザ端末が計算機システム１００に所定のプロトコル（例えばｈｔｔｐ）でアクセスしてもよい。

プロセッサ１０１が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介して計算機システム１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０３に格納される。このため、計算機システム１００は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

計算機システム１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。計算機システム１００の各機能部は異なる計算機上で実現されてもよい。

情報端末１１０は、ネットワーク１０９を介して計算機システム１００に接続される計算機であり、ユーザからのデータ入力（例えば、メタ情報）を受け、プログラムの実行結果（例えば、センサデータ補間結果、介入効果予測）を表示する。情報端末１１０は、ユーザが装着するセンサデバイスと通信し、当該センサデバイスが計測したセンサデータを収集する。センサデバイスは、心拍センサ、皮膚電気活動センサ、皮膚温度センサなどを実装したスマートウォッチ、活動量計などのウェアラブルデバイスであり、ユーザの生体情報を計測する。また、センサデバイスは、加速度センサ、測位ユニットを実装しており、ユーザの動作を計測する。

外部記憶装置１１１は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置で構成され、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。

図２は、本実施例の計算機システム１００の論理的な構成を示すブロック図である。

本実施例の計算機システム１００は、学習部２００及び予測部２０１を有する。学習部２００は、学習用データベース２１０に格納された学習データを使用して、学習済みモデルを生成し、生成したモデルをモデルデータベース２１１に格納する。予測部２０１は、モデルデータベース２１１に格納された学習済みモデルを用いて、ユーザデータ２２０を補間してデータ補間結果２３１を生成し、ユーザデータ２２０から予測介入結果２２１を導出する。

図３は、本実施例のユーザデータ２２０の構成例を示す図である。

ユーザデータ２２０は、ユーザを一意に識別する識別情報（ＩＤ）、ユーザの性別、ユーザの年齢、ユーザの行動、ユーザの感情、ユーザから取得したセンサデータ、介入日時、介入内容、及び介入効果のデータが関連付けられて格納される。このうち、ユーザの行動、及びユーザの感情が、テキストデータで表されるメタデータである。

センサデータは、ユーザが装着したセンサデバイスが計測したデータで、心拍、皮膚電気活動、皮膚温度、加速度、活動量（歩数、ＭＥＴＳなど）、位置情報などの数値が含まれる。

感情は、ユーザが介入日時において感じている事項であり、快、不快、リラックス、緊張、活動的、静止的など予め定められたカテゴリーに分類されたデータである。感情は、ユーザが情報端末１１０から入力する、又は、情報端末１１０がセンサデータから推定した感情データでもよい。例えば、センサデバイスが計測した皮膚電気活動データからストレス度を計算でき、緊張度を推定できる。

行動は、ユーザが介入日時において行っている動作であり、食事、運動、睡眠、対人交流など予め定められたカテゴリーに分類されたデータである。行動は、ユーザが情報端末１１０から入力する、又は、情報端末１１０がセンサデータから推定した行動データを収集したものでもよい。例えば、センサデバイスが計測した加速度データから、歩行中、軽作業中、睡眠中などの行動を推定できる。

図４は、実施例１の学習部２００の構成を示す図である。

学習部２００は、データ補間部２００１、交絡因子調整部２００５、介入効果予測器２００８、学習誤差演算部２０１０、及びパラメータ更新部２０１１を有し、センサデータを用いてモデルを学習する。

データ補間部２００１は、入力された欠損を含むユーザデータ２２０の欠損部分を推論し補間するためのデータ補間モデルを、データ補間損失量２００２が最小になるように生成し、生成したデータ補間モデルを用いて補間後データ特徴量２００４を生成し、生成した補間後データ特徴量２００４に基づいて補間後データ２００３を生成する。データ補間部２００１の処理は図５で後述する。データ補間損失量は、補間後（予測）データと欠損がない（実際）センサデータの間の誤差を表す損失関数の値であり、損失関数として、例えば、mean squared errorや、mean absolute errorや、cross entropy errorを使用できる。

交絡因子調整部２００５は、データ項目間の交絡因子に基づいて補間後データ特徴量２００４から調整後データ特徴量２００７を生成するための交絡因子調整モデルを、交絡因子調整損失量２００６が最小になるように生成し、生成した交絡因子調整モデルを用いて補間後データ特徴量２００４から調整後データ特徴量２００７を生成する。介入と集団の分布に偏りが存在する場合でも、交絡因子調整部２００５によって、全ての介入を均等に選択できるように集団の分布の差異を小さくして、分布のバランスが取れた特徴量を生成できるようになる。

介入効果予測器２００８は、調整後データ特徴量２００７から介入効果を予測し、その予測誤差を表す損失関数の値である予測損失量２００９を生成する。ユーザデータ２２０（予測効果の正解データ）は正解データとして用いて予測誤差を計算し、予測損失量が最小になるように介入効果予測モデルを生成する。ユーザデータ２２０から予測損失量２００９を生成する。

学習誤差演算部２０１０は、データ補間損失量２００２、交絡因子調整損失量２００６及び予測損失量２００９から学習部２００全体の学習誤差を計算する。学習誤差は、例えば、データ補間損失量２００２、交絡因子調整損失量２００６及び予測損失量２００９を重み付け加算し、その加重平均の値によって計算できる。

パラメータ更新部２０１１は、計算された学習誤差が最小となるように更新後パラメータ２０１２を生成する。生成された更新後パラメータ２０１２で推論モデル（データ補間モデル、交絡因子調整モデル、介入効果予測モデル）を更新することで、損失量が少ない、すなわち、正解データに近い推論が可能なモデルを生成できる。

図５は、実施例１のデータ補間部２００１の学習時の構成を示す図である。

データ補間部２００１は、特徴量抽出部２０２０、グラフ生成部２０２４、グラフ特徴量抽出部２０２９、特徴量融合部２０３１、及び欠損データ予測部２０３３を有する。

特徴量抽出部２０２０は、センサデータ２０２１からセンサデータ特徴量２０２３を生成し、センサデータ２０２１の一部を欠損させたマスクデータ２０２２からセンサデータ特徴量２０２３を生成する。すなわち、センサデータ特徴量２０２３は、センサデータ２０２１の特徴量と、マスクデータ２０２２の特徴量とを含む。マスクデータ２０２２は、センサデータ２０２１にランダムのマスクをかけて、部分的に欠損した学習用のデータである。センサデータ２０２１は、マスクによって欠損したデータの正解データとして学習に用いられる。

グラフ生成部２０２４は、センサデータ２０２１と、マスクデータ２０２２と、行動・感情データ２０２５と、ユーザ属性データ２０２６と、介入方法・介入効果の履歴データ２０２７とから、グラフ２０２８を生成する。生成されるグラフ２０２８は、図６に示すように、グラフ生成部２０２４に入力されるデータ項目に対応するノードと、ノード同士を連結するエッジにより構成される。各ノード及び各エッジの特徴量が計算されている。ノード特徴量はデータ項目（例えば、図７Ａに示す感情、行動、加速度データ、心拍データ、介入方法・介入効果、ユーザ属性など）の特性を表し、エッジ特徴量はデータ項目間の相関関係を表す。

図５に戻って説明を続ける。グラフ特徴量抽出部２０２９は、生成されたグラフ２０２８からグラフ特徴量２０３０を抽出する。グラフ特徴量２０３０は、ノード自体の性質を表すノード特徴量と、エッジによるノード同士の隣接関係を示すエッジ特徴量を含む。

図７Ａはグラフ２０２８を構成するノードとノード特徴量の例を示す図であり、図７Ｂはグラフ２０２８を構成するエッジとエッジ特徴量の例を示す図である。ノードは項目毎に定められた、感情、行動、加速度データ、心拍データ、介入方法・介入効果、ユーザ属性などの項目であり、ノード特徴量はノードに対応する項目毎のデータの特徴量である。また、エッジは二つのノードに対応する項目のデータの関係であり、例えば、感情と心拍データの関係、行動と心拍データの関係、感情と加速度データの関係、行動と加速度データの関係、行動と介入方法・介入効果の関係、介入方法・介入効果と心拍データの関係などである。エッジ特徴量はノード間の相関関係を示す特徴量で表される。

図５に戻って説明を続ける。特徴量融合部２０３１は、生成されたセンサデータ特徴量２０２３と抽出されたグラフ特徴量２０３０とを融合して融合特徴量２０３２を計算する。計算された融合特徴量２０３２は、補間後データ特徴量２００４として出力される。

欠損データ予測部２０３３は、データ補間モデルを用いて、融合特徴量２０３２から補間後データ２００３を生成する。データ補間部２００１は、正解データとしてセンサデータ２０２１及びマスクデータ２０２２を、さらに補間後データ２００３を用いて、データ補間損失量２００２が最小になるように学習して、データ補間モデルのパラメータを生成（更新）する。

図８は、実施例１の予測部２０１の構成を示す図である。

予測部２０１は、データ補間部２００１、交絡因子調整部２００５、及び介入効果予測器２００８を有し、ユーザデータ２２０から介入効果を予測する。データ補間部２００１、交絡因子調整部２００５、及び介入効果予測器２００８は、学習部２００が有する構成と同じである。

データ補間部２００１は、学習済みデータ補間モデルを用いて、欠損を含むユーザデータ２２０の欠損部分を補間し、補間後データ２００３を生成し、生成した補間後データ２００３から補間後データ特徴量２００４を計算する。データ補間部２００１の処理は図９で後述する。

交絡因子調整部２００５は、学習済み交絡因子調整モデルを用いて補間後データ特徴量２００４から調整後データ特徴量２００７を生成する。

介入効果予測器２００８は、調整後データ特徴量２００７から予測介入結果２０４０を生成する。

図９は、実施例１のデータ補間部２００１の予測推論時の構成を示す図である。

特徴量抽出部２０２０は、センサデータ２０２１からセンサデータ特徴量２０２３を生成する。

グラフ生成部２０２４は、センサデータ２０２１と、行動・感情データ２０２５と、ユーザ属性データ２０２６と、介入方法・介入効果の履歴データ２０２７とから、グラフ２０２８を生成する。生成されるグラフ２０２８は、図６に示すように、グラフ生成部２０２４に入力されるデータ項目に対応するノードと、ノード同士を連結するエッジにより構成される。

グラフ特徴量抽出部２０２９は、生成されたグラフ２０２８からグラフ特徴量２０３０を抽出する。グラフ特徴量２０３０は、ノード自体の性質を表すノード特徴量と、エッジによるノード同士の隣接関係を示すエッジ特徴量を含む。

特徴量融合部２０３１は、生成されたセンサデータ特徴量２０２３と抽出されたグラフ特徴量２０３０とを融合して融合特徴量２０３２を計算する。計算された融合特徴量２０３２は、補間後データ特徴量２００４として出力される。センサデータ特徴量２０２３と、ユーザデータ２２０の相関関係を表わすグラフ特徴量２０３０の融合によって、データ間の相関関係を考慮したデータ補間が可能となり、介入効果予測における交絡因子調整や因果推論の精度を向上できる。

欠損データ予測部２０３３は、学習済みデータ補間モデルを用いて融合特徴量２０３２から補間後データ２００３を推論し生成する。

図１０Ａは、情報端末１１０に表示される入力画面の例を示す図である。

入力画面は、行動入力領域１１０１、情動入力領域１１０２及び介入入力領域１１０３を含む。行動入力領域１１０１は、例えば、対人交流、睡眠、食事、作業、運動などの選択ボタンを含み、ユーザが現在の行動に対応するボタンを操作して行動を入力する。情動入力領域１１０２には、複数の情動に関するスライドバーが設けられ、ユーザがスライダーを操作して、不快・快や、リラックス・活動的の度合いを選択する。介入入力領域１１０３は、目的毎の介入方法の選択欄を含み、ユーザが行っている介入方法を選択する。

図１０Ｂは、情報端末１１０に表示される出力画面の例を示す図である。

出力画面は、補間対象表示領域１１０５及び補間後フィードバック表示領域１１０６を含む。補間対象表示領域１１０５は、日付けと時間を二つの軸としたグラフ領域にセンサデータ及びセンサデータが欠落している領域を表示する。補間後フィードバック表示領域１１０６は、補間されたセンサデータを表示する。

図１１は、情報端末１１０に表示される介入施策決定結果画面１３００の例を示す図である。

介入施策決定結果画面１３００は、その上部に、最も効果が高い最適な介入施策が示される。介入施策決定結果画面１３００の下部には、介入候補による介入効果（パーセント単位で表した活動生産性増加率）の違いが示される。具体的には、介入開始後４週間後で、（１）歩行３０分では８％、（２）ランニング３０分では３８％、（３）筋トレ１０分では１２％改善することが分かる。

以上に説明したように、本発明の実施例１では、センサデータ２０２１と、マスクデータ２０２２と、行動・感情データ２０２５と、ユーザ属性データ２０２６と、介入方法・介入効果の履歴データ２０２７とから生成されたグラフ２０２８のグラフ特徴量２０３０を用いて、欠損データを予測するので、データ損失が少なく正確な欠損データを予測できる。

また、データ補間損失量２００２、交絡因子調整損失量２００６及び予測損失量２００９から計算された学習誤差が最小となるように更新後パラメータ２０１２を生成するので、複数の損失関数の調整によって、モデルによる補間の精度を向上できる。

＜実施例２＞
次に、本発明の実施例２を説明する。前述した実施例１では、行動、感情等のメタデータをユーザが入力したが、実施例２では行動・感情識別器２０１３がユーザデータ２２０（特にセンサデータ）からユーザの行動や感情を識別する。なお、実施例２において、前述した実施例１と同じ構成及び処理には同じ符号を付し、それらの説明は省略する。

図１２は、実施例２の学習部２００の構成を示す図である。

学習部２００は、データ補間部２００１、行動・感情識別器２０１３、交絡因子調整部２００５、介入効果予測器２００８、学習誤差演算部２０１０、及びパラメータ更新部２０１１を有し、欠損がないセンサデータを用いてモデルを学習する。

データ補間部２００１は、入力された欠損を含むユーザデータ２２０の欠損部分を推論し補間するためのデータ補間モデルを、データ補間損失量２００２が最小になるように生成し、生成したデータ補間モデルを用いて補間後データ特徴量２００４を生成し、生成した補間後データ特徴量２００４に基づいて補間後データ２００３を生成する。データ補間部２００１の処理は図１３で後述する。

行動・感情識別器２０１３は、ユーザデータ２２０のセンサデータの特徴量から行動及び感情のデータを生成するための行動・感情識別モデルを、行動・感情識別損失量２０１４が最小になるように生成し、生成した行動・感情識別モデルを用いて行動及び感情のデータを生成し、生成した行動及び感情のデータから行動及び感情のデータの特徴量を計算し、計算した特徴量を補間後データ特徴量２００４に加える。すなわち、データ補間部２００１がデータを補間しながら、行動・感情識別器２０１３が行動・感情を識別する。

交絡因子調整部２００５は、データ項目間の交絡因子に基づいて補間後データ特徴量２００４から調整後データ特徴量２００７を生成するための交絡因子調整モデルを、交絡因子調整損失量２００６が最小になるように生成し、生成した交絡因子調整モデルを用いて補間後データ特徴量２００４から調整後データ特徴量２００７を生成する。

介入効果予測器２００８は、ユーザデータ２２０から予測損失量２００９を生成する。

学習誤差演算部２０１０は、データ補間損失量２００２、交絡因子調整損失量２００６、及び行動・感情識別損失量２０１４から学習誤差を計算する。

パラメータ更新部２０１１は、計算された学習誤差が最小となるように更新後パラメータ２０１２を生成する。生成された更新後パラメータ２０１２で推論モデル（データ補間モデル、交絡因子調整モデル）を更新することで、損失量が少ない、すなわち正解データに近い推論が可能なモデルを生成できる。

図１３は、実施例２のデータ補間部２００１の学習時の構成を示す図である。

特徴量抽出部２０２０は、センサデータ２０２１からセンサデータ特徴量２０２３を生成し、センサデータ２０２１の一部を欠損させたマスクデータ２０２２からセンサデータ特徴量２０２３を生成する。すなわち、センサデータ特徴量２０２３は、センサデータ２０２１の特徴量と、マスクデータ２０２２の特徴量とを含む。マスクデータ２０２２は、センサデータ２０２１にランダムのマスクをかけて、部分的に欠損した学習用のデータである。センサデータ２０２１は、マスクによって欠損したデータの正解データとして学習に用いる。

行動・感情識別器２０１３は、センサデータ特徴量２０２３と行動・感情データ２０２５を用いて、行動・感情識別損失量２０１４が最小になるように学習して、行動・感情識別モデルを生成する。そして、生成した行動・感情識別モデルを用いて、センサデータ特徴量２０２３から行動・感情識別結果２０３８及び行動・感情識別損失量２０１４を生成する。

グラフ生成部２０２４は、センサデータ２０２１と、マスクデータ２０２２と、行動・感情データ２０２５と、ユーザ属性データ２０２６と、介入方法・介入効果の履歴データ２０２７とから、グラフ２０２８を生成する。生成されるグラフ２０２８は、図６にて前述したとおりである。

特徴量融合部２０３１は、生成されたセンサデータ特徴量２０２３と抽出されたグラフ特徴量２０３０とを融合して融合特徴量２０３２を計算する。計算された融合特徴量２０３２は、補間後データ特徴量２００４として出力される。

欠損データ予測部２０３３は、センサデータ２０２１、マスクデータ２０２２、融合特徴量２０３２、及び補間後データ２００３を用いて、データ補間損失量２００２が最小になるように学習して、データ補間モデルを生成する。そして、生成したデータ補間モデルを用いて、センサデータ２０２１、マスクデータ２０２２、及び融合特徴量２０３２から補間後データ２００３を生成する。

図１４は、実施例２の予測部２０１の構成を示す図である。

予測部２０１は、データ補間部２００１、行動・感情識別器２０１３、交絡因子調整部２００５、及び介入効果予測器２００８を有し、ユーザデータ２２０から介入効果を予測する。データ補間部２００１、行動・感情識別器２０１３、交絡因子調整部２００５、及び介入効果予測器２００８は、学習部２００が有する構成と同じである。

データ補間部２００１は、学習済みデータ補間モデルを用いて、入力された欠損を含むユーザデータ２２０の欠損部分を補間し、補間後データ２００３を生成し、生成した補間後データ２００３から補間後データ特徴量２００４を計算する。データ補間部２００１の処理は図１５で後述する。

行動・感情識別器２０１３は、学習済み行動・感情識別モデルを用いて、ユーザデータ２２０のセンサデータの特徴量から行動及び感情を識別し、行動・感情識別結果２０３８を生成する。

介入効果予測器２００８は、ユーザデータ２２０から予測介入結果２０４０を生成する。

図１５は、実施例２のデータ補間部２００１の予測推論時の構成を示す図である。

行動・感情識別器２０１３は、学習済み行動・感情識別モデルを用いて、センサデータ特徴量２０２３から行動・感情識別結果２０３８を生成する。

グラフ生成部２０２４は、センサデータ２０２１と、行動・感情識別結果２０３８と、ユーザ属性データ２０２６と、介入方法・介入効果の履歴データ２０２７とから、グラフ２０２８を生成する。グラフ２０２８は、グラフ生成部２０２４に入力されるデータ項目に対応するノードと、ノード同士を連結するエッジにより構成される。

グラフ特徴量抽出部２０２９は、生成されたグラフ２０２８からグラフ特徴量２０３０を抽出する。グラフ特徴量２０３０は、ノード自体の性質を表すノード特徴量と、エッジによるノード同士の隣接関係を示すエッジ特徴量を含んでいる。

特徴量融合部２０３１は、生成されたセンサデータ特徴量２０２３と抽出されたグラフ特徴量２０３０とを融合して融合特徴量２０３２を計算する。例えば、ｎ次元のセンサデータ特徴量２０２３とｍ次元のグラフ特徴量２０３０を連結して、ｎ＋ｍ次元の特徴量を生成する。連結後特徴量に対し、公知のニューラルネットワークの一次元畳み込み演算を行い、ｐ次元の融合特徴量２０３２を生成する。畳み込み演算のパラメータはデータ補間モデルのパラメータの一部である。計算された融合特徴量２０３２は、補間後データ特徴量２００４として出力される。センサデータ特徴量２０２３と、ユーザデータ２２０の相関関係を表わすグラフ特徴量２０３０の融合によって、データ間の相関関係を考慮したデータ補間が可能となり、介入効果予測における交絡因子調整や因果推論の精度を向上できる。

欠損データ予測部２０３３は、融合特徴量２０３２から欠損データ予測結果２０３４を生成する。

以上に説明したように、本発明の実施例２では、センサデータ特徴量２０２３から行動及び感情のデータを識別するので、ユーザが行動や感情のデータを入力する手間を省略できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１００計算機システム
１０１プロセッサ
１０２主記憶装置
１０３補助記憶装置
１０４ネットワークアダプタ
１０５入力装置
１０６出力装置
１０９ネットワーク
１１０情報端末
１１１外部記憶装置
２００学習部
２０１予測部
２１０学習用データベース
２１１モデルデータベース
２２０ユーザデータ
２２１予測介入結果
２３１データ補間結果
１１０１行動入力領域
１１０２情動入力領域
１１０３介入入力領域
１１０５補間対象表示領域
１１０６補間後フィードバック表示領域
１３００介入施策決定結果画面
２００１データ補間部
２００２データ補間損失量
２００３補間後データ
２００４補間後データ特徴量
２００５交絡因子調整部
２００６交絡因子調整損失量
２００７調整後データ特徴量
２００８介入効果予測器
２００９予測損失量
２０１０学習誤差演算部
２０１１パラメータ更新部
２０１２更新後パラメータ
２０１３感情識別器
２０１４感情識別損失量
２０２０特徴量抽出部
２０２１センサデータ
２０２２マスクデータ
２０２３センサデータ特徴量
２０２４グラフ生成部
２０２５感情データ
２０２６ユーザ属性データ
２０２７履歴データ
２０２８グラフ
２０２９グラフ特徴量抽出部
２０３０グラフ特徴量
２０３１特徴量融合部
２０３２融合特徴量
２０３３欠損データ予測部
２０３４欠損データ予測結果
２０３５変換後特徴量
２０３８感情識別結果
２０４０予測介入結果

Claims

情報処理システムであって、
プログラムを実行する演算装置と、前記プログラムを記憶する記憶デバイスとを有し、
前記記憶デバイスは、センサデバイスによって計測されたユーザの生体情報であるセンサデータと、前記センサデータに付随して収集されるデータとを含むユーザデータを記憶し、
前記演算装置は、
前記センサデータを取得し、
前記取得したセンサデータにランダムのマスクをかけて部分的に欠損した学習用のマスクデータを生成し、
前記ユーザデータの項目間の相関関係を用いて、前記取得したセンサデータ及び前記生成したマスクデータを補間することを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記ユーザデータは、ユーザの行動、感情、生体情報、及び介入施策の少なくとも一つを含むことを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記ユーザデータは、前記ユーザデータの項目間の相関関係を表すグラフ構造で表すことができ、
前記演算装置は、前記グラフ構造の特徴量を用いて、前記センサデータを補間することを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記センサデータは数値で表されることを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記ユーザの行動及び感情のデータは、前記ユーザによって入力されることを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記演算装置は、前記センサデータから前記ユーザの行動及び感情のデータを識別することを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記演算装置は、前記センサデータの補間におけるデータ補間損失量と、前記ユーザデータの項目間の関係を表す交絡因子を用いたデータ特徴量の調整における交絡因子損失量と、前記ユーザデータから介入効果の予測における予測損失量とから計算される学習誤差が最小となるように、モデルのパラメータを定めることを特徴とする情報処理システム。
請求項７に記載の情報処理システムであって、
前記演算装置は、前記ユーザデータの項目間の関係を表す交絡因子の損失が最小となるように交絡因子を調整し、介入効果を予測することを特徴とする情報処理システム。
情報処理システムが、センサデータを補間する情報処理方法であって、
前記情報処理システムは、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスとを有する計算機によって構成され、
前記記憶デバイスは、センサデバイスによって計測されたユーザの生体情報であるセンサデータと、前記センサデータに付随して収集されるデータとを含むユーザデータを記憶しており、
前記情報処理方法は、
前記演算装置が、前記センサデータを取得する手順と、
前記取得したセンサデータにランダムのマスクをかけて部分的に欠損した学習用のマスクデータを生成する手順と、
前記演算装置が、前記ユーザデータの項目間の相関関係を用いて、前記取得したセンサデータ及び前記生成したマスクデータを補間する手順とを含むことを特徴とする情報処理方法。