JP2017213079A - 学習装置、推定装置、それらの方法、およびプログラム - Google Patents

学習装置、推定装置、それらの方法、およびプログラム Download PDF

Info

Publication number
JP2017213079A
JP2017213079A JP2016107569A JP2016107569A JP2017213079A JP 2017213079 A JP2017213079 A JP 2017213079A JP 2016107569 A JP2016107569 A JP 2016107569A JP 2016107569 A JP2016107569 A JP 2016107569A JP 2017213079 A JP2017213079 A JP 2017213079A
Authority
JP
Japan
Prior art keywords
pulse
heartbeat
feature
time interval
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016107569A
Other languages
English (en)
Other versions
JP6509778B2 (ja
Inventor
惇 米家
Makoto Yoneya
惇 米家
卓也 上村
Takuya Kamimura
卓也 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016107569A priority Critical patent/JP6509778B2/ja
Publication of JP2017213079A publication Critical patent/JP2017213079A/ja
Application granted granted Critical
Publication of JP6509778B2 publication Critical patent/JP6509778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】様々な要因に基づく急激な心拍変動や脈拍変動があった場合でも、高い精度で心拍および脈拍の少なくとも一方に関する情報を推定する。【解決手段】心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく学習用特徴量を用い、第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量から第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得るための予測モデルを得る。【選択図】図1

Description

本発明は、心拍および脈拍の少なくとも一方に応じた情報を推定する技術に関する。
過去の心拍に関する情報を説明変数として用い、心拍に関する目的変数を推定する技術がある(例えば、非特許文献1等参照)。
横山清子,茂吉雅典,渡辺與作,吉岡貴芳,高田和之,「R-R間隔時系列の自己回帰モデルから推定したインパルス応答による心拍変動の解析」,平成6年12月16日,一般社団法人電子情報通信学会,電子情報通信学会技術研究報告, MBE, MEとバイオサイバネティックス 94(416), 1-6.
しかし、従来技術では心拍に関する情報のみを用いており、様々な要因に基づく急激な心拍変動があった場合の推定精度が低いという問題がある。このような問題は、心拍に関する情報を推定する場合だけではなく、脈拍に関する情報を推定する場合にも共通するものである。
本発明の課題は、様々な要因に基づく急激な心拍変動や脈拍変動があった場合でも、高い精度で心拍および脈拍の少なくとも一方に関する情報を推定することである。
心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく学習用特徴量を用い、第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量から第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得るための予測モデル、を得る。
心拍および脈拍の少なくとも一方の特徴だけではなく、さらに心拍および脈拍の特徴以外の生理的特徴をも用いるため、様々な要因に基づく急激な心拍変動や脈拍変動があった場合でも、高い精度で心拍および脈拍の少なくとも一方に関する情報を推定できる。
図1は実施形態のシステム構成を説明するためのブロック図である。 図2は実施形態の処理を説明するためのフロー図である。 図3Aは実施形態の処理を説明するための図である。図3Bは視野角と心拍との関係を例示した図である。 図4はマイクロサッカードの特徴量を説明するための図である。 図5は両眼の瞳孔径の変化を例示した図である。 図6Aは第2実施形態の特徴量抽出部の構成を例示するためのブロック図である。図6Bは第2実施形態の特徴量抽出部の処理を例示するためのフロー図である。
以下、本発明の実施形態を説明する。
[原理]
まず本形態の原理を説明する。各実施形態の「学習処理」では、心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく「学習用特徴量」を用い、「第1時間区間」で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく「入力特徴量」から「第2時間区間」での心拍および脈拍の少なくとも一方に応じた推定情報を得るための「予測モデル」を得る。各実施形態の「推定処理」では、「第1時間区間」で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく「入力特徴量」を「予測モデル」に適用し、「第2時間区間」での心拍および脈拍の少なくとも一方に応じた推定情報を得る。このように、心拍および脈拍の少なくとも一方の特徴だけではなく、さらに心拍および脈拍の特徴以外の生理的特徴をも用いるため、様々な要因(個体の外部または内部に起因する突発的な心理状態の変動、例えば、驚きや悲しみや恐怖など)に基づく急激な心拍変動や脈拍変動があった場合でも、高い精度で心拍および脈拍の少なくとも一方に関する情報を推定できる。
「第1時間区間」は、「第2時間区間」よりも後(未来)の時間区間であってもよいし、「第2時間区間」よりも前(過去)の時間区間であってもよいし、「第2時間区間」に含まれた時間区間であってもよい。「第1時間区間」は「第2時間区間」の直後または直前の時間区間であってもよいし、「第2時間区間」から離れた時間区間であってもよい。
「心拍および脈拍の少なくとも一方の特徴」は、心拍のみの特徴であってもよいし、脈拍のみの特徴であってもよいし、心拍および脈拍の特徴であってもよい。「心拍の特徴」の例は、心拍間隔、心拍の発生時点や発生時刻、所定時間当たりの心拍数、心拍波形の振幅、R-R間隔、PQ時間、QRS幅、QT時間などである。同様に「脈拍の特徴」の例は、脈拍間隔、脈拍の発生時点や発生時刻、所定時間当たりの脈拍数、脈拍波形の振幅などである。「心拍および脈拍の特徴以外の生理的特徴」はどのようなものであってもよい。例えば、この「生理的特徴」は、「眼の動的な変化の特徴」を含んでもよいし、「呼吸運動の特徴」を含んでもよいし、「生体表面に表れる動きの特徴」を含んでもよいし、「筋活動の特徴」を含んでもよいし、「体温の特徴」を含んでもよいし、「発汗の特徴」を含んでもよいし、「脳波の特徴」を含んでもよいし、その他の生体の特徴を含んでもよい。
「心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴」が、「眼の動的な変化」の発生時点に応じた値と、心拍および脈拍の少なくとも一方の発生時点に応じた値と、の相対値に基づく特徴を含んでもよい。例えば「心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴」が、心拍の発生から「眼の動的な変化」の発生までの「第1間隔」と「眼の動的な変化」の発生から次の心拍の発生までの「第2間隔」とに応じた特徴、および、脈拍の発生から「眼の動的な変化」の発生までの「第3間隔」と「眼の動的な変化」の発生から次の脈拍の発生までの「第4間隔」とに応じた特徴、の少なくとも一方を含んでもよい。「第1間隔」と「第2間隔」とに応じた特徴の例は「第1間隔」と「第2間隔」との相対値であり、「第3間隔」と「第4間隔」とに応じた特徴の例は「第3間隔」と「第4間隔」との相対値である。なお「αに応じた値」はαそのものであってもよいし、αの関数値であってもよい。「αとβとの相対値」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、βをαで除した値、αの関数値とβの関数値との差分、αの関数値からβの関数値を減じた値、βの関数値からαの関数値を減じた値、αを(α+β)で除した値α/(α+β)、もしくはβを(α+β)で除した値β/(α+β)、またはそれらの何れかの関数値である。
「生理的特徴」が、「第3時間区間」での「眼の動的な変化」の特徴と、「第4時間区間」での「眼の動的な変化」の特徴から推定した「第3時間区間」での特徴と、の「相違の度合いに応じた特徴」を含んでもよい。例えば「生理的特徴」が、「第3時間区間」での「眼の動的な変化」に基づいて得られた特徴量と、「第4時間区間」での「眼の動的な変化」に基づいて得られた特徴量の時系列情報から推定した「第3時間区間」での特徴量と、の相違の度合いに応じた特徴量を表してもよい。「相違の度合いに応じた特徴」は、「相違」が大きいほど大きい値であってもよいし、「相違」が大きいほど小さい値であってもよいし、その他の「相違」の関数値であってもよい。「相違」は「距離」と言い換えてもよい。「第3時間区間での眼の動的な変化の特徴」および「第4時間区間での眼の動的な変化の特徴から推定した第3時間区間での特徴」がスカラで表記される場合、これら「特徴」の「相違」はそれらの「特徴」を表す値の差分や距離で表すことができる。「第3時間区間での眼の動的な変化の特徴」および「第4時間区間での眼の動的な変化の特徴から推定した第3時間区間での特徴」がベクトルで表記される場合、これら「特徴」の「相違」はそれらの「特徴」を表すベクトル間の距離で表すことができる。ここで「相違の度合いに応じた特徴」は、「第4時間区間」での「眼の動的な変化」の特徴を用いて予測された「第3時間区間」での特徴に対し、実際の「第3時間区間」での「眼の動的な変化」の特徴がどの程度異なっているかを表す。つまり「相違の度合いに応じた特徴」は、「第4時間区間」から予測される特徴の趨勢からみて「第3時間区間」がどれだけ突飛なものであるかを表す。このような「相違の度合いに応じた特徴」は、驚きなどの心理状態を表し、急激な心拍変動や脈拍変動との関連性が高い。そのため、このような特徴を利用することで、より高い精度で心拍および脈拍の少なくとも一方に関する情報を推定できる。なお「第3時間区間」は、「第4時間区間」よりも後(未来)の時間区間であってもよいし、「第4時間区間」よりも前(過去)の時間区間であってもよいし、「第4時間区間」に含まれた時間区間であってもよい。「第3時間区間」は「第4時間区間」の直後または直前の時間区間であってもよいし、「第4時間区間」から離れた時間区間であってもよい。「第4時間区間」は「第3時間区間」よりも長い時間区間であることが望ましい。「第4時間区間」が長い方が特徴量の趨勢を正確に予測でき、その趨勢に対する「第3時間区間」の新奇性を高い精度で評価できるからである。ただし、「第4時間区間」から特徴量の趨勢を予測できるのであれば、「第4時間区間」と「第3時間区間」との長さが等しくてもよいし、「第4時間区間」が「第3時間区間」よりも短い時間区間であってもよい。
「生理的特徴」が、同一の個体(ヒトまたはヒト以外の動物)の一方の眼(例えば、右眼)の動的な変化に由来する値と他方の眼(例えば、左眼)の動的な変化に由来する値との相対値に基づく特徴を含んでもよい。両眼の動的な変化の相対値にはその個体の属性や個性が表れ、そのような相対値に基づく特徴を利用することで、高い精度で心拍および脈拍の少なくとも一方に関する情報を推定できる。
「眼の動的な変化」は、眼球自体の動き(眼球の位置の経時変化)であってもよいし、瞳孔の動き(瞳孔径の経時変化)であってもよい。「眼球自体の動き」の例は、眼球のサッカードである。「サッカード」はマイクロサッカード(micro saccade)であってもよいし、ラージサッカード(large saccade)であってもよい。眼球のサッカードの特徴としては、眼球の運動方向、眼球運動の振幅の絶対値、眼球運動の減衰係数、眼球運動の固有角振動数、眼球のサッカードの発生タイミングなどを例示できる。「瞳孔の動き」の例は、縮瞳や散瞳である。縮瞳の特徴としては、散瞳の振幅、散瞳の持続時間、平均散瞳の速度、散瞳の発生回数などを例示できる。縮瞳の特徴としては、縮瞳の振幅、縮瞳の持続時間、平均縮瞳の速度、縮瞳の発生回数などを例示できる。
「学習用特徴量」や「入力特徴量」は、1つの要素からなるスカラであってもよいし、複数の要素からなるベクトルであってもよい。「学習用特徴量」や「入力特徴量」は、例えば、各離散時間または各時間区間でのスカラまたはベクトルからなる時系列情報である。しかし、「学習用特徴量」や「入力特徴量」が時系列情報でなくてもよい。また、前述のように「学習用特徴量」や「入力特徴量」は、心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく特徴量である。「特徴αならびに特徴βに基づく特徴量」は、特徴αならびに特徴βを含む特徴が表れた特徴量であればどのようなものであってもよい。例えば、「特徴αならびに特徴βに基づく特徴量」は、(1)特徴αを表すスカラまたはベクトルおよび特徴βを表すスカラまたはベクトルからなる特徴量であってもよいし、(2)特徴αを表すスカラまたはベクトル、特徴βを表すスカラまたはベクトル、およびその他のスカラまたはベクトルからなる特徴量であってもよいし、(3)特徴αを表すスカラまたはベクトルおよび特徴βを表すスカラまたはベクトルの関数値であってもよいし、(4)特徴αを表すスカラまたはベクトル、特徴βを表すスカラまたはベクトル、およびその他のスカラまたはベクトルの関数値であってもよい。例えば、「学習用特徴量」や「入力特徴量」が含む各要素が、「心拍および脈拍の少なくとも一方の特徴」および「心拍および脈拍の特徴以外の生理的特徴」のそれぞれに対応してもよいし(例えば、各特徴を表す要素)、複数の「特徴」に対応してもよい(例えば、複数の特徴を表す値の関数値)。ただし、「学習用特徴量」と「入力特徴量」とは同一種別の特徴量である。
「予測モデル」は、線形回帰モデルであってもよいし、非線形回帰モデルであってもよい。例えば、線形回帰モデルとしてベクトル自己回帰モデルなどの重回帰モデルを用いることができ、非線形回帰として人工ニューラルネットワークを用いることができる。その他、「予測モデル」として確率モデルが用いられてもよい。また「学習処理」で「予測モデル」が得られ、その後「予測モデル」が更新されることなく「推定処理」が実行されもよいし、「学習処理」によって「予測モデル」が更新されながら「推定処理」が実行されてもよい。「学習用特徴量」と「入力特徴量」は同じ個体に対応してもよいし、「学習用特徴量」に対応する個体と「入力特徴量」に対応する個体とが異なってもよい。
「第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報」は、第2時間区間での心拍および脈拍の少なくとも一方に応じた情報であれば、どのようなものでもよい。例えば、第2時間区間での心拍間隔または脈拍間隔を「推定情報」としてもよいし、第2時間区間での心拍間隔または脈拍間隔の変化を「推定情報」としてもよい。なお「心拍間隔の変化」は、連続する2つの心拍間隔の差分または比であってもよいし、心拍間隔の時系列の微分値であってもよい。同様に「脈拍間隔の変化」は、連続する2つの脈拍間隔の差分または比であってもよいし、脈拍間隔の時系列の微分値であってもよい。「予測モデル」として確率モデルを用いる場合、第2時間区間での心拍間隔または脈拍間隔の確率分布を「推定情報」としてもよいし、確率分布に基づいて選択された心拍間隔または脈拍間隔(確率が最も高いもの、確率が閾値以上のものなど)を「推定情報」としてもよいし、選択された心拍間隔または脈拍間隔の変化を「推定情報」としてもよい。
[第1実施形態]
次に図面を用いて第1実施形態を説明する。
<構成および処理>
図1に例示するように、本形態のシステムは学習処理を行う学習装置11および推定処理を行う推定装置12を含む。学習装置11は、生体情報取得部111、拍情報取得部112、特徴量抽出部113、および予測モデル生成部114を含み、推定装置12は推定部121を含む。学習装置11および推定装置12のそれぞれは、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
《生体情報取得部111(図2:ステップS111)》
生体情報取得部111は、個体100の各離散時刻の「眼の動的な変化」に関する時系列情報を取得し、取得した目の動的な変化に関する時系列情報を特徴量抽出部113へ出力する。取得される「眼の動的な変化」は、個体100の眼球自体の動きであってもよいし、瞳孔の動きであってもよいし、それら両方であってもよい。生体情報取得部111は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。なお、個体100はヒトであってもよいし、ヒト以外の動物であってもよい。
個体100の「眼球自体の動き」に関する時系列情報は、撮像装置(例えば赤外線カメラ)で個体100の眼を撮影して得られた映像に基づいて得られる。生体情報取得部111は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎(例えば、1000Hzのサンプリング間隔)の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。生体情報取得部111は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、生体情報取得部111は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、生体情報取得部111は、測定装置(電極を含む)と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。図3Bの上図に一方の眼球の動きを表す時系列情報を例示する。この図の横軸は時間[s]を表し、縦軸は視野角[°]を表す。
個体100の「瞳孔の動き」に関する時系列情報は、撮像装置(例えば赤外線カメラ)で個体100の眼を撮影して得られた映像に基づいて得られる。例えば、個体100にある1点を注視してもらうようにし、その時の瞳孔が赤外線カメラで撮像される。生体情報取得部111は、撮影された映像を画像処理することで、フレーム毎(例えば、1000Hzのサンプリング間隔)の瞳孔の大きさの時系列を取得する。生体情報取得部111は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、生体情報取得部111は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図5に右眼と左目の瞳孔の動き(瞳孔径の変化)を表す時系列情報を例示する。図5の横軸は時間[秒]を表し、縦軸は瞳孔径を表す。この瞳孔径は各時刻で取得した瞳孔径の全データの平均を0、標準偏差を1としたときのz-scoreで表現されている。ただし、生体情報取得部111が取得する「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列でなくてもよく、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよく、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。
《拍情報取得部112(ステップS112)》
拍情報取得部112は、個体100の各離散時刻の「心拍および脈拍の少なくとも一方」に関する時系列情報を取得し、取得した時系列情報を特徴量抽出部113へ出力する。拍情報取得部112の例は、個体100に装着可能なウェアラブル端末、心拍計、脈拍計などである。「心拍および脈拍の少なくとも一方に関する時系列情報」は、心拍または脈拍の振幅を表す値(例えば、電圧値)の時系列情報であってもよいし、心拍パルスまたは脈拍パルスの時系列情報であってもよいし、心拍および/または脈拍の振幅を表す値の関数値の時系列情報であってもよいし、心拍パルスおよび/または脈拍パルスの関数値の時系列情報であってもよいし、それらの何れかの関数値であってもよい。図3Bの下図に心拍の振幅を表す電圧値の時系列情報を例示する。この図の横軸は時間[s]を表し、縦軸は心拍の振幅を表す電圧値[V]を表す。
《特徴量抽出部113(ステップS113)》
特徴量抽出部113は、取得された「眼の動的な変化」に関する時系列情報および「心拍および脈拍の少なくとも一方」に関する時系列情報を入力とし、所定の時間区間Ftごとに、心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく特徴量yt=(yt,1,…,yt,d)(学習用特徴量および入力特徴量)を得て出力する。ただし、tは時間区間Ftに対応する離散時間を表す時間インデックスであり、dは特徴量の要素数、すなわち次元を表す正の整数である。tは値の大きさが大きいほど、新しい離散時間に対応する。特徴量ytがスカラである場合にはd=1であり、特徴量ytがベクトルである場合にはdは2以上の整数である。時間区間Ftの定め方に限定はない。時間区間Ftの長さは固定であってもよいし、可変であってもよい。例えば、心拍間隔または脈拍間隔を各時間区間Ftとしてもよいし、各時間区間Ftに「心拍および脈拍の少なくとも一方」が1個以上含まれるように時間区間Ftが設定されてもよい。あるいは、各時間区間Ftに「眼の動的な変化(マイクロサッカード、ラージサッカード、縮瞳、散瞳など)」が1個以上含まれるように時間区間Ftが設定されてもよいし、各時間区間Ftに「眼の動的な変化(マイクロサッカード、ラージサッカード、縮瞳、散瞳など)」および「心拍および脈拍の少なくとも一方」がそれぞれ1個以上含まれるように時間区間Ftが設定されてもよい。
特徴量yt=(yt,1,…,yt,d)の要素yt,i(ただし、i=1,…,d)は、心拍の特徴、脈拍の特徴、それら以外の生理的特徴の何れかに基づく特徴量であってもよいし、それらの何れか複数の特徴の組み合わせに基づく特徴量であってもよい。以下に具体例を示す。
「心拍の特徴および脈拍の特徴の少なくとも一方」に基づく特徴量:
時間区間Ftでの心拍の特徴に基づく特徴量は、例えば、時間区間Ftでの心拍間隔、心拍の発生時点や発生時刻、心拍数、心拍波形の振幅、R-R間隔、PQ時間、QRS幅、QT時間、単位時間当たりの心拍数などである。時間区間Ftでの脈拍の特徴に基づく特徴量は、例えば、時間区間Ftでの脈拍間隔、脈拍の発生時点や発生時刻、脈拍数、脈拍波形の振幅、単位時間当たりの脈拍数などである。時間区間Ftでの心拍の特徴および脈拍の特徴に基づく特徴量は、例えば、時間区間Ftでの心拍の特徴に基づく特徴量の何れかおよび脈拍の特徴に基づく特徴量の何れかに対する関数値である。このような時間区間Ftでの「心拍の特徴および脈拍の特徴の少なくとも一方」に基づく特徴量を特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。
「眼球自体の動き」に基づく特徴量:
「眼球自体の動き」に基づく特徴量としては、例えば「マイクロサッカード」や「ラージサッカード」の特徴量を例示できる。このとき、モデルの精度を上げるためには、なるべくマイクロサッカードやラージサッカードの誤検出や検出漏れのないことが望ましい。
マイクロサッカードの特徴量:
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。マイクロサッカードはある一点を注視している状態において、1〜2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、個体100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や生体情報取得部111において水平方向と定義された方向を含む概念である。
特徴量抽出部113は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が所定の第1閾値を上回った時刻を、マイクロサッカードの開始時刻(発生時刻)として検出すればよい。ただし1次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値(通常3ms程度)以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値(通常視野角2°程度)以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部113は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
マイクロサッカードの特徴量としては、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω、マイクロサッカードの単位時間(例えば1秒)あたりの発生回数Rmなどを例示できる。前述のように、特にマイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、減衰係数ζを用いることが望ましい。
時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zは、例えば、時間区間Ftの開始時刻Mtであってもよいし、基準となる時間区間RFtに対応するマイクロサッカードの発生時刻RMと開始時刻Mtとの時間差|RM−Mt|であってもよいし、開始時刻Mtまたは時間差|RM−Mt|の関数値g(Mt)またはg(|RM−Mt|)であってもよい。基準となる時間区間RFtは時間区間Ftに対応し、例えばRFt=Ft-1である。関数値g(Mt)またはg(|RM−Mt|)に限定はないが、例えば、代表値Mtまたは時間差|RM−Mt|が大きくなるほど小さくなり、負とならず、特異点を持たない関数の関数値を用いることができる。関数値g(Mt)の例は1/Mtやexp(-Mt)などである。「exp」はネイピア数を底とする指数関数を表す。g(|RM−Mt|)の例は1/|RM−Mt|やexp(-|RM−Mt|)などである。ただし、Mtや|RM−Mt|が0の場合には1/Mtや1/|RM−Mt|は∞となる。そのため、Mtや|RM−Mt|が0となるときにg(Mt)やg(|RM−Mt|)を0としてもよい。このような時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。
時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dは、当該運動方向ごとに定まる値である。例えば、運動方向に応じた値Dが、左右の運動方向に対応する2値の何れかをとってもよいし、左右上下の運動方向に対応する4値の何れかをとってもよいし、その他n方向の運動方向に対応するn値の何れかをとってもよい。一例としては、右方向(左眼から右眼に向かう方向)の運動方向に応じた値Dを第1値(例えば−1)とし、左方向(左眼から右眼に向かう方向)の運動方向に応じた値Dを第2値(例えば1)とする。このような時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。
次に図4を参照して、マイクロサッカードの基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λについて説明する。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間K:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
Figure 2017213079

と表される。
マイクロサッカードの減衰係数ζ、固有角振動数ωは、
Figure 2017213079

と表される。固有角振動数ωはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
特徴量抽出部113は、マイクロサッカードの減衰係数ζ、固有角振動数ω、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。
マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部113は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。
時間区間Ftで発生した上述のようなマイクロサッカードの基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ωの少なくとも何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。
ラージサッカードの特徴量:
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。特徴量抽出部113は、前述の基準振幅Aが所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、ラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などである。これらの具体例は、前述したマイクロサッカードの特徴量の例の「マイクロサッカード」を「ラージサッカード」に置換したものである。時間区間Ftで発生したラージサッカードの特徴量の少なくとも何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。前述した理由より、特にラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、減衰係数ζを用いることが望ましい。
「瞳孔の動き」に基づく特徴量:
図5に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳の特徴量や散瞳の特徴量を用いることができる。
縮瞳の特徴量:
縮瞳の開始する時刻(以下、縮瞳開始点)は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻(以下、縮瞳終了点)は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅Acは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間Dcは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度Vcは、(振幅Ac)/(持続時間Dc)である。時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数などを時間区間Ftでの「瞳孔の動き」に基づく特徴量として用いることができる。特徴量抽出部113は、時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数の少なくとも何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。時間区間Ftにおいて縮瞳が複数検出された場合、一つ一つの縮瞳について求めた縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vcのそれぞれの代表値の何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。
散瞳の特徴量:
散瞳の開始する時刻(以下、散瞳開始点)は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻(以下、散瞳終了点)は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅Adは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間Ddは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度Vdは、(振幅Ad)/(持続時間Dd)である。時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数などを時間区間Ftでの「瞳孔の動き」に基づく特徴量として用いることができる。特徴量抽出部113は、時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数の少なくとも何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。時間区間Ftにおいて散瞳が複数検出された場合、一つ一つの散瞳について求めた散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vdのそれぞれの代表値の何れかを特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。
両眼の特徴の相対量に基づく特徴量:
個体100の一方の眼(例えば、右眼)の動的な変化に由来する値と他方の眼(例えば、左眼)の動的な変化に由来する値との相対量を特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。眼の動的な変化に由来する値としては、前述したマイクロサッカードの特徴量、ラージサッカードの特徴量、縮瞳の特徴量、散瞳の特徴量などを用いることができる。ただし、一方の眼の動的な変化に由来する値と、他方の動的な変化に由来する値とは、同種の特徴量である。「相対量」の具体例は前述の通りである。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、βをαで除した値、αの関数値とβの関数値との差分、αの関数値からβの関数値を減じた値、βの関数値からαの関数値を減じた値、またはそれらの何れかの関数値などである。
「心拍および脈拍の少なくとも一方の特徴」と「眼の動的な変化の特徴」との相対量に基づく特徴量:
時間区間Ftでの「眼の動的な変化」の発生時点に応じた値と「心拍および脈拍の少なくとも一方」の発生時点に応じた値との相対量を、特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。例えば、時間区間Ftでの「心拍」の発生から「眼の動的な変化」の発生までの「第1間隔」と当該「眼の動的な変化」の発生から次の「心拍」の発生までの「第2間隔」とに応じた特徴、および、時間区間Ftでの「脈拍」の発生から「眼の動的な変化」の発生までの「第3間隔」と「眼の動的な変化」の発生から次の「脈拍」の発生までの「第4間隔」とに応じた特徴、の少なくとも一方を特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。例えば、図3Bの例では、時点MS1,MS2,MS3でマイクロサッカードが発生しており、時点B1,B2で心拍が発生している。例えば、時点B1から時点B2までの心拍区間を時間区間Ftとし、時点B1から時点MS3までの時間区間をT1(MS3)とし、時点MS3から時点B2までの時間区間をT2(MS3)とする。T1(MS3),T2(MS3),T1(MS3)またはT2(MS3)の関数値,ならびにT1(MS3)およびT2(MS3)の関数値の少なくとも何れかを、時点B1,B2での心拍の特徴と時点MS3でのマイクロサッカードの特徴との相対量に基づく特徴量とし、特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。T1(MS3)およびT2(MS3)の関数値としては、例えば、T1(MS3)/{T1(MS3)+T2(MS3)},T2(MS3)/{T1(MS3)+T2(MS3)},{T1(MS3)+T2(MS3)}/T1(MS3),{T1(MS3)+T2(MS3)}/T2(MS3)などを例示できる。時間区間Ftに含まれたその他のマイクロサッカードについても同様な値を求め、特徴量yt=(yt,1,…,yt,d)の何れかの要素としてもよい。その他、1個の心拍区間よりも広い区間(例えば、複数の心拍区間を含む区間)を時間区間Ftとしてもよいし、1個の心拍区間よりも狭い区間(例えば、1個のマイクロサッカードを含む区間)を時間区間Ftとしてもよい。
《予測モデル生成部114(ステップS114)》
各時間区間Ftの特徴量yt=(yt,1,…,yt,d)は予測モデル生成部114に送られる。予測モデル生成部114は、これまでに送られた複数個の特徴量ytを「説明変数」および「目的変数」として用い、予測モデルのモデルパラメータφを設定して出力する(図3A)。予測モデルは、第1時間区間τで得られた特徴量yτ(ただし、τ∈τ)(説明変数)から第2時間区間τ2での心拍および脈拍の少なくとも一方に応じた推定情報ηθ(ただし、θ∈τ2)(目的変数)を得るための予測モデルである(図3A)。前述したように、第1時間区間τと第2時間区間τ2との関係に制約はなく、予測モデルにも制約はない。ここでは一例として、第1時間区間τが第2時間区間τ2よりも過去の時間区間であり、予測モデルとしてベクトル自己回帰モデルを用いる場合を例示する。この場合、予測モデル生成部114は、これまでの各時間区間Ft’,…,Ft’-pで得られた(yt’,1,…,yt’,d),…,(yt’-p,1,…,yt’-p,d)を入力とし、以下のベクトル自己回帰モデルの係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)(モデルパラメータφ)を算出して出力する。ここでpは正の整数であり、予め定められていてもよいし、適応的に定められてもよい。またt≧t’である。例えばt’=t,t-1,t-2,...,t-wであり、wはw<tの整数である。例えば、t-wは時間インデックスの初期値(例えば、t-w=1)である。係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)は、例えば、すべてのt’=t,t-1,t-2,...,t-wについての予測誤差(予測残差)εt’,1,…,εt’,dの大きさを最小化するように選択される。例えば、t’=t,t-1,t-2,...,t-wについてのεt’,1,…,εt’,dの合計やその関数値が最小となるように係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)が設定される。また、事前にBox-Cox変換等の手法によって特徴量を正規化しておいても良い。
Figure 2017213079

選択されたモデルパラメータφ(例えば、係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p))は、推定装置12の推定部121に送られる。
≪推定部121(ステップS121)≫
推定部121には、特徴量抽出部113で得られた特徴量ytおよび予測モデル生成部114で得られたモデルパラメータφが逐次入力される。推定部121は、逐次入力されるモデルパラメータφを用いて予測モデルを更新しつつ、第1時間区間τで得られた特徴量yτ(ただし、τ∈τ)(説明変数)から第2時間区間τ2での心拍および脈拍の少なくとも一方に応じた推定情報ηθ(ただし、θ∈τ2)(目的変数)を得て出力する。例えば、予測モデルとしてベクトル自己回帰モデルを用い、τ=Ft”-1,…,Ft”-pで得られた特徴量yt”-1,…,yt”-pからτ2=Ft”での特徴量y^t”を推定する場合、推定部121は、以下のように特徴量y^t”を得る。なお、「y^t”」の上付き添え字の「^」は、以下のように「y」の真上に記載すべきであるが、記載表記の制約から「y^t”」と表記している。
Figure 2017213079
推定部121は、特徴量y^t”の全要素をτ2=Ft”での推定情報ηθとして出力してもよいし、特徴量y^t”の要素のうち心拍および脈拍の少なくとも一方に応じた要素のみを推定情報ηθとして出力してもよいし、特徴量y^t”の全要素または心拍および脈拍の少なくとも一方に応じた要素の関数値を推定情報ηθとして出力してもよい。例えば、特徴量y^t”が第2時間区間τ2に属する時点MSτ2でのマイクロサッカードに対応するT2(MSτ2)およびT1(MSτ2)/{T1(MSτ2)+T2(MSτ2)}を含む場合、推定部121がT2(MSτ2)およびT1(MSτ2)/{T1(MSτ2)+T2(MSτ2)}を出力してもよい。例えば、特徴量y^t”がT1(MSτ2)+T2(MSτ2)を特定できる要素を含む場合、推定部121がT1(MSτ2)+T2(MSτ2)を心拍区間の推定情報ηθとして出力してもよい。推定された心拍区間の変化を推定情報ηθとして出力してもよい。また、予測モデルとして確率モデルを用いる場合、特徴量y^t”の確率分布を推定情報ηθとして出力してもよいし、得られた確率分布に基づいて選択された特徴量y^t”やその要素(例えば、心拍および脈拍の少なくとも一方に応じた要素)を得て出力してもよい。
[第2実施形態]
「心拍および脈拍の特徴以外の生理的特徴」が、「第3時間区間」での「眼の動的な変化」の特徴と、「第4時間区間」での「眼の動的な変化」の特徴から推定した第3時間区間での特徴と、の相違の度合いに応じた特徴を含んでもよい。以下では第1実施形態で説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を流用して説明を簡略化する。
<構成および処理>
図1に例示するように、本形態のシステムは学習処理を行う学習装置21および推定処理を行う推定装置12を含む。学習装置21は、生体情報取得部111、拍情報取得部112、特徴量抽出部213、および予測モデル生成部114を含む。図6Aに例示するように、特徴量抽出部213は、一次特徴量抽出部213a、予測モデル生成部213b、および予測誤差特徴量計算部213cを有する。本形態の第1実施形態との相違点は、特徴量抽出部113によるステップS113に代えて、特徴量抽出部213によるステップS213が実行される点のみである。以下では、特徴量抽出部213によるステップS213の処理のみを説明する。
《特徴量抽出部213(ステップS213)》
特徴量抽出部213は、取得された「眼の動的な変化」に関する時系列情報および「心拍および脈拍の少なくとも一方」に関する時系列情報を入力とし、所定の時間区間Ftごとに、心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく特徴量yt=(yt,1,…,yt,d)(学習用特徴量および入力特徴量)を得て出力する。第1実施形態のステップS113との相違点は、特徴量ytの要素として、「第3時間区間」での「眼の動的な変化」に基づいて得られた特徴量と、「第4時間区間」での「眼の動的な変化」に基づいて得られた特徴量の時系列情報から推定した「第3時間区間」での特徴量と、の相違の度合いに応じた特徴量を含む点である。第3時間区間と第4時間区間との関係に制約はなく、第3時間区間での特徴量の推定方法にも制約はない。ここでは一例として、第4時間区間が第3時間区間よりも過去の時間区間であり、ベクトル自己回帰モデルを用いて第3時間区間での特徴量を推定する場合を例示する。
≪一次特徴量抽出部213a(図6B:ステップS213a)≫
一次特徴量抽出部213aは、「眼の動的な変化」に関する時系列情報および「心拍および脈拍の少なくとも一方」に関する時系列情報を入力とし、所定の時間区間Ftごとに、心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく特徴量(xt,1,…,xt,d’)(学習用特徴量および入力特徴量)を得て出力する。ただし、d’は0<d’<dを満たす正整数である。一次特徴量抽出部213aは、例えば、第1実施形態の特徴量抽出部113と同じ処理によって特徴量(xt,1,…,xt,d’)の要素を得る。
≪予測モデル生成部213b(ステップS213b)≫
予測モデル生成部213bは、これまでの各時間区間Fi,...,Fi-p’で得られた(xi,1,…,xi,d’),..., (xi-p’,1,…,xi-p’,d’)を入力とし、以下のベクトル自己回帰モデルの係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)を算出して出力する。ここでt≧iである。例えばi=t,t-1,t-2,...,t-w’であり、w’はw’<tの整数である。例えば、t-w’は時間インデックスの初期値(例えば、t-w’=1)である。また、p’は正の整数であり、予め定められていてもよいし、適応的に定められてもよい。係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)は、例えば、すべてのi=t,t-1,t-2,...,t-w’についての予測誤差νi,1,…,νi,d’の大きさを最小化するように選択される。例えば、i=t,t-1,t-2,...,t-w’についてのνi,1,…,νi,d’の合計やその関数値が最小となるように係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)が設定される。
Figure 2017213079
選択された係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)は、予測誤差特徴量計算部213cに送られる。
《予測誤差特徴量計算部213c(ステップS213c)》
予測誤差特徴量計算部213cは、係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)、および、特徴量(xj,1,…,xj,d’)(ただし、j=t,t-1,…,t-p’)を入力とし、以下のようにtに対応する特徴量Stを得て出力する。
Figure 2017213079

ただし、
Figure 2017213079

であり、
Figure 2017213079

であり、[・]は[・]の転置である。Σはx^tの分散共分散行列であり、Σのi行j列の要素Σijは以下の通りである。
Figure 2017213079

ただし、E[・]は[・]の期待値を表す。
特徴量抽出部213は、特徴量Stを特徴量yt=(yt,1,…,yt,d)の要素として出力する。さらに、特徴量抽出部213は、一次特徴量抽出部213aから出力された特徴量(xt,1,…,xt,d’)の何れかまたはすべてを特徴量yt=(yt,1,…,yt,d)の要素として出力してもよい。以降の処理は第1実施形態と同じである。
ここでは、予測モデル生成部213bがリアルタイムに係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)を更新した。しかしながら、事前に係数c1’,…,cd’’,η1,1 (1),…,ηd’,d’ (1),…,η1,1 (p’),…,ηd’,d’ (p’)を計算しておき、これらを更新しないことにしてもよい。
[第3実施形態]
第1,2実施形態では、「心拍および脈拍の特徴以外の生理的特徴」として「眼の動的な変化」の特徴を用いた。しかし、「眼の動的な変化」の特徴に加え、その他の「心拍および脈拍の特徴以外の生理的特徴」を用いてもよい。あるいは、「眼の動的な変化」の特徴に代えて、その他の「心拍および脈拍の特徴以外の生理的特徴」を用いてもよい。その他の「心拍および脈拍の特徴以外の生理的特徴」としては、「呼吸運動の特徴」「生体表面に表れる動きの特徴」「筋活動の特徴」「体温の特徴」「発汗の特徴」「脳波の特徴」などを例示できる。この場合には、学習装置11または21の生体情報取得部111が、このような特徴を計測する周知手段を備えればよい。
[第4実施形態]
第1,2実施形態では、予測モデル生成部114がリアルタイムに係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)を更新した。しかし、事前に係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)を計算しておいてもよい。この場合には、推定装置12がさらに記憶部422を有し、この記憶部422に事前に計算された係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)を格納しておけばよい。推定部121は、記憶部422に格納された係数c1,…,cd,φ1,1 (1),…,φd,d (1),…,φ1,1 (p),…,φd,d (p)を読み込んで予測モデルを構成し、それに特徴量抽出部113で得られた特徴量ytを適用して推定情報ηθを得て出力する。その他は第1,2実施形態と同じである。
[その他の変形例等]
なお、本発明は上述の実施形態に限定されるものではない。例えば、学習装置と推定装置が同一の筺体に構成されてもよい。また、推定処理に用いる特徴量が、学習装置の外部に構成された生体情報取得部,拍情報取得部、および特徴量抽出部によって得られてもよい。また、学習処理のために心拍および脈拍の特徴やそれ以外の生理的特徴を取得する個体と、推定処理のために心拍および脈拍の特徴やそれ以外の生理的特徴を取得する個体とが相違してもよい。心拍および脈拍以外の生理的特徴が、同一の個体の一方の眼の動的な変化に由来する値と他方の眼の動的な変化に由来する値との相対値に基づく特徴を含んでもよい。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
11,21 学習装置
12 推定装置

Claims (13)

  1. 心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく学習用特徴量を用い、第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量から第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得るための予測モデル、を得る学習装置。
  2. 請求項1の学習装置であって、
    前記生理的特徴は、眼の動的な変化の特徴を含む、学習装置。
  3. 請求項1または2の学習装置であって、
    前記心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴は、眼の動的な変化の発生時点に応じた値と、心拍および脈拍の少なくとも一方の発生時点に応じた値と、の相対値に基づく特徴を含む、学習装置。
  4. 請求項1から3の何れかの学習装置であって、
    前記心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴は、心拍の発生から眼の動的な変化の発生までの第1間隔と前記眼の動的な変化の発生から次の心拍の発生までの第2間隔とに応じた特徴、および、脈拍の発生から眼の動的な変化の発生までの第3間隔と前記眼の動的な変化の発生から次の脈拍の発生までの第4間隔とに応じた特徴、の少なくとも一方を含む、学習装置。
  5. 請求項1から4の何れかの学習装置であって、
    前記生理的特徴は、第3時間区間での眼の動的な変化の特徴と、第4時間区間での眼の動的な変化の特徴から推定した前記第3時間区間での特徴と、の相違の度合いに応じた特徴を含む、学習装置。
  6. 第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量を予測モデルに適用し、第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得る推定装置。
  7. 請求項6の推定装置であって、
    前記生理的特徴は、眼の動的な変化の特徴を含む、推定装置。
  8. 請求項6または7の推定装置であって、
    前記心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴は、眼の動的な変化の発生時点に応じた値と、心拍および脈拍の少なくとも一方の発生時点に応じた値と、の相対値に基づく特徴を含む、推定装置。
  9. 請求項6から8の何れかの推定装置であって、
    前記心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴は、心拍の発生から眼の動的な変化の発生までの第1間隔と前記眼の動的な変化の発生から次の心拍の発生までの第2間隔とに応じた特徴、および、脈拍の発生から眼の動的な変化の発生までの第3間隔と前記眼の動的な変化の発生から次の脈拍の発生までの第4間隔とに応じた特徴、の少なくとも一方を含む、推定装置。
  10. 請求項6から9の何れかの推定装置であって、
    前記生理的特徴は、第3時間区間での眼の動的な変化の特徴と、第4時間区間での眼の動的な変化の特徴から推定した前記第3時間区間での特徴と、の相違の度合いに応じた特徴を含む、推定装置。
  11. 心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく学習用特徴量を用い、第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量から第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得るための予測モデル、を得る学習方法。
  12. 第1時間区間で得られた心拍および脈拍の少なくとも一方の特徴ならびに心拍および脈拍の特徴以外の生理的特徴に基づく入力特徴量を予測モデルに適用し、第2時間区間での心拍および脈拍の少なくとも一方に応じた推定情報を得る推定方法。
  13. 請求項1から5の何れかの学習装置、または、請求項6から10の何れかの推定装置としてコンピュータを機能させるためのプログラム。
JP2016107569A 2016-05-30 2016-05-30 学習装置、推定装置、それらの方法、およびプログラム Active JP6509778B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016107569A JP6509778B2 (ja) 2016-05-30 2016-05-30 学習装置、推定装置、それらの方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016107569A JP6509778B2 (ja) 2016-05-30 2016-05-30 学習装置、推定装置、それらの方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2017213079A true JP2017213079A (ja) 2017-12-07
JP6509778B2 JP6509778B2 (ja) 2019-05-08

Family

ID=60576122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016107569A Active JP6509778B2 (ja) 2016-05-30 2016-05-30 学習装置、推定装置、それらの方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6509778B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240260829A1 (en) * 2021-05-26 2024-08-08 Nippon Telegraph And Telephone Corporation Exercise performance estimation apparatus, exercise performance estimation method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05261068A (ja) * 1992-03-19 1993-10-12 Topcon Corp 眼科装置
JPH09262216A (ja) * 1996-03-28 1997-10-07 Nec Corp 集中度推定装置
JP2001017400A (ja) * 1999-07-09 2001-01-23 Nippon Colin Co Ltd 非観血連続血圧推定装置および非観血連続血圧予測装置
JP2006081840A (ja) * 2004-09-17 2006-03-30 Toyota Motor Corp 生理状態推定装置及び方法
JP2011212038A (ja) * 2010-03-31 2011-10-27 Hitachi Ltd 生体光計測装置
JP2014100227A (ja) * 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05261068A (ja) * 1992-03-19 1993-10-12 Topcon Corp 眼科装置
JPH09262216A (ja) * 1996-03-28 1997-10-07 Nec Corp 集中度推定装置
JP2001017400A (ja) * 1999-07-09 2001-01-23 Nippon Colin Co Ltd 非観血連続血圧推定装置および非観血連続血圧予測装置
JP2006081840A (ja) * 2004-09-17 2006-03-30 Toyota Motor Corp 生理状態推定装置及び方法
JP2011212038A (ja) * 2010-03-31 2011-10-27 Hitachi Ltd 生体光計測装置
JP2014100227A (ja) * 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240260829A1 (en) * 2021-05-26 2024-08-08 Nippon Telegraph And Telephone Corporation Exercise performance estimation apparatus, exercise performance estimation method, and program

Also Published As

Publication number Publication date
JP6509778B2 (ja) 2019-05-08

Similar Documents

Publication Publication Date Title
JP7014129B2 (ja) 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
US20200074380A1 (en) Work support device, work support method, and work support program
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
Geman et al. Towards an inclusive Parkinson's screening system
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
Schweitzer et al. Definition, modeling, and detection of saccades in the face of post-saccadic oscillations
CN119760574B (zh) 头盔佩戴紧密性测试方法及装置、计算机可读存储介质
JP6939533B2 (ja) 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP6509712B2 (ja) 印象推定装置およびプログラム
JP7668208B2 (ja) 計算機システム及び情動推定方法
US20240233914A1 (en) Predicting mental state characteristics of users of wearable devices
JP6910919B2 (ja) システム及び意思疎通を図るために行うアクションの評価方法
Fugini et al. WorkingAge: providing occupational safety through pervasive sensing and data driven behavior modeling
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
JP6509778B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
JP6445418B2 (ja) 印象推定装置、印象推定方法、およびプログラム
JP5718495B1 (ja) 印象推定装置、その方法、及びプログラム
Wang et al. MicroXercise: A Micro-Level Comparative and Explainable System for Remote Physical Therapy
Meenalakshmi et al. Multigate Long Short-Term Memory-Based Stress Detection from Multimodal Signal.
JP7347822B2 (ja) 心身状態推定装置、心身状態推定方法、及びプログラム
JP2017202048A (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
Borghetti et al. Introduction to real-time state assessment
ISLAM Real-Time Feedback-Driven Framework For Automated Cybersickness Mitigation
Wu et al. Experiment and analysis on visual field and fixation when going upstairs and downstairs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190403

R150 Certificate of patent or registration of utility model

Ref document number: 6509778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350