JP5935593B2 - 心拍推定装置及び方法、並びにプログラム - Google Patents

Description

本発明は、心拍推定装置及び方法、並びにプログラムに関する。

以下の説明では、便宜上、心拍測定または心拍推定の対象となる人（例えば、ユーザ）のことを被験者と言う。被験者と接触して心拍を測定する様々な心拍測定装置が提案されている。しかし、接触型の心拍測定装置の場合、例えば被験者の耳に装着されるイヤークリップなどの専用のセンサを用いるため、心拍測定装置の使い勝手が悪く、イヤークリップが外れたりする可能性があるため、例えば被験者が歩行するなどして動いても確実に心拍を測定可能な心拍測定装置を実現することは難しい。

一方、例えばマイクロ波を被験者の胸などに照射して当該被験者からの反射波を検知することで、ドップラー効果を利用して被験者の心拍を推定する非接触型の心拍推定装置が提案されている。具体的には、マイクロ波送信部と被験者との間の距離が変化すると、被験者からの反射波が変化するので、反射波の変化から被験者の心臓の鼓動に伴う体の表面または心臓を含む臓器の変位を測定することで心拍を推定することができる。マイクロ波は、例えば波長が１ｍ〜１００μｍで周波数が３００ＭＨｚ〜３ＴＨｚである。

しかし、被験者からの反射波には、心拍の情報に関する反射波以外に様々な情報に関する反射波が含まれている。心拍の情報に関する反射波以外の様々な情報に関する反射波には、被験者の心臓の鼓動に伴い変位する体の表面以外の、例えば呼吸に伴い変位する体の表面、被験者が着用している衣服などで反射された反射波が含まれる。被験者が歩行するなどして動くと、心拍数や呼吸数は増加する傾向にあり、衣服の形状も変化するので、心拍の情報に関する反射波以外の様々な情報に関する反射波は被験者の動きなどに応じて変化する。

心拍の情報以外の様々な情報は、心拍の情報に対するノイズであるため、反射波にノイズが混入していると心拍の推定精度を向上することは難しい。しかし、特に被験者の動きに応じて変化するノイズを除去することは難しいため、心拍の推定精度を向上することは難しい。

特開２００９−５５９９７号公報 特開２０１１−５０６０４号公報 特開２００８−９９８４９号公報 特開２００５−２３７５６９号公報 特開平５−２８８７６０号公報 特開平１−１１５３４４号公報

従来の非接触型の心拍推定装置では、被験者の動きに応じて変化するノイズを除去して心拍の情報を分離することが難しいため、心拍の推定精度を向上することは難しい。

そこで、本発明は、心拍の推定精度を向上可能な非接触型の心拍推定装置及び方法、並びにプログラムを提供することを目的とする。

本発明の一観点によれば、被験者にマイクロ波を照射する送信部と、前記被験者からの反射波を検知して検知結果を取得する受信部と、前記被験者の動きを検出して検出結果を取得するセンサと、前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する推定部を備えた心拍推定装置が提供される。

開示の心拍推定装置及び方法、並びにプログラムによれば、心拍の推定精度を向上することが可能となる。

非接触型の心拍推定装置の一例を説明する図である。 一実施例における心拍推定装置のハードウェア構成の一例を示すブロック図である。 マイクロ波送受信部の一例を示すブロック図である。 携帯電話の第１の例の裏面側のカバーを取り除いて示す斜視図である。 携帯電話の第２の例の裏面側のカバーを取り除いて示す斜視図である。 携帯電話の第３の例の前面側を示す斜視図である。 ＰＣの一例を示す斜視図である。 ＰＣの使用形態の一例を示す図である。 マイクロホンを用いる場合の携帯電話の機能構成の一例を示すブロック図である。 被験者とＸＹＺ座標軸との関係を示す図である。 接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。 マイクロ波を照射された被験者からの反射波の検知結果を周波数解析した解析結果の一例を示す図である。 マイクロホンの検出結果を周波数解析した解析結果の一例を示す図である。 心拍推定処理の一例を説明するフローチャートである。 加速度センサを用いる場合の携帯電話の機能構成の一例を示すブロック図である。 接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。 マイクロ波を照射された被験者からの反射波の検知結果を周波数解析した解析結果の一例を示す図である。 加速度センサのＸ軸についての検出結果を周波数解析した解析結果の一例を示す図である。 加速度センサのＹ軸についての検出結果を周波数解析した解析結果の一例を示す図である。 加速度センサのＺ軸についての検出結果を周波数解析した解析結果の一例を示す図である。 角速度センサとＸＹＺ座標軸との関係を示す図である。 接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。 マイクロ波を照射された被験者からの反射波の検知結果を周波数解析した解析結果の一例を示す図である。 角速度センサのＸ軸についての検出結果を周波数解析した解析結果の一例を示す図である。 角速度センサのＹ軸についての検出結果を周波数解析した解析結果の一例を示す図である。 角速度センサのＺ軸についての検出結果を周波数解析した解析結果の一例を示す図である。

開示の心拍推定装置及び方法、並びにプログラムでは、被験者に照射したマイクロ波の反射波を検知した検知結果を取得し、被験者の動きを検出した検出結果を取得し、検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する。

以下に、開示の心拍推定装置及び方法、並びにプログラムの各実施例を図面と共に説明する。

図１は、非接触型の心拍推定装置の一例を説明する図である。マイクロ波送信部１は、例えば被験者５の胸にマイクロ波を照射する。マイクロ波受信部２は、被験者５からのマイクロ波の反射波を検知する。成人の場合、１回の心拍で心臓が拍出する血液量は８０ｍｌ程度であり、その際に心臓は拡張・収縮するので、マイクロ波受信部２で検知した反射波の変化量から心拍を推定することができる。

被験者５からの反射波には、マイクロ波送信部１と被験者５との間の距離の変化に起因するノイズが多く含まれる。例えば、被験者５が着用している衣服は、被験者５の動きに応じて形状が変化する遮蔽物となるため、このように形状が変化する遮蔽物からの反射波を識別すること難しい。このため、反射波から例えば被験者５の体の表面からの反射波と被験者５が着用している衣服からの反射とを識別することは難しく、マイクロ波送信部１と被験者５との間の距離を正確に検知して距離の変化を取得することは難しい。

そこで、本発明者は、マイクロ波送信部１と被験者５との間の距離の変化が、被験者５の動きに起因することに着目し、被験者５の動きの検出結果を周波数解析してピーク（または、特徴点）が得られる周波数の近傍に存在する、マイクロ波受信部２による被験者５からの反射波の検知結果を周波数解析して得られるピーク（または、特徴点）を、心拍の候補から除外するという比較的簡単な処理を行うことで、マイクロ波送信部１と被験者５との間の距離の変化に起因するノイズ、即ち、被験者５の動きに応じて変化するノイズを除去することができることを見出した。後述するように、被験者５の動きは、例えばマイクロホン、加速度センサ、角速度センサなどのセンサで検出可能である。また、心拍に伴う体の動きは、歩行時などの体の動きと比較すると小さいので、被験者５の動きを検出するセンサでは心拍に伴う体の動きを検出する可能性は低く好都合である。

図２は、一実施例における心拍推定装置のハードウェア構成の一例を示すブロック図である。図２に示す例では、心拍推定装置が電子装置の一例である携帯電話に組み込まれている。

携帯電話１０は、図２に示すように、バス１９で接続されたＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、記録媒体インターフェイス１４、表示制御部１５、入出力制御部１６、通信インターフェイス１７、及びセンシング部１８を有する。記録媒体インターフェイス１４には、ＳＤ（Secure Digital）カード（または、メモリカード）２１などの記録媒体が接続可能である。表示制御部１５には、表示装置２２が接続されている。入出力制御部１６には、入出力デバイスが接続されている。この例では、入出力デバイスはＵＳＢ（Universal Serial Bus）デバイス２３及びキーボード２４を含むが、入出力デバイスはＵＳＢデバイス２３及びキーボード２４に限定されるものではなく、例えばタッチパネル、スピーカなどを含んでも良い。表示装置２２及びキーボード２４の機能をタッチパネルで実現する場合には、表示装置２２及びキーボード２４は省略可能である。

通信インターフェイス１７には、少なくともマイクロ波送受信部２５を含む通信部が接続されている。この例では、電子装置が携帯電話１０であるため通信部は携帯電話送受信部２６を含む。通信部は、近距離無線通信（ＮＦＣ：Near Field Communication）部、ブルーツース（Bluetooth、登録商標）通信部、Ｗｉ−Ｆｉ（Wireless-Fidelity）送受信部、赤外線送受信部などを含んでも良い。センシング部１８には、被験者の動きを検出する少なくとも１つのセンサが接続されている。この例では、被験者の動きを検出するセンサは、マイクロホン３１、加速度センサ３２、及び角速度センサ（または、ジャイロセンサ）３３を含む。マイクロホン３１は、音圧検出部の一例でる。加速度センサ３２及び角速度センサ３３は、速度検出部の一例である。センシング部１８には、例えば気圧センサ、温湿度センサ、照度センサ、カメラなどのセンサが更に接続されていても良い。

ＣＰＵ１１は、携帯電話１０全体の動作を制御する機能を有する。ＲＡＭ１２及びＲＯＭ１３は、ＣＰＵ１１が実行するプログラムや各種データを格納する記憶部を形成する。プログラムは、ＣＰＵ１１に心拍推定処理を実行させて心拍推定装置として機能させるプログラムを含む。記憶部には、ＳＤカード２１が含まれても良い。プログラムを格納する記憶部は、コンピュータ読取可能な記憶媒体の一例である。

表示部２２は、表示制御部１５の制御下で心拍推定処理の結果、操作画面などを表示する機能を有する。ＵＳＢデバイス２３には、入出力制御部１６の制御下で出力される心拍推定処理の結果などが出力される。ＵＳＢデバイス２３は、例えばＵＳＢケーブル、ＵＳＢメモリなどで形成可能である。キーボード２４は、携帯電話１０に各種コマンド、データなどを入出力制御部１６を介して入力する際に操作される。

マイクロ波送受信部２５は、例えばマイクロ波送信部１及びマイクロ波受信部２を有する。携帯電話送受信部２６は、携帯電話１０からの発信及び他の電話からの着信を可能とする周知の構成の通信部を形成する。

図３は、マイクロ波送受信部２５の一例を示すブロック図である。図３に示すマイクロ波送受信部２５は、制御部２５１、発振回路２５２、アンテナ２５３、検波回路２５４、電源回路２５５、及びオペアンプ（Operational Amplifier）２５６を有する。発振回路２５２で生成された送信波（マイクロ波）は、アンテナ２５３及び検波回路２５４に分波され、アンテナ２５３から送信された送信波は被験者５に照射される。被験者５に照射された送信波は反射され、被験者５からの送信波の反射波はアンテナ２５３で受信される。アンテナ２５３で受信した破線で示す反射波は、ノードＮにおいて実線で示す送信波と干渉し合い、検波回路２５４からは一点鎖線で示す合成波（ＤＣ成分）が出力される。オペアンプ２５６は、合成波の所定周波数帯を増幅したセンサ出力を通信インターフェイス１７を介してＣＰＵ１１に入力する。電源回路２５５は、制御部２５１、発振回路２５２、検波回路２５４、及びオペアンプ２５６に電源電圧を供給する電池を含む。電池は、例えば充電可能な電池である。なお、電源回路２５５は、マイクロ波送受信部２５に対して外部接続されていても良いことは言うまでもない。

図３の例では、マイクロ波送信部１は少なくとも発振回路２５２及びアンテナ２５３を含み、マイクロ波受信部２は少なくともアンテナ２５３、検波回路２５４、及びオペアンプ２５６を含む。

マイクロホン３１は、検出した音データをセンシング部１８を介してＣＰＵ１１に入力する。加速度センサ３２は、検出した加速度データをセンシング部１８を介してＣＰＵ１１に入力する。角速度センサ３３は、検出した角速度データをセンシング部１８を介してＣＰＵ１１に入力する。

図４乃至図６は、マイクロ波送受信部２５の配置の一例を説明する図である。

図４は、携帯電話の第１の例の裏面側のカバーを取り除いて示す斜視図である。図４の例では、マイクロ波送受信部２５は、携帯電話１０−１の裏面側の、電池２５５−１が配置された領域を除く上側領域Ａまたは横側領域Ｂに配置される。領域Ａ，Ｂは、電池２５５−１が配置された領域を含まないため、マイクロ波の送受信品質が電池２５５−１による遮蔽で低下することを防止できる。また、領域Ａ，Ｂは携帯電話１０−１の裏面側に設けられており、前面側に設けられた表示装置２２及びキーボード２４（または、タッチパネル）とは反対側に配置されているので、マイクロ波の送受信品質が表示装置２２及びキーボード２４（または、タッチパネル）による遮蔽で低下することを防止できる。例えば、携帯電話１０−１の裏面側を被験者の胸、腕などに向けてバンドなどを用いて装着したり衣服のポケットに入れたりする使用形態の場合、携帯電話１０−１の前面側に設けられた表示装置２２及びキーボード２４（または、タッチパネル）が被験者から目視可能であり操作可能となるため、携帯電話１０−１（即ち、心拍推定装置）の操作性が良い。

図５は、携帯電話の第２の例の裏面側のカバーを取り除いて示す斜視図である。図５の例では、マイクロ波送受信部２５は、携帯電話１０−２の裏面側の、電池２５５−１が配置された領域を除く上側領域Ｃに配置される。領域Ｃは、電池２５５−１が配置された領域を含まないため、マイクロ波の送受信品質が電池２５５−１による遮蔽で低下することを防止できる。また、領域Ｃは携帯電話１０−２の裏面側に設けられており、前面側に設けられた表示装置２２及びキーボード２４（または、タッチパネル）とは反対側に配置されているので、マイクロ波の送受信品質が表示装置２２及びキーボード２４（または、タッチパネル）による遮蔽で低下することを防止できる。例えば、携帯電話１０−２の裏面側を被験者の胸、腕などに向けてバンドなどを用いて装着したり衣服のポケットに入れたりする使用形態の場合、携帯電話１０−２の前面側に設けられた表示装置２２及びキーボード２４（または、タッチパネル）が被験者から目視可能であり操作可能となるため、携帯電話１０−２（即ち、心拍推定装置）の操作性が良い。

図６は、携帯電話の第３の例の前面側を示す斜視図である。図６に示す例では、マイクロ波送受信部２５は、携帯電話１０−３の前面側の、表示装置２２及びキーボード２４（または、タッチパネル）が配置された領域を除く、例えばマイクロホン３１が設けられた上側領域Ｄに配置される。このため、マイクロ波の送受信品質が表示装置２２及びキーボード２４（または、タッチパネル）による遮蔽で低下することを防止できる。例えば、被験者が携帯電話１０−３を操作する使用形態の場合、マイクロ波送受信部２５は被験者に対するマイクロ波の送受信を継続可能であり、携帯電話１０−３（即ち、心拍推定装置）の操作性が良い。

図７及び図８は、マイクロ波送受信部２５の配置の他の例を説明する図である。図７は、電子装置の一例であるパーソナルコンピュータ（ＰＣ：Personal Computer）を示す斜視図であり、図８は、ＰＣの使用形態の一例を示す図である。図７及び図８に示すＰＣ１０−４のハードウェア構成は、図２に示す携帯電話１０の携帯電話送受信部２６を除くハードウェア構成と同様であっても良い。

図７に示すＰＣ１０−４は、キーボード２４などが設けられた本体部４０１と、表示装置２２が設けられた蓋部４０２を有する。図７は、蓋部４０２が開けられた状態を示す。マウス５０１は、本体部４０１内の入出力制御部１６接続された入力デバイスの一例である。マイクロ波送受信部２５は、ＰＣ１０−４の蓋部４０２の、表示装置２２が配置された領域を除く上側領域Ｅに配置される。このため、マイクロ波の送受信品質が表示装置２２による遮蔽で低下することを防止できる。例えば、図８に示すように被験者５がテーブル６０１上に載置されたＰＣ１０−４のキーボード２４を操作する使用形態の場合、マイクロ波送受信部２５は被験者５に対するマイクロ波の送受信を継続可能であり、ＰＣ１０−４（即ち、心拍推定装置）の操作性が良い。

次に、被験者５の動きを検出するセンサの一例であるマイクロホン３１を用いる場合の動作を、図９と共に説明する。図９は、マイクロホン３１を用いる場合の携帯電話１０の機能構成の一例を示すブロック図である。

図９に示す携帯電話１０は、変位検出部４１−１、特徴点抽出部４２、心拍数算出部４３、出力部４４、及びデータ分配部４５を有する。データ分配部４５は、変位検出部４１−１の一部を形成しても、特徴点抽出部４２の一部を形成しても良い。特徴点抽出部４２、心拍数算出部４３、及び出力部４４の機能は、図２に示すＣＰＵ１１により実現できる。ＣＰＵ１１は、データ分配部４５の機能を実現しても良い。

変位検出部４１−１は、マイクロ波送信部１、マイクロ波受信部２、及びマイクロホン３１を有する。マイクロ波送信部１が被験者５にマイクロ波を照射することでマイクロ波受信部２が検知した被験者５からの反射波のデータと、マイクロホン３１が検出した被験者５の周辺の音のデータは、データ分配部４５で欠損がないことを確認された後に別々に特徴点抽出部４２に入力される。マイクロホン３１が検出した音のデータには、被験者５の動きに伴い発生する音のデータが含まれる。被験者５の動きの伴い発生する音には、例えば被験者５が着用している衣服自体が擦れる音、衣服が椅子や車両のシートベルトなどと擦れる音、歩行時に被験者５の靴が床などと当たる音などを含む。なお、データ分配部４５は省略し、反射波のデータ及び音のデータをマイクロ波受信部２及びマイクロホン３１から直接特徴点抽出部４２に入力しても良い。

特徴点抽出部４２は、信号周期推定部４２０及び特徴認識部４２８を有する。信号周期推定部４２０は、パワースペクトル変換部４２１−１，４２１−２、ピーク周波数特定部４２２−１，４２２−２、心拍情報推定部４２３−１、ピーク周波数比較部４２３−２、ピーク周波数特定部４２４−１、呼吸情報推定部４２４−２、フィルタ部４２５−１、ピーク周波数特定部４２５−２、フィルタ部４２６、及び加算部４２７を有する。パワースペクトル変換部４２１−１，４２１−２は、第１及び第２の周波数解析部の一例である。

図１０は、被験者５とＸＹＺ座標軸との関係を示す図であり、図１１は、イヤークリップを用いた接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。

パワースペクトル変換部４２１−１は、マイクロ波受信部２による反射波のデータの検知結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴ（Fast Fourier Transform）であり、例えば図１２に示す解析結果が得られる。図１２は、マイクロ波を照射された被験者５からの反射波のデータの検知結果を周波数解析した解析結果の一例を示す図であり、例えば図１１の解析結果を得るための測定と同時に行った結果を示す。ピーク周波数特定部４２２−１は、図１２に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

一方、パワースペクトル変換部４２１−２は、マイクロホン３１による音のデータの検出結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴであり、例えば図１３に示す解析結果が得られる。図１３は、マイクロホン３１の検出結果を周波数解析した解析結果の一例を示す図である。ピーク周波数特定部４２２−２は、図１３に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

ピーク周波数比較部４２３−２は、ピーク周波数特定部４２２−１，４２２−２が特定したピークが発生する周波数（以下、ピーク周波数とも言う）を比較し、比較結果を心拍情報推定部４２３−１に入力する。心拍情報推定部４２３−１は心拍情報を推定するため、探索するべきピーク周波数の周波数範囲は例えば０．５Ｈｚ以上、且つ、４．０Ｈｚ以下である。心拍情報推定部４２３−１は、図１２に示すピーク周波数のうち、図１３に示すピーク周波数の近傍（即ち、一定周波数範囲内）にあるピークを、心拍の候補から除外する。図１１に示すように、心拍に相当する正しいピークＰｃは１．０Ｈｚ付近にある。これに対し、図１２に示すように、反射波の検知結果から求めた周波数解析結果では、１．０Ｈｚ付近のピークＰｃと１．２Ｈｚ付近のピークＰｎが存在する。しかし、図１３に示すように、マイクロホン３１の検出結果から求めた周波数解析結果では、１．０Ｈｚ付近にはピークが存在せず、１．２Ｈｚ付近にピークＰｓが存在するので、図１２中のピークＰｎはノイズによるものであることがわかる。つまり、ピーク周波数比較部４２３−２の比較結果からは、図１２中のピークＰｎと図１３中のピークＰｓが１．２Ｈｚの近傍にあることがわかるので、心拍情報推定部４２３−１はピークＰｎを心拍の候補から除外する。

ピーク周波数特定部４２４−１は、心拍情報推定部４２３−１で心拍の候補から除外されたピークＰｎを除くピークの周波数（ピーク周波数）を特定する。フィルタ部４２５−１は、心拍の候補として特定されたピークの周波数（ピーク周波数）を中心に、反射波のデータにフィルタ処理を施す。この例では、フィルタ処理はＢＰＦ（Band-Pass Filter）処理であり、一拍毎に揺らいでいる心拍を正確に抽出するために行われる。フィルタ部４２５−１でフィルタ処理を施されたデータは、加算部４２７を介して特徴認識部４２８に入力される。

この例では、心拍数を推定する心拍数推定処理に加え、呼吸数を推定する呼吸数推定処理を行う。このため、ピーク周波数比較部４２３−２の比較結果は呼吸情報推定部４２４−２に入力される。呼吸情報推定部４２４−２は呼吸情報を推定するため、探索するべきピーク周波数の周波数範囲は例えば０．１Ｈｚ以上、且つ、０．８Ｈｚ以下である。呼吸情報推定部４２４−２は、図１２に示すピーク周波数のうち、０．１Ｈｚ以上、且つ、０．８Ｈｚ以下の周波数範囲にあり所定振幅以上のピークＰｂを呼吸の候補とする。なお、呼吸情報と心拍情報とでは、パワースペクトル変換部４２２−１，４２２−２で処理するデータ量が、この例では呼吸情報の方が心拍情報より例えば数倍多くなるようにしている。

ピーク周波数特定部４２５−２は、呼吸情報推定部４２４−２で抽出された呼吸の候補となるピークＰｂの周波数（ピーク周波数：０．３Ｈｚ付近）を特定する。フィルタ部４２６は、呼吸の候補として特定されたピークＰｂの周波数（ピーク周波数）を中心に、反射波のデータにフィルタ処理を施す。この例では、フィルタ処理はＢＰＦ処理であり、１呼吸毎に揺らいでいる呼吸を正確に抽出するために行われる。フィルタ部４２６でフィルタ処理を施されたデータは、加算部４２７を介して特徴認識部４２８に入力される。

なお、図１２では、０．８Ｈｚ未満の周波数範囲で比較的大きなピークが存在するが、これは心拍推定の開始時には被験者５が緊張して安静時と比較して２割程度心拍の上昇が見られたことによるものである。従って、このような場合には、図１２中、例えば０．８Ｈｚ未満の低周波成分は無視し、一般的な心拍の動きが収まる０．８Ｈｚ以上、且つ、４．０Ｈｚ以下の周波数範囲での解析結果を心拍推定に利用するようにしても良い。

特徴認識部４２８は、フィルタ部４２５−１からのデータの特徴点と、フィルタ部４２６からのデータの特徴点を周知の方法で認識する。具体的には、フィルタ部４２５−１の出力データに１次微分を施して特徴点を求めて心拍間隔を取得すると共に、フィルタ部４２６の出力データに１次微分を施して特徴点を求めて呼吸間隔を取得する。

心拍・呼吸数算出部４３は、特徴認識部４２８が出力する心拍間隔から心拍数を算出すると共に、特徴認識部４２８が出力する呼吸間隔から呼吸数を算出する。出力部４４は、心拍・呼吸数算出部４３が算出した心拍数及び呼吸数を出力する。出力された心拍数及び呼吸数は、記憶部に格納しても良い。

なお、呼吸数を算出しない場合には、呼吸情報推定部４２４−２、ピーク周波数特定部４２５−２、フィルタ部４２６及び加算部４２７は省略可能であり、心拍・呼吸数算出部４３の代わりに心拍数算出部を設ければ良い。

図１４は、心拍推定処理の一例を説明するフローチャートである。図１４に示す心拍推定処理は、図２のＣＰＵ１１、或いは、図１５のパワースペクトル変換部４２１−１，４２１−２、ピーク周波数特定部４２２−１，４２２−２、心拍情報推定部４２３−１、ピーク周波数比較部４２３−２、及びピーク周波数特定部４２４−１を含む機能ブロックにより実行される。

図１４の心拍推定処理は、マイクロ波受信部２及びマイクロホン３１からのセンサデータがセンシング部１８を介して入力されると開始される。ステップＳ１は、入力されたセンサデータをチェックし、データに欠損が無くＯＫであるか否かを判定する。ステップＳ１の判定結果がＹＥＳになると、処理はステップＳ２へ進む。ステップＳ２は、入力されたセンサデータを、マイクロ波受信部２で検知されたマイクロ波の反射波のデータと、マイクロホン３１で検出された音のデータに分割する。ステップＳ１１は、ステップＳ２で分割された反射波のデータと音のデータを記憶部に格納する。

ステップＳ３は、反射波のデータを取得し、ステップＳ４は取得した反射波のデータにＬＰＦ（Low-Pass Filter）処理を施すことで、探索するべきピーク周波数の周波数範囲を例えば５Ｈｚ以下に限定する。ステップＳ５は、ＬＰＦ処理を施された反射波のデータに周波数解析の一例であるＦＦＴを施す。ステップＳ６は、ＬＰＦ処理を施された反射波のデータの周波数解析結果から特徴点を抽出し、処理はステップＳ１２へ進む。

一方、ステップＳ７は、音のデータを取得し、ステップＳ８は取得した音のデータにＬＰＦ処理を施すことで、探索するべきピーク周波数の周波数範囲をステップＳ４と同様に、例えば５Ｈｚ以下に限定する。ステップＳ９は、ＬＰＦ処理を施された音のデータに周波数解析の一例であるＦＦＴを施す。ステップＳ１０は、ＬＰＦ処理を施された音のデータの周波数解析結果から特徴点を抽出し、処理はステップＳ１２へ進む。

ステップＳ１２は、ステップＳ６で抽出した特徴点とステップＳ１０で抽出した特徴点が一致するか否かを判定する。一致する特徴点が存在しステップＳ１２の判定結果がＹＥＳであると、ステップＳ１３は、一致する特徴点を非採用とすることで当該特徴点を心拍の候補から除外する。ステップＳ１３の後、或いは、ステップＳ１２の判定結果がＮＯであると、ステップＳ１４は、一拍毎に揺らいでいる心拍を正確に抽出するために行うＢＰＦ処理で用いるＢＰＦ値を算出する。また、ステップＳ１５は、ステップＳ１４で算出したＢＰＦ値を用いて、心拍の候補として抽出された特徴点（ピーク周波数）を中心に、ステップＳ１１で記憶部に格納された反射波のデータにＢＰＦ処理を施す。

ステップＳ１６は、ステップ１５でＢＰＦ処理を施された反射波のデータに１次微分を施して特徴点を抽出することで心拍間隔を取得する。ステップＳ１７は、ステップＳ１６で取得した心拍間隔から心拍数を算出する。

次に、被験者５の動きを検出するセンサの一例である加速度センサ３２を用いる場合の動作を、図１５と共に説明する。図１５は、加速度センサ３２を用いる場合の携帯電話１０の機能構成の一例を示すブロック図である。図１５中、図９と同一部分には同一符号を付し、その説明は省略する。この場合、図１５の慣性センサは加速度センサ３２である。

被験者５とＸＹＺ座標軸との関係は図１０に示す通りである。図１６は、イヤークリップを用いた接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。

パワースペクトル変換部４２１−１は、マイクロ波受信部２による反射波のデータの検知結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴであり、例えば図１７に示す解析結果が得られる。図１７は、マイクロ波を照射された被験者５からの反射波のデータの検知結果を周波数解析した解析結果の一例を示す図であり、例えば図１６の解析結果を得るための測定と同時に行った結果を示す。ピーク周波数特定部４２２−１は、図１７に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

一方、パワースペクトル変換部４２１−２は、加速度センサ３２による携帯電話１０の加速度のデータの検出結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴであり、例えば図１８乃至図２０に示す解析結果が得られる。図１８は、加速度センサ３２のＸ軸についての検出結果を周波数解析した解析結果の一例を示す図であり、図１９は、加速度センサ３２のＹ軸についての検出結果を周波数解析した解析結果の一例を示す図であり、図２０は、加速度センサ３２のＺ軸についての検出結果を周波数解析した解析結果の一例を示す図である。ピーク周波数特定部４２２−２は、図１８乃至図２０に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

ピーク周波数比較部４２３−２は、ピーク周波数特定部４２２−１，４２２−２が特定したピークが発生する周波数（以下、ピーク周波数とも言う）を比較し、比較結果を心拍情報推定部４２３−１に入力する。心拍情報推定部４２３−１は心拍情報を推定するため、探索するべきピーク周波数の周波数範囲は例えば０．５Ｈｚ以上、且つ、４．０Ｈｚ以下である。心拍情報推定部４２３−１は、図１７に示すピーク周波数のうち、図１８及び図２０に示すピーク周波数の近傍（即ち、一定周波数範囲内）にあるピークを、心拍の候補から除外する。図１６に示すように、心拍に相当する正しいピークＰｃは１．５Ｈｚ付近にある。これに対し、図１７に示すように、反射波の検知結果から求めた周波数解析結果では、１．５Ｈｚ付近のピークＰｃと０．９５Ｈｚ付近のピークＰｎが存在する。しかし、図１８乃至図２０に示すように、加速度センサ３２の検出結果から求めた周波数解析結果では、１．５Ｈｚ付近にはピークが存在せず、図１８及び図２０に示すように、０．９５Ｈｚ付近にピークＰａｘ１，Ｐａｚ１が存在するので、図１７中のピークＰｎはノイズによるものであることがわかる。つまり、ピーク周波数比較部４２３−２の比較結果からは、図１７中のピークＰｎと図１８及び図２０中のピークＰａｘ１，Ｐａｚ１が０．９５Ｈｚの近傍にあることがわかるので、心拍情報推定部４２３−１はピークＰｎを心拍の候補から除外する。この例では、図１７に示す反射波の検知結果から求めた周波数解析結果には、図１８乃至図２０中のピークＰａｘ２，Ｐａｙ２，Ｐａｚ２の周波数の近傍にピークが存在しない。

ピーク周波数特定部４２４−１は、心拍情報推定部４２３−１で心拍の候補から除外されたピークＰｎを除くピークの周波数（ピーク周波数）を特定する。フィルタ部４２５−１は、心拍の候補として特定されたピークの周波数（ピーク周波数）を中心に、反射波のデータにフィルタ処理を施す。この例では、フィルタ処理はＢＰＦ処理であり、一拍毎に揺らいでいる心拍を正確に抽出するために行われる。フィルタ部４２５−１でフィルタ処理を施されたデータは、加算部４２７を介して特徴認識部４２８に入力される。

以後の処理は、図９の場合と同様である。また、心拍推定処理は、図１４のフローチャートと同様のステップで形成すれば良い。

次に、被験者５の動きを検出するセンサの一例である角速度センサ３３を用いる場合の動作を説明する。角速度センサ３３を用いる場合の携帯電話１０の機能構成の一例は、図１５のブロック図と同様で良い。この場合、図１５の慣性センサは角速度センサ３３である。

図２１は、携帯電話１０とＸＹＺ座標軸との関係を示す図であり、図２２は、イヤークリップを用いた接触型の心拍測定装置による測定結果を周波数解析した解析結果の一例を示す図である。

パワースペクトル変換部４２１−１は、マイクロ波受信部２による反射波のデータの検知結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴであり、例えば図２３に示す解析結果が得られる。図２３は、マイクロ波を照射された被験者５からの反射波のデータの検知結果を周波数解析した解析結果の一例を示す図であり、例えば図２２の解析結果を得るための測定と同時に行った結果を示す。ピーク周波数特定部４２２−１は、図２３に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

一方、パワースペクトル変換部４２１−２は、角速度センサ３３による携帯電話１０の角速度のデータの検出結果を周波数解析することでパワースペクトルを変換する。この例では、周波数解析はＦＦＴであり、例えば図２４乃至図２６に示す解析結果が得られる。図２４は、角速度センサ３３のＸ軸についての検出結果を周波数解析した解析結果の一例を示す図であり、図２５は、角速度センサ３３のＹ軸についての検出結果を周波数解析した解析結果の一例を示す図であり、図２６は、角速度センサ３３のＺ軸についての検出結果を周波数解析した解析結果の一例を示す図である。ピーク周波数特定部４２２−２は、図２４乃至図２６に示す解析結果から所定振幅以上のピークが発生する周波数を特定する。

ピーク周波数比較部４２３−２は、ピーク周波数特定部４２２−１，４２２−２が特定したピークが発生する周波数（以下、ピーク周波数とも言う）を比較し、比較結果を心拍情報推定部４２３−１に入力する。心拍情報推定部４２３−１は心拍情報を推定するため、探索するべきピーク周波数の周波数範囲は例えば０．５Ｈｚ以上、且つ、４．０Ｈｚ以下である。心拍情報推定部４２３−１は、図２３に示すピーク周波数のうち、図２４及び図２６に示すピーク周波数の近傍（即ち、一定周波数範囲内）にあるピークを、心拍の候補から除外する。図２２に示すように、心拍に相当する正しいピークＰｃは１．５Ｈｚ付近にある。これに対し、図２３に示すように、反射波の検知結果から求めた周波数解析結果では、１．５Ｈｚ付近のピークＰｃと０．９５Ｈｚ付近のピークＰｎが存在する。しかし、図２４乃至図２６に示すように、角速度センサ３３の検出結果から求めた周波数解析結果では、１．５Ｈｚ付近にはピークが存在せず、図２４乃至図２６に示すように、０．９５Ｈｚ付近にピークＰａｘ１，Ｐａｙ１，Ｐａｚ１が存在するので、図２３中のピークＰｎはノイズによるものであることがわかる。つまり、ピーク周波数比較部４２３−２の比較結果からは、図２３中のピークＰｎと図２４乃至図２６中のピークＰａｘ１，Ｐａｙ１，Ｐａｚ１が０．９５Ｈｚの近傍にあることがわかるので、心拍情報推定部４２３−１はピークＰｎを心拍の候補から除外する。この例では、図２３に示す反射波の検知結果から求めた周波数解析結果には、図２４乃至図２６中のピークＰａｘ２，Ｐａｙ２，Ｐａｚ２，Ｐａｘ３，Ｐａｙ３，Ｐａｚ３の周波数の近傍にピークが存在しない。

ピーク周波数特定部４２４−１は、心拍情報推定部４２３−１で心拍の候補から除外されたピークＰｎを除くピークの周波数（ピーク周波数）を特定する。フィルタ部４２５−１は、心拍の候補として特定されたピークの周波数（ピーク周波数）を中心に、反射波のデータにフィルタ処理を施す。この例では、フィルタ処理はＢＰＦ処理であり、一拍毎に揺らいでいる心拍を正確に抽出するために行われる。フィルタ部４２５−１でフィルタ処理を施されたデータは、加算部４２７を介して特徴認識部４２８に入力される。

以後の処理は、図９の場合と同様である。また、心拍推定処理は、図１４のフローチャートと同様のステップで形成すれば良い。

なお、マイクロホン３１、加速度センサ３２，及び角速度センサ３３のうち、２以上のセンサの検出データの周波数解析結果の組み合わせを用いて、反射波の検知データの周波数解析結果中のノイズに相当するピークを心拍の候補から除外するようにしても良い。２以上のセンサの検出データの周波数解析結果の組み合わせを用いることで、ノイズに相当するピークの抽出精度を向上することができる。

開示の心拍推定装置及び方法、並びにプログラムによれば、被験者とは非接触で心拍の推定精度を向上することができるので、推定した心拍を様々な用途に用いることができる。例えば、推定した心拍から被験者の健康状態、眠気などを推定することができる。

携帯型の心拍推定装置は、心拍推定機能を備えた専用の電子装置であっても、例えば携帯電話、ＰＣなどの心拍推定機能以外の機能を備えた電子装置に組み込まれていても良い。携帯型の心拍推定装置を例えば車両内の所定位置に保持することで、被験者の一例である運転者が車両に乗車中に心拍推定装置で運転者の心拍を推定し、推定された心拍に基づいて例えば周知の方法で運転者の眠気などを推定することができる。

また、心拍推定装置は携帯型の装置に限定されず、例えば車両内などに固定的に設置されても良い。この場合、被験者の一例である運転者が車両に乗車中に心拍推定装置で運転者の心拍を推定することで、推定された心拍に基づいて例えば周知の方法で運転者の眠気などを推定することができる。車両内に心拍推定装置を設置する場合、心拍推定装置は例えばハンドル、シート、ドアなどに取り付けても良い。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
被験者にマイクロ波を照射する送信部と、
前記被験者からの反射波を検知して検知結果を取得する受信部と、
前記被験者の動きを検出して検出結果を取得するセンサと、
前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する推定部
を備えたことを特徴とする、心拍推定装置。
（付記２）
前記センサは、マイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つを含むことを特徴とする、付記１記載の心拍推定装置。
（付記３）
前記推定部は、
前記検知結果を周波数解析する第１の周波数解析部と、
前記検出結果を周波数解析する第２の周波数解析部と、
前記第１の周波数解析部による周波数解析結果からピークの周波数を特定する第１の特定部と、
前記第２の周波数解析部による周波数解析結果からピークの周波数を特定する第２の特定部と、
前記第１及び第２の特定部で特定されたピークの周波数を比較する比較部と、
前記第２の特定部で特定されたピークの周波数の近傍に存在する、前記第１の特定部で特定されたピークを前記心拍の候補から除外する心拍情報推定部
を有することを特徴とする、付記１または２記載の心拍推定装置。
（付記４）
前記心拍情報推定部は、０．５Ｈｚ以上、且つ、４．０Ｈｚ以下の周波数範囲内で前記心拍の候補から除外するピークを探索することを特徴とする、付記３記載の心拍推定装置。
（付記５）
前記推定部は、前記心拍の候補として特定されたピークの周波数を中心に、前記反射波の検知結果にフィルタ処理を施すフィルタ部を更に有することを特徴とする、付記１乃至４のいずれか１項記載の心拍推定装置。
（付記６）
前記フィルタ部の出力データに１次微分を施して特徴点を求めて心拍間隔を取得する特徴認識部と、
前記心拍間隔に基づいて心拍数を算出する算出部
を更に備えたことを特徴とする、付記５記載の心拍推定装置。
（付記７）
被験者に照射したマイクロ波の反射波を受信部で検知した検知結果を取得し、
前記被験者の動きをセンサで検出した検出結果を取得し、
前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づきプロセッサで心拍を推定する
ことを特徴とする、心拍推定方法。
（付記８）
前記被験者の動きをマイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つのセンサで検出することを特徴とする、付記７記載の心拍推定方法。
（付記９）
前記推定は、
第１の周波数解析部による前記検知結果を周波数解析と、
第２の周波数解析部による前記検出結果を周波数解析と、
第１の特定部による前記第１の周波数解析部の周波数解析結果からのピークの周波数の特定と、
第２の特定部による前記第２の周波数解析部の周波数解析結果からのピークの周波数の特定と、
比較部による前記第１及び第２の特定部で特定されたピークの周波数の比較と、
心拍情報推定部による前記第２の特定部で特定されたピークの周波数の近傍に存在する、前記第１の特定部で特定されたピークの前記心拍の候補からの除外
を含むことを特徴とする、付記７または８記載の心拍推定方法。
（付記１０）
０．５Ｈｚ以上、且つ、４．０Ｈｚ以下の周波数範囲内で前記心拍の候補から除外するピークを前記心拍情報推定部で探索することを特徴とする、付記９記載の心拍推定方法。
（付記１１）
前記推定は、フィルタ部による前記心拍の候補として特定されたピークの周波数を中心とした、前記反射波の検知結果に対するフィルタ処理を更に含むことを特徴とする、付記７乃至１０のいずれか１項記載の心拍推定方法。
（付記１２）
前記フィルタ部の出力データに特徴認識部により１次微分を施して特徴点を求めて心拍間隔を取得し、
前記心拍間隔に基づいて算出部により心拍数を算出する
ことを特徴とする、付記１１記載の心拍推定方法。
（付記１３）
コンピュータに心拍推定処理を実行させるプログラムであって、
被験者に照射したマイクロ波の反射波を受信部で検知した検知結果を取得する手順と、
前記被験者の動きをセンサで検出した検出結果を取得する手順と、
前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する手順
を前記コンピュータに実行させることを特徴とする、プログラム。
（付記１４）
前記被験者の動きをマイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つのセンサの出力から検出する手順
を前記コンピュータに更に実行させることを特徴とする、付記１３記載のプログラム。
（付記１５）
前記推定する手順は、
前記検知結果を周波数解析する第１の周波数解析手順と、
前記検出結果を周波数解析する第２の周波数解析手順と、
前記第１の周波数解析手順の周波数解析結果からのピークの周波数を特定する第１の特定手順と、
前記第２の周波数解析手順の周波数解析結果からのピークの周波数の特定する第２の特定手順と、
前記第１及び第２の特定手順で特定されたピークの周波数を比較する比較手順と、
前記第２の特定手順で特定されたピークの周波数の近傍に存在する、前記第１の特定手順で特定されたピークの前記心拍の候補からの除外する手順
を含むことを特徴とする、付記１３または１４記載のプログラム。
（付記１６）
前記除外する手順は、０．５Ｈｚ以上、且つ、４．０Ｈｚ以下の周波数範囲内で前記心拍の候補から除外するピークを探索することを特徴とする、付記１５記載のプログラム。
（付記１７）
前記推定する手順は、前記心拍の候補として特定されたピークの周波数を中心に、前記反射波の検知結果にフィルタ処理を施すフィルタ手順を更に含むことを特徴とする、付記１３乃至１６のいずれか１項記載のプログラム。
（付記１８）
前記フィルタ手順の出力データに１次微分を施して特徴点を求めて心拍間隔を取得する手順と、
前記心拍間隔に基づいて心拍数を算出する手順
を前記コンピュータに更に実行させることを特徴とする、付記１７記載のプログラム。

以上、開示の心拍推定装置及び方法、並びにプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

１０，１０−１〜１０−３ 携帯電話
１０−４ ＰＣ
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１７ 通信インターフェイス
１８ センシング部
２５ マイクロ波送受信部
３１ マイクロホン
３２ 加速度センサ
３３ 角速度センサ

Claims (10)

1. 被験者にマイクロ波を照射する送信部と、
   前記被験者からの反射波を検知して検知結果を取得する受信部と、
   前記被験者の動きを検出して検出結果を取得するセンサと、
   前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する推定部
   を備えたことを特徴とする、心拍推定装置。
2. 前記センサは、マイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つを含むことを特徴とする、請求項１記載の心拍推定装置。
3. 前記推定部は、
   前記検知結果を周波数解析する第１の周波数解析部と、
   前記検出結果を周波数解析する第２の周波数解析部と、
   前記第１の周波数解析部による周波数解析結果からピークの周波数を特定する第１の特定部と、
   前記第２の周波数解析部による周波数解析結果からピークの周波数を特定する第２の特定部と、
   前記第１及び第２の特定部で特定されたピークの周波数を比較する比較部と、
   前記第２の特定部で特定されたピークの周波数の近傍に存在する、前記第１の特定部で特定されたピークを前記心拍の候補から除外する心拍情報推定部
   を有することを特徴とする、請求項１または２記載の心拍推定装置。
4. 前記心拍情報推定部は、０．５Ｈｚ以上、且つ、４．０Ｈｚ以下の周波数範囲内で前記心拍の候補から除外するピークを探索することを特徴とする、請求項３記載の心拍推定装置。
5. 前記推定部は、前記心拍の候補として特定されたピークの周波数を中心に、前記反射波の検知結果にフィルタ処理を施すフィルタ部を更に有することを特徴とする、請求項１乃至４のいずれか１項記載の心拍推定装置。
6. 前記フィルタ部の出力データに１次微分を施して特徴点を求めて心拍間隔を取得する特徴認識部と、
   前記心拍間隔に基づいて心拍数を算出する算出部
   を更に備えたことを特徴とする、請求項５記載の心拍推定装置。
7. 被験者に照射したマイクロ波の反射波を受信部で検知した検知結果を取得し、
   前記被験者の動きをセンサで検出した検出結果を取得し、
   前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づきプロセッサで心拍を推定する
   ことを特徴とする、心拍推定方法。
8. 前記被験者の動きをマイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つのセンサで検出することを特徴とする、請求項７記載の心拍推定方法。
9. コンピュータに心拍推定処理を実行させるプログラムであって、
   被験者に照射したマイクロ波の反射波を受信部で検知した検知結果を取得する手順と、
   前記被験者の動きをセンサで検出した検出結果を取得する手順と、
   前記検出結果を周波数解析して特徴点が得られる周波数の近傍に存在する、前記検知結果を周波数解析して得られる特徴点を、心拍の候補から除外した後に残る特徴点に基づき心拍を推定する手順
   を前記コンピュータに実行させることを特徴とする、プログラム。
10. 前記被験者の動きをマイクロホン、加速度センサ、及び角速度センサのうち少なくとも１つのセンサの出力から検出する手順
    を前記コンピュータに更に実行させることを特徴とする、請求項９記載のプログラム。

Images