JP2017158675A - 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 - Google Patents

Abstract

【課題】複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することを可能とする。【解決手段】脈拍推定装置３が、被検体Ｈの少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラ２から入力される画像入力部２１と、撮像画像から肌色領域を抽出する領域抽出部２２と、肌色領域から抽出した情報に基づき被検体の脈波信号を検出する脈波検出部２３と、その脈波信号に基づき被検体の脈拍を推定する脈拍推定部２４と、その脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定部２６と、脈波検定部２６で前記波形の特徴が前記基準範囲に収まると判断された場合に、脈拍推定部２４で推定された脈拍を出力する出力判定部２７とを備えた構成とする。【選択図】図２

Description

本発明は、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法に関する。

従来、人の脈拍の測定に関し、被検者の手首に測定者（看護師等）が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者（人体）と接触せずに脈拍を推定（検出）するための技術が開発されている。例えば、被検者を撮影して得られた画像データから被検者の脈波の時系列データである脈波信号を抽出し、その脈波信号に基づき脈拍を推定（検出）する技術が知られている（特許文献１参照）。

しかし、脈波信号に基づき脈拍を測定する技術では、被検者に動きがある場合、とりわけ被検者の動きが大きいまたは激しい場合には、脈波信号の波形が大きく乱れ、その乱れに起因して脈拍検出の精度および信頼性が低下する恐れがある。脈拍検出の精度および信頼性が低下すると、検出された脈拍を用いた様々な評価（例えば、被検者のストレス評価）にも悪影響を及ぼす。したがって、脈波信号における波形が大きく乱れた部分は、脈拍の推定に使用しない、すなわち脈拍推定用の脈波データ（脈波信号）から除外することが求められる。そこで、ジャイロセンサを使用して被検者の動きが少ないときの脈波信号の波形を基準波形として予め取得しておき、その基準波形との類似度に基づき、脈波信号における波形が大きく乱れた部分を、脈拍推定用の脈波データから除外する技術が提案されている（特許文献２参照）。

特開２０１２−２３９６６１号公報 特開２０１５−２０５０５０号公報

しかしながら、上記特許文献２に記載された従来技術では、被検者の動きが少ないときの脈波信号の波形を基準波形として予め取得する必要があるため、また、基準波形の取得にジャイロセンサを使用するため、処理及び装置が複雑になるという問題があった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することが可能な脈拍推定装置、脈拍推定システムおよび脈拍推定方法を提供することを主目的とする。

本発明の脈拍推定装置は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、前記撮像画像から肌色領域を抽出する領域抽出部と、前記肌色領域から抽出した情報に基づき、前記被検体の脈波信号を検出する脈波検出部と、前記脈波信号に基づき、前記被検体の脈拍を推定する脈拍推定部と、前記脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定部と、前記脈波検定部で前記波形の特徴が前記基準範囲に収まると判断された場合に、前記脈拍推定部で推定された脈拍を出力する出力判定部とを備えたことを特徴とする。

本発明によれば、複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することが可能となる。

本実施形態に係る脈拍推定システムの全体構成図 本実施形態に係る脈拍推定システムの機能ブロック図 図２に示した脈拍推定装置の脈波検出部による脈波検出処理の説明図 脈波検出部で検出された脈波信号の一例を示す図 脈拍推定装置の脈波検定部による脈波検定処理の説明図 脈拍推定装置の脈波検定部による脈波検定処理の説明図 脈拍推定装置の脈波検定部による脈波検定処理の説明図 本実施形態に係る脈拍推定装置を実現するためのハードウェア構成を示すブロック図 本実施形態に係る脈拍推定装置による処理の流れを示すフロー図

上記課題を解決するためになされた第１の発明は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、前記撮像画像から肌色領域を抽出する領域抽出部と、前記肌色領域から抽出した情報に基づき、前記被検体の脈波信号を検出する脈波検出部と、前記脈波信号に基づき、前記被検体の脈拍を推定する脈拍推定部と、前記脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定部と、前記脈波検定部で前記波形の特徴が前記基準範囲に収まると判断された場合に、前記脈拍推定部で推定された脈拍を出力する出力判定部とを備えたことを特徴とする。

この第１の発明に係る脈拍推定装置によれば、脈波信号の波形の特徴が予め設定された基準範囲に収まる場合に、その脈波信号に基づき推定された脈拍を出力する構成としたため、複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することが可能となる。すなわち、脈拍検出の精度および信頼性の向上を図ることができる。

また、第２の発明では、上記第１の発明において、前記波形の特徴が、前記波形の波長の揺らぎの度合いを数値化した波長評価値、前記波形の振幅の揺らぎの度合いを数値化した振幅評価値、または前記波長評価値と前記振幅評価値とを合成して算出した合成評価値であることを特徴とする。

この第２の発明に係る脈拍推定装置によれば、波形の特徴として、波形の波長の揺らぎの度合い、波形の振幅の揺らぎの度合いを用いるので、波形の特徴の抽出を容易に行うことが可能となる。また、波形の特徴として、波形の波長の揺らぎの度合いと、波形の振幅の揺らぎの度合いとの組み合わせを用いた場合は、波形の特徴の抽出をより正確に行うことが可能となる。

また、第３の発明では、上記第２の発明において、前記数値化が、平均偏差、分散、または標準偏差の算出を含むことを特徴とする。

この第３の発明に係る脈拍推定装置によれば、波形の波長または振幅の揺らぎの度合いの数値化を、平均偏差、分散、または標準偏差の算出により行うので、波形の波長または振幅の揺らぎの度合いの数値化を容易にかつ正確に行うことが可能となる。

また、第４の発明では、上記第１の発明において、前記波形の特徴が、前記波形の周期であることを特徴とする。

この第４の発明に係る脈拍推定装置によれば、波形の特徴として、波形の周期を用いるので、波形の特徴が予め定められた基準範囲に収まるか否かの判断を容易に行うことが可能となる。

また、第５の発明では、上記第１の発明において、前記波形の特徴が、前記波形の形状パターンであることを特徴とする。

この第５の発明に係る脈拍推定装置によれば、波形の特徴として、波形の形状パターンを用いるので、波形の特徴が予め定められた基準範囲に収まるか否かの判断を容易に行うことが可能となる。

また、第６の発明は、請求項１から請求項５のいずれかに記載の前記脈拍推定装置と、前記脈拍推定装置に対して前記撮像画像を入力するカメラとを備えたことを特徴とする脈拍推定システムである。

また、第７の発明は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、前記撮像画像から肌色領域を抽出する領域抽出ステップと、前記肌色領域から抽出した情報に基づき、前記被検体の脈波信号を検出する脈波検出ステップと、前記脈波信号に基づき、前記被検体の脈拍を推定する脈拍推定ステップと、前記脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定ステップと、前記脈波検定ステップにおいて前記波形の特徴が前記基準範囲に収まると判断された場合に、前記脈拍推定ステップにおいて推定された脈拍を出力する出力判定ステップとを有することを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１および図２は、それぞれ本発明に係る脈拍推定システム１の全体構成図および機能ブロック図であり、図３は、図２に示した脈拍推定装置３の脈波検出部２３による脈波検出処理の説明図である。

脈拍推定システム１は、人体と接触せずに得られる情報（撮像画像）からその脈拍を推定するものであり、図１に示すように、人物（被検体）Ｈの少なくとも一部を被写体として撮影するカメラ２と、カメラ２の撮影により得られる撮像画像から人物Ｈの脈拍（脈拍数や脈波）を推定する脈拍推定装置３とを備えている。また、脈拍推定システム１において、カメラ２および脈拍推定装置３は、インターネットやＬＡＮ（Local Area Network）等のネットワーク４を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ２および脈拍推定装置３が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。また、カメラ２および脈拍推定装置３を、互いに一体となった機器として構成してもよい。

カメラ２は、公知の構成を有するカメラであり、レンズを通して得られる被写体（人物Ｈ）からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換した映像信号を脈拍推定装置３に対して出力する撮像部１１を備えている。なお、図１では１台のカメラ２のみを示しているが、脈拍推定システム１では、同様のカメラを複数設けた構成も可能である。

脈拍推定装置３は、人物Ｈの少なくとも一部を含む時間的に連続する撮像画像（フレーム画像のデータ）として、カメラ２の撮像部１１からの映像信号が入力される画像入力部２１と、入力された撮像画像から人物Ｈの肌色領域（ここでは、顔領域）を抽出する領域抽出部２２と、抽出された人物Ｈの肌色領域から得られる情報に基づき人物Ｈの脈波信号を検出する脈波検出部２３と、検出された脈波信号に基づき人物Ｈの脈拍を推定する脈拍推定部２４とを備えている。なお、領域抽出部２２によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。

さらに、脈拍推定装置３は、脈波検出部２３によって検出された脈波信号を記憶する脈波記憶部２５と、脈波記憶部２５に記憶された脈波信号を検定する脈波検定部２６と、脈波検定部２６での検定結果に基づき脈拍推定部２４での推定結果（脈拍）の出力の有無を判定する出力判定部２７と、脈拍推定部２４での推定結果（脈拍）を含む各種情報を脈拍推定装置３のユーザに対して表示可能な公知のディスプレイ装置からなる表示部２８とを備えている。

領域抽出部２２は、各撮像画像（フレーム画像）に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Ｈの肌色領域として抽出・追尾する。

領域抽出部２２では、上述の方法に限らず、撮像画像から予め設定された肌色成分（例えば、ＲＧＢの各画素値に関する予め設定された比率であって、人種等によって異なる値となる）を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分（例えば、手や腕など）についても、肌色領域として抽出可能である。ただし、上述のように、人物Ｈの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図１では、１人の人物Ｈのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部２２では、複数の顔領域が抽出され得る。

脈波検出部２３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０−２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈波信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成するか、または各画素の成分をＹ、Ｃｂ、Ｃｒとし、環境の明るさ変動の影響の少ない色差成分（Ｃｂ、Ｃｒ）から時系列データを生成することができる。

生成された画素値（平均値）の時系列データは、例えば、図３（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、脈波検出部２３は、その画素値に基づく時系列データに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図３（Ｂ）に示すように、高周波ノイズ成分や低周波の揺れ成分を除去した脈波を検出（抽出）することができる。

脈拍推定部２４は、脈波検出部２３で検出された脈波信号における互いに隣り合うピーク間の間隔Ｓ（図３（Ｂ）参照）、すなわち脈波の一拍分の周期の間隔（脈波間隔）Ｓを算出し、その脈波間隔Ｓに基づき脈拍数を推定することができる。脈波間隔Ｓは、心臓の拍動に起因するため、心電計における心拍間隔（ＲＲＩ）に相当すると見なすことができる。したがって、脈波間隔Ｓに基づき脈拍数を推定することが可能である。

なお、脈拍推定部２４での脈拍の推定は、時系列的にリアルタイムで行ってもよいし、Ｍフレーム毎に行ってもよい。本実施形態では、脈拍を推定は、時系列的にリアルタイムで行っている。なお、脈拍の推定をＭフレーム毎に行う場合は、脈拍推定部２４は、脈波記憶部２５に記憶されたＭフレーム分の脈波信号を用いて、脈拍の推定を行うとよい。

脈波記憶部２５には、脈波検出部２３で検出された脈波信号が記憶される。具体的には、所定フレーム毎（すなわち所定期間毎）の脈波信号が記憶される。本実施形態では、Ｍフレーム分の脈波信号が記憶されるものとする。Ｍフレームは、例えば、２〜３秒に相当するフレーム数である。

脈波検定部２６は、脈波記憶部２５に記憶されたＭフレーム分の脈波信号を検定する。具体的には、脈波信号の波形の特徴を抽出し、抽出された波形の特徴が、予め定められた基準範囲に収まるか否かを判断する。なお、脈波信号を検定するタイミングは、Ｍフレーム毎であってもよいし、脈拍推定部２４で脈拍が推定されたときであってもよい。本実施形態では、脈波信号の検定は、Ｍフレーム毎に行っている。

図４は、脈波検出部２３で検出されたＭフレーム分の脈波信号の一例を示す図である。ここでは、波形の特徴として、波形の振幅および間隔を用いる。Ａの区間では、波形の振幅および間隔（波長）はばらつきが小さく、波形は乱れていない。したがって、Ａの区間の波形は、基準範囲に収まると判断される。一方、Ｂの区間では、波形の振幅および間隔はばらつきが大きく、波形は乱れている。したがって、Ｂの区間の波形は、基準範囲に収まらないと判断される。このように、脈波検定部２６は、脈波信号の波形の特徴に基づき、その波形の特徴が基準範囲に収まるか否かを判断する。脈波検定部２６での検定には、様々な手法を用いることができる。以下、脈波検定部２６での検定手法について説明する。

（ａ）波形の間隔Ｌの揺らぎの度合いに基づく検定
図５は、波形の特徴として脈波信号の波形の間隔（波長）を用いる場合の脈波検定処理の説明図である。図５中の（１）〜（３）は波形の上側部分での左右方向に互いに隣り合うピーク間の間隔Ｌをそれぞれ示し、（４）〜（６）は波形の下側部分での、左右方向に互いに隣り合うピーク間の間隔Ｌをそれぞれ示す。この（１）〜（６）の間隔Ｌに基づき、統計学的手法を用いて、波形の間隔Ｌの揺らぎの度合いを評価値として算出する。具体的には、（１）〜（６）の間隔Ｌについての平均偏差、分散、標準偏差などの統計値を算出し、その統計値を間隔Ｌの揺らぎの評価値（波長評価値Ｅ_Ｌ）とする。この波長評価値Ｅ_Ｌが、波形の特徴となる。そして、算出された波長評価値Ｅ_Ｌを予め定められた評価閾値と比較することにより、波形の特徴である波長評価値Ｅ_Ｌが予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。なお、波長評価値Ｅ_Ｌの算出に用いるのは、（１）〜（６）の間隔Ｌではなく、（１）〜（３）の間隔Ｌまたは（４）〜（６）の間隔Ｌであってもよい。あるいは、（１）〜（６）のうちの任意の組み合わせの間隔Ｌであってもよい。

（ｂ）波形の振幅Ａの揺らぎの度合いに基づく検定
図６は、波形の特徴として脈波信号の波形の振幅を用いる場合の脈波検定処理の説明図である。図６中の（１）〜（７）は波形の上下方向に互いに隣り合うピークとボトム間の振幅Ａをそれぞれ示す。この（１）〜（７）の振幅Ａに基づき、統計学的手法を用いて、波形の振幅Ａの揺らぎの度合いを評価値として算出する。具体的には、上記の波形の間隔Ｌの場合と同様に、（１）〜（７）の振幅Ａについての平均偏差、分散、標準偏差などの統計値を算出し、その統計値を振幅Ａの揺らぎの評価値（振幅評価値Ｅ_Ａ）とする。この振幅評価値Ｅ_Ａが、波形の特徴となる。そして、算出された振幅評価値Ｅ_Ａを予め定められた評価閾値と比較することにより、波形の特徴である振幅評価値Ｅ_Ａが予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。なお、振幅評価値Ｅ_Ａの算出に用いるのは、（１）〜（７）の振幅Ａではなく、（１）〜（７）のうちの任意の組み合わせの振幅Ａであってもよい。

（ｃ）波形の間隔Ｌの揺らぎの度合いと波形の振幅Ａの揺らぎの度合いとに基づく検定
波形の特徴として、波形の間隔Ｌの波長評価値Ｅ_Ｌと、波形の振幅Ａの振幅評価値Ｅ_Ａとの両方を用いることもできる。具体的には、波長評価値Ｅ_Ｌと振幅評価値Ｅ_Ａとを合成して算出した評価値（合成評価値）を、波形の特徴として用いる。合成評価値は、下記の式を用いて算出することができる。
合成評価値＝ｗ１×波長評価値Ｅ_Ｌ＋ｗ２×振幅評価値Ｅ_Ａ
（ｗ１、ｗ２は重み係数）
そして、上記の波形の間隔Ｌや振幅Ａの場合と同様に、算出された合成評価値を予め定められた評価閾値と比較することにより、波形の特徴である合成評価値が予め定められた基準範囲に収まるか否かを判断する。評価閾値は、実験やシミュレーションなどにより事前に求めておく。

（ｄ）脈波の周期Ｐに基づく検定
波形の特徴として、脈波の周期Ｐを用いることもできる。具体的には、脈波の周期Ｐに基づき算出した、所定時間（ここでは１分間）あたりの脈波の波数（１周期分の波の数）を、波形の特徴として用いる。人間の一般的な脈拍数は、４０〜１２０拍／分の範囲であることが知られている。したがって、１分間あたりの脈波の波数が、４０〜１２０の範囲に入る場合は、その脈波は、人間の脈拍の特徴を有していると判断することができる。このようにして、１分間あたりの脈波の波数に基づき、波形の特徴が、予め定められた基準範囲に収まるか否かを判断することができる。なお、脈拍数の代わりに、人間の脈拍の特徴（すなわち、規則性）を示す他の指標を用いることも可能である。

（ｅ）波形の形状パターンに基づく検定
波形の特徴として、波形の形状パターンを用いることもできる。波形の形状パターンを公知の形状パターン認識技術を用いて認識し、認識された形状パターンを、予め記憶した波形の形状パターンと比較することにより、認識された形状パターン（すなわち、波形の特徴）が、予め定められた基準範囲に収まるか否かを判断する。図７は、波形の形状パターンに基づく脈波検定処理に用いられる形状パターンを示す図であり、（Ａ）は基準範囲内の形状パターン、（Ｂ）は基準範囲内の形状パターンをそれぞれ示す。認識された形状パターンが、図７（Ａ）の形状パターンのいずれかと一致する場合は、その形状パターンは基準範囲内であると判断される。一方、認識された形状パターンが、図７（Ｂ）の形状パターンのいずれかと一致する場合は、その形状パターンは基準範囲外であると判断される。このようにして、波形の形状パターンに基づき、波形の特徴が、予め定められた基準範囲に収まるか否かを判断することができる。なお、図７（Ａ）および図７（Ｂ）に示したような形状パターンの代わりにまたはそれらに加えて、機械学習手法（例えば、ディープラーニング）を用いて教師データを学習させることにより、波形の形状パターンを蓄積（記憶）するようにしてもよい。

また、上記の（ａ）、（ｂ）、（ｄ）、（ｅ）の任意の組み合わせを用いて、脈波信号の検定を行ってもよい。例えば、上記の（ａ）、（ｂ）、（ｄ）、（ｅ）から選択した任意の組み合わせ（例えば、（ａ）、（ｂ）、（ｅ）の組み合わせ）において、各検定結果に対して所定の重み係数を用いて重み付けを行い、重み付けされた各検定結果を合成して求めた評価結果に基づき脈波信号の検定を行うようにしてもよい。また、例えば、上記の（ａ）、（ｂ）、（ｄ）、（ｅ）から選択した任意の組み合わせ（例えば、（ａ）、（ｂ）、（ｄ）の組み合わせ）において、各検定結果を用いてファジィ推論を行うことにより脈波信号の検定を行うようにしてもよい。

以上のように、脈波検定部２６は、様々な検定手法を用いて、脈波信号を検定することができる。

出力判定部２７は、脈波検定部２６での検定結果に基づき、脈拍推定部２４で推定された脈拍を表示部２８に出力するか否かを判定する。脈波検定部２６で、脈波信号の波形の特徴が予め定められた基準範囲に収まると判断された場合は、脈拍を表示部２８に出力すると判定し、脈拍推定部２４で、脈波信号の波形の特徴が予め定められた基準範囲に収まらないと判断された場合、脈拍を表示部２８に出力しないと判定する。これにより、脈波信号の波形の特徴が予め設定された基準範囲に収まる場合にのみ、その脈波信号に基づき推定された脈拍を出力することが可能となる。

上述のような脈拍推定装置３は、例えば、ＰＣ（Personal Computer）などの情報処理装置から構成することが可能である。図８は、本実施形態に係る脈拍推定装置３を実現するためのハードウェア構成を示すブロック図である。脈拍推定装置３は、所定の制御プログラムに基づき各種情報処理（例えば、脈拍推定処理）や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）３１およびＤＳＰ（Digital Signal Processor）３２、ＣＰＵ３１およびＤＳＰ３２のワークエリア等として機能するＲＡＭ（Random Access Memory）やＣＰＵ３１およびＤＳＰ３２が実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）等のメモリ３３、脈拍推定装置３での処理結果を蓄積するＨＤＤ（Hard Disk Drive）やメモリカード等の記憶手段３４、処理結果を外部に出力するイーサーネット、Bluetooth（登録商標）、ＵＳＢ等の出力手段３５、処理結果を表示するモニタ等の表示手段３６、およびそれらを接続するバス３７を含むハードウェア構成を有している。なお、図２に示した脈拍推定装置３の各部の機能の少なくとも一部については、ＣＰＵ３１およびＤＳＰ３２が所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

次に、本実施形態に係る脈拍推定装置３による処理の流れを、図９のフロー図を参照して説明する。

まず、カメラ２から画像入力部２１に対して撮像画像（フレーム画像）が入力されると（ＳＴ１０１）、領域抽出部２２が、その撮像画像における肌色領域を抽出（ＳＴ１０２）する。続いて、脈波検出部２３が、抽出された肌色領域を構成する各画素値に基づく時系列データを生成するとともに、その時系列データに対し公知のフィルタ処理を実施することによりノイズ成分を除去して、脈波信号を検出する（ＳＴ１０３）。脈波検出部２３で検出された脈波信号は、脈波記憶部２５に記憶される。なお、上記のフィルタ処理は、そのフィルタ処理に必要なフレーム数（例えば、Ｎフレーム）の撮像画像を蓄積した後に行われる。すなわち、フィルタ処理は、Ｎフレーム毎に行われる。

次に、ステップＳＴ１０４では、脈拍推定部２４が、脈波における互いに隣り合うピーク間の間隔Ｓ（図３（Ｂ）参照）、すなわち脈波の一拍分の周期の間隔（脈波間隔）Ｓを算出し、その脈波間隔Ｓに基づき脈拍を推定する。続いて、ステップＳＴ１０５では、脈波検定部２６が、脈波記憶部２５に記憶された脈波信号を検定する。この検定は、Ｍフレーム分の脈波信号に対して行われる。

そして、ステップＳＴ１０６では、出力判定部２７が、脈波検定部２６での検定結果に基づき、脈拍推定部２４で推定された脈拍を表示部２８に出力するか否かを判定する。脈拍推定部２４において、脈波信号の波形の特徴が予め定められた基準範囲内であると検定された場合は、脈拍を表示部２８に出力すると判定し、脈波信号の波形の特徴が予め定められた基準範囲外であると判断された場合は、脈拍を表示部２８に出力しないと判定する。

その後、出力判定部２７で出力すると判定された脈拍およびそれに関する各種情報（例えば、脈波の波形など）が表示部２８に対して出力され、ユーザに対して表示される（ステップＳＴ１０７）。

なお、脈拍推定装置３では、上述のステップＳＴ１０１−ＳＴ１０７がカメラ２から順次入力される撮像画像に対して繰り返し実行される。また、上述のステップＳＴ１０４とステップＳＴ１０５の順番は同時または逆であってもよい。

以上のように、本発明によれば、脈波信号の波形の特徴が予め設定された基準範囲に収まる場合に、その脈波信号に基づき推定された脈拍を出力する構成としたため、複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することが可能となる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、本発明に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、医療的な用途に限らず、顔認識、監視、生死確認などの様々な用途に適用することが可能である。また、上記実施形態では、カメラおよび脈拍推定装置を設ける例を示したが、それらの一方が他方の機能の少なくとも一部（場合によっては全ての機能）を備えた構成も可能である。なお、上記脈拍推定装置、脈拍推定システムおよび脈拍推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、複雑な処理及び装置を用いることなく、より簡便な方法で脈拍の検出誤差を抑制することを可能とする脈拍推定装置、脈拍推定システムおよび脈拍推定方法などとして有用である。

１ 脈拍推定システム
２ カメラ
３ 脈拍推定装置
４ ネットワーク
１１ 撮像部
２１ 画像入力部
２２ 領域抽出部
２３ 脈波検出部
２４ 脈拍推定部
２５ 脈波記憶部
２６ 脈波検定部
２７ 出力判定部
２８ 表示部
Ｈ 人物（被検体）

Claims (7)

1. 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、
   前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、
   前記撮像画像から肌色領域を抽出する領域抽出部と、
   前記肌色領域から抽出した情報に基づき、前記被検体の脈波信号を検出する脈波検出部と、
   前記脈波信号に基づき、前記被検体の脈拍を推定する脈拍推定部と、
   前記脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定部と、
   前記脈波検定部で前記波形の特徴が前記基準範囲に収まると判断された場合に、前記脈拍推定部で推定された脈拍を出力する出力判定部と
   を備えたことを特徴とする脈拍推定装置。
2. 前記波形の特徴が、前記波形の波長の揺らぎの度合いを数値化した波長評価値、前記波形の振幅の揺らぎの度合いを数値化した振幅評価値、または前記波長評価値と前記振幅評価値とを合成して算出した合成評価値であることを特徴とする請求項１に記載の脈拍推定装置。
3. 前記波長評価値または前記波長評価値が、平均偏差、分散、または標準偏差を含むことを特徴とする請求項２に記載の脈拍推定装置。
4. 前記波形の特徴が、前記波形の周期であることを特徴とする請求項１に記載の脈拍推定装置。
5. 前記波形の特徴が、前記波形の形状パターンであることを特徴とする請求項１に記載の脈拍推定装置。
6. 請求項１から請求項５のいずれかに記載の前記脈拍推定装置と、
   前記脈拍推定装置に対して前記撮像画像を入力するカメラとを備えたことを特徴とする脈拍推定システム。
7. 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、
   前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、
   前記撮像画像から肌色領域を抽出する領域抽出ステップと、
   前記肌色領域から抽出した情報に基づき、前記被検体の脈波信号を検出する脈波検出ステップと、
   前記脈波信号に基づき、前記被検体の脈拍を推定する脈拍推定ステップと、
   前記脈波信号の波形の特徴を抽出し、前記波形の特徴が予め定められた基準範囲に収まるか否かを判断する脈波検定ステップと、
   前記脈波検定ステップにおいて前記波形の特徴が前記基準範囲に収まると判断された場合に、前記脈拍推定ステップにおいて推定された脈拍を出力する出力判定ステップと
   を有することを特徴とする脈拍推定方法。

Images