JP6538287B2 - 皮膚検出に対する装置、システム及び方法 - Google Patents

Description

本発明は、皮膚検出に対する装置、システム及び方法に関する。

人のバイタルサイン、例えば心拍（ＨＲ）、呼吸数（ＰＲ）又は動脈血酸素飽和度は、人の現在の健康状態のインジケータとして及び深刻な医療事象の強力な予測因子として機能する。この理由のため、バイタルサインは、入院患者及び外来患者ケア環境、家庭又は他の健康、レジャー及びフィットネス環境において広く監視される。

バイタルサインを測定する１つの方法は、プレチスモグラフィである。プレチスモグラフィは、一般に、器官又は身体部分の体積変化の測定を指し、特に、心拍ごとに対象の身体を通って移動する心臓血管脈波による体積変化の検出を指す。

フォトプレチスモグラフィ（ＰＰＧ）は、関心領域又は体積の光反射又は透過の時間変化を評価する光学的測定手法である。ＰＰＧは、血液が周辺組織より光を吸収し、したがって、心拍ごとの血液体積の変化が、対応して透過又は反射に影響を与えるという原理に基づく。心拍に関する情報のほかに、ＰＰＧ波形は、呼吸のような他の生理学的現象に起因する情報を有することができる。異なる波長（典型的には赤及び赤外）における透過率及び／又は反射率を評価することにより、血液酸素（又は他の血液気体／物質）飽和度が、決定されることができる。

近年、控えめな測定に対する非接触の遠隔ＰＰＧ（ｒＰＰＧ）装置（カメラｒＰＰＧ装置とも称される）が、導入されている。遠隔ＰＰＧは、関心対象から離れて配置された光源、又は一般に放射線源を使用する。同様に、検出器、例えばカメラ又は光検出器も、関心対象から離れて配置されることができる。したがって、遠隔フォトプレチスモグラフィシステム及び装置は、控えめであり、医療及び非医療の日常的な使用に対して適切であると見なされる。この手法は、特に、極めて虚弱な皮膚を持つ新生児集中治療室（ＮＩＣＵ）の患者、未熟児、又は広範囲熱傷を持つ患者のような、バイタルサイン監視を必要とする極端な皮膚感度を持つ患者に対して明白な利点を持つ。

Verkruysse他, "Remote plethysmographic imaging using ambient light", Optics Express, 16(26), 22 December 2008, pp. 21434-21445は、フォトプレチスモグラフィ信号が、赤色、緑色及び青色チャネルを使用して、従来の消費者レベルのビデオカメラ及び環境光を使用して遠隔で測定されることができることを示している。

完全に非接触である利点から離れて、カメラ（一般に撮像装置と称される）は、マルチスポット及び大面積測定を可能にする２Ｄ情報を提供し、しばしば、追加のコンテキスト情報を含む。特定の測定点／領域における正しい配置に依存する接触センサとは異なり、ｒＰＰＧ手法を使用してパルス信号を測定するのに使用される領域は、実際の画像から決定される。したがって、いかなる照明条件下でも信頼できる皮膚領域の正確な検出は、カメラベースのｒＰＰＧ装置及び方法の処理チェーンにおいて重要な部分になる。

現在、皮膚領域の信頼できる検出及び追跡に対して既知である２つの主要なアプローチが存在する。

１つのアプローチは、皮膚色（ＲＧＢベース）検出及びセグメンテーションに基づく。このアプローチによる方法は、皮膚色を持つ領域の検出及び追跡の両方において高速である。しかしながら、これらは、皮膚領域から反射された光の色を変更する環境光色の変化に対してロバストではなく、低照明条件下又は暗闇で皮膚領域を検出することができない。更に、このような方法は、常に、同じ色を持つ他の表面から皮膚を区別することができない。

他のアプローチは、抽出されたＰＰＧ信号に基づく（ＰＰＧベース）。このアプローチによる方法は、実際の皮膚領域と同じ皮膚色の他の対象の領域とを区別する際に、よりロバストである。このアプローチは、より強力なＰＰＧ信号（最も周期的な信号）を持つ皮膚領域をセグメント化するのにも使用されることができる。しかしながら、このアプローチの信頼性は、ＰＰＧ信号抽出のロバスト性に依存し、したがって、対象の運動及び血流レベルにより影響される。したがって、パルス信号が、周期的ではない又は弱い場合、カメラベースのシステムは、皮膚領域を検出／セグメント化するのが困難である。更に、このアプローチは、計算的に高価である。

皮膚領域の検出が、ｒＰＰＧ技術に基づくバイタルサイン検出の分野のみの関心ではなく、他の技術分野、例えばプレイヤのジェスチャを認識するのにカメラ技術を使用する遠隔ゲーム応用、顔検出、セキュリティ（監視カメラを使用する人のロバストな検出及びマスクを着用している人の検出又はカメラレジストレーションにおける現実的なマスクからの実際の顔の区別）等においても関心があることは、注意されるべきである。

取得された画像における周期的な色変化自体が、生物の皮膚と非皮膚とを区別するのに使用されることができることが、示されている。しかしながら、特に低い光レベルで又は暗闇での応用、例えば夜間患者監視に対して、特に近赤外（ＮＩＲ）波長範囲における、これらの吸収変化の比較的低い振幅は、依然として問題であり、皮膚及び非皮膚を区別する実際の試みを失敗させる。

ＷＯ２０１５／０４９１５０Ａ１は、対象のバイタルサインに関連した入力信号の処理に対する装置に関し、前記装置は、非侵襲的に検出された入力信号を受信するインタフェースと、前記入力信号の瞬間的な周波数及び／又は振幅表現を含む、前記入力信号の少なくとも１つのフィーチャを抽出するフィーチャ抽出モジュールと、前記少なくとも１つの抽出されたフィーチャに基づいて、前記入力信号に含まれる前記対象のバイタルサインに関する情報を示す、前記入力信号に対する信号情報コンテンツパラメータを決定する処理モジュールと、複数の入力信号の前記信号情報コンテンツパラメータに基づいて前記複数の入力信号を結合して、前記対象の前記バイタルサインを特徴づける結合された出力信号とする結合モジュールとを有する。Ｄ１は、更に、対応する方法及び対象のバイタルサインを遠隔で監視する監視システムに関する。

ＵＳ２０１３／０２９６６６０Ａ１は、血液量パルス、心拍、呼吸波、又は呼吸数のような、対象の１以上の生理学的パラメータを遠隔で測定又は監視する方法及びシステムを記載する。前記方法は、前記対象の一連の画像を取得するステップと、関心のある生理学的パラメータを取得するように前記画像を処理するステップとを含む。これらの方法は、アクティブナイトビジョンカメラから取得された信号を含む、単一チャネル信号を分析するのに使用されることができる。結果として、これらの方法は、日光及び微小光条件の両方で１以上の生理学的パラメータを測定又は監視するのに使用されることができる。

本発明の目的は、特に対象のバイタルサインを検出する装置及び方法において使用する、皮膚の信頼できる正確かつ高速な検出を可能にする装置及び対応する方法並びにシステムを提供することである。

本発明の第１の態様において、
‐シーンの画像データを取得する入力インタフェースであって、前記画像データが、時系列の画像フレームを有する、当該入力インタフェースと、
‐前記画像データの関心領域からフォトプレチスモグラフィＰＰＧ信号を抽出する抽出ユニットと、
‐前記ＰＰＧ信号をスペクトル信号に変換する変換ユニットと、
‐記述子を表すソートされたスペクトル信号を得るように前記スペクトル信号をソートするソートユニットと、
‐前記記述子に基づいて生物の皮膚領域として又は非皮膚領域として前記関心領域を分類する分類器と、
を有する皮膚検出に対する装置が、提示される。

本発明の更なる態様において、対応する方法が、提示される。

本発明の更に他の態様において、
‐シーンの画像データを取得する撮像ユニットと、
‐前記シーンの前記取得された画像データに基づいてここに開示される皮膚検出に対する装置と、
を有する皮膚検出に対するシステムが、提示される。

本発明の更に他の態様において、コンピュータにより実行される場合に、ここに開示される方法のステップを前記コンピュータに実行させるプログラムコード手段を有するコンピュータプログラム、及びコンピュータにより実行される場合に、ここに開示された方法が実行されるようにするコンピュータプログラムを記憶する不揮発性コンピュータ可読記録媒体が、存在する。

本発明の好適な実施例は、従属請求項において規定される。請求された方法、システム、コンピュータプログラム及び媒体が、請求された装置及び従属請求項に規定されたものと同様の及び／又は同一の好適な実施例を持つと理解されるべきである。

本発明は、例えば生物の皮膚領域又は完全な生物又は皮膚領域及び非皮膚領域を示す異なる身体部分を潜在的に含むシーンの画像データから得られたソートされた周波数領域信号においてエネルギの分布を評価することにより、周波数領域においてノイズからパルス信号を区別するアイデアに基づく。特に、（ソートされた（又はランク付けされた）周波数領域表現において）パルス信号のエネルギが、ソートされた（又はランク付けされた）ノイズスペクトルのエネルギより速く降下することが、わかっている。好適には、例えばこのようなランク付けされたスペクトルを入力として使用して、適宜に訓練された分類器を用いて、前記画像データ内の特定の関心領域（ＲＯＩ）、例えば前記画像データの画像フレームの画像セグメントが、皮膚を示すか否かの信頼できる決定が、なされることができる。

ここで、ソート及びランク付けは、同義語として理解されるべきである。これは、周波数サンプルの順序が、減少する又は増加する振幅で順序付けられたように見えるように変更される、すなわち、前記周波数サンプルが、周波数方向において再順序付けされることを意味する。

したがって、提案された装置、システム及び方法は、実質的に３Ｄ時系列画像フレームから１Ｄ時間信号（ここで「ＰＰＧ信号」とも称される）を抽出し、前記時間信号を変換された信号に変換し、記述子を得るように前記変換された信号をソートし、前記記述子に基づいて前記３Ｄ時系列画像フレームを分類することにより、３Ｄ時系列画像フレーム（特にその中の画像セグメント）が、生きている人間組織を含むか否かを決定することを可能にする。

これに関連して、前記画像データのＲＯＩから、例えばビデオシーケンス内のＲＯＩから、前記ＰＰＧ信号を抽出する時間において、前記ＲＯＩが実際に皮膚を示すかどうかが、既知ではないことに注意すべきである。この不確定性にかかわらず、前記ＲＯＩは、皮膚を含んでいたように扱われ、ＰＰＧ信号は、従来、皮膚領域に対して行われていたようにこの仮定で前記ＲＯＩから抽出される。

前記変換に対して、一般的に、ＦＦＴ、ＤＣＴ、ウェーブレット変換、ハール変換等のようないかなる種類の周波数領域変換も、使用されうる。

一実施例によると、前記変換ユニットは、前記ＰＰＧ信号を位相情報なしのスペクトル信号に、特にパワースペクトル又は絶対スペクトルに変換する、すなわち複素スペクトルを実信号に変換するように構成される。フーリエ変換の出力は、複素（実部及び虚部）信号である。前記位相情報に関心が無い場合、複素サンプルのノルム（複素面内のベクトルの長さ）が取られてもよく、これは、しばしば、絶対スペクトル又は振幅スペクトルと称される。これらの数を二乗することにより、パワースペクトルが得られる。これは、（単純に未知の位相及び周波数を持つ正弦曲線でモデル化されることができるが、前記ソートされたスペクトルにおいて常に第１の（少数の）ビンにおける高い振幅として表れる）パルスと（ランダム（振幅及び位相の両方）信号としてモデル化されることができ、前記（ソートされた又はソートされていない）スペクトルにおいて同じ振幅を持つ広帯域の周波数として表れる）ノイズとを区別することが望ましいので、有利である。これら２つのソートされたスペクトルは、分類するのが容易である。

他の実施例において、前記ソートユニットは、前記スペクトル信号を２以上のスペクトルサブ信号に分割し、前記記述子を表すソートされたスペクトルサブ信号を得るように前記サブ信号を別々にソートするように構成される。このようなサブ信号が、例えばノイズからパルス信号を、したがって非皮膚から皮膚を区別することを更に良好に可能にすることがわかっている。

好ましくは、前記ソートユニットは、前記スペクトル信号を、前記スペクトル信号の第１の周波数範囲をカバーする帯域内サブ信号及び前記スペクトル信号の残りの周波数範囲をカバーする帯域外サブ信号に分割し、前記記述子を表すソートされた帯域内サブ信号及びソートされた帯域外サブ信号を得るように前記帯域内サブ信号及び前記帯域外サブ信号を別々にソートするように構成される。これにより、前記ソートユニットは、前記帯域内サブ信号が、前記スペクトル信号の周波数範囲の下側部分又は前記スペクトル信号の最高周波数ピークの周りの周波数範囲の部分をカバーするように前記スペクトル信号を分割するように更に構成されてもよい。例えば、前記帯域内は、単純にオーバサンプリングされたＰＰＧ信号の下半分であることができ、前記帯域外は、単純に同じオーバサンプリングされたＰＰＧ信号の上半分であることができる。より洗練されたバージョンにおいて、前記帯域内は、例えば合計周波数ビンの半分を持つ、最高周波数ピークの周りの窓として規定されてもよく、前記帯域外は、この場合、残りの周波数ビンにより規定されてもよい。前記周波数ビンを分離する他の選択肢が、例えば見込みのあるパルススペクトル成分（例えば前記周波数領域における２０％の最高ピーク）を帯域内として、残りのスペクトル成分を帯域外として選択することにより、同様に、より正確な帯域内を規定することが可能である。

他の実施例において、前記変換ユニットは、前記スペクトルの（正規化の種類に依存する）エネルギ又は振幅が、後の評価に影響を持たないように、前記スペクトル信号を正規化するように構成される。これは、前記スペクトルを、実質的にそれぞれ皮膚及び非皮膚領域におけるパルス及びノイズ振幅から独立したものにする。前記正規化は、例えば、Ｌ１又はＬ２ノルムにより実施されてもよい。実際的な実施例は、位相スペクトルをすべての周波数において一定値にリセットし、ロバストな分類を得るように振幅スペクトルを正規化することを有してもよい。

前記装置は、２以上の反復を実行するように前記変換ユニット及び前記ソートユニットを制御する制御ユニットを更に有してもよく、前記ソートユニットから出力される前記ソートされたスペクトル信号は、次の反復において前記変換ユニットに対する入力ＰＰＧ信号として使用される。したがって、前記反復は、前の反復の出力に対して作用し、好ましくは、前記信号の長さを半分にした後に、前記分類器により最終的に使用される前記スペクトルのマルチスケール表現を生じる。特に、最初の反復は、ノイズ周波数成分の位相をリセットすることにより非組織を表す比較的先鋭化した信号を生じる。好ましくは、前記スペクトルの長さは、異なる反復において減少され、すなわち前記変換は、異なるスケールで実行され、結果としてマルチスケール表現を生じ、（より少ないサンプルを持つ）より粗いスペクトルが、依然として、同じ信号を記述するが、より粗いスケールである。

前記変換及びソートの繰り返しが、（先鋭化された）パルススペクトルを平坦なスペクトルに変換するが、（比較的平坦な）ノイズスペクトルが、先鋭化されたスペクトルに変換されることがわかっている。繰り返される変換において、前記位相情報、前記ピークの場所、及び前記スペクトルの振幅は、好ましくは、無視される。前記ソートは、前記ピークが同じ場所にあることを確認し、前記分類を改善する。

他の実施例において、前記分類器は、各反復において前記ソートユニットから出力された前記ソートされたスペクトル信号を連結し、前記関心領域を生物の皮膚領域として又は非皮膚領域として分類するのに、前記連結されたソートされたスペクトル信号を記述子として使用するように構成される。前記連結されたソートされたスペクトル信号において、前記先鋭化された部分及び平坦な部分は、交互であり、前記交互のシーケンスは、非皮膚領域からのＰＰＧ信号と比較して皮膚領域からのＰＰＧ信号に対して反対である。したがって、非常に信頼できる分類は、このような前記連結されたソートされたスペクトル信号に基づいてなされることができる。

更に、一実施例において、前記抽出ユニットは、画像フレームごとに前記画像データの画素のグループの画像データ値を結合し、特に平均し、前記結合された画像データ値から前記ＰＰＧ信号を得るように構成される。したがって、画素のグループにわたる平均（結合）が、取られてもよく、連結された平均の時間発展が、前記１Ｄ時間信号として見なされてもよい。これは、前記分類の信頼性を改善する。基本的に、（皮膚マップの）解像度の損失は、平均化が（前記パルス信号のノイズを少なくすることにより）パルスとノイズとの間の差を増加するので、前記分類の改善された信頼性に対して取引される。

前記抽出ユニットは、波長又は波長範囲において画像フレームごとに前記画像データの画素のグループの画像データ値を結合し、特に平均し、前記結合された画像データ値から前記ＰＰＧ信号を得るように更に構成されてもよい。更に、前記抽出ユニットは、画素又は画素のグループごとに及び画像フレームごとに、少なくとも２つの異なる波長チャネルの画像データ値を重み付け平均として結合し、前記結合された画像データ値から前記ＰＰＧ信号を得るように構成されてもよい。したがって、波長（又は色）ごとの画素のグループにわたる平均が、取られてもよく、連結された平均の時間発展は、前記１Ｄ時間信号を得るように波長ごとに連結されてもよい。これにより、前記抽出ユニットは、正規化された血液量パルスベクトルシグネチャベースの方法（すなわちＰｂｖ法）、クロミナンスベースの方法（すなわちＣＨＲＯＭ法）、ブラインド音源分離法（すなわちＢＳＳ法）、主成分分析（ＰＣＡ）又は独立成分分析（ＩＣＡ）を使用して前記重みを計算するように構成されてもよい。

一般に、ＰＰＧ信号は、皮膚の血液量の変化から生じる。したがって、前記変化は、反射／透過光の異なるスペクトル成分において見られる場合に特徴的な拍動性「シグネチャ」を与える。この「シグネチャ」は、基本的に、血液の吸収スペクトル及び血液のない皮膚組織の吸収スペクトルのコントラスト（差）として生じる。検出器、例えばカメラ又はセンサが、光スペクトルの特定の部分を各々感知する離散的な数の色チャネルを持つ場合、これらのチャネルにおける相対的な拍動性は、「正規化された血液量ベクトル」Ｐｂｖとも称される、「シグネチャベクトル」に配置されることができる。このシグネチャベクトルが既知である場合に、色チャネル及びシグネチャベクトルに基づく運動ロバストパルス信号抽出が可能であることは、参照によりここに組み込まれる、 G. de Haan and A. van Leest, "Improved motion robustness of remote-PPG by using the blood volume pulse signature", Physiol. Meas. 35 1913, 2014に示されている。前記パルス信号の品質に対して、前記シグネチャが正しいにもかかわらず、他の形で、既知の方法が、前記シグネチャベクトルにより示される正規化された色チャネルを用いる前記パルスベクトルの所定の補正を達成するために出力パルス信号内にノイズを混合することは、不可欠である。

Ｐｂｖ法及び（「基準生理学情報を示す設定された向きを持つ所定のインデックス要素」と称される）正規化された血液量ベクトルの使用の詳細は、その詳細が参照によりここに組み込まれるＵＳ２０１３／２７１５９１Ａ１にも記載されている。

前記分類器は、前記関心領域が生物の皮膚領域である尤度を決定するように構成されてもよく、すなわち前記分類器は、前記関心領域が皮膚領域であるか否かのバイナリ決定のみならず、前記関心領域が皮膚領域である尤度をも発行する。

前記分類器は、管理学習（supervised learning）（例えばＡｄａＢｏｏｓｔ、ＳＶＭ等）から得られてもよく、入力として前記変換された信号のサンプル（例えばランク付けされた正規化された周波数ビン）を取り、画像セグメントが生きている人間組織であるか否かの尤度を識別する信号（硬い（バイナリ）ラベル、又は回帰値）を出力する。更に、前記分類器は、生きている人間組織を含むセグメントを表す変化する振幅、ノイズのレベル、及び心拍帯域の周波数を持つ正弦曲線を含む１Ｄ時間信号と、生きている人間組織を含まないセグメントを表すノイズ信号とのデータセットを使用して訓練されてもよい。

前記装置は、前記画像データの画像フレームをセグメント化するセグメンテーションユニットを更に有してもよく、前記抽出ユニットは、別々の後の処理のために２以上の画像フレームセグメントからＰＰＧ信号を抽出するように構成される。

本発明は、好ましくは、遠隔ＰＰＧ技術の使用によるバイタルサイン取得に関連して使用される。この目的で、前記撮像ユニットは、好ましくは、経時的に前記シーンの画像のシーケンスを取得するように構成され、前記装置は、前記画像のシーケンス内の検出された皮膚領域からの画像情報に基づいて前記シーン内の対象のバイタルサインを検出する場タイルサイン検出器を更に有してもよい。したがって、皮膚領域の提案された検出は、バイタルサインの取得中に皮膚領域を検出及び／又は追跡するのに一度又は連続的に使用されてもよい。

本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。

本発明によるシステムの第１の実施例の概略図を示す。 本発明による装置の第１の実施例の概略図を示す。 異なる生物に対する皮膚及び非皮膚領域からの典型的なＰＰＧ信号を示す図を示す。 異なる生物に対する皮膚及び非皮膚領域からの典型的なＰＰＧ信号を示す図を示す。 本発明の一実施例による方法の様々なステップにおける典型的な信号を示す図を示す。 本発明の一実施例による方法の様々なステップにおける典型的な信号を示す図を示す。 本発明の一実施例による方法の様々なステップにおける典型的な信号を示す図を示す。 本発明の一実施例による方法の様々なステップにおける典型的な信号を示す図を示す。 本発明による装置の第２の実施例の概略図を示す。 第２の実施例による処理に関する記述子を示す図を示す。 本発明の第３の実施例による処理に関する記述子を示す図を示す。 本発明の第３の実施例による処理に関する記述子を示す図を示す。

図１は、皮膚検出に対する装置１２を含む本発明によるシステム１０の概略図を示す。システム１０及び装置１２は、好ましくは、対象１４の時系列の画像フレームを含む画像データから前記対象のバイタルサインを検出する装置及び方法において使用されうる。対象１４、本例において患者は、例えば病院又は他のヘルスケア施設内の、ベッド１６に横たわるが、例えば保育器内に横たわる新生児若しくは早産児、又はスポーツを行っているアスリートのような、家庭若しくは異なる環境における人であってもよい。

撮像ユニット１８は、前記シーンの画像データ（ＲＧＢ画像とも称され、可視及び／又は赤外光の波長範囲における画像として理解されるべきである）を取得する、特に、好ましくはＰＰＧ信号が得られることができる対象１４の皮膚領域１５を含む、経時的な対象１４の画像フレームのシーケンスを取得するカメラ（検出ユニット、又はカメラベース若しくは遠隔ＰＰＧセンサとも称される）を含んでもよい。対象１４のバイタルサインを得る装置１２の使用において、皮膚領域１５は、好ましくは、頬又は額のような顔の領域であるが、手又は腕のような可視の皮膚表面を持つ身体の他の領域であってもよい。

前記撮像により獲得された画像フレームは、特に、例えば（デジタル）カメラ内のアナログ又はデジタル光センサを用いて獲得されたビデオシーケンスに対応してもよい。このようなカメラは、通常、特定のスペクトル範囲（可視、ｎＩＲ）において動作してもよく、又は異なるスペクトル範囲に対する情報を提供し、特にＰＰＧ信号の抽出を可能にしてもよい、ＣＭＯＳ又はＣＣＤセンサのような光センサを含む。前記カメラは、アナログ又はデジタル信号を提供してもよい。前記画像フレームは、関連付けられた画素値を持つ複数の画像画素を含む。特に、前記画像フレームは、光センサの異なる光感知素子で獲得された光強度値を表す画素を含む。これらの光感知素子は、特定のスペクトル範囲（すなわち特定の色を表す）において感知してもよい。前記画像フレームは、人の皮膚部分を表す少なくとも一部の画像画素を含む。これにより、画像画素は、光検出器の１つの光感知素子及びその（アナログ又はデジタル）出力に対応してもよく、又は複数の前記光感知素子の（例えばビニングによる）組み合わせに基づいて決定されてもよい。

カメラ１８を使用する場合、システム１０は、更に、オプションとして、例えば所定の波長範囲又は複数の範囲（例えば赤、緑及び／又は赤外波長範囲）の光で、患者の顔の皮膚（例えば頬又は額の一部）のような、関心領域２４を照射する／光を当てる、ランプ又はＬＥＤのような、照射ユニット２２（照射源又は光源又は電磁放射体とも称される）を有してもよい。前記照射に応答して関心領域２４から反射された光は、カメラ１８により検出される。他の実施例において、専用の光源は提供されないが、環境光が、対象１４の照射に対して使用される。前記反射光から、所望の波長範囲（例えば緑及び赤又は赤外光、又は少なくとも２つの波長チャネルをカバーする十分に大きな波長範囲の光）の光のみが、検出及び／又は評価されてもよい。

装置１２は、更に、前記決定された情報を表示する及び／又は装置１２、カメラ１８、照射ユニット２２及び／又はシステム１０の他のパラメータを変更するインタフェースを医療専門家に提供するインタフェース２０に接続される。このようなインタフェース２０は、異なるディスプレイ、ボタン、タッチスクリーン、キーボード又は他の人間機械インタフェース手段を有してもよい。

図１に示されるシステム１０は、例えば、病院、ヘルスケア施設、又は高齢者ケア施設等に配置されうる。患者の監視から離れて、本発明は、新生児監視、一般的な監視応用、セキュリティ監視又はフィットネス機器、ウェアラブル、若しくはスマートフォンのような携帯装置のようないわゆるライフスタイル環境のようなほかの分野において使用されてもよい。装置１２、カメラ１８及びインタフェース２０の間の一方向又は二方向通信は、無線又は有線通信インタフェースを介して機能しうる。本発明の他の実施例は、スタンドアローンで提供されないが、カメラ１８又はインタフェース２０内に一体化された装置１２を含んでもよい。

図２は、図１に示されるシステム１０内の装置１２として使用されてもよい、本発明による装置１２ａの第１の実施例の概略図を示す。対象１４の１以上のバイタルサインを得るために、前記対象の皮膚領域は、前記画像データ内で見つけられなければならない。この目的で、提案された装置１２ａは、シーンの画像データ４０を得るための入力インタフェース３０を有し、前記画像データは、撮像ユニット１８により取得された時系列の画像フレームを有する。抽出ユニット３１は、前記画像データの関心領域からＰＰＧ信号４１を抽出し、前記関心領域は、１以上の画像フレームのセグメンテーションから生じる単一の画素又は画素のグループ又は領域でありうる。変換ユニット３２は、前記ＰＰＧ信号４１をスペクトル信号４２に変換する。ソートユニット３３は、記述子を表すソートされたスペクトル信号４３を得るように前記スペクトル信号４２をソートする。最終的に、分類器３４は、前記記述子に基づいて前記関心領域を生物の皮膚領域として又は非皮膚領域として分類し、バイナリ決定（例えば前記関心領域が皮膚であるか否かの標示）又は前記関心領域が皮膚であるか否かの尤度でありうる、対応する分類結果４４を発行する。

ユニット３０乃至３４は、専用のハードウェア要素として構成されなくてもよいが、適宜にプログラムされるプロセッサ又はコンピュータとして構成されてもよい。装置１２ａは、例えば共通のハウジング（例えば撮像ユニット１８の共通のハウジング）内に、全ての要素及びユニットを含む一体化された装置として、又は前記要素及びユニットが分散されている、すなわち異なる位置に配置された別々の要素及びユニットとして実装される、図１に示されるような、分散された装置として構成されてもよい。

図３Ａ及び３Ｂは、異なる生物に対する皮膚及び非皮膚領域からの典型的なＰＰＧ信号４１を示す図を示す。特に、図３Ａは、第１の対象（例えば大人）からのパルス信号４１ａ及び第２の対象（例えば新生児）からのパルス信号４１ｃを示す。見られることができるように、異なる対象からのパルス信号は、異なる。更に、単一の対象からのパルス信号でさえ、（例えば位相において）時間変化する。前記パルスが、一般に、明確な周期的成分を持つが、振幅、位相及び周波数（例えば心拍可変性）において変化が存在してもよく、典型的には、前記信号は、また、センサノイズを被り、対象運動により歪められうる。図３Ｂは、前記第１の対象（例えば大人）からのノイズ信号４１ｂ及び前記第２の対象（例えば新生児）からのノイズ信号４１ｄを示す。見られることができるように、ノイズ信号は、学習されることができない不規則な／一貫性のない信号であり、パルス信号も、大幅な可変性を示す。したがって、１つのアイデアは、得られたＰＰＧ信号を、管理学習を可能にする異なる表現に変換することである。

パルス及びノイズを２つのクラスとして見なして、前記変換された表現（例えば前記記述子）は、ＰＰＧ信号の３つの特性を除去すべきである。前記記述子は、パルス／ノイズの位相変化、すなわち異なる瞬間におけるパルスに対して不変であるべきである。更に、前記記述子は、パルス／ノイズの振幅に依存すべきではない。更に、前記記述子は、パルス／ノイズの変化する周波数、すなわち異なる対象から独立であるべきである。

上記の要件を仮定して、以下の典型的なアプローチは、ＰＰＧ信号４１に対して使用され、これは、本発明による方法の様々なステップにおける典型的な信号を示す図を示す図４の使用により示される。第１のステップにおいて、スペクトルブーストは、変換ユニット３２によりＰＰＧ信号４１（図示のために、パルス信号４１ａ及びノイズ信号４１ａが図４Ａに示される）に対して使用される。パルスが周期的な信号であるという有効な仮定に基づいて、変換ユニット３２は、例えばフーリエ変換（ＦＴ）の使用により、分析のためにＰＰＧ信号４１を時間領域から周波数領域に変換する。図４Ｂに示される変換されたパルス４２ａは、周波数スペクトルにおいて著しいピークを示すのに対し、図４Ｂに示される変換されたノイズ４２ｂは、このようなパターンを示さない不規則な信号である。これにより、フーリエ変換（又は高速フーリエ変換；ＦＦＴ）は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウェーブレット変換、又はハール変換等により置き換えられることができる。

前記ＦＴを使用することは、

として記載されることができ、

に対して、長さＬ＝２^{n,{n|n∈Z,n?2}}を持つＰＰＧ信号を用い、
フーリエ変換（例えばＬ＝６４）；

は、ＦＴ演算を示す。

の実部及び虚部は、振幅又はパワースペクトルを使用するだけで除去されることができる、変化する位相情報を含む。好ましくは、前記パワースペクトルは、一般的に、パルスの周波数ピークをブーストし、前記ノイズを抑制するので、使用される。

は、半分の冗長性を持つミラーされたスペクトルであるので、前記パワースペクトルを得る前に半分にされ、すなわち

であり、ここでconj(.)は、結合（conjugation）を示し、

は、要素ごとの積を示す。Ｓ^L/2において、前記位相情報は消え、前記パルスの周波数ピークは、図４Ｂに示されるように、ノイズのものと比べてブースとされる。

次のステップにおいて、スペクトル正規化が、変換ユニット３２により実行されうる。この正規化は、前記スペクトルを、それぞれ皮膚／非皮膚領域におけるパルス及びノイズ振幅から実質的に独立にする。前記スペクトル振幅は、依然としてＳ^L/2において可変であり、これらは、

として正規化され、ここで、||.||_Pは、Ｌｐノルムを示す。これは、Ｌ１ノルム又はＬ２ノルムのいずれかであることができる。標準偏差の正規化は、絶対エネルギ情報のみが照射されるべきなので、好適ではないが、変化は、パルス及びノイズを区別するために前記スペクトル内に残るべきである。典型的な実施例において、Ｌ２ノルムは、合計エネルギに対してノイズを抑制することができるので、使用される。正規化された

は、スペクトル振幅から独立であるのに対し、エントリの相対エネルギ分布は、図４Ｃに示されるように、正規化されたスペクトルパルス信号４２ａ'及び正規化されたスペクトルノイズ信号４２ｂ'に対して残される。

次のステップにおいて、スペクトルソートは、ソートユニット３３により実行される。周波数変化のため、

は、まだ分類に対して使用されることができない。しかしながら、異なる個人は、異なる心拍を持つので、これらのパルス周波数は、ほとんど先鋭化され、特定の（低い）帯域、すなわち、［４０，２４０］拍／分（ｂｐｍ）に集中されるのに対し、背景（非皮膚）信号は、通常、高周波帯域に広がる白色ノイズである。このために、前記

は、再び分割され、例えば（サブ信号とも称される）２つの半分に、好ましくは前記パルス関連特性がここで暗示的に利用される「帯域内」及び［帯域外」周波数を近似するように下部分及び上部分に等分される。

周波数依存性を除去するために、前記分割されたスペクトルは、ソートされ、次いで、

のように連結され、ここで、sort(.)は、例えば振幅／エネルギの降順にスペクトルエントリをソートすることを示す。

において、パルス及びノイズにおける周波数変化は、除去されるが、下帯域及び上帯域における本質的な差は、ソートされたスペクトルパルス信号４３ａ及びソートされたスペクトルノイズ信号４３ｂを示す図４Ｄに示されるように、保存される。したがって、このステップにおいて、ランク付け（ソート）手順は、本質的に実行され、周波数ビンに対して作用する。

提案されたアプローチと既知のアプローチとの間の本質的な差は、既知のアプローチが、パルス及びノイズを分離するのに単一の値（例えば正規化されたスペクトルピーク）のみを使用するのに対し、提案されたアプローチは、実際には形状記述子である分類に対してソートされたスペクトル内の全てのエントリを利用することである。本質的に、提案されたアプローチによると、（前記ランク付けされた周波数スペクトルにおける）パルス信号のエネルギが、前記ランク付けされたノイズスペクトルのエネルギより速く降下する現象が、利用される。これらのランク付けされたスペクトルを入力として使用する訓練された分類器を用いて、最適な決定が、得られることができる。換言すると、上に示された第１の実施例において、ソートされたスペクトル信号４３ａ、４３ｂは、下の画像データ内のそれぞれの関心領域が生物の皮膚領域であるか又は非皮膚領域であるかを決定するのに分類器３４により使用される。

図５は、本発明による装置１２ｂの第２の実施例の概略図を示す。この実施例において、制御ユニット３５は、２以上の反復を実行するように前記変換ユニット３２及び前記ソートユニット３３を制御するために提供され、前記ソートユニット３３から出力されたソートされたスペクトル信号４３は、次の反復において変換ユニット３２に対する入力ＰＰＧ信号４１'として使用される。したがって、本実施例によると、マルチスケール反復が、以下に説明されるように実行されうる。

装置１２ａの第１の実施例を用いて、変換された信号

は、入力ＰＰＧ信号

を条件として得られ、ここで、パルス及びノイズは、自己統合（self-unified）されたが、相互に異なる解釈を持つ。パルス及びノイズの記述子が比較される場合、パルス記述子は、目立つフィーチャ（例えば、第１の場所におけるピーク）を持つのに対し、前記ノイズは、そうではない。より良好な分類性能を得るために、異なるクラスからの記述子は、大きなクラス間変化を必要とし、すなわちパルス及びノイズは、容易に区別可能である。これは、手順（ブースト、正規化、ソート）を反復することにより改善されることができる。ここで、比較的平坦なノイズスペクトルが、明白なピークに変換し、先鋭化されたパルススペクトルが、比較的平坦な結果に変換する。結合された２回の反復は、２つのクラスの間の逆位相パターンを提供し、これは、より容易な分離を生じる。

同様に、同じ変換は、更に、前記変換された信号に対して１回以上反復される。パルス及びノイズにおける新しく生成されたパターンは、反対の順序で、すなわち、得られたパルス信号記述子４３ａ'及びノイズ信号記述子４３ｂ'に対する図６に示されるように、「ピーク‐フラット‐ピーク」対「フラット‐ピーク‐フラット」で、生じる。図示された例において、５回の反復のソートされたスペクトル信号が、連結される。

このようにして、より長い記述子Ｘが、異なるスケールで反復的に変換された信号を収集／連結するように作成され、すなわち、

であり、ここで、

は、長さＬ／(２×ｉ)を持つｉ番目の反復における変換された信号である。前記反復が終了した場合、完全な記述子は、更に、Ｌ２ノルムにより正規化されてもよい。実際に、提案された記述子は、マルチスケール反復が前記記述子の識別性を改善することができるという仮説上で構築される。このような仮説は、実験的に確認されている。

したがって、前の反復の出力に作用する反復は、好ましくは、前記信号の長さを半分にした後に開始される。この場合、前記反復は、前記スペクトルのマルチスケール表現を前記分類に対して利用可能にする。特に、最初の反復は、ノイズ周波数成分における位相の除去のため、非組織を表す比較的先鋭化された信号を生じる。この理由で、少なくとも２つの順次的な変換、すなわち、ＦＦＴ‐位相削除‐正規化‐ランク付け‐ＦＦＴ‐位相削除‐正規化‐ランク付けが、実行されてもよく、ここで、効率のため、第２の変換は、第１の反復から得られた半分のスペクトルに作用してもよい。

更に、パルス及びノイズ表現の間の識別性は、更に改善されうる。一実施例において、前記変換された記述子（４３ａ'，４３ｂ'）における平坦な／先鋭化されたパターンは、更に平坦に／先鋭化されることができる。式（２）は、前記パワースペクトルを得るのに単一の信号を使用する。これは、（一方のフレームがシフトされた）２つの時間的に隣接した信号を使用することにより改善されうる。これは、主に、ノイズクラスの利益になり、すなわち、２つのノイズ信号の結合が、前記パワースペクトルの実部において負のエントリを誘発する。これは、ノイズ信号における高周波成分により、すなわち、背景（非皮膚）信号は、ほとんど白色ノイズであり、したがって、ここで利用される。前記スペクトルの最小の負の値を減算することは、図７Ａ（及び図４Ｄ）に示される元のノイズ記述子４３ｂと比較して得られたノイズ記述子４３ｃを示す図７Ｂに示されるように、第１の反復において前記ノイズ記述子を更に平坦にすることができる。したがって、このような実施例において、前記ブーストするステップは、単一の信号の代わりに（１フレームシフトされた）２つの時間的に隣接した信号を結合することにより修正されうる。

上に示されたように、好適な実施例において、前記位相情報を無視するが、前記絶対スペクトル又は前記パワースペクトルを取ることが、提案される。

好ましくは、前記ランク付けは、２回、すなわち、帯域内ランク付け及び帯域外ランク付けが行われる。帯域内は、単純にオーバサンプリングされた信号の下半分であることができ、帯域外は、上半分である。しかしながら、より洗練されたバージョンにおいて、帯域内は、例えば合計ビン数の半分を持つ、最高周波数ピークの周りの窓として規定され、帯域外は、この場合、残りの周波数ビンにより形成される。

前記分類は、管理学習（例えばＡｄａＢｏｏｓｔ、ＳＶＭ等）から得られ、入力として前記変換された信号（例えば位相情報を持たない、ランク付けされた、正規化された周波数ビン）のサンプルを取り、画像セグメントが生きている人間の組織であるか否かの尤度を識別する信号（硬い（バイナリ）ラベル、又は回帰値）を出力する分類器を使用してもよい。前記管理学習は、皮膚及び非皮膚表面から得られた実際のデータを使用しうるが、良好な性能は、変化する振幅、ノイズのレベル、及び生きている人間の組織を含むセグメントを表す脈拍数帯域の周波数を持つ正弦曲線を含む１Ｄ時間信号と、生きている人間の組織を含まないセグメントを表すノイズ信号（ゼロ平均ガウス、又は一様等）のデータセットを使用して前記分類器を訓練することにより得られている。

更に、提案された方法は、セグメンテーションから得られた画像領域を分類するのに使用されてもよく、場合により、運動追跡が、連続した画像において経時的に個別のセグメントを追跡するのに使用されてもよい。

本発明は、好ましくは、人のバイタルサインの取得に対するｒＰＰＧの分野において使用される。したがって、撮像ユニットにより得られた画像は、上で説明されたように皮膚領域を検出するのに使用されるのみならず、検出された（及び好ましくは本発明の使用により追跡された）皮膚領域から、心拍、ＳｐＯ２等のような人のバイタルサインを得るのに使用されるＰＰＧ信号が、得られる。撮像ユニット１８は、少なくとも前記シーンが（環境光により及び／又は照射により）照射される波長又は波長範囲において感知するが、特に所望のバイタルサインを得るのに必要とされる場合に、同様に他の波長に対して感知してもよい。

本発明の他の実施例において、皮膚検出に対する提案された分析は、一般的に既知であるように皮膚検出に対する他の方法、例えば皮膚領域から反射された構造化された光の時間的拍動性又はクロミナンスの分析と組み合わせられることができる。前記方法は、更なるステップを有してもよく、前記装置の様々な実施例に対して上で説明されたように及びここに開示されるように修正されてもよい。

提案された装置及び方法は、ＰＰＧ関連バイタルサイン（例えば心拍、ＳｐＯ２、呼吸）の連続的な目立たない監視に対して使用されることができ、ＮＩＣＵ、手術室又は一般病棟において使用されることができる。提案された装置及び方法は、個人のヘルス監視に対して使用されることもできる。一般に、本発明は、皮膚が、シーンの画像において検出される必要があり、特に非皮膚から区別される必要がある全ての応用において使用されることができる。

本発明は、図面及び先行する記載において詳細に図示及び記載されているが、このような図示及び記載は、例示的又は典型的であり、限定的ではないと見なされるべきであり、本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形例は、図面、開示及び添付の請求項の検討から、請求された発明を実施する際に当業者により理解及び達成されることができる。

請求項において、単語「有する」は、他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は、複数を除外しない。単一の要素又は他のユニットが、請求項に記載された複数のアイテムの機能を満たしてもよい。特定の方策が相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組み合わせが有利に使用されることができないことを示さない。

コンピュータプログラムは、他のハードウェアの一部として又は一緒に供給される光記憶媒体又は半導体媒体のような、適切な不揮発性媒体に記憶／分配されてもよいが、インターネット又は他の有線若しくは無線電気通信システムのような、他の形で分配されてもよい。

請求項内の参照符号は、その範囲を限定すると解釈されるべきではない。

Claims (15)

1. シーンの画像データを得る入力インタフェースであって、前記画像データが、時系列の画像フレームを有する、当該入力インタフェースと、
   前記画像データの関心領域からフォトプレチスモグラフィ信号（ＰＰＧ信号）を抽出する抽出ユニットと、
   前記ＰＰＧ信号をスペクトル信号に変換する変換ユニットと、
   前記スペクトル信号をソートして、記述子を表すソートされたスペクトル信号を得るソートユニットと、
   前記記述子に基づいて前記関心領域を生物の皮膚領域として又は非皮膚領域として分類する分類器と、
   を有する皮膚検出に対する装置。
2. 前記変換ユニットが、前記ＰＰＧ信号を、位相情報なしのスペクトル信号に変換する、
   請求項１に記載の装置。
3. 前記ソートユニットが、前記スペクトル信号を、２以上のスペクトルサブ信号に分割し、前記スペクトルサブ信号を別々にソートして、前記記述子を表すソートされたスペクトルサブ信号を得る、
   請求項１に記載の装置。
4. 前記ソートユニットが、前記スペクトル信号を、前記スペクトル信号の第１の周波数範囲をカバーする帯域内サブ信号及び前記スペクトル信号の残りの周波数範囲をカバーする帯域外サブ信号に分割し、前記帯域内サブ信号及び前記帯域外サブ信号を別々にソートして、前記記述子を表すソートされた帯域内サブ信号及びソートされた帯域外サブ信号を得る、
   請求項１に記載の装置。
5. 前記ソートユニットは、前記帯域内サブ信号が、前記スペクトル信号の周波数範囲の下部分又は前記スペクトル信号の最高周波数ピークの周りの周波数範囲の部分をカバーするように、前記スペクトル信号を分割する、
   請求項４に記載の装置。
6. 前記変換ユニットが、前記スペクトル信号を正規化する、
   請求項１に記載の装置。
7. ２以上の反復を実行するように前記変換ユニット及び前記ソートユニットを制御する制御ユニットであって、前記ソートユニットから出力された前記ソートされたスペクトル信号が、次の反復において前記変換ユニットに対する入力ＰＰＧ信号として使用される、当該制御ユニット、
   を更に有する、請求項１に記載の装置。
8. 前記分類器が、各反復において前記ソートユニットから出力された前記ソートされたスペクトル信号を連結し、前記関心領域を生物の皮膚領域として又は非皮膚領域として分類するのに前記連結されたソートされたスペクトル信号を記述子として使用する、
   請求項１に記載の装置。
9. 前記抽出ユニットが、画像フレームごとに前記画像データの画素のグループの画像データ値を結合し、前記結合された画像データ値から前記ＰＰＧ信号を得る、
   請求項１に記載の装置。
10. 前記抽出ユニットが、波長又は波長範囲において画像フレームごとに前記画像データの画素のグループの画像データ値を結合し、前記結合された画像データ値から前記ＰＰＧ信号を得る、
    請求項１に記載の装置。
11. 前記抽出ユニットが、画素又は画素のグループごとに及び画像フレームごとに、少なくとも２つの異なる波長チャネルの画像データ値を重み付け平均として結合し、前記結合された画像データ値から前記ＰＰＧ信号を得る、
    請求項１に記載の装置。
12. 前記抽出ユニットが、正規化された血液量パルスベクトルシグネチャベースの方法、クロミナンスベースの方法、ブラインド音源分離法、主成分分析又は独立成分分析を使用して前記重みを計算する、
    請求項１１に記載の装置。
13. シーンの画像データを取得する撮像ユニットと、
    前記シーンの前記取得された画像データに基づく請求項１に記載の皮膚検出に対する装置と、
    を有する皮膚検出に対するシステム。
14. シーンの画像データを得るステップであって、前記画像データが、時系列の画像フレームを有する、ステップと、
    前記画像データの関心領域からフォトプレチスモグラフィ信号（ＰＰＧ信号）を抽出するステップと、
    前記ＰＰＧ信号をスペクトル信号に変換するステップと、
    前記スペクトル信号をソートして、記述子を表すソートされたスペクトル信号を得るステップと、
    前記記述子に基づいて前記関心領域を生物の皮膚領域として又は非皮膚領域として分類するステップと、
    を有する皮膚検出に対する方法。
15. コンピュータにより実行される場合に、前記コンピュータに、請求項１４に記載の方法のステップを実行させるプログラムコード手段を有するコンピュータプログラム。

Images