JP6786768B2 - 呼吸モニタリング装置およびパラメータ生成装置 - Google Patents
呼吸モニタリング装置およびパラメータ生成装置 Download PDFInfo
- Publication number
- JP6786768B2 JP6786768B2 JP2015257199A JP2015257199A JP6786768B2 JP 6786768 B2 JP6786768 B2 JP 6786768B2 JP 2015257199 A JP2015257199 A JP 2015257199A JP 2015257199 A JP2015257199 A JP 2015257199A JP 6786768 B2 JP6786768 B2 JP 6786768B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- lighting device
- respiration
- lighting
- breathing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、被験体を撮影した動画像から被験体の呼吸状態を計測する技術に関する。
人間を撮影した動画像における胸部や腹部などの領域の画素値または輝度値の時間的な変化を示す呼吸波形データを解析して、呼吸数または呼吸の有無を判定する技術が知られている。そのような技術分野において、特許文献１が知られている。特許文献１の装置は、カメラで取り込んだ人間の動画像における、画像の濃淡の変動から時系列データを生成する。そしてこの装置は、時系列データのパワースペクトルを求め、そのピーク周波数を利用して呼吸数を算出する。この装置によれば、被験者が体の一部を動かしている場合でも呼吸数を正確に算出することができる。
しかしながら、本願発明者の検討によると、従来の技術を用いると、部屋に設置された照明機器の影響を受けて、判定誤差が大きくなったり、呼吸数または呼吸の有無が誤って判定されたりすうという問題がある。
誤判定が生じたり、判定誤差が大きくなったりする要因の１つは、照明機器からの光（照明光）が呼吸波形データに影響するためである。照明機器を点灯すると、呼吸波形データの振幅が変化し、その結果、呼吸状態および無呼吸状態の判定に影響が及ぶ。また、照明機器のノイズによって、呼吸波形データが乱れる現象が生じる。照明機器のノイズとは、例えば照明機器に接続された外部電源から派生したノイズ、ランプの老朽化（つまり経時変化）に伴う照明光のちらつき、および照明機器のフリッカを意味する。
特許文献１に開示された装置においては、実際に室内で呼吸をモニタリングする場合、照明光が、パワースペクトル（波形の振幅）に影響及ぼし得る。また、照明光が測定データ（輝度値データ）のノイズとなり、測定結果に影響を与える場合がある。このように、照明機器を利用する場合、その影響を十分に考慮しないと、呼吸数を正確に判定できない蓋然性が高くなる。
本発明は、上記課題を解決するためになされたものであって、被験者の呼吸を正確に判定する技術を提供する。
本発明の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。
ある実施形態において、前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定してもよい。
ある実施形態において、前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定してもよい。
ある実施形態において、前記呼吸モニタリング装置は、前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備えていてもよい。
ある実施形態において、前記照明機器は、照度を多段階に設定することが可能な調光機能を備えていてもよく、前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいてもよい。
ある実施形態において、前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅であってもよい。
本発明の実施形態による呼吸モニタリングシステムは、光を放射する光源と、被験体からの光を受けて動画像を生成する撮像装置と、上記のいずれかに記載の呼吸モニタリング装置と、を備える。
ある実施形態において、前記光源は、赤外光を放射する赤外光源であってもよい。
本発明の実施形態による呼吸判定装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータに基づいた画像特徴量データを受け取るフレーム画像データ入力インタフェースと、照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。
本発明の実施形態によるパラメータ生成装置は、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、照明機器の点灯状態を示す照明機器状態データを受け取るフレーム画像データ入力インタフェースと、前記照明機器状態データと前記呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、を備える。
ある実施形態において、前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいてもよい。
ある実施形態において、前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅であってもよい。
本発明の他の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成し、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定し、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するように構成された演算回路と、を備える。
本発明の実施形態による計測方法は、被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、を包含する。
本発明の実施形態による閾値特定方法は、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる方法であって、１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、を包含する。
本発明の実施形態によるコンピュータプログラムは、被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップとを実行させる。
本発明の他の実施形態によるコンピュータプログラムは、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、を実行させる。
本発明の一実施形態によれば、照明光による影響を低減することで、被験者の呼吸を正確に判定する技術を提供することができる。
本発明の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、複数のフレーム画像にわたって、動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、呼吸領域指定データに基づいて特定される呼吸領域における画像特徴量データを生成する画像特徴量データ生成部と、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、画像特徴量データに基づいた呼吸波形の大きさと、特定された呼吸波形の大きさの閾値と、を比較して、被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。画像特徴量データは、例えば複数のフレーム画像にわたって取得される、特定領域の画素値や輝度値に基づいた時系列データである。なお、本明細書では、被験者は人であるとして説明するが、人以外の動物（犬や猫などのペット動物、豚やマウスなどの実験動物）であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。
本発明の実施形態による呼吸モニタリング装置によると、照明機器の使用状態が把握され、その状態に応じて、被験体の呼吸が検出されたか否かを判定するために用いるパラメータの値（例えば、振幅閾値）を変化させることにより、部屋の照明機器の使用状況に応じた判定が可能となる。
以下、添付の図面を参照しながら、本発明による呼吸モニタリング装置および呼吸モニタリングシステムの実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による呼吸モニタリング装置および呼吸モニタリングシステムは、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
（第１の実施の形態）
図１は、本実施の形態による呼吸モニタリング装置３０を含む、呼吸モニタリングシステム１００の構成を示す。
図１は、本実施の形態による呼吸モニタリング装置３０を含む、呼吸モニタリングシステム１００の構成を示す。
呼吸モニタリングシステム１００は、カメラ１０と、マウス２０と、呼吸モニタリング装置３０と、表示装置４０とを含む。図１には被験者１、照明機器５０および５１が示されているが、それらは呼吸モニタリングシステム１００に含まれない。呼吸モニタリングシステム１００は、被験者１を撮影した動画像から、その被験者１の呼吸の有無を判定するために利用される。
カメラ１０は、被験者１を撮影して動画像のデジタルデータを生成し、出力する。説明の都合上、１枚１枚のフレーム画像単位でデータが生成され、出力されるとする。なお、フレーム画像に分離可能であれば、そのデータ形式は任意である。たとえば、Ｈ．２６４規格等の動画像圧縮処理を利用して動画像のデジタルデータを生成し、出力してもよい。
マウス２０は、呼吸モニタリングシステム１００の操作者が呼吸モニタリング装置３０に指示を入力するために利用される入力装置である。より具体的には、マウス２０は、呼吸モニタリング装置３０が呼吸を判定する際に動画像のどの領域を利用するかを指定するために利用される。なお、マウス２０は入力装置の一例であり、他の周知の入力装置、たとえばトラックボール、キーボード、タッチペン、タッチスクリーンパネル、ディジタイザであってもよい。
呼吸モニタリング装置３０は、典型的にはコンピュータである。呼吸モニタリング装置３０は、カメラ１０によって撮影された動画像の信号と、マウス２０を利用して指定された領域の情報とを受け取り、指定された領域における動画像のデータを利用して、その被験者１の呼吸が検出されたか否かを判定する。その処理の詳細は後に詳述する。
表示装置４０は、たとえば液晶ディスプレイであり、呼吸モニタリング装置３０の処理結果、たとえば、計測した被験者１の呼吸の有無の情報、または呼吸の有無を判定できなかったことを示す情報を出力する。なお、液晶ディスプレイは一例であり、他の周知の表示装置、たとえばプラズマディスプレイ、有機ＥＬディスプレイ、プロジェクタであってもよい。なお、表示装置４０として、液晶ディスプレイ等を備えたタブレット、スマートフォンなどの携帯デバイスも含まれ得る。
照明機器５０は、例えばＬＥＤランプを備えたシーリングライトであり、照明装置５１は、蛍光灯を備えたスタンドライトである。照明機器の光源は、種々の光源を含み、上記以外に例えば白熱灯や高輝度放電灯（ＨＩＤランプ）であってもよい。照明機器は、ＬＥＤ等の光源を搭載したテレビや光学のインジケータを搭載した機器など光を発する機器をすべて含む。なお、上述したように、これらの照明装置は、呼吸モニタリングシステム１００には含まれない。
図２は、呼吸モニタリング装置３０のハードウェア構成を示す。本実施の形態では、呼吸モニタリング装置３０は、上述のように、カメラ１０、マウス２０および表示装置４０と接続されている。なお、図２においては、接続端子（コネクタ）などを意味するインタフェース装置を「Ｉ／Ｆ」と略記する。
呼吸モニタリング装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、画像処理回路３０５と、映像入力Ｉ／Ｆ３０６と、ＵＳＢ Ｉ／Ｆ３０７と、映像信号Ｉ／Ｆ３０８と、照明入力Ｉ／Ｆ３０９とを有する。
ＣＰＵ３０１は呼吸モニタリング装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理、その処理の一部、またはその変形例にかかる処理をＣＰＵ３０１または画像処理回路３０５に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または被験者１の計測データを格納する記憶装置である。
映像入力Ｉ／Ｆ３０６は、呼吸モニタリング装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。映像入力Ｉ／Ｆ３０６として、たとえばＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ（登録商標）規格、ＤＶＩ−Ｄ規格、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）規格の端子が利用され得る。
ＵＳＢ Ｉ／Ｆ３０７は、マウス２０と呼吸モニタリング装置３０とを接続する端子の一例である。他の例として、ＰＳ／２ Ｉ／Ｆを利用し得る。
出力Ｉ／Ｆ３０８は、呼吸モニタリング装置３０が表示装置４０に表示するためのデータを出力するためのインタフェースである。出力Ｉ／Ｆ３０８として、たとえばＨＤＭＩ規格、ＤＶＩ規格の端子が利用され得る。出力Ｉ／Ｆ３０８は、表示装置４０に表示されるテキストデータのみを出力してもよい。
照明入力Ｉ／Ｆ３０９は、照明機器５０および５１と、呼吸モニタリング装置３０との間で、照明機器の点灯状態を示す照明機器状態データを通信するためのインタフェースである。照明機器状態データは、照明機器が点灯しているＯＮ状態や消灯しているＯＦＦ状態を示している。照明入力Ｉ／Ｆ３０９は、データが転送可能であればその形態、プロトコルには限定されない。例えばＵＳＢ、ＩＥＥＥ１３９４、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｉ2Ｃ（Ｉｎｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）規格、ＨＤＭＩ規格の端子が利用され得る。特に、ＨＤＭＩ規格の端子を用いる場合、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）を利用することにより照明機器状態データを通信することができる。
なお、映像入力Ｉ／Ｆ３０６および／または出力Ｉ／Ｆ３０８は、映像専用のＩ／Ｆである必要はなく、データが転送可能であればその形態、プロトコルには限定されない。例えば、カメラ１０またはカメラ１０から映像データを受け取った他の機器（図示せず）が、ＴＣＰ／ＩＰプロトコルの通信を行うことが可能であれば、映像入力Ｉ／Ｆ３０６は、イーサネット（登録商標）端子であってもよい。または、無線通信によってデータの送信および／または受信を行う場合には、映像入力Ｉ／Ｆ３０６、出力Ｉ／Ｆ３０８、および照明入力Ｉ／Ｆ３０９の少なくとも１つは、たとえばＷｉ−Ｆｉ（登録商標）規格やＺｉｇＢｅｅ（登録商標）規格に準拠した通信を行う通信回路として実現され得る。
画像処理回路３０５は動画像のデータを解析する。画像処理回路３０５は、例えばグラフィックスプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のような集積回路である。画像処理回路３０５は、ＨＤＤ３０４から読み出した動画像のデータを利用して被験者１の呼吸を検出できたか否かを判定する。本実施の形態では主として画像処理回路３０５が、被験者１の呼吸を検出できたか否かを判定するものとして説明する。しかしながら、これは一例である。本実施の形態ではＣＰＵ３０１とは別に画像処理回路３０５を設けているが、ＣＰＵ３０１と画像処理回路３０５とを統合した集積回路（後述する演算回路３１０に相当）を設けてもよい。また、画像処理回路３０５の処理またはその一部を、ＣＰＵ３０１が行ってもよい。本明細書では、ＣＰＵ３０１および画像処理回路３０５を総称して、「演算回路」と呼ぶことがある。図２には、演算回路３１０が示されている。演算回路３１０もまた、例えばプロセッサ、ＦＰＧＡおよびＡＳＩＣのような集積回路であり得る。
図３および４を参照して呼吸モニタリング装置３０の機能および動作を説明する。
図３は、主として呼吸モニタリング装置３０の機能ブロックを示している。図示される各機能ブロックに対応した機能は、ソフトウェアおよびハードウェアのいずれによっても呼吸モニタリング装置３０に実装され得る。
呼吸モニタリング装置３０は、フレーム画像データ受信Ｉ／Ｆ１０１と、フレーム画像データバッファ１０２と、呼吸領域指定データ受信Ｉ／Ｆ１０３と、呼吸領域指定データバッファ１０４と、照明機器状態データ受信Ｉ／Ｆ１０５と、画像特徴量データ生成部１０６と、呼吸判定装置２００とを有している。
呼吸判定装置２００は、画像特徴量データ受信Ｉ／Ｆ２０１と、画像特徴量データバッファ２０２と、照明機器状態データ受信Ｉ／Ｆ２０３と、内部レジスタ２０４と、パラメータ設定部２０５と、呼吸判定部２０６と、呼吸状態データバッファ２０７とを有している。なお、バッファは、バッファメモリとも称される。
上述した機能ブロックと、図２の各構成要素との対応関係は以下のとおりである。呼吸モニタリング装置３０の画像特徴量データ生成部１０６、呼吸判定装置２００の呼吸判定部２０６およびパラメータ設定部２０５は、演算回路３１０（ＣＰＵ３０１および／または画像処理回路３０５）に対応する。フレーム画像データ受信Ｉ／Ｆ１０１は、映像入力Ｉ／Ｆ３０６に対応する。呼吸領域指定データ受信Ｉ／Ｆ１０３は、ＵＳＢ Ｉ／Ｆ３０７に対応する。照明機器状態データ受信Ｉ／Ｆ１０５は、照明入力Ｉ／Ｆ３０９に対応する。本明細書では、各「Ｉ／Ｆ」は、上述したようなハードウェアインタフェースに限らず、例えばＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）のようなソフトウェアインタフェース、および呼吸モニタリング装置３０に実装されるコンピュータプログラムを構成するモジュールのインタフェースを含む。モジュール間のインタフェース仕様（例えば、データ構造など）も各「Ｉ／Ｆ」に含まれる。
画像特徴量データ生成部１０６、呼吸判定装置２００の呼吸判定部２０６、パラメータ設定部２０５、および各「Ｉ／Ｆ」は、ソフトウェアによって実現されてもよいし、それらの一部がソフトウェアによって実現されてもよい。従って、本発明のある一態様においては、呼吸モニタリング装置３０は、図示される各機能ブロックに対応した機能を実行するための命令群を含むコンピュータプログラムが実装された集積回路であり得る。そのような集積回路は、例えば演算回路３１０に相当する。
フレーム画像データバッファ１０２、呼吸領域指定データバッファ１０４、画像特徴量データバッファ１０７および２０２、呼吸状態データバッファ２０７は、ＲＡＭ３０３、またはＨＤＤ３０４に対応する。なお、ＣＰＵ３０１および／または画像処理回路３０５は、キャッシュメモリと呼ばれる記憶装置を内蔵していることが多い。そのようなキャッシュメモリが、上述した各バッファの全部または一部として利用されてもよい。
上述の対応関係の記載により、たとえば、以下の記載における「画像特徴量生成部１０６」、「パラメータ設定部２０５」および／または「呼吸判定部２０６」は、そのまま「演算回路３１０」と読み替えてもよいし、「ＣＰＵ３０１」または「画像処理回路３０６」と読み替えてもよいし、例えば「画像処理回路３０６」に各機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールと読み替えてもよい。
図４は、呼吸モニタリング装置３０の処理手順の典型例を示すフローチャートである。以下の説明において、適宜他の図面も参照しながら、各処理を説明する。
（ステップＳ１）
カメラ１０は、被験者１が撮影された時系列の複数の画像フレームを生成し、呼吸モニタリング装置３０に出力する。フレーム画像データＩ／Ｆ１０１は、複数の画像フレームを受信し、受信した複数の画像フレームをフレーム画像データバッファ１０２に一時的に格納する。そのため、フレーム画像データバッファ１０２は典型的にはフレームバッファである。この処理によってフレーム画像データバッファ１０２には、画像特徴量データの生成に必要な枚数分のフレーム画像のデータが格納される。
カメラ１０は、被験者１が撮影された時系列の複数の画像フレームを生成し、呼吸モニタリング装置３０に出力する。フレーム画像データＩ／Ｆ１０１は、複数の画像フレームを受信し、受信した複数の画像フレームをフレーム画像データバッファ１０２に一時的に格納する。そのため、フレーム画像データバッファ１０２は典型的にはフレームバッファである。この処理によってフレーム画像データバッファ１０２には、画像特徴量データの生成に必要な枚数分のフレーム画像のデータが格納される。
ここで、本明細書で用いられる用語を説明する。「画像特徴量」は、動画像のフレーム画像における特定画素および特定領域の画素値や輝度値に基づいたデータを意味する。「画像特徴量」は、例えば特定画素の画素値や輝度値の、平均値、積算値または代表値、および特定領域の画素値や輝度値の、平均値、積算値または代表値である。また、「画像特徴量データ」は、複数のフレーム画像にわたって取得される画像特徴量の時系列データを指す。本明細書では、特定領域の輝度値の平均値を例に画像特徴量を説明する。
なお、カメラ１０が圧縮符号化された動画像データを出力する場合も、少なくとも画像特徴量データの生成に必要な枚数分のフレーム画像がフレーム画像データバッファ１０２に保持されていればよい。圧縮符号化された動画像データには、たとえば圧縮されたそのデータのみで完全な１枚のピクチャが構築可能なデータ（Ｉピクチャデータ）と、圧縮されたそのデータのみでは完全な１枚のピクチャが構築できないが、他のピクチャのデータを参照することによって完全な１枚のピクチャが構築可能なデータ（Ｐ、Ｂピクチャデータ）とが存在する。画像処理回路３０５は、Ｉ、Ｐ、Ｂピクチャデータを復号化することにより、必要な枚数分のフレーム画像をフレーム画像データバッファ１０２に格納することができる。
（ステップＳ２）
呼吸領域指定データ受信Ｉ／Ｆ１０３は、操作者によって指定された、呼吸領域を特定する情報（呼吸領域指定データ）を受け取る。そしてＣＰＵ３０１は、呼吸領域指定データを呼吸領域指定データバッファ１０４に格納する。
呼吸領域指定データ受信Ｉ／Ｆ１０３は、操作者によって指定された、呼吸領域を特定する情報（呼吸領域指定データ）を受け取る。そしてＣＰＵ３０１は、呼吸領域指定データを呼吸領域指定データバッファ１０４に格納する。
図５は、あるフレーム画像４００に指定された呼吸領域４０２を示す。縦方向および横方向に伸びる複数の直線およびそれらによって囲まれる矩形の小領域群は、操作者に特定の小領域を指定させるために、表示装置４０上のフレーム画像４００上に仮想的に示されているに過ぎない。本明細書では、被験者１の呼吸に伴う体動の変化が含まれる小領域または小領域群が、呼吸領域として指定される。操作者は、その中からマウス２０を利用して呼吸領域４０２を指定する。図５には、上下方向に隣接する２つの小領域を１つの呼吸領域４０２として指定する例が示されている。呼吸領域４０２は、フレーム画像内の絶対的な位置である。複数のフレーム画像にわたって、同じ位置の呼吸領域４０２の画像特徴量が求められる。
図６（ａ）〜（ｄ）は、複数のフレーム画像にわたる、呼吸領域４０２内の画像の時系列的な変化の一例を示す。図６（ａ）を参照すると、呼吸領域４０２には２つのオブジェクトが存在する。被験者１を含む被験者オブジェクト４０４と、背景オブジェクト４０６である。オブジェクト４０４は被験者の衣服等の色の影響により相対的に明るい。すなわちオブジェクト４０４の領域の輝度値が大きい。一方の背景オブジェクト４０６は、相対的に暗い。すなわち背景オブジェクト４０６の領域の輝度値が小さい。
図６（ａ）〜（ｄ）に示されるように、被験者１の呼吸に同期して、固定された呼吸領域４０２を占める被験者オブジェクト４０４の面積が変化する。このような小領域が、操作者によって呼吸領域２０２としてとして指定され得る。また、呼吸領域４０２は必ずしも操作者によって指定されなくてもよく、例えば後述するように、公知の画像処理方法を広く用いることにより自動で特定され得る。
なお、図６（ａ）〜（ｄ）は、連続するフレーム画像とは限らない。たとえば、被験者１が１回の呼吸に２秒を要している場合には、図６（ａ）〜（ｄ）は、たとえば０．５秒間隔の４枚のフレーム画像である。
（ステップＳ３およびＳ４）
画像特徴量データ生成部１０６は、フレーム画像データバッファ１０２からフレーム画像データを読み出し、呼吸領域指定データバッファ１０４から呼吸領域指定データを読み出して、呼吸領域４０２の画像特徴量データを生成する。画像特徴量データ生成部１０６は、生成した画像特徴量データを画像特徴量データバッファ１０７に一時的に格納する。
画像特徴量データ生成部１０６は、フレーム画像データバッファ１０２からフレーム画像データを読み出し、呼吸領域指定データバッファ１０４から呼吸領域指定データを読み出して、呼吸領域４０２の画像特徴量データを生成する。画像特徴量データ生成部１０６は、生成した画像特徴量データを画像特徴量データバッファ１０７に一時的に格納する。
画像特徴量データを生成する処理は、呼吸領域４０２における、例えば輝度値の平均値の時系列データを求める処理である。図６（ａ）〜（ｄ）に示されるように、被験者オブジェクト４０４の面積および背景オブジェクト４０６の面積が呼吸に同期して変化するため、呼吸領域４０２全体の輝度値の平均値も時間的に変動する。画像特徴量データ生成部１０６は、この輝度値の平均値、つまり画像特徴量をフレーム画像毎に求めることにより、被験者１の呼吸に伴って変動する情報、すなわち画像特徴量データを時系列で得ることができる。
なお、図１および図５によれば、カメラ１０は、被検者１の斜め上の位置から水平に近い位置までの間に設置されている。しかしながらこの配置は一例である。カメラ１０が被検者１を撮影する角度は任意である。たとえば被検者１の真上に設置されていてもよい。カメラ１０が被検者１の真上から被検者１を撮影した場合は、図６（ａ）等に示す背景オブジェクト４０６が含まれないことがあり得る。しかしながら、そのような場合であっても、被検者１の画像特徴量データを得ることができる。たとえば、呼吸に伴って被験者１が動くことにより、光の反射方向が刻々と変化する。輝度値を継続的に測定することにより、画像特徴量データを得ることができる。
図７は、画像特徴量データをプロットすることにより得られる典型的な呼吸波形を示している。呼吸波形は画像特徴量データに基づいて取得される波形を意味する。呼吸波形は、呼吸領域４０２における輝度値の平均値の変化を示す。図示する正常な呼吸波形は歪みを含まず、滑らかな曲線によって描かれる。ＤＣ成分を基準として、輝度値の平均値が時間的に変化し、呼吸波形は被験者１の呼吸に伴う体動を再現している。本明細書では呼吸波形のＤＣ成分を「ベースライン」と呼ぶことにする。なお、ＤＣ成分は、呼吸周期に応じた所定期間（例えば２０秒）毎に変動し得る。
ここで「呼吸波形の大きさ」を定義する。「呼吸波形の大きさ」は、呼吸波形の大きさの程度を表現するものであればどんな指標でもよい。例えば、呼吸波形における、（１）ベースラインを基準として正側の極大点とベースラインとの間の輝度値の差、（２）隣接する極大点および極小点の差（いわゆる、ピークピーク値に相当）、（３）特定の時間窓内の最大値と最小値との差、および（４）特定の時間窓内の平均値との差の累積といった指標を用いることができる。上記（１）の輝度値の差を「呼吸波形の振幅」と定義する。また、呼吸波形の振幅を「画像特徴量データの振幅」と呼ぶ場合がある。
（ステップＳ５）
例えば、呼吸モニタリング装置３０が起動したとき、呼吸モニタリング装置３０と照明機器５０および５１との間でＷｉ−Ｆｉ規格に準拠してコマンドの送受信がなされる。その際に、照明機器状態データ受信Ｉ／Ｆ１０５は、照明機器５０および５１の点灯状態を示す照明機器状態データを取得する。取得された照明機器状態データは、呼吸判定装置２００の照明機器状態データ受信Ｉ／Ｆ２０４を介して呼吸判定装置２００の内部レジスタ２０４に書き込まれる。
例えば、呼吸モニタリング装置３０が起動したとき、呼吸モニタリング装置３０と照明機器５０および５１との間でＷｉ−Ｆｉ規格に準拠してコマンドの送受信がなされる。その際に、照明機器状態データ受信Ｉ／Ｆ１０５は、照明機器５０および５１の点灯状態を示す照明機器状態データを取得する。取得された照明機器状態データは、呼吸判定装置２００の照明機器状態データ受信Ｉ／Ｆ２０４を介して呼吸判定装置２００の内部レジスタ２０４に書き込まれる。
例えば、照明機器がＯＮしている状態を「１」に割り当て、ＯＦＦしている状態を「０」に割り当てることができる。その場合、照明機器状態データは１または２ｂｉｔのデータであり得る。例えば、照明機器５０が点灯状態にあり、照明機器５１が消灯状態にあるとき、照明機器状態データとして「１０」という信号が照明機器状態データ受信Ｉ／Ｆ１０５に送信される。なお、無線／有線通信以外に、操作者が照明機器５０および５１の点灯状態を示す情報を、マウスやキーボードなどを用いて呼吸モニタリング装置３０に手入力しても構わない。
（ステップＳ６およびＳ７）
例えばＲＡＭ３０３には、予め用意された、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータが格納されている。
例えばＲＡＭ３０３には、予め用意された、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータが格納されている。
下記の表１はそのテーブルデータを例示している。本実施の形態では、パラメータ設定部２０５はテーブルデータを参照し、照明機器５０および５１の点灯状態に応じて呼吸波形の大きさの閾値を特定する。「呼吸波形の大きさの閾値」とは、被験者１の呼吸を検出できたか否かを判定するときに用いる閾値である。これにより、呼吸波形に乗ったノイズの影響を回避することや、異常と取れる浅い呼吸を呼吸とみなさないことが可能となる。すなわち、呼吸波形の大きさの閾値よりも大きいまたは以上の場合、正常な呼吸がなされていると判断することができる。呼吸波形の大きさの閾値は任意の値でよく、測定環境、正常とみなす呼吸の大きさを考慮して設定される。本明細書では、「呼吸波形の大きさ」の指標として、画像特徴量データ（呼吸波形）の振幅を用いる例を説明し、「呼吸波形の大きさの閾値」として「振幅閾値」を用いる例を説明する。表１には「呼吸波形の大きさの閾値」として「振幅閾値」を例示している。例えば振幅閾値は、正常な呼吸波形から得られる振幅の大きさの１／１０程度の値に設定し得る。
本実施の形態においては、照明機器５０の光源のちらつきが小さく、照明機器５０の信頼性は高いとする。また、照明機器５１の光源のちらつきは大きく、照明機器５１の信頼性は低いとする。
パラメータ設定部２０５は、内部レジスタ２０４から照明機器状態データを読み出し、テーブルデータを参照して照明機器状態データに対応する振幅閾値を特定する。換言すると、パラメータ設定部２０５はテーブルデータを参照し、照明機器の点灯状態に応じて振幅閾値を変更することができる。表１に示されるように、例えば、照明機器５０および５１がいずれも消灯しているとき、振幅閾値として「５」を設定することができ、照明機器５０および５１がいずれも点灯しているとき、振幅閾値として「１０」を設定することができる。パラメータ設定部２０５は、特定した振幅閾値のデータを内部レジスタ２０４に書き込む。
（ステップＳ８およびＳ９）
呼吸判定部２０６は、画像特徴量データバッファ２０２から画像特徴量データを読み出し、内部レジスタ２０４から振幅閾値のデータを読み出して、呼吸判定データを生成する。以下、具体的に説明する。
呼吸判定部２０６は、画像特徴量データバッファ２０２から画像特徴量データを読み出し、内部レジスタ２０４から振幅閾値のデータを読み出して、呼吸判定データを生成する。以下、具体的に説明する。
呼吸判定部２０６は先ず、画像特徴量データの振幅と振幅閾値とを比較し、被験者１の呼吸が検出されたか否かを比較結果に応じて判定する。具体的に説明すると、呼吸判定部２０６は、画像特徴量データの振幅が振幅閾値以上であるとき、被験者１の呼吸を検出できたと判定し、画像特徴量データの振幅が振幅閾値未満であるとき、被験者１の呼吸を検出できなかったと判定する。当然ながら、画像特徴量データの振幅と閾値振幅との大小関係を示す条件として、「以上および未満」以外にも、「超および以下」を用いてもよいことは言うまでもない。被験者１の呼吸が検出されなかったと判定される場合とは、例えば被験者１が無呼吸状態である場合、または、被験者１の呼吸レベル、つまり、画像特徴量データの振幅が小さい場合が想定される。
例えば、呼吸判定部２０６は、呼吸を検出できたと判定した場合、呼吸判定データに「１」を割り当て、呼吸を検出できなかったと判定した場合、呼吸判定データに「０」を割り当てることができる。呼吸判定部２０６は最終的に、「０」または「１」を示す呼吸判定データを生成し、呼吸判定データバッファ２０７に格納する。
例えばＣＰＵ３０１、他のデバイスまたは他のソフトウェアモジュールは呼吸判定データバッファ２０７を自由に参照することができる。呼吸判定データが、呼吸を検出できなかったことを示している場合、それらのデバイスやソフトウェアモジュールは、特定の処理、例えば警告を促す処理を必要に応じて実行してもよい。また、呼吸判定部２０６は、呼吸判定データとともに、警告情報を示すデータを生成し、外部に出力してもよい。このような構成によると、例えば他のデバイスのコンピュータプログラムのモジュールに警告情報を渡すことができる。
表示装置４０は、呼吸判定データバッファ２０７から呼吸判定データを読み出し、呼吸判定データに応じて被験者１のステータスをリアルタイムで表示することができる。例えば表示装置４０は、被験者１の動画像を表示し、被験者１のステータスをその動画像に重畳して表示してもよい。被験者１のステータスとは、例えば呼吸が検知されたか否かを示す情報である。
また、リアルタイム処理を前提としてこれまでの動作を説明したが、本発明による実施形態はこれに限定されない。例えば、被験者１のステータス情報と、その情報の元となる画像特徴量データおよび／または動画像データとを関連付けて呼吸判定データバッファ２０７に格納しておく。そして、呼吸モニタリング装置３０は、それらのデータを事後的に処理してもよい。
また、本実施の形態では、照明機器を２台用いる例を挙げているが、照明機器は１台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が３台ある場合、一つの振幅閾値に対する照明機器のＯＮ、ＯＦＦを表現する要素数が３つになる。すなわち、照明機器がＮ（Ｎ：１以上の整数）台ある場合、一つの振幅閾値に対する照明機器のＯＮ、ＯＦＦを表現する要素数がＮ個になる。
本実施の形態によれば、照明機器の点灯状態に応じて振幅閾値を変更することにより、光源によって画像特徴量データの振幅が変化したとしても、照明機器の使用状況に応じて被験者１の呼吸が検出されたか否かを正確に判定することが可能になる。
（第２の実施形態）
本実施の形態による呼吸モニタリングシステム１００は、呼吸モニタリング装置３０が測定環境有効レベルをさらに考慮して、被験者１の呼吸を判定する点で第１の実施形態による呼吸モニタリングシステム１００とは異なる。以下、第１の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリングシステム１００は、呼吸モニタリング装置３０が測定環境有効レベルをさらに考慮して、被験者１の呼吸を判定する点で第１の実施形態による呼吸モニタリングシステム１００とは異なる。以下、第１の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリング装置３０のハードウェア構成および機能ブロックは第１の実施形態のものと共通するので、それらの説明は省略する。
再び図４の処理手順を参照して、本実施の形態による呼吸モニタリング装置３０の動作を説明する。
ステップＳ６において、本実施の形態によるパラメータ設定部２０５は、テーブルデータを参照して照明機器状態データに対応した測定環境有効レベルを特定する。
下記の表２は本実施の形態によるテーブルデータを例示している。テーブルデータは、振幅閾値に加えて、照明機器状態データと測定環境有効レベルとの対応関係をさらに含んでいる。測定環境有効レベルは、呼吸判定部２０６の判定結果の正確性を表す指標として用いられる。
照明機器が呼吸判定部２０６の判定結果に与える悪影響の程度を数値化することで、測定環境有効レベルが得られる。パラメータ設定部２０５は、テーブルデータを参照して照明機器状態データに対応する測定環境有効レベルを特定し、照明機器が呼吸の判定結果に与える影響をその測定環境有効レベルに応じて判定する。
本実施の形態においては、照明機器５０の光源のちらつきが小さく、照明機器５０の信頼性は高いとする。また、照明機器５１の光源のちらつきは大きく、照明機器５１の信頼性は低いとする。上述したように、照明機器の光源のちらつきが大きいと、そのノイズ成分が画像特徴量データ（呼吸波形データ）に加算されてしまう。これに対して、照明機器の光源のちらつきが小さいと、画像特徴量データの画像特徴量は照明光によって増幅され、その結果ＳＮ比が向上する。照明機器の光源のちらつきが大きいと、呼吸の判定結果の信頼性は相対的に低下し、照明機器の光源のちらつきが小さいと、その信頼性は相対的に高くなる。
例えば、表２に示されるとおり、照明機器５０は消灯し、照明機器５１が点灯しているとき、呼吸の判定結果の信頼性は相対的に低くなる。その状態において、測定環境有効レベルを最も低くし、そのレベルとして「１」を設定している。また、照明機器５１が点灯し、照明機器５１は消灯しているとき、呼吸の判定結果の信頼性は相対的に高くなる。その状態において、測定環境有効レベルを最も高くして、そのレベルとして「８」を設定している。測定環境有効レベル「８」と「１」との間に、照明機器５０および５１が消灯しているときのレベルとして「２」を設定し、照明機器５０および５１が点灯しているときのレベルとして「４」を設定している。なお、当然ながら、測定環境有効レベルは、表２に示される値に限られない。レベルの大小関係が満たされる限りにおいて、測定環境有効レベルとして任意のレベルを採用することができる。
照明機器５０は消灯し、照明機器５１が点灯しているとき、呼吸の判定結果の信頼性は相対的に低くなる。従って、特定された測定環境有効レベルがその状態に対応した「１」であれば、被験者１の呼吸を判定せずに、今の測定環境では信頼性が低いことを操作者に警告することが好ましい。例えば、表示装置４０に警告メッセージを表示させてもよいし、ブザーなどによって音で警告を促してもよい。また、警告するか否かの基準となる測定環境有効レベルの閾値を予め用意しておいても構わない。その場合、測定環境有効レベルがその閾値以下または未満のときに警告すればよい。また、呼吸判定部２０６は、第１の実施形態と同様に、測定環境有効レベルが閾値を下回ることを示した警告データを生成し、他のデバイスや他のソフトウェアモジュールに出力してもよいし、呼吸モニタリング装置３０の外部に出力してもよい。
測定環境有効レベルが閾値以上であれば、第１の実施形態で説明したとおり、呼吸判定部２０６は、照明機器状態データに対応した閾値振幅を用いて、呼吸が検出されたか否かを判定することができる。
なお、本実施の形態では、照明機器を２台用いる例を挙げているが、照明機器は１台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が３台ある場合、振幅閾値と測定環境有効レベルの１組に対する照明機器のＯＮ、ＯＦＦを表現する要素数が３つになる。すなわち、照明機器がＮ（Ｎ：１以上の整数）台ある場合、振幅閾値と測定環境有効レベルの１組に対する照明機器のＯＮ、ＯＦＦを表現する要素数がＮ個になる。
本実施の形態によれば、照明機器が呼吸判定部２０６の判定結果に与える悪影響の程度を数値化して得られる測定環境有効レベルを考慮し、部屋の照明機器の使用状況に応じた呼吸の判定が可能となる。
（第３の実施形態）
本実施の形態による呼吸モニタリングシステム１００は、調光機能を備えた照明機器による影響を考慮して被験者１の呼吸を判定する点で第２の実施形態による呼吸モニタリングシステム１００とは異なる。以下、第１および第２の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリングシステム１００は、調光機能を備えた照明機器による影響を考慮して被験者１の呼吸を判定する点で第２の実施形態による呼吸モニタリングシステム１００とは異なる。以下、第１および第２の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリング装置３０のハードウェア構成および機能ブロックは第１の実施形態のものと共通するので、それらの説明は省略する。
近年、調光機能を備えた照明機器は数多く存在する。本実施の形態による呼吸モニタリングシステム１００は、そのような照明機器が設置された室内での測定に好適に利用される。
本実施の形態による照明機器５０および５１は、照度を多段階に設定することが可能な調光機能を備えている。照明機器５０においては、４段階の照度レベルの設定が可能であり、照明機器５１においては、３段階の照度レベルの設定が可能であるとする。
照明機器５０および５１から送信される照明機器状態データには、照明機器の照度レベルに対応した明るさ度合を示すデータが含まれている。照明機器５０では、明るさ度合として、消灯時の明るさ度合を「０」とし、点灯時の最も明るいときの明るさ度合を「３」としている。同様に、照明機器５１では、明るさ度合として、消灯時の明るさ度合を「０」とし、点灯時の最も明るいときの明るさ度合を「２」としている。明るさ度合の数値が大きくなるほど、照度は高くなる。なお、第２の実施形態と同様に、照明機器５０の光源のちらつきは小さく、照明機器５０の信頼性は高いとする。また、照明機器５１の光源のちらつきは大きく、照明機器５１の信頼性は低いとする。
下記の表３は本実施の形態によるテーブルデータを例示している。照明機器状態は多段階のレベルで表示されている。照明機器５０は消灯し、照明機器５１が点灯しているときであって、かつ、照明機器５１の照度レベルが最も高いとき、測定環境有効レベルは最も低くなるようにする。例えば、最も低い測定環境有効レベルとして「２」を設定している。また、照明機器５０が点灯し、照明機器５１は消灯しているときであって、かつ、照明機器５０の照度レベルが最も高いとき、測定環境有効レベルは最も高くなるようにする。例えば、最も高い測定環境有効レベルとして「１６」を設定している。他の照明機器状態に対しては、表３に示されるように、「２」から「１６」までの間で測定環境有効レベルを設定することができる。
表３には、赤外光源を利用することを想定したテーブルデータの各値を例示している。ただし、本実施の形態のように、赤外光源を利用しない呼吸モニタリングシステムで利用されるテーブルデータも、上述した設計思想に基づいて準備することができる。なお、赤外光源を利用した呼吸モニタリングシステムの詳細は後述する。
調光機能を備えた照明機器と、調光機能を備えていない照明機器とが室内に混在する場合には、調光機能を備えていない照明機器の照度レベルを２段階に設定すればよい。具体的には、消灯時に「０」として、点灯時に「１」とすれば、本実施の形態を好適に適用することができる。
なお、本実施の形態では、照明機器を２台用いる例を挙げているが、照明機器は１台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が３台ある場合、振幅閾値と測定環境有効レベルの１組に対する照明機器のＯＮ、ＯＦＦを表現する要素数が３つになる。すなわち、照明機器がＮ（Ｎ：１以上の整数）台ある場合、振幅閾値と測定環境有効レベルの１組に対する照明機器のＯＮ、ＯＦＦを表現する要素数がＮ個になる。
本実施の形態によれば、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
（第４の実施の形態）
第１から第３の実施の形態では、呼吸モニタリング装置の操作者が、入力装置（たとえばマウス２０）を利用して呼吸領域４０２を指定するとした（図５）。本実施の形態では、呼吸領域４０２を認識して、自動的に呼吸領域を設定する呼吸モニタリング装置３１を説明する。なお、呼吸領域４０２を自動化する以外の処理は、第１の実施の形態と同じである。以下では、自動的に呼吸領域４０２を設定する処理の詳細を説明する。
第１から第３の実施の形態では、呼吸モニタリング装置の操作者が、入力装置（たとえばマウス２０）を利用して呼吸領域４０２を指定するとした（図５）。本実施の形態では、呼吸領域４０２を認識して、自動的に呼吸領域を設定する呼吸モニタリング装置３１を説明する。なお、呼吸領域４０２を自動化する以外の処理は、第１の実施の形態と同じである。以下では、自動的に呼吸領域４０２を設定する処理の詳細を説明する。
図８は、呼吸領域４０２を自動的に取得する呼吸モニタリング装置３１を有する呼吸モニタリングシステム１００Ａの構成を示す。
図８に示される呼吸モニタリングシステム１００Ａでは、光源６０が赤外光６１を放射する。光源６０の光軸とカメラ１０の光軸とは近接して配置されている。被験者１の胸部周辺には、リフレクタ７０が設置されている。リフレクタ７０は赤外光に対する再帰性反射材で構成されている。
再帰性反射材は、入射してきた光を、その入射方向に向けて反射する光学特性を有する。つまり、再帰性反射材に入射する光の入射角と、再帰性反射材によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には入射方向とは異なる方向にも反射され得る。
本実施の形態では、光源６０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源６０から放射された赤外光６１はリフレクタ７０の再帰性反射材で反射され、その多くが赤外光６２としてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。再帰性反射材として、例えばガラスビーズを塗布した布を用いることができる。
なお、再帰性反射材を利用することにより、再帰性反射材に入射した外乱光６３は、反射光６４としてその入射方向に反射される。反射光６４は実質的にカメラ１０に入射しないため、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。ただし、外乱光６３の中には、カメラ１０に直接入射する光、および、リフレクタ７０以外で反射されて間接的にカメラ１０に入射する光も存在する。したがって、外乱光６３の影響を完全に除去することは困難である。
本実施の形態では、カメラ１０が十分な光量で撮影を行うために再帰性反射材を利用するが、これは一例であり、再帰性反射材を利用することは必須ではない。
図９は、主として、呼吸領域４０２を自動的に取得する呼吸モニタリング装置３１の機能ブロックを示す。
呼吸モニタリング装置３１と呼吸モニタリング装置３０（図３）との相違点は、呼吸領域指定データ受信Ｉ／Ｆ１０３に代えて、呼吸領域４０２を自動的に特定する呼吸領域選択部１０８があることである。呼吸領域選択部１０８は、演算回路３１０（ＣＰＵ３０１および／または画像処理回路３０５）に対応する。または、呼吸領域選択部１０８は、例えば演算回路３１０にその機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールであり得る。以下、呼吸領域選択部１０８の動作を説明する。
図１０は、呼吸領域４０２を自動的に取得する処理に関する呼吸モニタリング装置３１の処理手順を示すフローチャートである。
ステップＳ３１において、呼吸領域選択部１０８は、フレーム画像データバッファ１０７に格納された複数のフレーム画像のデータを読み出し、各フレーム画像を複数の小領域に分割する。複数の小領域は、図５においてメッシュ状に区画された領域を意味する。個々の小領域は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。
ステップＳ３２において、呼吸領域選択部１０８は、各小領域の輝度値に基づいて、再帰性反射材が存在する領域、および生体反応による体動箇所を含む領域を特定する。
以下、図１１を参照しながらより詳細に説明する。
図１１は、微細に振動する高輝度領域によって小領域Ｑの輝度値が変化する様子を示している。
リフレクタ７０が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。
リフレクタ７０が存在する部分領域は以下の処理によって特定される。たとえば、呼吸領域選択部１０８は、リフレクタ７０が存在する場合に観測される小領域または小領域群の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、リフレクタ７０が存在する部分領域として特定する。
このときの輝度値は、上述したように、小領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。
一方、体動箇所を含む小領域は以下の処理によって特定される。上述のように、リフレクタ７０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。各フレーム画像に関して、ある共通の座標位置に存在する小領域に着目する。図１１（ａ）および（ｂ）は、より一般的な例として、異なる時刻に撮影された２枚のフレーム画像における小領域Ｑの例を示す。
図１１（ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像における小領域Ｑの例を示す。図１１（ａ）および（ｂ）に示す領域Ｒは、リフレクタ７０からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、小領域Ｑが、高輝度領域になったりならなかったりする。
図１１（ｃ）は、このときの小領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に小領域Ｑの輝度を観測すると、すなわち、小領域Ｑの画像特徴量データを観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。呼吸領域選択部１０８は複数のフレーム画像を利用して、このような変化が現れる小領域または小領域群Ｑを特定する。
以上の処理により、体動箇所を含む小領域または小領域群Ｑを呼吸領域として特定することができる。以後、呼吸モニタリング装置３１が行う処理は、第１の実施の形態における呼吸モニタリング装置３０の処理と同じである。
本実施の形態では、赤外光源６０を用いて動画像を撮影しているので、その動画像に基づいて取得される画像特徴量データの振幅は、赤外光源６０の赤外光６１の光量に応じて変化する。そのため、赤外光源を利用しない場合の振幅閾値データをそのまま適用することはできない。
下記の表４は本実施の形態によるテーブルデータを例示している。表２と同様に、照明機器状態に対応した振幅閾値および測定環境有効レベルをそれぞれ示している。表２と比べて、各照明機器状態における振幅閾値および測定環境有効レベルの値をそれぞれ大きくしている。その理由の１つは、画像特徴量データを示す信号が赤外光によって増幅されて、その結果ＳＮ比が向上するためである。
本実施の形態によれば、再帰性反射材と赤外光源とを組み合わせることで、暗い撮影環境下でも呼吸を精度よく判定することが可能になる。
以上、実施の形態を説明した。上述の第１から４の実施形態では、呼吸モニタリング装置がカメラ１０から逐次送信されてくる動画像の信号を受信して処理することを想定していた。しかしながら、呼吸モニタリング装置は、必ずしもリアルタイムで動画像の信号を受信する必要はない。
図１２は、動画像がハードディスクドライブ（ＨＤＤ）８０に保存され、そのＨＤＤ８０から呼吸モニタリング装置が画像データを取得する呼吸モニタリングシステム１００Ｂの構成を示す。動画像のデータをＨＤＤ８０に一旦保存し、呼吸モニタリング装置３０が必要な動画像の情報をＨＤＤ８０から読み出して処理を行うことも可能である。
また、上述の第１から第４の実施形態では、画像特徴量データは呼吸モニタリング装置３０で生成される例を説明した。しかしながら、本発明の実施形態はこれに限定されない。例えば、カメラ１０が、フレーム画像データから画像特徴量データを生成するファームウェアを備えていてもよい。そのファームウェアは、例えば図４のステップＳ１からＳ４までの一連の処理を実行する命令群を含むコンピュータプログラムから構成される。その場合、呼吸モニタリング装置３０（または呼吸判定装置２００）は、カメラ１０から呼吸波形データを受け取り、図４のステップＳ５以降の処理を実行すればよい。
また、本発明のある一態様は、図４のステップＳ１からＳ９の一連の処理、または、それらの一部の処理を、例えば画像処理回路３０５に実行させるための命令群を含むコンピュータプログラムであり得る。そのようなコンピュータプログラムは、例えばネットワークを介してダウンロード可能であり、コンピュータが読み取り可能な記録媒体に固定され得る。
（第５の実施の形態）
図１３は、第５の実施の形態によるパラメータ生成装置４００の機能ブロック図である。図１４は、パラメータ生成装置４００と接続可能な呼吸モニタリング装置３０Ａの機能ブロック図である。
図１３は、第５の実施の形態によるパラメータ生成装置４００の機能ブロック図である。図１４は、パラメータ生成装置４００と接続可能な呼吸モニタリング装置３０Ａの機能ブロック図である。
パラメータ生成装置４００は、被験者の呼吸を判定する呼吸モニタリング装置３０Ａに有線または無線で接続され、呼吸モニタリング装置３０Ａと通信可能である。ただし、パラメータ生成装置４００からの出力に基づいて後述するパラメータを呼吸モニタリング装置３０Ａに手動で提供しても構わない。呼吸モニタリング装置３０Ａの機能ブロックは、図３に示す呼吸モニタリング装置３０の機能ブロックと基本的に等しい。ただし、パラメータ設定部２０５に相当する機能ブロックは存在せず、呼吸モニタリング装置３０Ａは呼吸モニタリング装置３０とは異なり、振幅閾値や測定環境有効レベルといったパラメータを照明機器の状態に応じて切り替える機能を有していない。このような装置は、従来の呼吸モニタリング装置に対応する。
パラメータ生成装置４００は典型的に、ＣＰＵ（不図示）と、照明機器状態受信Ｉ／Ｆ２０３と、内部レジスタ２０４と、パラメータ設定部２０５と、パラメータ送信Ｉ／Ｆ４０１とを備える。照明機器状態受信Ｉ／Ｆ２０３、内部レジスタ２０４、およびパラメータ設定部２０５は、第１から第４の実施の形態で説明したとおりである。具体的には、パラメータ設定部２０５はテーブルデータを参照して、振幅閾値や測定環境有効レベルを特定することができる。また、パラメータ設定部２０５は調光機能を備えた照明機器による影響をして、振幅閾値および測定環境有効レベルを特定することもできる。
パラメータ送信Ｉ／Ｆ４０１は、振幅閾値および測定環境有効レベルといったパラメータを呼吸モニタリング装置３０Ａに送信するための通信インタフェースである。パラメータ送信Ｉ／Ｆ４０１として、例えばＵＳＢ、ＩＥＥＥ１３９４、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｉ２Ｃ（Ｉｎｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）規格、およびＨＤＭＩ規格の端子が利用され得る。
パラメータ設定部２０５で特定された振幅閾値や測定環境有効レベルを示すデータは、パラメータ送信Ｉ／Ｆ４０１によって、呼吸モニタリング装置３０Ａに送信される。例えば、送信されたデータは、呼吸モニタリング装置３０Ａの照明機器状態データ受信Ｉ／Ｆ１０５を介して内部レジスタ２０４に一旦格納される。呼吸モニタリング装置３０Ａの呼吸判定部２０６は、内部レジスタ２０４からパラメータを読み出し、第１から第４の実施の形態で説明したとおりに被験者の呼吸を判定する。また、これらの処理を規定した命令群を含むコンピュータプログラムは、パラメータ生成装置４００のＣＰＵによって実行され得る。
従来の呼吸モニタリング装置は、照明機器の状態に応じて振幅閾値といったパラメータを自動で切り替える機能を有していなかった。そのため、照明機器の状態を考慮して被験者の呼吸を判定したい場合、装置の利用者が手動でそのような切り替えを行う必要があった。利用者による手動設定にばらつきがあれば、呼吸モニタリング装置の精度が低下してしまうことが当然に懸念される。呼吸モニタリング装置の使用経験が浅い利用者はパラメータを適切に設定することが特に困難であると考えられ、精度の低下がより一層懸念される。
本実施の形態によれば、パラメータ生成装置４００は、照明機器の状態に応じて適切なパラメータを自動で特定することができるので、パラメータ生成装置４００を呼吸モニタリング装置３０Ａに接続することで、最適なパラメータを呼吸モニタリング装置３０Ａに、利用者によらず自動で設定することができる。
本明細書は、以下の項目に記載の呼吸モニタリング装置、呼吸判定装置、呼吸モニタリングシステム、パラメータ生成装置およびコンピュータプログラムを開示している。
〔項目１〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸モニタリング装置。
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸モニタリング装置。
項目１に記載の呼吸モニタリング装置によると、被験者の呼吸を正確に判定することができる。
〔項目２〕
前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定する、項目１に記載の呼吸モニタリング装置。
前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定する、項目１に記載の呼吸モニタリング装置。
項目２に記載の呼吸モニタリング装置によると、呼吸判定のバリエーションが提供される。
〔項目３〕
前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、
前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定する、項目１または２に記載の呼吸モニタリング装置。
前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、
前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定する、項目１または２に記載の呼吸モニタリング装置。
項目３に記載の呼吸モニタリング装置によると、測定環境有効レベルを考慮し、部屋の照明機器の使用状況に応じた呼吸の判定が可能となる。
〔項目４〕
前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備える、項目３に記載の呼吸モニタリング装置。
前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備える、項目３に記載の呼吸モニタリング装置。
項目４に記載の呼吸モニタリング装置によると、今の測定環境では信頼性が低いことを操作者に警告することができる。
〔項目５〕
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目１から５のいずれかに記載の呼吸モニタリング装置。
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目１から５のいずれかに記載の呼吸モニタリング装置。
項目５に記載の呼吸モニタリング装置によると、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
〔項目６〕
前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅である、項目１から５のいずれかに記載の呼吸モニタリング装置。
前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅である、項目１から５のいずれかに記載の呼吸モニタリング装置。
項目６の呼吸モニタリング装置によると、呼吸波形の大きさを示す指標のバリエーションが提供される。
〔項目７〕
光を放射する光源と、
被験体からの光を受けて動画像を生成する撮像装置と、
項目１から６のいずれかに記載の呼吸モニタリング装置と、
を備える、呼吸モニタリングシステム。
光を放射する光源と、
被験体からの光を受けて動画像を生成する撮像装置と、
項目１から６のいずれかに記載の呼吸モニタリング装置と、
を備える、呼吸モニタリングシステム。
項目７に記載の呼吸モニタリングシステムによると、被験者の呼吸を正確に判定することができる。
〔項目８〕
前記光源は、赤外光を放射する赤外光源である、項目７に記載の呼吸モニタリングシステム。
前記光源は、赤外光を放射する赤外光源である、項目７に記載の呼吸モニタリングシステム。
項目８に記載の呼吸モニタリングシステムによると、暗い撮影環境下でも呼吸を精度よく判定することが可能になる。
〔項目９〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータに基づいた画像特徴量データを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸判定装置。
時系列の複数のフレーム画像から構成された被験体の動画像のデータに基づいた画像特徴量データを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸判定装置。
項目９に記載の呼吸判定装置によると、被験者の呼吸を正確に判定することができる。
〔項目１０〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、
照明機器の点灯状態を示す照明機器状態データを受け取るフレーム画像データ入力インタフェースと、
前記照明機器状態データと前記呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
を備えるパラメータ生成装置。
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、
照明機器の点灯状態を示す照明機器状態データを受け取るフレーム画像データ入力インタフェースと、
前記照明機器状態データと前記呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
を備えるパラメータ生成装置。
項目１０に記載のパラメータ生成装置によると、呼吸モニタリング装置に接続することで被験者の呼吸を正確に判定することができる。
〔項目１１〕
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目１０に記載のパラメータ生成装置。
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目１０に記載のパラメータ生成装置。
項目１１に記載のパラメータ生成装置によると、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
〔項目１２〕
前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅である、項目１０または１１に記載のパラメータ生成装置。
前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅である、項目１０または１１に記載のパラメータ生成装置。
項目１２に記載のパラメータ生成装置によると、呼吸波形の大きさを示す指標のバリエーションが提供される。
〔項目１３〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成し、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定し、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するように構成された演算回路と、
を備える、呼吸モニタリング装置。
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成し、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定し、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するように構成された演算回路と、
を備える、呼吸モニタリング装置。
項目１３に記載の呼吸モニタリング装置によると、被験者の呼吸を正確に判定することができる。
〔項目１４〕
被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、
を包含する計測方法。
被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、
を包含する計測方法。
項目１４に記載の計測方法によると、被験者の呼吸を正確に判定することができる。
〔項目１５〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる閾値特定方法であって、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を包含する方法。
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる閾値特定方法であって、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を包含する方法。
項目１５に記載の閾値特定方法によると、呼吸波形の大きさの閾値を用いて被験者の呼吸を正確に判定することができる。
〔項目１６〕
被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと
を実行させる、コンピュータプログラム。
被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと
を実行させる、コンピュータプログラム。
項目１６に記載のコンピュータプログラムによると、被験者の呼吸を正確に判定することができる。
〔項目１７〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を実行させる、コンピュータプログラム。
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を実行させる、コンピュータプログラム。
項目１７に記載のコンピュータプログラムによると、呼吸波形の大きさの閾値を用いて被験者の呼吸を正確に判定することができる。
〔項目１８〕
請求項１６または１７に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記録媒体。
請求項１６または１７に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記録媒体。
項目１８に記載の記録媒体によると、被験者の呼吸を正確に判定することができる。
本発明は、被験者を撮影した動画像から、被験者の呼吸の有無を非接触で判定する方法として利用することができる。また本発明は、そのような呼吸の有無を判定するための装置、システム、コンピュータプログラムとして利用することができる。
１ 被験者
１０ カメラ
２０ マウス
３０、３１ 呼吸モニタリング装置
４０ 表示装置
５０、５１ 照明機器
６０ 赤外光源
７０ リフレクタ
８０ ＨＤＤ
１００、１００Ａ、１００Ｂ モニタリングシステム
２００ 呼吸判定装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ 画像処理回路
３０６ 映像入力インタフェース（Ｉ／Ｆ）
３０７ ＵＳＢ Ｉ／Ｆ
３０８ 出力Ｉ／Ｆ
３０９ 照明入力Ｉ／Ｆ
３１０ 演算回路
４００ パラメータ生成装置
４０１ パラメータ送信Ｉ／Ｆ
１０ カメラ
２０ マウス
３０、３１ 呼吸モニタリング装置
４０ 表示装置
５０、５１ 照明機器
６０ 赤外光源
７０ リフレクタ
８０ ＨＤＤ
１００、１００Ａ、１００Ｂ モニタリングシステム
２００ 呼吸判定装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ 画像処理回路
３０６ 映像入力インタフェース（Ｉ／Ｆ）
３０７ ＵＳＢ Ｉ／Ｆ
３０８ 出力Ｉ／Ｆ
３０９ 照明入力Ｉ／Ｆ
３１０ 演算回路
４００ パラメータ生成装置
４０１ パラメータ送信Ｉ／Ｆ
Claims (12)
- 時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸モニタリング装置。 - 前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定する、請求項１に記載の呼吸モニタリング装置。
- 前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、
前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定する、請求項１または２に記載の呼吸モニタリング装置。 - 前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備える、請求項３に記載の呼吸モニタリング装置。
- 前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、請求項１から４のいずれかに記載の呼吸モニタリング装置。 - 前記呼吸波形の大きさを示す指標の１つは前記画像特徴量データの振幅である、請求項１から５のいずれかに記載の呼吸モニタリング装置。
- 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
を備える、パラメータ生成装置。 - 前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、請求項７に記載のパラメータ生成装置。 - 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる閾値特定方法であって、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を包含する方法。 - 被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
一台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと
を実行させる、コンピュータプログラム。 - 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
１台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を実行させる、コンピュータプログラム。 - 請求項１０または１１に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015257199A JP6786768B2 (ja) | 2015-12-28 | 2015-12-28 | 呼吸モニタリング装置およびパラメータ生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015257199A JP6786768B2 (ja) | 2015-12-28 | 2015-12-28 | 呼吸モニタリング装置およびパラメータ生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017118994A JP2017118994A (ja) | 2017-07-06 |
| JP6786768B2 true JP6786768B2 (ja) | 2020-11-18 |
Family
ID=59271134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015257199A Active JP6786768B2 (ja) | 2015-12-28 | 2015-12-28 | 呼吸モニタリング装置およびパラメータ生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6786768B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7056293B2 (ja) * | 2018-03-23 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 生体情報測定装置、及び生体情報測定プログラム |
| JP2025004480A (ja) * | 2023-06-26 | 2025-01-15 | キヤノン株式会社 | 情報取得装置、情報取得方法、及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002306455A (ja) * | 2001-04-10 | 2002-10-22 | Toshiba Corp | 生体監視装置 |
| JP5386867B2 (ja) * | 2008-07-03 | 2014-01-15 | 日産自動車株式会社 | 人体状態判定装置及びその作動方法 |
| JP5648796B2 (ja) * | 2010-11-16 | 2015-01-07 | セイコーエプソン株式会社 | バイタルサイン計測装置 |
| BR112015009631A2 (pt) * | 2012-11-02 | 2017-07-04 | Koninklijke Philips Nv | dispositivo para extrair informações fisiológicas de radiação eletromagnética detectada remotamente emitida ou refletida por um indivíduo; método para extrair informações fisiológicas de radiação eletromagnética detectada remotamente emitida ou refletida por um indivíduo; e programa de computador |
| CN105188522B (zh) * | 2013-03-08 | 2019-06-11 | 富士胶片株式会社 | 脉搏波传播速度的测定方法、测定系统及摄像装置 |
| US20150112605A1 (en) * | 2013-10-21 | 2015-04-23 | Covidien Lp | Systems and methods for generating respiration alarms |
| US20150124067A1 (en) * | 2013-11-04 | 2015-05-07 | Xerox Corporation | Physiological measurement obtained from video images captured by a camera of a handheld device |
-
2015
- 2015-12-28 JP JP2015257199A patent/JP6786768B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017118994A (ja) | 2017-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111246051B (zh) | 自动检测条纹并抑制的方法、装置、设备及存储介质 | |
| US9906774B2 (en) | Method and apparatus for obtaining 3D image | |
| US20150237317A1 (en) | Projection system and projection method | |
| US9993154B2 (en) | Eye gaze detection supporting device and eye gaze detection supporting method | |
| KR20150140088A (ko) | 조명 기기의 설정을 위한 전자장치 및 방법 | |
| US9830023B2 (en) | Image display apparatus and method of controlling image display apparatus | |
| CN106713903A (zh) | 屏幕亮度均匀度的检测方法和系统 | |
| US20090322889A1 (en) | Method and apparatus for illuminating users of video communication devices | |
| CN106780521A (zh) | 屏幕漏光的检测方法、系统和装置 | |
| CN108550343A (zh) | Led显示屏及其亮度调节方法、装置和存储介质 | |
| JP6786768B2 (ja) | 呼吸モニタリング装置およびパラメータ生成装置 | |
| CN108235831A (zh) | 灯具的控制方法和控制系统以及电子设备 | |
| US20180220510A1 (en) | Lighting system and program | |
| US10677448B2 (en) | Lighting device | |
| CN109670438A (zh) | 用于智能台灯的异常行为监控方法、装置、系统和存储介质 | |
| CN206790647U (zh) | 屏幕亮度均匀度的检测设备 | |
| CN113709949B (zh) | 照明设备的控制方法、装置、电子设备及存储介质 | |
| EP3344015A1 (en) | Illumination system and program | |
| TW201616102A (zh) | 光源亮度檢測系統及方法 | |
| JP5901685B2 (ja) | 画像表示装置及びその制御方法 | |
| CN106686374B (zh) | 屏幕色彩饱和度的检测方法、系统和装置 | |
| CN103019026A (zh) | 曝光测试方法及系统 | |
| CN104680166A (zh) | 信息识别方法及信息识别装置 | |
| CN121794974A (zh) | 电子装置及其控制方法 | |
| JPWO2017033386A1 (ja) | 照明システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170607 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6786768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |