以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。
(実施の形態1)
図1に、実施の形態1に設備制御システム1の全体構成を示す。設備制御システム1は、対象エリア5に存在する人の集中度を推定し、推定結果に基づいて設備機器40を制御するシステムである。設備制御システム1は、学習装置10と、センサ装置20と、設備制御装置30と、設備機器40と、を備える。
対象エリア5は、例えば、シェアオフィス、ワーキングスペース、自習室、書斎、勉強部屋等のような、人が仕事、作業、勉強等を行う空間である。対象エリア5には、センサ装置20と設備機器40とが設置されている。設備機器40は、対象エリア5に設置された機器である。設備機器40は、例えば、空調機の室内機、換気装置、照明機器等のような、対象エリア5に存在する人の集中力に影響を及ぼす機器である。
<学習フェーズ>
学習装置10は、人の生体情報と集中度との関係を学習する装置である。学習装置10は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。学習装置10は、図2に示すように、制御部11と、記憶部12と、操作受付部13と、表示部14と、通信部15と、を備える。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、学習装置10の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部11において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、学習装置10を統括制御する。
記憶部12は、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部12は、制御部11が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部11が各種処理を行うことにより生成又は取得するデータを記憶する。
操作受付部13は、キーボード、マウス、スイッチ、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作受付部13を操作することによって、様々な指示を学習装置10に入力することができる。操作受付部13は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部11に送信する。
表示部14は、LCD(Liquid Crystal Display)パネル、有機EL(Electro-Luminescence)等の表示デバイスを備える。表示部14は、図示しない表示駆動回路によって駆動され、制御部11による制御のもとで様々な画像を表示する。
通信部15は、学習装置10が外部の装置と通信するための通信インタフェースを備える。例えば、通信部15は、外部の装置との間で、LAN(Local Area Network)、USB(Universal Serial Bus)、インターネット等の周知の通信規格に則って通信する。
次に、図3を参照して、学習装置10の機能的な構成について説明する。図3に示すように、学習装置10は、機能的に、収集部110と、モデル生成部120と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部12に格納される。そして、CPUが、ROM又は記憶部12に記憶されたプログラムを実行することによって、これらの各機能を実現する。
また、学習装置10は、学習データベース180と、モデル記憶部190と、を備える。これらは、記憶部12の適宜の記憶領域に構築される。
学習データベース180は、学習用データ60を記憶する。学習用データ60は、学習対象の生体情報と、対応する集中度と、の間の関係を学習するためのデータである。ここで、生体情報は、対象となる人の生体状態を示す情報である。生体情報は、具体的には、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。また、集中度は、対象となる人の集中力の程度、言い換えると、対象となる人が仕事、作業、勉強等にどの程度注意を向けて取り組んでいるかを示す情報である。
図4に示すように、学習用データ60は、学習対象となる複数の人の生体情報と、対応する集中度と、が紐付けられたデータである。図4では、理解を容易にするために、学習データベース180に記憶されている複数セットの生体情報を、1セットの生体情報ごとに、1,2,3,…の通し番号で表している。学習用データ60は、複数セットの生体情報のそれぞれに対して、「高」、「中」、「低」のいずれかの集中度を紐付けて格納している。
図5に示すように、あるタイミングにおけるある人の集中度とそのタイミングにおけるその人の生体情報との間には、相関関係が存在する。具体的に説明すると、ある人の集中度が低い場合、その人の体動は大きくなり、心拍数変動は大きくなり、呼吸数は多くなる傾向がある。また、ある人の集中度が高い場合、その人の体動は小さくなり、心拍数変動は小さくなり、呼吸数は少なくなる傾向がある。そこで、このような相関関係に着目し、学習装置10は、機械学習の手法を用いることで、生体情報から集中度を推定するための学習済みモデル70を生成する。学習用データ60は、学習装置10が生体情報と集中度との間の関係を学習するための、正解となる教師データを定める。
図3に戻って、収集部110は、学習用データ60を生成するための生体情報及び集中度のデータを収集する。第1に、収集部110は、通信部15を介してセンサ装置20と通信し、生体情報のデータをセンサ装置20から収集する。センサ装置20は、図1に示したように、対象エリア5に設置されており、対象エリア5に存在する人の生体情報を計測する。
センサ装置20は、ドップラーセンサ21を備える。ドップラーセンサ21は、ミリ波、マイクロ波等の電磁波を対象物に向けて送信し、送信された電磁波の対象物における反射波を受信する。そして、ドップラーセンサ21は、反射波の周波数及び振幅を計測する。ドップラーセンサ21は、送信した電磁波と受信した反射波とで周波数及び振幅を比較することにより、ドップラーセンサ21から対象物までの距離、対象物の速度、及び、対象物の角度を計測することができる。更に、ドップラーセンサ21は、反射波の位相変化に基づいて、対象物の微小変動を計測することができる。なお、対象物は、対象エリア5内に存在する人である。
センサ装置20は、図示を省略するが、CPU、ROM及びRAMを含む制御部と、読み書き可能な不揮発性メモリと、通信インタフェースと、を備える。制御部は、ドップラーセンサ21により計測された距離、速度、角度及びそれらの変動量の計測データに基づいて、対象エリア5に存在する人の生体情報を算出する。ここで、生体情報は、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。
呼吸情報は、人の呼吸により生じる動きの情報である。呼吸情報は、具体的には、単位時間当たりの呼吸数、及びその変動量を含む。センサ装置20の制御部は、反射波の周波数を解析し、人の胸腹部の体表面の動きにより生じる特徴的な周波数成分を抽出することにより、呼吸情報を算出する。
心拍情報は、人の心拍により生じる動きの情報である。心拍情報は、具体的には、単位時間当たりの心拍数、及びその変動量を含む。センサ装置20の制御部は、人の周波数を解析し、人の心臓の動きにより生じる特徴的な周波数成分を抽出することにより、心拍情報を算出する。
体動情報は、対象物の体の動きのうちの、人が姿勢を変える、立ち上がる、座る、移動する等のような、呼吸及び心拍に比べて大きな体の動きの情報である。体動情報は、具体的には、体動の大きさ、及びその変動量を含む。センサ装置20の制御部は、反射波の振幅を解析し、振幅が閾値以上となる成分を抽出することにより、体動情報を算出する。
なお、このような呼吸情報、心拍情報及び体動情報をドップラーセンサ21の計測データから算出する方法は、特許文献1をはじめとする先行文献に記載された周知の方法を用いることができる。
以下では、理解を容易にするため、収集部110は、呼吸情報として単位時間当たりの呼吸数のデータを収集し、心拍情報として単位時間当たりの心拍数のデータを収集し、体動情報として体動の大きさのデータを収集する場合を例にとって説明する。
センサ装置20は、このような生体情報を、対象エリア5に存在する複数の人から取得する。また、センサ装置20は、同じ人の生体情報であっても、異なるタイミングにおける生体情報であれば、異なる生体情報として取得する。収集部110は、このようにしてセンサ装置20により取得された学習対象となる複数セットの生体情報を、センサ装置20から収集する。
第2に、収集部110は、集中度のデータを収集する。収集部110は、学習対象の生体情報が収集された複数の人からの申告により、これら複数の人の集中度のデータを収集する。具体的に説明すると、生体情報が収集された複数の人は、学習装置10の操作受付部13、又は学習装置10の通信部15と通信可能な適宜の端末を操作して、生体情報が収集された際の集中度を入力する。例えば、各人は、生体情報が収集された際の集中度を、「高」、「中」、「低」という複数段階のうちから選択して入力する。収集部110は、このように複数の人から入力された集中度を、学習対象として収集された生体情報に対応する集中度として収集する。
なお、収集部110は、生体情報のデータとそれに対応する集中度のデータとを、同じタイミングで収集することに限らない。言い換えると、収集部110は、互いに関連付けることができれば、生体情報のデータとそれに対応する集中度のデータと、を異なるタイミングで収集しても良い。
このようにして、収集部110は、学習対象となる複数の人の生体情報及び集中度のデータを収集する。データを収集すると、収集部110は、収集したデータに含まれる生体情報を、その生体情報の取得元である人の集中度と紐付ける処理を、複数セットの生体情報のそれぞれについて実行する。これにより、収集部110は、例えば図4に示したように、複数セットの生体情報のそれぞれと、対応する集中度とが1対1で紐付けられた学習用データ60を生成する。
収集部110は、学習用データ60を生成すると、生成した学習用データ60を学習データベース180に保存する。収集部110は、制御部11が通信部15と協働することにより実現される。収集部110は、取得手段の一例である。
図3に戻って、モデル生成部120は、学習データベース180に記憶された学習用データ60に基づいて、学習対象となる複数セットの生体情報と、対応する集中度と、の間の関係を学習する。これにより、モデル生成部120は、学習済みモデル70を生成する。学習済みモデル70は、推定対象となる人の生体情報の入力に対して、その人の集中度の推定結果を出力するモデルである。
モデル生成部120は、予め定められた学習アルゴリズムに従った機械学習を実行することにより、学習対象となる複数セットの生体情報と、対応する集中度と、の間の関係を学習する。モデル生成部120は、学習アルゴリズムとして、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。教師あり学習は、入力データとそれに対応する正解の出力データとの組み合わせを教師データとして与えて、入力データと出力データとの間の関係を学習する手法である。教師なし学習は、教師データが与えられずに、入力データが有する特徴を学習する手法である。
以下では、一例として、教師あり学習のアルゴリズムの1つであるニューラルネットワークを適用した場合について説明する。ニューラルネットワークは、人間の脳内にある神経回路網を人工ニューロンという数式的なモデルで表現する手法である。
図6に示すように、ニューラルネットワークは、入力層と出力層と少なくとも1つの中間層とを含み、入力層に入力された入力データに対して出力層から出力データを出力するモデルである。中間層は、隠れ層とも呼ばれる。なお、図6では中間層は1層であるが、2層以上であっても良い。各層は、複数のノードによって構成される。ノードは、ニューロンとも呼ばれる。
入力層のノードX1~X3には、入力データとして、それぞれ生体情報に含まれる呼吸数と心拍数と体動の大きさとが入力される。出力層のノードZ1~Z3には、出力データとして、それぞれ集中度が「高」、「中」、「低」の3段階に分けられて対応付けられている。なお、入力層のノードX1~X3の数及び出力層のノードZ1~Z3の数は、それぞれ、入力データの数及び出力データの数に相当する。そのため、入力データ及び出力データの数が多くなると、それに伴って入力層及び出力層のノードの数も多くなる。
入力層のノードX1~X3に入力データが入力されると、入力された値に重みW11~W16が乗じられて中間層のノードY1~Y2に入力され、その値に更に重みW21~W26が乗じられて出力層のノードZ1~Z3から出力される。出力層の出力結果は、重みW11~W16,W21~W26の値によって変わる。
出力層の各ノードZ1~Z3は、0以上1以下の値であるスコアを出力する。スコアは、入力層に入力された入力データが、各ノードZ1~Z3に対応付けられた集中度に該当する確からしさを示す値である。スコアが1に近いほど、入力層に入力された入力データが、そのノードに対応付けられた集中度に該当する確率が高いことを意味する。
モデル生成部120は、学習データベース180に記憶されている学習用データ60を教師データとして用いて、ニューラルネットワークにおける各層の結合の重みW11~W16,W21~W26を調整する。具体的に説明すると、モデル生成部120は、学習用データ60の各生体情報に含まれる呼吸数と心拍数と体動の大きさとのセットを、入力データとして入力層に入力する。そして、モデル生成部120は、出力層の各ノードZ1~Z3から出力されるスコアのうちの、正解のノードから出力されるスコアが1に近づき、且つ、その他のノードから出力されるスコアが0に近づくように、誤差逆伝播法等を用いて各層の結合の重みW11~W16,W21~W26を調整する。ここで、正解のノードは、学習用データ60において、入力層に入力された生体情報に紐付けられている集中度に対応するノードである。
モデル生成部120は、このような処理を、学習用データ60に含まれる複数セットの生体情報と集中度との組み合わせのそれぞれに対して実行することにより、ニューラルネットワークにおける各層の結合の重みW11~W16,W21~W26を最適化する。これにより、モデル生成部120は、生体情報の入力を受けて、その生体情報が、「高」、「中」、「低」の3段階の集中度のそれぞれに該当する確からしさを示すスコアを出力するニューラルネットワークを構築する。
モデル生成部120は、ニューラルネットワークを構築すると、構築されたニューラルネットワークを学習済みモデル70としてモデル記憶部390に保存する。モデル生成部120は、制御部11が記憶部12と協働することにより実現される。モデル生成部120は、モデル生成手段として機能する。
次に、図7を参照して、学習装置10により実行される学習済みモデル70の生成処理について説明する。図7に示す学習済みモデル70の生成処理を実行することにより、学習済みモデル70の生成方法が実現される。学習装置10の制御部11は、操作受付部13を介してユーザの指示を受け付けると、図7に示す学習済みモデル70の生成処理を開始する。
学習済みモデル70の生成処理を開始すると、制御部11は、収集部110として機能し、生体情報及び集中度のデータを収集する(ステップS11)。具体的に説明すると、制御部11は、生体情報のデータとして、学習対象となる複数の人の呼吸情報、心拍情報及び体動情報のデータを、センサ装置20から収集する。また、制御部11は、学習対象となる複数の人からの申告により、集中度のデータを収集する。
データを収集すると、制御部11は、収集した生体情報と対応する集中度とを紐付けて、学習用データ60を生成する(ステップS12)。制御部11は、例えば図4に示したような学習用データ60を生成し、学習データベース180に保存する。
学習用データ60を生成すると、制御部11は、モデル生成部120として機能し、生成した学習用データ60を用いて生体情報と集中度との間の関係を学習することにより、学習済みモデル70を生成する(ステップS13)。具体的に説明すると、制御部11は、学習用データ60に含まれる複数セットの生体情報と集中度との組み合わせを教師データとして用いて機械学習を実行し、生体情報の入力に対して集中度の推定結果を出力する学習済みモデル70を生成する。
学習済みモデル70を生成すると、制御部11は、生成した学習済みモデル70をモデル記憶部190に保存する(ステップS14)。以上により、図7に示した学習済みモデルの生成処理は終了する。
<活用フェーズ>
次に、学習装置10により生成された学習済みモデル70を活用する処理について説明する。
図1に示した設備制御装置30は、対象エリア5に設置された設備機器40を制御する装置である。設備制御装置30は、パーソナルコンピュータ、サーバ、タブレット等の情報処理装置により実現される。設備制御装置30は、学習装置10による学習結果に基づいて、対象エリア5に存在している人の集中度を推定し、設備機器40を制御する。設備制御装置30は、図8に示すように、制御部31と、記憶部32と、操作受付部33と、表示部34と、通信部35と、を備える。
制御部31は、CPU、ROM及びRAMを備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ等とも呼び、設備制御装置30の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部31において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、設備制御装置30を統括制御する。
記憶部32は、フラッシュメモリ、EPROM、EEPROM等の不揮発性の半導体メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部32は、制御部31が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部31が各種処理を行うことにより生成又は取得するデータを記憶する。
操作受付部33は、キーボード、マウス、スイッチ、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作受付部33を操作することによって、様々な指示を設備制御装置30に入力することができる。操作受付部33は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部31に送信する。
表示部34は、LCDパネル、有機EL等の表示デバイスを備える。表示部34は、図示しない表示駆動回路によって駆動され、制御部31による制御のもとで様々な画像を表示する。
通信部35は、設備制御装置30が外部の装置と通信するための通信インタフェースを備える。例えば、通信部35は、外部の装置との間で、LAN、USB、インターネット等の周知の通信規格に則って通信する。
次に、図9を参照して、設備制御装置30の機能的な構成について説明する。図9に示すように、設備制御装置30は、機能的に、取得部310と、推定部320と、出力部330と、設備制御部340と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部32に格納される。そして、CPUが、ROM又は記憶部12に記憶されたプログラムを実行することによって、これらの各機能を実現する。
また、設備制御装置30は、学習済みモデル70を記憶するモデル記憶部390を備える。モデル記憶部390は、記憶部32の適宜の記憶領域に構築される。学習済みモデル70は、学習装置10において生成された後、通信部35による通信を介して、又は外部記録媒体を経由して、モデル記憶部390に記憶される。
なお、設備制御装置30の各部のうち、設備制御部340以外の機能を合わせて推定装置50と呼ぶことができる。
取得部310は、対象エリア5に存在する人の生体情報を取得する。生体情報は、上述したように、人の生体状態を示す情報であって、具体的には、人の呼吸に関する呼吸情報と、人の心拍に関する心拍情報と、人の体動に関する体動情報と、を含む。学習フェーズと同様に、センサ装置20は、ドップラーセンサ21を用いて、対象エリア5に存在する人の生体情報を計測する。取得部310は、通信部35によりセンサ装置20と通信し、センサ装置20から生体情報を取得する。取得部310は、制御部31が通信部35と協働することにより実現される。取得部310は、取得手段の一例である。
より詳細には、取得部310は、対象エリア5に人が存在している場合に、その人の生体情報を取得する。ここで、対象エリア5に人が存在しているか否かは、適宜の手法によって判定される。例えば、取得部310は、対象エリア5に設置された情報端末と通信部35により通信し、情報端末が操作された場合に、対象エリア5に人が存在していると判定する。或いは、対象エリア5に人感センサが設置されており、取得部310は、人感センサにより人が検知された場合に、対象エリア5に人が存在していると判定しても良い。
推定部320は、学習済みモデル70に基づいて、取得部310により取得された生体情報から、対象エリア5に存在する人の集中度を推定する。具体的に説明すると、推定部320は、取得部310により取得された生体情報を学習済みモデル70に入力する。上述したように、学習済みモデル70は、入力された生体情報に対して、推定対象となる人の集中度が、「高」、「中」、「低」の3段階のそれぞれに該当する確からしさを示すスコアを出力する。
これらの3段階のうち、学習済みモデル70により出力されたスコアが最も高い段階は、推定対象の人の集中度に該当する可能性が最も高い。そのため、推定部320は、学習済みモデル70により出力された「高」、「中」、「低」の各段階のスコアを比較し、スコアが最も高い段階が、推定対象の人の集中度に該当すると推定する。
例えば、生体情報の入力に対して、学習済みモデル70から出力された各段階のスコアのうちの「高」のスコアが最も高い場合、推定部320は、その生体情報の取得元である人の集中度が高いと推定する。これに対して、生体情報の入力に対して、学習済みモデル70から出力された各段階のスコアのうちの「低」のスコアが最も高い場合、推定部320は、その生体情報の取得元である人の集中度が低いと推定する。推定部320は、制御部31が記憶部32と協働することにより実現される。推定部320は、推定手段の一例である。
出力部330は、推定部320により推定された推定結果を出力する。出力部330は、推定部320により推定された集中度を示す画像を生成し、表示部34に表示させる。ユーザは、表示部34を確認することで、対象エリア5に存在する人の集中度を知ることができる。
或いは、出力部330は、推定部320により推定された集中度を示す出力情報を、通信部35を介して外部の装置に出力し、外部の装置の表示部に表示しても良い。出力部330は、制御部31が表示部34又は通信部35と協働することにより実現される。出力部330は、出力手段の一例である。
設備制御部340は、推定部320により推定された集中度に基づいて、設備機器40を制御する。まず、設備制御部340は、推定部320により推定された集中度に基づいて、設備機器40の制御内容を決定する。
制御内容を決定するために、設備制御部340は、推定対象となる人の集中度の状態として、図10に示すように、第1の状態である高集中状態と、第1の状態よりも集中度が低い第2の状態である低集中状態と、を定義する。ある人の集中度が低集中状態にある場合において、推定部320により推定されたその人の集中度が「高」である状態が予め定められた時間以上継続した場合、その人の集中度は低集中状態から高集中状態に変化する。これに対して、ある人の集中度が高集中状態にある場合において、推定部320により推定されたその人の集中度が「低」である状態が予め定められた時間以上継続した場合、その人の集中度は高集中状態から低集中状態に変化する。
設備制御部340は、推定部320により推定された集中度の継続時間を計測する。そして、設備制御部340は、集中度の継続時間に基づいて、推定対象となる人の現在の集中度が低集中状態と高集中状態とのどちらの状態にあるのかを判定し、判定結果に応じて制御内容を決定する。
具体的に説明すると、設備制御部340は、推定部320により推定された集中度が高集中状態から低集中状態に変化した場合、対象エリア5に存在する人を刺激する刺激運転を設備機器40に実行させる。また、推定部320により推定された集中度が低集中状態にある時間が予め定められた閾時間よりも長く継続した場合も同様に、設備制御部340は、刺激運転を設備機器40に実行させる。ここで、刺激運転は、対象エリア5に存在する人を刺激して覚醒を促す、また気持ちをリフレッシュさせる運転を意味する。
第1の例として、設備機器40が空調機の室内機である場合、刺激運転は、室内機から吹き出される空調空気の吹き出し方向を変化させる運転、又は、空調空気の温度を低下させる運転である。空調空気の吹き出し方向を変化させる運転として、例えば、気流をスイングさせる動作が挙げられる。これにより、風当たり感が変化するため、対象エリア5に存在する人を刺激することができる。また、空調空気の温度を低下させることによっても、人を刺激することができるため、集中力を高めることができる。
第2の例として、設備機器40が換気装置である場合、刺激運転は、換気装置による換気の強度を上げる運転である。換気の強度を上げることにより、対象エリア5の二酸化炭素濃度を下げることができるため、対象エリア5に存在する人の気持ちをリフレッシュさせ、集中力を高めることができる。
第3の例として、設備機器40が照明機器である場合、刺激運転は、照明機器による照明の色を変化させる運転である。照明の色を変化させることで、人の気分を変化させることができるため、集中力を高める効果が見込まれる。照明の色を変化させる運転として、例えば、照明の色を暖色系に変化させる運転が挙げられる。暖色系の色は人の自律神経を刺激する傾向があるため、照明の色を暖色系に変化させることで、集中力をより効果的に高めることができる。
設備制御部340は、このような刺激運転を一定時間継続した後、元の状態に戻すという運転を設備機器40に実行させるように、制御内容を決定する。このように、対象エリア5に存在する人の気持ちを切り替えやすい環境に一時的に変化させた後、元の制御状態に戻すことで、その後の集中を促すことができる。
また、設備制御部340は、推定部320により推定された集中度が高集中状態にある時間が予め定められた閾時間よりも長く継続した場合も同様に、刺激運転を設備機器40に実行させる。集中力が高い状態であっても、刺激運転により一時的にリフレッシュを促すことで、高集中状態を持続させ易くすることができる。なお、集中度が高集中状態から低集中状態に変化した場合と、集中度が高集中状態にある時間が閾時間よりも長く継続した場合とで、刺激運転の内容を異なるようにしても良い。
このような制御の切り替え条件、低集中状態での制御内容、及び、高集中状態での制御内容は、自由に設定することができる。例えば、これらをユーザが選択して設定できるようにし、設備制御部340は、ユーザが設定した切り替え条件又は制御内容に従って、制御内容を決定しても良い。
制御内容を決定すると、設備制御部340は、決定した制御内容で設備機器40を動作させる。具体的に説明すると、設備制御部340は、通信部35を介して設備機器40と通信し、設備機器40に対して、決定した制御内容を実行する指令を送信する。これにより、設備制御部340は、推定部320により推定された集中度に応じた運転を設備機器40に実行させる。設備制御部340は、制御部31が通信部35と協働することにより実現される。設備制御部340は、設備制御手段の一例である。
次に、図11を参照して、設備制御装置30により実行される設備制御処理について説明する。設備制御装置30の制御部31は、学習装置10により生成された学習済みモデル70がモデル記憶部390に記憶されている状態において、図11に示す設備制御処理を実行する。
設備制御処理を開始すると、制御部31は、対象エリア5に人が存在しているか否かを判定する(ステップS31)。具体的に説明すると、制御部31は、対象エリア5に設置された情報端末が操作されたか否か、又は、対象エリア5に設置された人感センサにより人が検知されたか否かによって、対象エリア5に人が存在しているか否かを判定する。
対象エリア5に人が存在していない場合(ステップS31;NO)、制御部31は、ステップS31に留まり、対象エリア5に人が入ってくるまで待機する。
一方で、対象エリア5に人が存在している場合(ステップS31;YES)、制御部31は、取得部310として機能し、対象エリア5に存在する人の生体情報を取得する(ステップS32)。具体的に説明すると、制御部31は、生体情報として、対象エリア5に存在する人の呼吸情報、心拍情報及び体動情報を、センサ装置20から取得する。
生体情報を取得すると、制御部31は、推定部320として機能し、学習済みモデル70に基づいて、取得した生体情報から集中度を推定する(ステップS33)。具体的に説明すると、制御部31は、学習済みモデル70に対して、ステップS31で取得した生体情報を入力する。そして、制御部31は、生体情報の入力に対して学習済みモデル70により出力される複数段階の集中度のスコアを比較し、スコアが最も高い集中度を、推定対象の人の集中度であると推定する。
集中度を推定すると、制御部31は、出力部330として機能し、推定結果を出力する(ステップS34)。制御部31は、推定された集中度を示す画像を表示部34に表示させることで、ユーザに通知する。
推定結果を出力すると、制御部31は、推定された集中度に基づいて、設備機器40の制御内容を決定する(ステップS35)。ステップS35における制御内容決定処理の詳細は、図12を参照して説明する。
制御内容決定処理を開始すると、制御部31は、ステップS33で推定された集中度の状態を判定する(ステップS351)。具体的に説明すると、制御部31は、推定された集中度の継続時間を計測し、現在の集中度が、図10に示した高集中状態と低集中状態とのどちらであるかを判定する。
集中度の状態を判定すると、制御部31は、推定された集中度が高集中状態から低集中状態に変化したか否か、低集中状態が閾時間よりも長く継続したか否か、及び、高集中状態が閾時間よりも長く継続したか否かを判定する(ステップS352~S354)。推定された集中度が高集中状態から低集中状態に変化しておらず、低集中状態が閾時間よりも長く継続しておらず、且つ、高集中状態が閾時間よりも長く継続していない場合(ステップS352~S354;いずれもNO)、制御部31は、制御内容を通常運転に決定する(ステップS355)。
これに対して、推定された集中度が高集中状態から低集中状態に変化した場合(ステップS352;YES)、低集中状態が閾時間よりも長く継続した場合(ステップS353;YES)、又は、高集中状態が閾時間よりも長く継続した場合(ステップS354;YES)、制御部31は、制御内容を刺激運転に決定する(ステップS356)。以上により、図12に示した制御内容決定処理は終了する。
図11に戻って、制御内容を決定すると、制御部31は、設備制御部340として機能し、決定した制御内容で設備機器40を制御する(ステップS36)。これにより、制御部31は、推定部320により推定された集中度に応じた運転を設備機器40に実行させる。
その後、制御部31は、処理をステップS31に戻し、引き続き対象エリア5に人が存在しているか否かを判定する。そして、制御部31は、人が存在している場合、ステップS32~S36の処理を再度実行する。このように、制御部31は、対象エリア5に人が存在している間、その人の生体情報から集中度を推定し、推定された集中度に基づいて設備機器40を制御する処理を繰り返す。以上により、図11に示した設備制御処理は終了する。
以上説明したように、実施の形態1に係る設備制御システム1において、学習装置10は、生体情報と対応する集中度との間の関係を学習することにより、学習済みモデル70を生成する。そして、設備制御装置30は、学習済みモデル70に基づいて、対象エリア5に存在する人の生体情報からその人の集中度を推定し、推定された集中度に基づいて設備機器40を制御する。これにより、対象エリア5に存在する人の状態に応じて設備機器40を制御することができるため、対象エリア5に存在する人の集中力を向上させることができる。その結果として、設備制御システム1のユーザは、対象エリア5において、高い集中力を持続させて仕事、作業、勉強等に取り組むことができる。
また、実施の形態1に係る設備制御システム1において、対象エリア5に存在する人の生体情報は、ドップラーセンサ21を用いて取得される。ドップラーセンサ21を用いることにより非接触で生体情報を取得でき、人がセンサを身に着ける必要が無いため、人の集中力を阻害せずに刺激に必要なデータを取得することができる。
(実施の形態2)
次に、本開示の実施の形態2について説明する。実施の形態1と同様の構成及び機能については、適宜説明を省略する。
図13に示すように、実施の形態2に係る設備制御装置30aは、機能的に、取得部310と、推定部320と、出力部330と、設備制御部340と、識別部350と、を備える。識別部350以外の機能は、実施の形態1と同様である。
識別部350は、対象エリア5に存在する人を識別する。ユーザは、設備制御システム1の利用を開始する際に、設備制御装置30aの操作受付部33、又は設備制御装置30aの通信部35と通信可能な情報端末を操作して、自身の名前、アカウント名、ID等のユーザ情報を入力する。識別部350は、このようにしてユーザから入力されたユーザ情報を受け付けることにより、対象エリア5に存在する人を識別する。識別部350は、制御部31が操作受付部33又は通信部35と協働することにより実現される。識別部350は、識別手段の一例である。
実施の形態2において、学習済みモデル70は、図14に示すように、複数の人別モデル71を含んでいる。複数の人別モデル71のそれぞれは、互いに異なる人の生体情報と、対応する集中度と、の間の関係を学習することにより生成されたモデルであって、生体情報の入力に対して集中度の推定結果を出力する互いに独立したモデルである。
実施の形態2に係る学習装置10において、モデル生成部120は、収集部110により収集された生体情報と集中度との間の関係を、生体情報と集中度とが収集された人毎に分けて学習する。これにより、モデル生成部120は、複数の人別モデル71を生成し、生成した複数の人別モデル71を合わせて学習済み70モデルとしてモデル記憶部190に保存する。
推定部320は、複数の人別モデル71のうちの、識別部350により識別された人に対応する人別モデル71に基づいて、取得部310により取得された生体情報から集中度を推定する。具体的に説明すると、推定部320は、取得部310により取得された生体情報を、複数の人別モデル71のうちの、識別部350により識別された人に対応する人別モデル71に入力する。そして、推定部320は、人別モデル71により出力された各段階のスコアを比較し、スコアが最も高い段階が、識別部350により識別された、対象エリア5に存在する人の集中度に該当すると推定する。
このように、人によって使用するモデルを切り替えて集中度を推定するため、集中度の推定精度が向上する。そのため、人に合わせて集中度が向上することにより的確に設備機器40を制御することができる。
なお、複数の人別モデル71のそれぞれは、対応する人が設備制御システム1を利用している間に取得された生体情報のデータと、その間の集中度、制御の満足度等の申告データと、に基づいて更新されるようにしても良い。
また、識別部350は、取得部310により取得された生体情報に基づいて、対象エリア5に存在する人を識別しても良い。例えば、対象エリア5が家庭の書斎、勉強部屋等のような少人数の特定の人のみが使用するようなエリアである場合、対象エリア5で取得される生体情報のデータを蓄積し、生体情報から類似したパターンを抽出して記憶部32に保存する。識別部350は、設備制御システム1の動作が開始されると、記憶部32に予め保存された生体情報の複数のパターンの中で、取得部310により取得された生体情報のパターンに最も類似するパターンを判別する。そして、識別部350は、判別したパターンに対応するユーザを、対象エリア5に存在する人として識別する。このように生体情報から人を識別することにより、動作開始時における入力作業が不要になる。
(実施の形態3)
次に、本開示の実施の形態3について説明する。実施の形態1,2と同様の構成及び機能については、適宜説明を省略する。
図15に示すように、実施の形態3に係る設備制御システム1aは、学習装置10と、複数のセンサ装置20と、設備制御装置30と、複数の設備機器40と、を備える。実施の形態3において、対象エリア5は、複数の個別エリア5a~5cに分割される。複数の個別エリア5a~5cのそれぞれに、センサ装置20と設備機器40とが設置されている。複数の個別エリア5a~5cのそれぞれは、例えば、シェアオフィス、自習室等における各ユーザの座席に対応するエリアである。
複数のセンサ装置20のそれぞれは、実施の形態1で説明したセンサ装置20と同様である。また、複数の設備機器40のそれぞれは、実施の形態1で説明した設備機器40と同様である。言い換えると、実施の形態3では、センサ装置20及び設備機器40は、複数の個別エリア5a~5cのそれぞれに設置されている。
取得部310は、対象エリア5内の複数の個別エリア5a~5cのそれぞれに存在する人の生体情報を、各個別エリア5a~5cに設置されたセンサ装置20から取得する。推定部320は、学習済みモデル70に基づいて、取得部310により取得された生体情報から、複数の個別エリア5a~5cのそれぞれに存在する人の集中度を推定する。言い換えると、推定部320は、1つの個別エリアに設置されたセンサ装置20から取得された生体情報から、その個別エリアに存在する人の集中度を推定する処理を、複数の個別エリア5a~5cのそれぞれに対して実行する。設備制御部340は、推定部320により推定された集中度に基づいて、複数の個別エリア5a~5cのそれぞれに設置された設備機器40を制御する。言い換えると、設備制御部340は、1つの個別エリアに存在する人の集中度に基づいて、その個別エリアに設置された設備機器40を制御する処理を、複数の個別エリア5a~5cのそれぞれに対して実行する。各個別エリアにおける取得部310、推定部320、設備制御部340の処理は、実施の形態1と同様である。
出力部330は、複数の個別エリア5a~5cのそれぞれに存在する人の集中度の、推定部320による推定結果と、複数の個別エリア5a~5cのそれぞれに設置された設備機器40の制御状態と、を出力する。具体的には図16に示すように、出力部330は、集中度の推定結果及び設備機器40の制御状態を示す画像を表示部34に表示する。より詳細には、出力部330は、推定部320により推定された、複数の個別エリア5a~5cのそれぞれに存在する人の集中度を、「高」、「中」、「低」の3段階で表示する。また、出力部330は、複数の個別エリア5a~5cのそれぞれに設置された設備機器40の現在の制御状態が、実施の形態2で説明した「通常運転」と「刺激運転」とのどちらであるかを表示する。
このように複数のエリアの集中度と制御状態とが表示されることで、シェアオフィス、自習室等において、座席管理及び座席選択を効率良く実施することができる。例えば、別のユーザが座席選択する際に、各エリアの現在の集中度及び制御状態を参考にすることができる。また、新たにユーザに座席を割り振る際に、高集中度の座席よりも、刺激運転状態の席の近隣を優先して割り当てる、といったことが可能になる。その結果として、ユーザの利便性が向上する。
なお、出力部330は、図16に示した表示画像を、通信部35を介して外部の装置に出力しても良い。外部の装置は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報端末である。
以上のように、実施の形態3に係る設備制御システム1aでは、複数の個別エリア5a~5cにおける集中度と設備機器40とを、1つの設備制御装置30で一括して管理する。そのため、設備制御システム1aを効率的に構築することができる。
なお、実施の形態3において、センサ装置20は、複数の個別エリア5a~5cのそれぞれに設置されることに限らない。例えば図17に示す設備制御システム1bように、1台のセンサ装置20を用いて、複数の個別エリア5a~5cのそれぞれに存在する人の生体情報を取得しても良い。特に、ドップラーセンサ21は、複数の対象物に対して非接触で計測データを取得することができる。そのため、各エリアにセンサ装置20が設置されていなくても、1台のセンサ装置20の計測範囲に複数の個別エリア5a~5cを含めるようにすることができる。このように1台のセンサ装置20で複数の個別エリア5a~5cを管理することにより、設備制御システム1bの構成を効率化することができる。
(変形例)
以上、実施の形態を説明したが、各実施の形態を組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
例えば、上記実施の形態では、学習装置10及び設備制御装置30は、生体情報として、呼吸数、心拍数及び体動の大きさの情報を用いた。しかしながら、学習装置10及び設備制御装置30は、生体情報として、これら以外の情報を用いても良い。例えば、生体情報として、呼吸数、心拍数及び体動の大きさに代えて又は加えて、これらの時間変動量を用いても良い。通常における心拍数、呼吸数、体動及びこれらの時間変動量は個人により異なるが、時間変動量のデータを用いることにより、このような個人差の影響を低減することができるため、集中度の推定精度をより高めることができる。
或いは、モデル生成部120は、学習アルゴリズムとして、RNN(Recurrent Neural Network)、LSTM(Long-Short Term Model)等のような、時系列の変化を含めて学習することができるアルゴリズムを採用して、学習済みモデル70を生成しても良い。これらの学習アルゴリズムは、時間変動を含めて学習することができるため、入力データに時間変動量のデータを入力するのと同様に、個人差の影響を低減する効果が得られる。
また、心拍情報として、心拍数の低周波数成分(LF:Low Frequency)又は高周波数成分(HF:High Frequency)を用いても良い。一般的に、心拍数の低周波成分は、0.004~0.15Hzの周波数帯の成分であり、交感神経と副交感神経の両方の活動を反映する。心拍数の高周波成分は、0.15~0.4Hzの周波数帯の成分であり、副交感神経の活動を反映する。このように、心拍変動は自律神経系と関連があり、人の覚醒度合と相関する。そのため、心拍情報として、心拍数の低周波数成分と高周波数成分とを用いることで、集中度の推定精度をより高めることができる。
上記実施の形態では、センサ装置20は、ドップラーセンサ21により計測された計測データに基づいて、生体情報を取得した。しかしながら、生体情報の少なくとも一部は、ドップラーセンサ21以外により取得されても良い。例えば、腕時計型の心拍センサ又は体動センサにより、心拍情報又は体動情報を取得しても良い。ドップラーセンサ21を使用する場合、非接触で生体情報を取得することができる一方で、空間での電磁波の反射を利用するため、ドップラーセンサ21の周囲に存在する人の影響により、誤検知が発生する場合もある。腕時計型のセンサを使用すると、対象者がセンサを身に着けている必要はある一方で、対象者からの生体情報を確実に取得することができる。
上記実施の形態では、学習装置10の収集部110により収集される生体情報と、設備制御装置30の取得部310により取得される生体情報とは、同じ対象エリア5に設置された同じセンサ装置20から取得された。しかしながら、収集部110は、センサ装置20とは別の装置から、対象エリア5とは異なるエリアに存在する複数の人の生体情報を、学習対象となる複数セットの生体情報のデータとして収集しても良い。設備制御装置30が設置された対象エリア5に限らず、様々な対象エリアに存在する様々な人から、学習対象となる生体情報及び集中度のデータを収集することにより、生体情報から集中度を高い精度で推定できる学習済みモデル70を生成することが可能になる。
1つの学習装置10での学習により生成された学習済みモデル70を、異なる複数の設備制御装置30で用いても良い。また、設備制御装置30が学習装置10から一度学習済みモデル70を取得した後で、学習装置10が再度学習を行って学習済みモデル70を更新し、更新後の学習済みモデル70を設備制御装置30に使用させても良い。
上記実施の形態では、収集部110は、学習対象の生体情報が収集された複数の人からの申告により、集中度のデータを収集した。しかしながら、収集部110は、他の方法により集中度のデータを収集しても良い。例えば、センサ装置20が、視線計測装置又は可視カメラを備えており、学習対象となる人の生体情報を収集しながら、視線計測装置によりその人の視線移動量を計測する、又は可視カメラによりその人の体動を計測しても良い。この場合、収集部110は、センサ装置20から視線移動量又は体動のデータを、集中度のデータとして収集する。収集されたデータにおいて、視線移動量又は体動が大きい場合には集中度が低く、視線移動量又は体動が小さい場合には集中度が高いと判定される。
上記実施の形態では、モデル生成部120は、学習アルゴリズムとして、教師あり学習のアルゴリズムであるニューラルネットワークモデルに従って生体情報と集中度との間の関係を学習し、学習済みモデル70を生成した。しかしながら、モデル生成部120は、ニューラルネットワーク以外の教師あり学習のアルゴリズムを用いても良い。例えば、モデル生成部120は、遺伝的プログラミング、サポートベクターマシン等の手法に従って生体情報と集中度との間の関係を学習して、学習済みモデル70を生成しても良い。
或いは、モデル生成部120は、教師なし学習又は強化学習のアルゴリズムを用いても良い。例えば、モデル生成部120は、教師なし学習のアルゴリズムとして、クラスタリングの手法を用いることができる。この場合、モデル生成部120は、生体情報に含まれる呼吸情報、心拍情報及び体動情報の特徴に応じて、生体情報を複数のグループに分類し、各グループに対して「高」、「中」、「低」等の集中度の高さを対応付ける。これにより、モデル生成部120は、生体情報と集中度との間の関係を学習する。また、モデル生成部120は、特徴量そのものの抽出を学習する手法である深層学習(Deep Learning)を用いることもできる。
上記実施の形態では、学習装置10とセンサ装置20と設備制御装置30と設備機器40とは、互いに独立した装置として存在していた。しかしながら、いずれかの装置の中に、少なくとも1つの他の装置の機能が含まれていても良い。例えば、設備機器40の中にセンサ装置20及び設備制御装置30の機能が含まれており、設備機器40が、センサ装置20により取得されたデータに基づいて集中度を推定し、推定された集中度に基づいて設備機器40を制御してもよい。或いは、センサ装置20の中に設備制御装置30又は学習装置10の機能が含まれても良いし、設備制御装置30の中に学習装置10の機能が含まれていても良い。
また、学習装置10及び設備制御装置30の機能は、クラウドサーバにて実現されても良い。ここで、クラウドサーバは、クラウドコンピューティングのリソースを提供するサーバである。この場合、センサ装置20は、ドップラーセンサ21により取得した生体情報を、通信ネットワークを介してクラウドサーバに送信する。クラウドサーバは、センサ装置20から受信した生体情報に基づいて機械学習を実行し、学習済みモデル70を生成する。また、クラウドサーバは、センサ装置20から受信した生体情報から集中度を推定して設備機器40の制御内容を決定し、設備機器40に送信する。
上記実施の形態では、学習装置10の制御部11において、CPUがROM又は記憶部12に記憶されたプログラムを実行することによって、図3に示した各部として機能した。また、設備制御装置30の制御部31において、CPUがROM又は記憶部32に記憶されたプログラムを実行することによって、図9に示した各部として機能した。しかしながら、制御部11,31は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組み合わせ等である。制御部11,31が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。
また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部11,31は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。
学習装置10及び設備制御装置30のそれぞれの動作を規定するプログラムを、パーソナルコンピュータ、情報端末装置等の既存のコンピュータに適用することで、当該コンピュータを、学習装置10及び設備制御装置30のそれぞれとして機能させることも可能である。
また、このようなプログラムの配布方法は任意であり、例えば、CD-ROM(Compact Disk ROM)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。