JP2017139190A - 画像センサ及び学習方法 - Google Patents

Abstract

【課題】人物の誤検出を抑制することができる画像センサ及び学習方法を提供することである。【解決手段】実施形態の画像センサは、画像取得部と、動体検出部と、背景識別部と、人物判定部と、学習部と、を持つ。画像取得部は、制御対象の空間の画像を取得する。動体検出部は、前記画像取得部によって取得された前記画像から動体を検出する。背景識別部は、前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する。人物判定部は、前記動体検出部による動体の検出結果と、前記背景識別部による背景の識別結果とに基づいて、前記空間における人物の有無を判定する。学習部は、前記画像取得部によって取得された画像に基づいて前記背景辞書を更新する。【選択図】図２

Description

本発明の実施形態は、画像センサ及び学習方法に関する。

従来、省エネルギー化を目的として、画像センサを用いた照明機器の制御方法が検討されている。画像センサを用いた照明機器の制御方法とは、おおよそ次のようなものである。まず、画像センサは、制御対象の照明機器に応じた空間（以下、「対象空間」という。）を撮像し、対象空間の画像を取得する。画像センサは、取得した対象空間の画像から、対象空間に存在する人物に関する情報（以下、「人物情報」という。）を取得する。例えば、画像センサは、画像から人物を検出することにより、対象空間における人物の有無を示す情報を人物情報として取得する。画像センサは、取得した人物情報をＢＥＭＳ（Building Energy Management System）等の照明制御システムに送信する。例えば照明制御システムは、対象空間に人物が存在する場合には対応する照明機器を点灯させ、対象空間において人物が不在の場合には対応する照明機器を消灯させる。画像センサは、人物の有無を示す情報のほか、多種多様な人物情報を画像から取得できるため、対象空間における人物の状態に応じて、きめ細やかな照明機器の制御が可能となる。

画像から人物を検出する従来技術として、人物を検出する対象の画像（以下、「検出対象画像」という。）と、人物以外の背景が撮像された画像（以下、「背景画像」という。）と、の輝度差によって検出対象画像内の領域が背景であるか否かを判定する方法がある。このような背景画像との比較による人物の検出方法では、対象空間における照明の状態が背景画像に撮像された対象空間と同じ又は近い状態であることが前提となる。そのため、従来、照明の状態に応じた背景画像から照明の状態に応じた背景画像を選択することによって、照明の状態が変化する対象空間についても人物の検出を可能としていた。

しかしながら、上述の従来技術は、対象空間における背景の変化に対応していない。例えば、フロアレイアウトが変更された場合や、机上に置かれた物体の位置が変化した場合、背景変化前の背景画像では、背景変化後の対象空間の背景を識別することができない。すなわち、従来技術は、対象空間の背景の変化によって人物を誤検出する可能性があった。

特許第５０９９９０４号公報

本発明が解決しようとする課題は、人物の誤検出を抑制することができる画像センサ及び学習方法を提供することである。

実施形態の画像センサは、画像取得部と、動体検出部と、背景識別部と、人物判定部と、学習部と、を持つ。画像取得部は、制御対象の空間の画像を取得する。動体検出部は、前記画像取得部によって取得された前記画像から動体を検出する。背景識別部は、前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する。人物判定部は、前記動体検出部による動体の検出結果と、前記背景識別部による背景の識別結果とに基づいて、前記空間における人物の有無を判定する。学習部は、前記画像取得部によって取得された画像に基づいて前記背景辞書を更新する。

第１の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図。 第１の実施形態の画像センサ２の機能構成を示す機能ブロック図。 第１の実施形態の画像センサ２によるオンライン学習の流れを示す第１のフローチャート。 オンライン学習のために選択される学習用画像の具体例を示す図。 第１の実施形態の画像センサ２によるオンライン学習の流れを示す第２のフローチャート。 第１の実施形態の画像センサ２によるオンライン学習の流れを示す第３のフローチャート。 第１の実施形態の画像センサ２によるオンライン学習の流れを示す第４のフローチャート。 蓄積画像において学習用画像として用いられる非動体領域の具体例を示す図である。 背景辞書の学習を行う単位となる領域の具体例を示す図。 背景の変化に応じた背景辞書の学習方法の具体例を示す図。 エッジの分布の変化に応じた背景辞書の学習方法の具体例を示す図。 画像の加工によって学習用画像を生成する方法の具体例を示す図。 対象空間の画像に基づいて明るさの分布を推定する方法の一例を示す図。 第２の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図。 第２の実施形態の画像センサ２ａによるオンライン学習の流れを示すフローチャート。

以下、実施形態の画像センサ及び学習方法を、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図である。機器制御システム１００は、一つ以上の照明機器１、一つ以上の画像センサ２、ネットワークハブ３、ゲートウェイ４、センサネットワーク５、制御ネットワーク６及び制御装置群７を備える。

照明機器１は、機器制御システム１００において制御対象となる機器の一例である。図１には、一つ以上の照明機器１の例として照明機器１−１〜１−３が示されている。

画像センサ２は、一つ以上の照明機器１が設置された空間（以下、「制御対象空間」という。）において、各照明機器１に対応して設置される。画像センサ２は、自装置に対応する照明機器１に応じた空間（以下、「対象空間」という。）を撮像し、対象空間の画像を取得する。例えば画像センサ２は、オフィスフロア（制御対象空間）の天井に設置され、オフィスフロアを俯瞰して撮像可能なように設置される。そして画像センサ２は、同じくオフィスフロアの天井に設置された照明機器１のうち、自装置に対応する照明機器１によって光が供給される空間（対象空間）を撮像する。画像センサ２は、撮像によって取得した対象空間の画像から対象空間の状態に関する情報（以下、「空間情報」という。）を取得する。画像センサ２は、取得した空間情報をネットワークハブ３を介してゲートウェイ４に送信する。図１には、一つ以上の画像センサ２の例として画像センサ２−１〜２−３が示されている。

ネットワークハブ３は、画像センサ２をセンサネットワーク５に接続する。
ゲートウェイ４は、画像センサ２が接続されたセンサネットワーク５と、制御装置群７が接続された制御ネットワーク６とを接続する。ゲートウェイ４は、通信プロトコルの変換等を行うことにより、画像センサ２と制御装置群７との間の通信を中継する。

センサネットワーク５は、画像センサ２を収容するネットワークである。例えばセンサネットワーク５は、イーサネット（登録商標）によって構成されたＩＰネットワークである。センサネットワーク５は、画像センサ２との通信を可能にするネットワークであれば他のどのような種類のネットワークであってもよい。

制御ネットワーク６は、制御装置群７を収容するネットワークである。例えば制御ネットワーク６は、BACnet（Building Automation and Control Network）によって構成されたＩＰネットワークである。制御ネットワーク６は、制御装置群７との通信を可能にするネットワークであれば他のどのような種類のネットワークであってもよい。

なお、画像センサ２と制御装置群７との間の通信が可能であれば、センサネットワーク５及び制御ネットワーク６は、いずれかのネットワークに統合されてもよい。この場合、機器制御システム１００はゲートウェイ４を備えなくてもよい。

制御装置群７は、機器制御システム１００において制御対象の機器を制御する制御装置の集合を表す。例えば制御装置群７は、ＢＥＭＳ７１（Building Energy Management System）や、空調制御装置７２及び照明制御装置７３を備える。ＢＥＭＳ７１は、ビルの機器や設備等の運転管理によってエネルギー消費量の削減を図るためのシステムである。空調制御装置７２は、空調装置（図示せず）を制御する装置である。照明制御装置７３は、照明機器１を制御する装置である。

制御装置群７に含まれる各制御装置は、画像センサ２から送信される空間情報に基づいて制御対象の機器の制御値を算出し、算出した制御値で制御対象の機器を動作させるための制御情報を生成する。各制御装置は、生成した制御情報を制御対象の機器に送信する。この制御情報の送信により、制御対象の機器が空間情報に基づいて算出された制御値で動作するように制御される。

なお、本実施形態では、画像センサ２は、対象空間における人物に関する情報（以下、「人物情報」という。）を空間情報として取得する。例えば人物情報は、対象空間における人物の有無、人数、活動量、姿勢などを示す情報である。照明制御装置７３は、画像センサ２から送信される人物情報に基づいて、制御対象の照明機器１を制御する。

図２は、第１の実施形態の画像センサ２の機能構成を示す機能ブロック図である。画像センサ２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像センサプログラムを実行する。画像センサ２は、画像センサプログラムの実行によって通信部２１、撮像部２２、画像記憶部２３、背景辞書記憶部２４、動体検出部２５、背景識別部２６、人物判定部２７及び学習部２８を備える装置として機能する。なお、画像センサ２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像センサプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像センサプログラムは、電気通信回線を介して送信されてもよい。

通信部２１は、画像センサ２がセンサネットワーク５に接続するための通信インターフェースである。

撮像部２２（画像取得部の一例）は、対象空間を撮像し、対象空間の画像を取得する。撮像部２２は、取得した対象空間の画像データを画像記憶部２３に記憶させる。

画像記憶部２３及び背景辞書記憶部２４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像記憶部２３は、撮像部２２によって取得された画像データを記憶する。背景辞書記憶部２４は、背景辞書を記憶する。背景辞書は、対象空間の背景の特徴を示す情報である。背景辞書は、対象空間の背景に関する画像（以下、「背景画像」という。）から抽出された特徴量が、種々の特徴ごとに整理された情報である。背景辞書記憶部２４は、予め生成された初期の背景辞書を記憶している。

動体検出部２５は、画像記憶部２３に蓄積された画像に基づいて、動体を検出する対象の画像（以下、「検出対象画像」という。）から動体を検出する。動体検出部２５は、自律して動作する人物などの被写体の他、自律して動作しないが位置の変化があった静止体などを動体として検出する。画像から動体を検出する手法には、フレーム間差分やオプティカルフロー、テンプレートマッチングなどの手法を用いることができる。

背景識別部２６は、動体検出部２５によって動体と判定された領域（以下、「動体領域」という。）の画像が背景であるか否かを、背景辞書に基づいて識別する。動体領域が背景であるか否かを識別する手法には、ニューラルネットワークやＳＶＭ（Support Vector Machine）、ｋ近傍識別器、ベイズ分類などの手法を用いることができる。

なお、上記の特徴量には、累積差分特徴量のような輝度変化に関する特徴量や、ＣｏＨＯＧ特徴量のような輝度分布に関数特徴量を用いることができる。

人物判定部２７は、背景識別部２６によって背景でないと識別された動体領域の画像が人物であるか否かを判定する。人物判定部２７は、通信部２１を介して判定結果を照明制御装置７３に送信する。

学習部２８は、画像記憶部２３に蓄積された画像に基づいて、背景辞書を更新する。この背景辞書の更新を以下では学習と称する。背景辞書の学習は初期学習とオンライン学習とに分類される。初期学習は、背景辞書記憶部２４に予め登録される初期状態の背景辞書を生成する処理である。初期状態の背景辞書は、予め用意された学習用の背景画像に基づいて生成される。これに対してオンライン学習は、照明制御の運用中に蓄積された検出対象画像に基づいて、背景辞書を更新する処理である。学習部２８が行う背景辞書の学習は、後者のオンライン学習である。

なお、上述した画像センサ２は、撮像部２２を備えない空間情報取得装置として構成されてもよい。この場合、空間情報取得装置は、撮像部２２として機能するカメラとの通信インターフェースを備え、カメラとの通信によって対象空間の画像を取得してもよい。また、空間情報取得装置は、クラウドサーバとして構成されてもよい。

図３は、第１の実施形態の画像センサ２によるオンライン学習の流れを示す第１のフローチャートである。まず、撮像部２２が対象空間を撮像し、検出対象画像を取得する（ステップＳ１０１）。動体検出部２５は、撮像部２２によって取得された検出対象画像と、画像記憶部２３に蓄積された画像とのフレーム間差分を取得する（ステップＳ１０２）。動体検出部２５は、取得したフレーム間差分に基づいて、検出対象画像から動体領域を抽出する（ステップＳ１０３）。

続いて背景識別部２６が、動体検出部２５によって抽出された動体領域の画像から特徴量を抽出する。背景識別部２６は、抽出した特徴量と、背景辞書とに基づいて、動体領域の被写体が背景であるか否かを判定する。具体的には、背景識別部２６は、動体領域の画像と背景画像との類似度を算出する（ステップＳ１０４）。背景識別部２６は、算出した類似度に基づいて、動体領域の被写体が背景であるか否かを判定する。例えば、背景識別部２６は、類似度が所定の閾値以上である場合に動体領域の被写体が背景であると判定し、類似度が閾値未満である場合に動体領域の被写体が背景でないと判定する。背景識別部２６は、検出対象画像から抽出された動体領域のうち、背景でないと判定された領域を人物が存在する可能性のある領域（以下、「人物領域」という。）として抽出する（ステップＳ１０５）。

人物判定部２７は、背景識別部２６によって抽出された人物領域の被写体が人物であるか否かを判定することによって、対象空間における人物の有無を判定する（ステップＳ１０６）。例えば、人物判定部２７は、人物領域の面積が所定の閾値を越えている場合に、人物領域の被写体が人物であると判定する。また例えば、人物判定部２７は、人物領域の形状に基づいて被写体が人物であるか否かを判定してもよい。人物判定部２７は、対象空間における人物の有無を示す情報を人物情報として照明制御装置７３に送信する（ステップＳ１０７）。

なお、照明制御装置７３は、画像センサ２から送信された人物情報に基づいて照明機器１の制御を行った場合、照明機器１の制御を実行したことを示す制御実行通知を画像センサ２に送信する。

学習部２８は、制御実行通知の受信の有無により、照明制御装置７３によって照明機器１の制御が行われたか否かを判定する（ステップＳ１０８）。照明機器１の制御が行われたと判定した場合（ステップＳ１０８−ＹＥＳ）、学習部２８は、画像記憶部２３に蓄積された画像から、背景辞書のオンライン学習に使用する学習用画像を選択する（ステップＳ１０９）。なお、照明制御装置７３から画像センサ２に通知される制御実行通知は、その画像センサ２に対応する照明機器１の制御を通知するものに限定されない。ある対象空間の画像センサ２に対して送信される制御実行通知は、その対象空間の明るさに影響を与える他の対象空間の照明機器１の制御が実行されたことを通知するものであってもよい。

図４は、オンライン学習のために選択される学習用画像の具体例を示す図である。図４（Ａ）に示された蓄積画像２００−１〜２００−１０は、画像センサ２を用いた照明制御の運用によって、画像センサ２に蓄積された検出用画像を表している。蓄積画像２００−１〜２００−１０は、蓄積画像２００−１から順に時系列に取得された画像である。ここで仮に、蓄積画像２００−５及び２００−６が取得された間のタイミングで、消灯中の照明機器１を点灯させる制御が行われたとする。この場合、蓄積画像２００−１〜２００−５は、照明機器１が消灯中の画像となり、蓄積画像２００−６〜２００−１０は、照明機器１が点灯中の画像となる。

この場合、学習部２８は、照明機器１の点灯が実行された付近のタイミングで取得された蓄積画像２００−１〜２００−１０から背景辞書の学習用画像を選択する。例えば、学習部２８は、照明機器１の点灯前に取得された蓄積画像２００−１〜２００−５と、照明機器１の点灯後に取得された蓄積画像２００−６〜２００−１０とから、それぞれ１つの画像を学習用画像として選択する。図４（Ｂ）は、照明機器１の点灯前に取得された蓄積画像２００−１〜２００−５から選択された学習用画像の例である。同様に、図４（Ｃ）は、照明機器１の点灯後に取得された蓄積画像２００−６〜２００−１０から選択された学習用画像の例である。図４（Ｂ）の学習用画像には画像左端に人物が撮像されている。図４（Ｃ）の学習用画像は図４（Ｂ）の学習用画像よりも後に取得された画像である。そのため、図４（Ｃ）の学習用画像には、図４（Ｂ）の学習用画像に撮像された人物が矢印の方向に移動した状態が撮像されている。

なお、学習部２８は、蓄積画像２００−１〜２００−１０の各画素値の統計値に基づいて、学習用画像を選択してもよい。例えば学習部２８は、蓄積画像２００−１〜２００−１０のうち、所定の領域の画素値が最大又は最小である画像を学習用画像として選択してもよい。また例えば学習部２８は、各画素値の出現頻度を算出し、出現頻度の最も高い画素値を持つ最頻画像を学習用画像として選択してもよい。また、例えば、学習部２８は、自装置に蓄積された画像の中から所定の条件を満たす画像を学習用画像として選択してもよいし、蓄積された画像に基づいて生成された新たな画像を学習用画像としてもよい。

また、学習部２８は、蓄積画像２００−１〜２００−１０を加工することによって得られる加工画像を学習用画像として用いてもよい。例えば学習部２８は、蓄積画像２００−１〜２００−１０の一部又は全部の画像について、画素値を平均化することによって得られる平均画像を学習用画像としてもよい。このような平均画像の生成により、学習部２８は、学習用画像に含まれるノイズや外れ値を除去することができる。

また、学習部２８は、蓄積画像２００−１〜２００−１０の各画像が取得されたタイミングに基づいて、学習用画像を選択してもよい。例えば学習部２８は、蓄積画像２００−１〜２００−１０のうちの最新画像を学習用画像として選択してもよい。また例えば、学習部２８は、蓄積画像２００−１〜２００−１０のうち、照明制御のタイミングの前に取得された画像のみを学習用画像の選択対象としてもよいし、照明制御のタイミングの後に取得された画像のみを学習用画像の選択対象としてもよい。また例えば、学習部２８は、蓄積画像２００−１〜２００−１０のうち、動体が検出されたタイミングから一定時間経過した画像を学習用画像として選択してもよい。このような選択を行うことによって、学習部２８は、動体が確実に存在しない画像を学習用画像として選択することができる。

図３の説明に戻る。学習部２８は、選択した学習用画像から非動体領域を抽出する（ステップＳ１１０）。非動体領域とは、画像内の動体を含まない領域である。例えば学習部２８は、図４の例のように選択した２つの画像のフレーム間差分によって動体領域を検出することによって非動体領域を抽出してもよい。また例えば学習部２８は、照明制御の運用中に取得された動体の検出結果に基づいて学習用画像の非動体領域を抽出してもよい。この場合、動体検出部２５は、検出対象画像を、動体の検出結果と対応づけて画像記憶部２３に記憶させる。学習部２８は、蓄積画像２００−１〜２００−１０から選択された学習用画像に対応する動体の検出結果に基づいて、学習用画像の動体領域以外の領域を非動体領域として抽出してもよい。

学習部２８は、選択した学習用画像から抽出した非動体領域の画像に基づいて、背景辞書の学習を行う（ステップＳ１１１）。

図５は、第１の実施形態の画像センサ２によるオンライン学習の流れを示す第２のフローチャートである。図３の第１のフローチャートでは、画像センサ２が照明制御装置７３による照明制御のタイミングに応じて背景辞書の学習を行ったのに対して、第２のフローチャートでは、画像センサ２は、自装置における動体検出の有無に応じて背景辞書の学習を行う。なお、第２のフローチャートの説明では、第１のフローチャートと同様の処理については、図３と同じ符号を付すことにより説明を省略する。

ステップＳ１０７において、人物情報が照明制御装置７３に送信されると、学習部２８は、ステップＳ１０３の動体検出処理において動体が検出されたか否かを判定する（ステップＳ２０１）。ステップＳ１０３において動体が検出されていない場合（ステップＳ２０１−ＮＯ）、学習部２８はステップＳ１０９〜Ｓ１１１を実行することにより背景辞書の学習を行う。一方、ステップＳ１０３において動体が検出されていた場合（ステップＳ２０１−ＹＥＳ）、学習部２８は背景辞書の学習を行わずに処理を終了する。

図６は、第１の実施形態の画像センサ２によるオンライン学習の流れを示す第３のフローチャートである。第３のフローチャートでは、画像センサ２は、背景辞書の学習を行うか否かを、照明制御の有無、動体検出の有無に加え、自装置の負荷状況に基づいて判断する。なお、第３のフローチャートの説明では、第１のフローチャート及び第２のフローチャートと同様の処理については、図３及び図５と同じ符号を付すことにより説明を省略する。

ステップＳ１０７において、人物情報が照明制御装置７３に送信されると、学習部２８は、照明制御装置７３によって照明機器１の制御が行われたか否かを判定する（ステップＳ１０８）。照明機器１の制御が行われたと判定した場合（ステップＳ１０８−ＹＥＳ）、学習部２８は自装置の処理負荷が大きいか否かを判定する（ステップＳ３０１）。例えば学習部２８は、自装置の処理負荷を所定の閾値と比較することによって処理負荷が大きいか否かを判定する。例えばこの場合、処理負荷の閾値には、背景辞書の学習が他の処理に影響を及ぼす可能性がある最小の処理負荷が設定される。

自装置の処理負荷が小さい場合（ステップＳ３０１−ＮＯ）、学習部２８は、ステップＳ１０９〜Ｓ１１１を実行することにより背景辞書の学習を行う。一方、自装置の処理負荷が大きい場合（ステップＳ３０１−ＹＥＳ）、又は、ステップＳ１０８において照明制御が行われていないと判定した場合（ステップＳ１０８−ＮＯ）、学習部２８は、ステップＳ１０３の動体検出処理において動体が検出されたか否かを判定する（ステップＳ２０１）。ステップＳ１０３において動体が検出されていない場合（ステップＳ２０１−ＮＯ）、学習部２８は、自装置の通信負荷が大きいか否かを判定する（ステップＳ３０２）。例えば学習部２８は、処理負荷と同様に、自装置の通信負荷を所定の閾値と比較することによって通信負荷が大きいか否かを判定する。

自装置の通信負荷が小さい場合（ステップＳ３０２−ＮＯ）、学習部２８は、ステップＳ１０９〜Ｓ１１１を実行し、背景辞書の学習を行う。一方、自装置の通信負荷が大きい場合（ステップＳ３０２−ＹＥＳ）、又は、ステップＳ１０３において動体が検出されていた場合（ステップＳ２０１−ＹＥＳ）、学習部２８は、背景辞書の学習を行わずに処理を終了する。

図７は、第１の実施形態の画像センサ２によるオンライン学習の流れを示す第４のフローチャートである。第４のフローチャートでは、画像センサ２は、背景辞書の学習を行うか否かを、動体検出の有無、自装置の通信負荷の状況に加え、現在時刻が予め設定された対象期間内であるか否かによって判断する。例えば、動体が存在する可能性が低い夜間の時間帯などを対象期間として設定することで、背景辞書の学習が他の処理に与える影響を少なくすることができる。なお、第４のフローチャートの説明では、第１〜第３のフローチャートと同様の処理については、図３、図５及び図６と同じ符号を付すことにより説明を省略する。

ステップＳ１０７において、人物情報が照明制御装置７３に送信されると、学習部２８は、ステップＳ１０３の動体検出処理において動体が検出されたか否かを判定する（ステップＳ２０１）。ステップＳ１０３において動体が検出されていない場合（ステップＳ２０１−ＮＯ）、学習部２８は、現在時刻が対象期間内であるか否かを判定する（ステップＳ４０１）。現在時刻が対象期間内である場合（ステップＳ４０１−ＹＥＳ）、学習部２８は、ステップＳ１０９〜Ｓ１１１を実行し、背景辞書の学習を行う。一方、現在時刻が対象期間外である場合（ステップＳ４０１−ＮＯ）、学習部２８は、ステップＳ３０２に進み、自装置の通信負荷が大きいか否かを判定する（ステップ３０２）。

このような処理を行うことにより、学習部２８は、対象期間内においては動体の検出結果に応じて背景辞書の学習を行い、対象期間外においては動体の検出結果と、自装置の通信負荷とに応じて背景辞書の学習を行うことができる。このような対象期間の設定により、画像センサ２は、学習部２８がオンライン学習を行う契機とする事象（以下、「学習イベント」という。）を、設定された対象期間ごとに変更することができる。なお、学習イベントは、単一の事象として設定されてもよいし、複数の事象の組み合わせとして設定されてもよい。また、学習イベントを契機として行われる背景辞書の学習は、動体が検出されなかった領域、背景であると識別された領域、又は人が存在していないと判定された領域、の各領域のうちのいずれか１つの領域を対象として行われてもよいし、複数の領域を対象として行われてもよい。

図８は、蓄積画像において学習用画像として用いられる非動体領域の具体例を示す図である。図８（Ａ）及び図８（Ｂ）は、時系列に取得される蓄積画像から選択された学習用画像である。図８（Ａ）の学習用画像３００−１は、ある時刻ｔ_１に取得された画像であり、図８（Ｂ）の学習用画像３００−２は、時刻ｔ_１より後の時刻ｔ_２に取得された画像である。学習用画像３００−１及び３００−２には、矢印方向に移動する同じ人物が撮像されている。図８（Ｃ）は、学習用画像３００−１及び３００−２に基づいて取得されたフレーム間差分を示す画像（以下、「フレーム間差分画像」という。）である。フレーム間差分画像４００によって、移動する人物によって検出される動体領域４１０と非動体領域４２０とが抽出される。学習部２８は、このように抽出される非動体領域４２０の画像を背景とみなして背景辞書の学習を行う。

なお、背景辞書の学習は、図８のように学習用画像の単位で行われてもよいし、学習用画像が分割された種々の領域ごとに行われてもよい。

図９は、背景辞書の学習を行う単位となる領域の具体例を示す図である。図９（Ａ）は、学習用画像を所定の大きさの領域（以下、「ブロック」という。）に分割した例である。学習用画像３１０は、ブロックごとに判定された動体領域３１１及び非動体領域３１２を表している。図９（Ｂ）は、学習用画像を背景の属性に応じて分割した例である。学習用画像３２０は、第１通路領域３２１、第２通路領域３２２、第３通路領域３２３、第４通路領域３２４及び机領域３２５の５つの属性で分割された領域を表している。図９（Ｃ）は、学習用画像３２０において、属性ごとに判定された動体領域及び非動体領域の例を表している。図９（Ｃ）では、第１通路領域３２１が動体領域と判定され、第２通路領域３２２、第３通路領域３２３、第４通路領域３２４及び机領域３２５が非動体領域と判定されている。

なお、背景辞書の学習は、上記の領域単位に行われる態様の他、画素単位に行われてもよい。また、背景辞書の学習を行う単位は、学習用画像の領域に応じて、ブロックや属性、画素などを使い分けるようにしてもよい。また、背景辞書の学習は、背景の変化に応じて行われるようにしてもよい。

図１０は、背景の変化に応じた背景辞書の学習方法の具体例を示す図である。図１０（Ａ）及び図１０（Ｂ）は、時系列に取得される蓄積画像から選択された学習用画像である。図１０（Ａ）の学習用画像３３０−１は、ある時刻ｔ_３に取得された画像であり、図１０（Ｂ）の学習用画像３３０−２は、時刻ｔ_３より後の時刻ｔ_４に取得された画像である。学習用画像３３０−１及び３３０−２には、矢印方向に移動する同じ人物が撮像されている。また、学習用画像３３０−１及び３３０−２には、机上に置かれた物体３３１が撮像されている。図１０（Ｃ）は、対象空間について既に学習されている背景（以下、「学習済み背景」という。）を示す図である。学習済み背景と、学習用画像３３０−１及び３３０−２に撮像された背景とは、机上に置かれた物体３３１の位置が異なる。

図１０（Ｄ）は、学習用画像３３０−１と３３０−２とのフレーム間差分画像４１０を示す図である。フレーム間差分画像４１０によって、動体領域４１１及び非動体領域４１２が抽出される。学習部２８は、このように抽出された非動体領域４１２に対して背景識別部２６と同様の背景識別処理を行う。例えば、学習部２８は、図１０（Ｅ）に示すように、非動体領域４１２を第１の非動体領域４１２１（図中の左の机）、第２の非動体領域４１２２（図中の右の机）及びそれ以外の第３の非動体領域４１２３に分割して背景識別処理を行う。非動体領域４１２のうち、第２の非動体領域４１２２及び第３の非動体領域４１２３の背景は、学習済み背景と同じであるため背景として識別される。第１の非動体領域４１２１の背景は、物体３３１の位置が学習済み背景と異なるため背景でないと識別される。この場合、学習部２８は、第１の非動体領域について、背景辞書の学習を行う。

このように背景が変化した部分について背景辞書の学習を行うことにより、背景が変化していない領域についての学習が不要となり、画像センサ２の処理負荷を低減させることができる。一方で、背景が変化していないにも関わらず、外光や照明等の影響で画像に白飛びが発生してしまう可能性がある。このような場合、学習部２８は、被写体のエッジの移動の有無に基づいて背景辞書を更新することで、白飛びが発生した状態の背景を学習することができる。ここでいうエッジとは、被写体の輪郭や模様などを示す部分の画像のことである。

図１１は、エッジの移動の有無に基づく背景辞書の学習方法の具体例を示す図である。図１１（Ａ）は、学習済み背景が撮像された画像（以下、「学習済み画像」という。）の具体例を示す図である。図１１（Ａ）の学習済み画像５００における人物以外の領域が学習済み背景である。学習済み画像５００には、机上に置かれた書類５０１及び５０２が撮像されている。図１１（Ｂ）は、白飛びが発生しない状況において、書類５０１の上に複数の書籍５０３が重ねておかれた状況が撮像された画像である。このように白飛びが発生しない状況における背景の変化は、エッジの移動として検出可能である。例えば、書籍５０３の位置が少しずれた場合、書籍５０３の移動に応じて書籍５０３のエッジも書籍５０３の移動方向に移動する。そのため、エッジの移動の有無によって背景の変化の有無を識別することができる。

一方、図１１（Ｃ）は、図１１（Ａ）に示した学習済み画像５００の被写体が、白飛びが発生する状況で撮像された場合の画像である。図１１（Ｃ）に示した画像では、白飛びの影響によって書類５０２のエッジの一部が欠落しているが、エッジの移動はない（又は小さい）。エッジの移動がない（又は小さい）ということは、すなわち、背景の変化がない（又は小さい）ということである。このような場合、学習部２８は、エッジの移動がない（又は小さい）領域（エッジの一部が欠落している領域を含む、）を対象として背景の学習を行う。このような学習を行うことにより、学習部２８は、背景の変化の有無をより正確に識別することが可能となり、白飛びが発生した領域についても背景辞書の学習を行うことができる。

例えば、ＬＥＤ（Light Emitting Diode）の点灯によって着信を通知する電話機が対象空間に設置されていると仮定する。このような電話機を撮像した場合、ＬＥＤの点灯によって画像に白飛びが発生する可能性がある。このような場合、電話機のエッジの一部が欠落する可能性があるが、エッジは移動しない。そのため、エッジの移動がない（又は小さい）領域を対象として背景辞書の学習を行うことにより、画像センサ２は、着信によって画像内に白飛びが発生した場合であっても、白飛びによるエッジの変化が背景の移動を示すものではないことを識別することができ、白飛びが発生する状況の背景を学習することができる。このような背景辞書の学習が行われれば、画像センサ２は、より正確に背景の識別を行うことが可能となる。

以上説明した背景の学習方法では、撮像部２２の撮像によって取得される画像を学習用画像としたが、学習用画像には、撮像部２２によって取得された画像の他、どのような画像が用いられてもよい。例えば学習用画像は、他の撮像装置によって撮像された画像であってもよい。また例えば学習用画像は、対象空間の画像が加工されたものであってもよいし、複数の画像の合成によって生成された対象空間の画像であってもよい。

図１２は、画像の加工によって学習用画像を生成する方法の具体例を示す図である。図１２（Ａ）は、対象空間における明るさの分布の例を示す図である。図１２（Ａ）に示す明るさの分布は、照明機器１の仕様に基づいて推定されてもよいし、画像センサ２が取得した画像に基づいて推定されてもよい。図１２（Ｂ）は、照明消灯時における対象空間の画像である。図１２（Ｃ）は、対象空間の明るさの分布と、照明消灯時の画像とに基づいて生成された、照明点灯時の対象空間の推定画像である。図１２（Ｃ）の推定画像は、対象空間の明るさの分布に応じて照明消灯時の画像輝度を増加させることによって生成される。対象空間の明るさの分布は、照明機器の仕様に基づいて算出されてもよいし、照明機器を様々な条件（調光率）で点灯させた状況で撮像された対象空間の画像に基づいて推定されてもよい。

なお、予め白飛びの発生が予想される対象空間については、白飛びの発生が予想される領域を疑似的な白飛びで表現した推定画像を生成してもよい。このような推定画像を学習用画像として生成することにより、学習用画像の収集に要する労力を低減することができる。

図１３は、対象空間の画像に基づいて明るさの分布を推定する方法の一例を示す図である。図１３（Ａ）は、対象空間の基準画像を示す図である。対象空間の基準画像とは、対象空間に存在する被写体（背景）が一様な明るさで表現されるように撮像された画像である。例えば基準画像は、外光の影響のない夜間などにおいて、フロア内の全照明機器を被写体が識別可能な程度に低い調光率で点灯させた状況において対象空間を撮像することによって取得される。図１３（Ａ）は、フロア内の全照明機器を調光率５％で点灯させた状況で撮像された基準画像の例である。

図１３（Ｂ）は、対象空間に応じた照明機器１を調光率７０％で点灯させた状況で撮像された画像である。図１３（Ｃ）は、対象空間の明るさの分布を示す画像であり、図１３（Ａ）の基準画像と、図１３（Ｂ）の調光率７０％で撮像された画像との輝度差をとることによって生成することができる。

このように構成された第１の実施形態の画像センサ２は、検出対象画像に撮像された背景の識別結果に応じて背景辞書を更新することによって、背景の学習をより効率的かつ精度良く行うことができる。その結果、画像センサ２による人物の誤検出を抑制することが可能となる。

（第２の実施形態）
図１４は、第２の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図である。機器制御システム１００ａは、画像センサ２に代えて画像センサ２ａを備える点、セキュリティシステム７４をさらに備える点で第１の実施形態における機器制御システム１００と異なる。他の構成は第１の実施形態と同様である。第１の実施形態と同様の構成については図１と同じ符号を付すことによって説明を省略する。

セキュリティシステム７４は、画像センサ２ａが設置されたフロアのセキュリティを管理するシステムである。セキュリティシステム７４は、フロア管理に関する種々の情報を画像センサ２ａに通知可能である。例えば、セキュリティシステム７４は、フロアから全ての人物が退出したことを示す退出通知を画像センサ２ａに通知する。

画像センサ２ａは、学習部２８に代えて学習部２８ａを備える点で第１の実施形態における画像センサ２と異なる。学習部２８ａは、セキュリティシステム７４から通知される退出通知に応じて背景辞書を更新する。

図１５は、第２の実施形態の画像センサ２ａによるオンライン学習の流れを示すフローチャートである。なお、図１５の説明においては、第１の実施形態における第１のフローチャートと同様の処理については、図３と同じ符号を付すことにより説明を省略する。

ステップＳ１０７において、人物情報が照明制御装置７３に送信されると、学習部２８ａは、セキュリティシステム７４から退出通知が通知されたか否かを判定する（ステップＳ５０１）。セキュリティシステム７４から退出通知が通知された場合（ステップＳ５０１−ＹＥＳ）、学習部２８ａは、ステップＳ１０９〜Ｓ１１１を実行することによって背景辞書を更新する。一方、セキュリティシステム７４から退出通知が通知されていない場合（ステップＳ５０１−ＮＯ）、学習部２８ａは背景辞書の更新を行わず処理を終了する。

なお、学習部２８ａは、フロアから全ての人物が退出したことを退出通知以外の情報に基づいて判断してもよい。例えば、学習部２８ａは、セキュリティシステム７４から、制御対象のフロアに関する人物の入退館の履歴を示す履歴情報（例えば、ＩＤカードリーダによって取得される情報など）を取得してもよい。この場合、学習部２８ａは、履歴情報に基づいて、フロアに存在する人物の人数を推定し、制御対象のフロアが無人であると推定されたタイミングで背景辞書の学習を行ってもよい。

このように構成された第２の実施形態の画像センサ２ａは、セキュリティシステム７４などの外部のシステムと連携して動作することにより、対象空間に人物が存在しない状態で背景を学習することができる。

以上説明した少なくともひとつの実施形態によれば、画像から動体を検出する動体検出部と、背景辞書に基づいて動体が背景か否かを識別する背景識別部と、動体検出部による動体の検出結果と、背景識別部による背景の識別結果とに基づいて、制御対象の空間における人物の有無を判定する人物判定部と、上記画像に基づいて背景辞書を更新する学習部と、を持つことにより、画像センサによる人物の誤検出を抑制することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００，１００ａ…機器制御システム、１，１−１〜１−３…照明機器、２，２ａ，２−１〜２−３…画像センサ、２１…通信部、２２…撮像部、２３…画像記憶部、２４…背景辞書記憶部、２５…動体検出部、２６…背景識別部、２７…人物判定部、２８…学習部、２８ａ…学習部、３…ネットワークハブ、４…ゲートウェイ、５…センサネットワーク、６…制御ネットワーク、７…制御装置群、７２…空調制御装置、７３…照明制御装置、７４…セキュリティシステム、２００−１〜２１０…蓄積画像、３００−１，３００−２…学習用画像、３１０…学習用画像、３１１…動体領域、３１２…非動体領域、３２０…学習用画像、３２１…第１通路領域、３２２…第２通路領域、３２３…第３通路領域、３２４…第４通路領域、３２５…机領域、３３０−１，３３０−２…学習用画像、３３１…物体、４００，４１０…フレーム間差分画像、４１０…動体領域、４１１…動体領域、４１２…非動体領域、４２０…非動体領域、５００…学習済み画像、５０１，５０２…書類、５０３…書籍、４１２１…第１の非動体領域、４１２２…第２の非動体領域、４１２３…第３の非動体領域

Claims (11)

1. 制御対象の空間の画像を取得する画像取得部と、
   前記画像取得部によって取得された前記画像から動体を検出する動体検出部と、
   前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する背景識別部と、
   前記動体検出部による動体の検出結果と、前記背景識別部による背景の識別結果とに基づいて、前記空間における人物の有無を判定する人物判定部と、
   前記画像取得部によって取得された画像に基づいて前記背景辞書を更新する学習部と、
   を備える画像センサ。
2. 前記学習部は、照明機器を制御する照明制御システムが前記空間の明るさに影響を与える照明機器の制御を実行したことを契機として、前記背景辞書を更新する、
   請求項１に記載の画像センサ。
3. 前記学習部は、前記画像取得部によって取得された画像のうち、前記照明制御システムによって実行された前記照明機器の制御タイミングに応じた期間で取得された画像に基づいて前記背景辞書を更新する、
   請求項２に記載の画像センサ。
4. 前記画像取得部によって取得された画像を記憶する記憶部をさらに備え、
   前記学習部は、前記記憶部に記憶された画像に基づいて前記空間の背景に変化がなかった又は小さかったことを検出し、前記画像において背景の変化がなかった又は小さかった領域を対象として、前記背景辞書を更新する、
   請求項１から３のいずれか一項に記載の画像センサ。
5. 前記学習部は、前記動体検出部によって動体が検出されなかったこと、前記背景識別部によって前記動体が背景であると識別されたこと、及び前記人物判定部によって前記空間に人が存在しないと判定されたこと、の各条件のうち、いずれか１つ以上の条件が満たされたことを契機に前記背景辞書を更新する、
   請求項１から４のいずれか一項に記載の画像センサ。
6. 前記契機において、前記動体検出部によって動体が検出されなかった領域、前記背景識別部によって背景であると識別された領域、及び前記人物判定部によって人が存在していないと判定された領域、の各領域のうち、いずれか１つ以上の領域を対象として前記背景辞書を更新する、
   請求項５に記載の画像センサ。
7. 前記学習部は、前記背景の変化が検出された領域において、前記領域内の画像にエッジの移動がない又は小さい場合に、前記エッジの移動がない又は小さい領域を対象として、前記背景辞書を更新する、
   請求項４から６のいずれか一項に記載の画像センサ。
8. 前記学習部は、前記記憶部に記憶されている画像の中から所定の条件を満たす画像を選択するか、又は前記記憶部に記憶されている画像に基づいて新たな画像を生成することにより、前記背景辞書の更新に用いる画像を取得する、
   請求項４から７のいずれか一項に記載の画像センサ。
9. 前記学習部は、前記記憶部に記憶された画像に基づいて、記照明機器による前記空間の明るさの分布を推定し、推定した前記明るさの分布に基づいて前記画像を加工することにより、前記背景辞書の更新に用いる画像を取得する、
   請求項４から８のいずれか一項に記載の画像センサ。
10. 前記学習部は、前記空間から全ての人物が退出したことを示す情報の受信を契機として、前記背景辞書を更新する、
    請求項１から９のいずれか一項に記載の画像センサ。
11. 制御対象の空間の画像を取得する画像取得部を備える画像センサが行う学習方法であって、
    前記画像取得部によって取得された前記画像から動体を検出する動体検出ステップと、
    前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する背景識別ステップと、
    前記動体検出ステップにおける動体の検出結果と、前記背景識別ステップにおける背景の識別結果とに基づいて、前記空間における人物の有無を判定する人物判定ステップと、
    前記画像取得部によって取得された画像に基づいて前記背景辞書を更新する学習ステップと、
    を有する学習方法。

Images