JP2005157635A - 混雑度計測装置、設備制御システム、および混雑度計測方法 - Google Patents

Abstract

【課題】 監視空間内において人が存在する場所によらず、精度よく混雑度を計測できる混雑度計測装置を提供する。
【解決手段】 混雑度計測装置１０は、所定の監視空間を撮像する複数のカメラ１２と、複数のカメラにより撮像された画像から、監視空間の三次元情報を算出する三次元情報算出部１４と、監視空間の基準状態における三次元情報を基準情報として記憶する基準情報記憶部１８と、三次元情報算出部１４により算出された監視空間の三次元情報と基準情報記憶部１８に記憶された基準情報とに基づいて、カメラ１２により撮像された監視空間のうち、基準状態の監視空間と比較して人が存在するか否かの状態が変化した領域に関する情報を抽出する領域抽出部２０と、領域抽出部２０により抽出された領域に関する情報に基づいて、監視空間の混雑度を算出する混雑度算出部２２とを備える。
【選択図】図１

Description

本発明は、監視空間を撮像した画像に基づいて混雑度を計測する混雑度計測装置および混雑度計測方法に関するものである。

従来から、赤外線センサを用いて監視空間をセンシングし、人が発する赤外線を検知して人の有無を判定する計測装置が知られている。しかしながら、赤外線センサはセンシング領域が狭いために広範囲の空間における計測には向いていない。

また、広範囲の空間を対象とした計測装置の例として、室内大空間における人の分布や人数を計測する人数計測システムが特許文献１により知られている。

図１１は、室内大空間に適用される人数計測システムの概略を説明するための図である。このシステム１００は、複数の赤外線カメラ１０２と、映像切替器１０４と、温度センサ１０６と、人数計測装置１０８とから構成されている。そして、複数の赤外線カメラ１０２を分散して設置することで広範囲の監視空間を撮影し、撮影された熱画像を、映像切替器１０４を介して人数計測装置１０８に入力する。また、温度センサ１０６で空間内の温度を計測し、人数計測装置１０８に入力する。人数計測装置１０８は、赤外線カメラ１０２から取り込んだ熱画像から所定の画像処理領域を切り出す。また、室内温度Ｔおよび測定距離Ｌに応じたしきい値を求め、このしきい値に基づいて、切り出した画像処理領域のうちから人を表す画素を判定する。そして、人を表す画素の総面積を基準画素面積で除して、画像処理領域に対応する室内領域に存在する人数を計測する。
特開平１１−２１９４３７号公報

上記した計測システムは、撮像画像において人を表す画素数を基準に人数を計測するものである。しかし、撮像画像中において人ひとりが占める画素数は、カメラからその人が存在する場所までの距離によって異なるので、監視空間内の人がカメラに近い場合と遠い場合とで計測結果に違いが生じる。また、監視空間が混雑して人の一部が隠れると、人ひとりが占める画素数が変化する。従って、カメラの設置の仕方によっては人数計測の精度が低下することがある。

本発明は、上記課題を解決するためになされたもので、監視空間内において人が存在する場所によらず、精度良く混雑度を計測できる混雑度計測装置を提供することを目的とする。

本発明の混雑度計測装置は、所定の監視空間を撮像する複数の撮像手段と、前記複数の撮像手段により撮像された画像から、前記監視空間の三次元情報を算出する三次元情報算出手段と、前記監視空間の基準状態における三次元情報を基準情報として記憶する基準情報記憶手段と、前記三次元情報算出手段により算出された前記監視空間の三次元情報と前記基準情報記憶手段に記憶された基準情報とが異なる領域に関する情報を抽出する領域抽出手段と、前記領域抽出手段により抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出手段とを備える。

この構成により、複数の撮像手段で撮像した画像から得られる監視空間の三次元情報を用いて基準情報と比較するので、撮像手段から監視空間内の人までの距離の影響を小さくでき、監視空間内の混雑度を精度良く計測することが可能となる。

また、本発明の混雑度計測装置は、前記領域抽出手段が、前記監視空間の三次元情報に基づいて前記監視空間に存在する個々の物体の高さに関する高さ情報を求め、前記撮像手段により撮像された監視空間のうち、前記基準状態の監視空間と比較して前記高さ情報が所定の閾値より大きく変化した領域を、人が存在するか否かの状態が変化した領域に関する情報として抽出する構成を有している。

この構成により、撮像手段から見て人の一部が他の物体に隠れている場合にも、人が存在するか否かの状態が変化した領域に関する情報を適切に検出することができる。なお、高さ情報としては、例えば、物体の最も高い点の高さを用いることができる。

また、本発明の混雑度計測装置は、前記基準情報記憶手段に記憶された基準情報が、前記監視空間に人が存在しないときの三次元情報であり、前記領域抽出手段が、前記監視空間のうち人が存在する領域に関する情報を抽出する構成を有している。

この構成により、監視空間内に人が存在しない状態を基準とするので、人が存在する領域に関する情報を抽出して混雑度を計測することができる。また、撮像画像から得られた三次元情報と監視空間に人が存在しないときの三次元情報である基準情報とを比較する構成により、監視空間内において人が動いていない場合でも、撮像された画像から人を検出できる。

また、本発明の混雑度計測装置は、前記三次元情報算出手段により算出された三次元情報を記憶する三次元情報記憶手段と、前記三次元情報記憶手段に記憶された連続する複数の時刻における三次元情報から処理対象の三次元情報を選択する三次元情報選択手段とを備える構成を有している。

この構成により、複数の三次元情報から処理対象として適切な三次元情報を選択することができる。例えば、撮像画像内の物体までの距離の計測誤差の少ない三次元情報を選択することにより、混雑度計測の精度を高めることができる。

また、本発明の混雑度計測装置は、前記撮像手段で撮像した画像を表示する表示手段を備える構成を有している。

この構成により、混雑度を計測するとともに、表示手段に表示された画像を見て監視空間内を監視することができる。

本発明の設備制御システムは、上記混雑度計測装置と、前記混雑度計測装置により計測された前記監視空間の混雑度に応じて、設備の制御を行う設備制御装置とを備える。

この構成により、混雑度に応じて監視空間内に設置された各種設備を制御することで効率良く設備を運用できる。

上記設備制御システムは、前記設備制御装置が空調換気設備の制御装置であることが好ましい。

この構成により、監視空間内の混雑度に応じて空調換気設備を制御でき、効率良く空間内の空調および換気を行える。

本発明の混雑度計測方法は、所定の監視空間を複数の撮像手段により撮像する撮像ステップと、前記撮像ステップにおいて撮像された複数の画像から、前記監視空間の三次元情報を算出する三次元情報算出ステップと、前記三次元情報算出ステップにおいて算出された前記監視空間の三次元情報と基準情報記憶手段に記憶された前記監視空間の基準状態における三次元情報とが異なる領域に関する情報を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出ステップとを備える。

この構成により、上記した本発明の混雑度計測装置と同様に、撮像手段から監視空間内の人までの距離の影響を小さくでき、監視空間内の混雑度を精度良く計測することが可能となる。なお、本発明の混雑度計測装置の各種の要素を本発明の混雑度計測方法に適用することも可能である。

本発明のプログラムは、所定の監視空間における混雑度を求めるプログラムであって、コンピュータに、前記監視空間の複数の撮像画像を取得する撮像画像取得ステップと、前記撮像画像取得ステップにおいて取得された複数の撮像画像から、前記監視空間の三次元情報を算出する三次元情報算出ステップと、前記三次元情報算出ステップにおいて算出された前記監視空間の三次元情報と基準情報記憶手段に記憶された前記監視空間の基準状態における三次元情報とが異なる領域に関する情報を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出ステップとを実行させる。

このプログラムを実行させることにより、上記した本発明の混雑度計測装置と同様に、撮像手段から監視空間内の人までの距離の影響を小さくでき、監視空間内の混雑度を精度良く計測することが可能となる。なお、本発明の混雑度計測装置の各種の要素を本発明のプログラムに適用することも可能である。

本発明は、複数の撮像手段で撮像した画像から得られる監視空間の三次元情報を用いて基準情報と比較するので、撮像手段から監視空間内の人までの距離の影響を小さくでき、監視空間内の混雑度を精度良く計測できるというすぐれた効果を有するものである。

以下、本発明の実施の形態の混雑度計測装置について、図面を用いて説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の混雑度計測装置１０の構成を示すブロック図である。図１に示すように、混雑度計測装置１０は、監視空間を撮像する複数のカメラ１２と、複数、例えば２台のカメラ１２により得られた撮像画像から監視空間の三次元情報を算出する三次元情報算出部１４と、三次元情報をカメラを基準とした座標系から監視空間を基準とした座標系に変換する座標変換部１６と、基準状態における監視空間の三次元情報を基準情報として記憶しておく基準情報記憶部１８と、基準情報記憶部１８に記憶されている基準情報と順次算出される三次元情報とを比較して人が存在する領域を抽出する領域抽出部２０と、抽出された領域に基づいて混雑度を算出する混雑度算出部２２とを有する。

カメラ１２は、監視空間を上から臨む位置に設置される。これにより、監視空間内に人が存在する場合にも監視空間全体を撮像することができる。カメラ１２は、それぞれの光軸が平行になるように配置されることが、三次元情報算出のための計算量を軽減する上で好ましい。

三次元情報算出部１４は、２台のカメラ１２の視差を利用して、それぞれのカメラ１２で撮像された二次元の画像から監視空間の三次元情報を算出する機能を有する。

座標変換部１６は、三次元情報算出部１４により算出された三次元情報を、カメラを基準としたカメラ座標系から監視空間を基準とした監視空間座標系に変換する機能を有する。監視空間座標系は、監視空間の床面をＵ軸、Ｖ軸からなる平面座標系で表し、床面からの高さをＨ軸で表した座標系である。監視空間座標系は実空間座標系ということができ、監視空間情報は実空間情報ということができる。

基準情報記憶部１８は、監視空間に人が存在しない基準状態における監視空間の三次元情報を基準情報として記憶する。ここで、記憶される三次元情報は、監視空間座標系の三次元情報である。なお、基準状態とは、ある基準時刻における監視空間の状態である。監視空間が店舗等の場合には、基準時刻は、例えば、監視空間内に人が存在しない営業時間外である。

領域抽出部２０は、カメラ１２により撮像された画像から得られる三次元情報と基準情報記憶部１８に記憶された基準情報とを比較し、人が存在する領域に関する情報を抽出する機能を有する。

以上のように構成された混雑度計測装置１０について、その動作を説明する。まず、２台のカメラ１２により所定の監視空間を撮像し、監視空間の撮像画像を得る。続いて、三次元情報算出部１４が、ステレオ画像処理により、複数の撮像画像から監視空間の三次元情報を算出する。

図２は、三次元情報算出部１４がステレオ画像処理によって撮像画像から三次元情報を算出する方法について説明する図である。三次元情報算出部１４は、２台のカメラ１２により得られた二次元画像から三次元情報を算出する。図２において、空間座標系を表わす座標としてｘ，ｙ，ｚを用いる。ここでカメラ座標系は、カメラ１２を基準とした座標系であり、監視空間の床面を基準とした監視空間座標系とは異なる。また、図２において、カメラ１２の撮像面上の二次元の座標系を表す座標としてＸ，Ｙを用いる。ただし、２台のカメラ１２を区別するために、左カメラ１２の撮像面上の座標をＸＬ，ＹＬを用い、右カメラ１２の撮像面上の座標をＸＲ，ＹＲを用いる。ｘ軸とＸＬ軸とＸＲ軸は各々平行であり、また、ｙ軸とＹＬ軸とＹＲ軸は各々平行であり、さらに、ｚ軸と２台のカメラ１２の光軸とは各々平行である。空間座標系の原点Ｏを左カメラ１２の投影中心と右カメラ１２の投影中心の中点にとり、投影中心間の距離を２ａで表わす。また、投影中心と画像面との間の距離（焦点距離）をｆで表わすことにする。

空間内の点ｐ（ｘ，ｙ，ｚ）が、左画像面上の点ＰＬ（ＸＬ，ＹＬ）、右画像面上の点ＰＲ（ＸＲ，ＹＲ）にそれぞれ結像したとする。ステレオ画像処理による三次元計測では、一方の画像面（ここでは左画像面とする）を基準とし、その画像面上にある点ＰＬに対応する点を他方の画像面上から見つけ出すことにより、三角測量の原理に基づいて点ｐの空間座標（ｘ，ｙ，ｚ）を求める。ここでは、２台のカメラ１２の光軸を互いに平行かつ同一平面上に載るように設定していることから、ＹＲ＝ＹＬとなる。

そして、画像面上の座標と空間上の座標との関係は、
ｘ＝ａ（ＸＬ＋ＸＲ）／（ＸＬ−ＸＲ）
ｙ＝２ａＹＬ／（ＸＬ−ＸＲ）
ｚ＝２ａｆ／（ＸＬ−ＸＲ）
となる。ここで、ｄ＝ＸＬ−ＸＲは視差と呼ばれる。

これより、
ＸＬ＝（ｘ＋ａ）ｆ／ｚ
ＸＲ＝（ｘ−ａ）ｆ／ｚ
ＹＬ＝ＹＲ＝ｙｆ／ｚ
となるので、
ＸＬ＞ＸＲ、かつ、ＹＬ＝ＹＲ
となる。

これは、一方の画像面上の１点ＰＬに対応する他方の画像面上の点ＰＲは、同じ走査線上、かつ、ＸＬ＞ＸＲの範囲に存在することを表わす。従って、一方の画像面上の１点に対応する他方の画像面上の点は、対応点が存在する可能性のある直線（同一走査線）上に沿った小領域について、画像の類似性を調べて見出すことができる。

次に、画像の類似性の評価方法について説明する。画像の類似性の評価方法の一例が、実吉ほか「三次元画像認識技術を用いた運転支援システム」、自動車技術会学術講演会前刷集９２４、ｐｐ．１６９−１７２（１９９２−１０）に記載されている。以下、この文献で示される方法について説明する。

図３は、画像の類似性の評価方法について説明するための図である。今、左画像３０を基準とし、左画像３０をｎ×ｍ画素のサイズのブロック３４の単位に分割し、分割されたブロックごとに右画像３２中より対応する領域を探索し、視差ｄを求める。対応領域決定のための類似度評価式として、
Ｃ＝Σ｜Ｌi−Ｒi｜
を用いる。ここで、Ｌi、Ｒiは、各々左ブロック３４、右ブロック３６内のi番目の画素における輝度を表わしている。探索範囲３８にわたって前記右ブロック３６を１画素ずつ移動しながら類似度評価値Ｃを計算し、類似度評価値Ｃが最小となる位置を対応領域として決定する。このような類似度評価を左画像３０のブロック毎に行うことによって、左画像３０の全ブロックの視差あるいは前述の式により変換した距離ｚ等の三次元情報を求めることができる。

以上のように、三次元情報算出部１４は、ステレオ画像処理によって、撮像画像から監視空間の三次元情報を算出することができる。なお、ステレオ画像処理による三次元計測方法としては上述の方法以外にも様々な方法が提案されており、本発明は上述の三次元計測方法に限定されるものではない。

三次元情報算出部１４により、監視空間の三次元情報が得られると、座標変換部１６は、監視空間内の三次元情報をカメラ座標系（Ｘ，Ｙ，Ｚ）から監視空間座標系（Ｕ，Ｖ，Ｈ）に変換する。

図４および図５は、カメラ１２を基準とした座標系から監視空間を基準とした座標系への三次元情報の変換について説明するための図である。カメラ座標系と監視空間座標系は図４に示す位置関係で配置されていて、Ｘ軸とＵ軸とは平行である。また、図５に示すように、カメラ１２は監視空間の床面から高さＨｃａｍに設置されており、物体４０の光軸ｚ方向の距離がｚ１、高さをｈとしたときの座標変換式について説明する。以下の説明では、監視空間の床面を基準面４２という。

点（Ｘ，Ｙ）に物体４０が撮像され、また、物体４０が存在しないときに点（Ｘ，Ｙ）に撮像されている基準面４２までの光軸方向の距離をｚ０とする。このとき、物体４０の高さｈは、
ｈ＝Ｈｃａｍ×（１−Ｚ１／Ｚ０）
として算出できる。

また、カメラ１２の直下を原点として物体４０までのＶ軸方向の距離ｖは、
ｖ＝｛Ｚ１−（Ｈｃａｍ−ｈ）ｃｏｓθ｝／ｓｉｎθ
となる。

一方、物体４０のＵ軸方向の位置ｕは、カメラ座標系ＸとＺから算出される。すなわち、カメラ１２から距離Ｚの位置での水平撮像範囲をＷとし、撮像面の水平サイズをＸＷとすると、
ｕ＝Ｘ／ＸＷ×Ｗ
となる。以上の式により、座標変換部１６は、三次元情報をカメラ座標系（Ｘ，Ｙ，Ｚ）から監視空間座標系（Ｕ，Ｖ，Ｈ）に変換する。

図６は、監視空間の基準面４２を分割した領域ごとの高さ分布を示す図である。図６に示すように、基準面４２を所定の大きさに区切って小領域４４に分割し、それぞれの小領域に存在する物体４６の高さの高さ代表値を算出し、高さ分布Ｈ（Ｕ，Ｖ）を作成する。高さ代表値の決定方法としては、例えば、各小領域に属する物体４６のうち最も高いものを選択する。

基準情報記憶部１８には、基準状態における監視空間の三次元情報が記憶されている。ここで、記憶された三次元情報は座標変換後の監視空間座標系での三次元情報であり、基準高さ分布Ｈ０（Ｕ，Ｖ）により表される。

そして、人物領域抽出部２０では、基準情報記憶部１８に記憶された基準状態における高さ分布Ｈ０（Ｕ，Ｖ）と、三次元情報算出部１４で順次算出される高さ分布Ｈ（Ｕ，Ｖ）を比較して、人が存在する領域を抽出する。

高さ分布により示される高さの値は、人が存在する領域では、監視空間に人が存在しない基準状態における高さの値よりも高くなるので、所定の閾値をＨｔｈとして、
Ｈ（Ｕ，Ｖ）−Ｈ０（Ｕ，Ｖ）≧Ｈｔｈ
を満たす小領域（Ｕ，Ｖ）が、人が存在する領域であると判定する。このように基準状態との比較により人が存在する領域を抽出することで、監視空間内にはじめから置いてある物体を抽出することなく、新たに現れた人物のみを検出できる。

最後に、混雑度算出部２２は、領域抽出部２０により抽出した人が存在する領域から監視空間の混雑度を算出する。

人が存在する領域であると判定された小領域（Ｕ，Ｖ）の個数を算出し、これを混雑度の判定に用いる。つまり、抽出された領域が多いときは混雑度が高く、少ないときは混雑度が低いと判定する。また、混雑度レベルを数段階に設定しておき、人が存在するとして抽出された領域の個数に応じて混雑度レベルを判定し、出力するようにしてもよい。

以上のように本発明の第１の実施の形態の混雑度計測装置１０によれば、ステレオ画像処理により計測した三次元情報を取得し、監視空間座標系に変換することにより、カメラ１２から人までの距離の情報を含む空間情報が得られ、監視空間内において人がいる場所によらず、精度良く混雑度を計測することができる。

また、各小領域での高さ代表値を用いて混雑度の判定を行なうので、混雑して人物の一部が隠れていても精度良く混雑度を計測することができる。

また、監視空間に人が存在しないときの監視空間の三次元情報を基準情報とし、撮像画像から得られた三次元情報と基準情報とを比較するので、監視空間内の人が動いていない場合でも、その人を検出することができる。

（第２の実施の形態）
図７は、本発明の第２の実施の形態の混雑度計測装置１０の構成を示すブロック図である。

図７に示すように、第２の実施の形態の混雑度計測装置１０は、第１の実施の形態の混雑度計測装置１０と基本的な構成は同じであるが、三次元情報算出部１４により算出された三次元情報を記憶しておく三次元情報記憶部２４と、三次元情報記憶部２４に記憶された複数の三次元情報から処理対象の三次元情報を選択する三次元情報選択部２６とをさらに備えている点が異なる。

以上のように構成された混雑度計測装置１０について、その動作を説明する。まず、複数のカメラ１２で所定の監視空間を撮像し、三次元情報算出部１４が、ステレオ画像処理により、撮像された複数の画像から三次元情報を算出する。三次元情報の算出方法は、第１の実施の形態と同様である。そして、三次元情報記憶部２４は、三次元情報算出部１４で算出した三次元情報を記憶する。

次に、三次元情報選択部２６は、時刻が連続する複数の三次元情報から処理対象の三次元情報を選択する。処理対象の三次元情報を選択する基準は、例えば、撮像画像中にある物体までの距離の誤差を用いることができる。例えば、計測誤差の小さい三次元情報を選択することができる。

三次元情報は、画面全体を一括して選択（画像単位での選択）してもよいし、ｍ×ｎ画素のブロック３４，３６の単位で選択してもよく、これも本発明の処理対象の三次元情報選択に含まれる。ブロック単位で選択する方法としては、例えば、記憶されている視差を算出した際の類似度評価値Ｃが最も大きいものを選択する方法、または記憶されている視差ｄのヒストグラムを作成し最頻値となる視差を選択する方法が挙げられる。

その後、座標変換部１６が、三次元情報選択部２６によって選択された三次元情報をカメラ座標系から監視空間座標系に変換し、基準情報記憶部１８に記憶された基準状態における監視空間の三次元情報と順次算出される三次元情報とを比較して人が存在する領域を抽出し、混雑度算出部２２で抽出された人が存在する領域から混雑度を算出する。この方法については、第１の実施の形態の混雑度計測装置１０の動作と同様である。

以上のように本発明の第２の実施の形態の混雑度計測装置１０によれば、時刻が連続する複数の三次元情報の中から誤差の小さい三次元情報を選んで処理を行うことができ、精度良く混雑度を計測することができる。

（第３の実施の形態）
図８は、本発明の第３の実施の形態の混雑度計測装置１０の構成を示すブロック図である。第３の実施の形態の混雑度計測装置１０は、第１の実施の形態の混雑度計測装置１０と基本的な構成は同じであるが、さらに表示部２８を備えている点が異なる。

第３の実施の形態の混雑度計測装置１０は、第１の実施の形態の混雑度計測装置１０と同様に混雑度を計測すると共に、表示部２８がカメラ１２によって撮像した画像を表示する。

なお、表示部２８によって表示する画像は、複数のカメラ１２のうちのいずれのカメラ１２によって撮像した画像でもよい。また、表示部２８は、監視空間の画像だけでなく混雑度算出部２２で算出した監視空間の混雑度を表示してもよい。

以上のように本発明の第３の実施の形態の混雑度計測装置１０によれば、監視空間の画像を表示するので、混雑度を計測するとともに、表示された画像を見て監視空間を監視することができる。これにより、例えば、混雑した監視空間内で異常事態が発生したときに画像を確認して早急に対応することが可能となる。

（第４の実施の形態）
図９は、本発明の第４の実施の形態の設備制御システム５０を示す図である。第４の実施の形態の設備制御システム５０は、混雑度計測装置１０と、混雑度計測装置１０により計測された監視空間の混雑度に基づいて設備を制御する設備制御装置５２とを備えるシステムである。ここでは、設備制御装置が空調換気装置を制御する例について説明する。

混雑度計測装置１０の一部であるステレオカメラ１２によって室内の広い監視空間を撮像し、撮像された画像に基づいて混雑度計測装置１０が監視空間の混雑度を算出する。混雑度計測装置１０としては、第１の実施の形態から第３の実施の形態のいずれの混雑度計測装置１０も採用可能である。混雑度計測装置１０により算出された混雑度は設備制御装置５２に送られ、混雑度に応じて設備制御装置５２が換気装置５４の制御を行なう。換気装置５４では、室内の循環空気と屋外から取り込んだ外気を混合させる。この際、換気装置５４は、混雑度によって混合比を変化させる。例えば、混雑度が大きい場合には外気の量を多くし、混雑度が少ない場合は循環空気の量を多くするように混合比を変化させる。空調装置５６は、混合空気を所定の温度になるよう調整してから室内へ送り出す。

本発明の第４の実施の形態の設備制御システム５０によれば、混雑度に応じて監視空間内に設置された空調換気設備を制御して外気の混入量を必要最小限におさえることで、空調設備の温度調整が容易になり効率良く空調換気設備の運用をすることができる。

（第５の実施の形態）
図１０は、本発明の第５の実施の形態のプログラム６０を示す図である。実施の形態のプログラム６０は、撮像画像取得モジュール６２と、三次元情報算出モジュール６４と、座標変換モジュール６６と、基準情報記憶モジュール６８と、領域抽出モジュール７０と、混雑度算出モジュール７２とを備える。

撮像画像取得モジュール６２は、コンピュータにより実行することにより、コンピュータに所定の監視空間の撮像画像を取得させる機能を有する。コンピュータがカメラを有する場合には、監視空間をコンピュータに撮像させること本発明に含む。三次元情報算出モジュール６４は、コンピュータにより実行することにより、コンピュータに撮像画像から三次元情報を算出させる機能を有する。座標変換モジュール６６は、コンピュータにより実行することにより、コンピュータに三次元情報をカメラ座標系から監視空間座標系に変換させる機能を有する。基準情報記憶モジュール６８は、コンピュータにより実行することにより、監視空間の基準状態における三次元情報をコンピュータ内に記憶させる機能を有する。領域抽出モジュール７０は、コンピュータにより実行することにより、人が存在するか否かの状態が基準状態から変化した領域の情報をコンピュータに抽出させる機能を有する。混雑度算出モジュール７２は、コンピュータにより実行することにより、抽出された領域の情報に基づいて監視空間内の混雑度をコンピュータに算出させる機能を有する。

このプログラム６０をコンピュータに読み取らせて実行させることにより、本発明の第１の実施の形態の混雑度計測装置１０を実現でき、第１の実施の形態と同様に、監視空間内において人がいる場所によらず、精度良く混雑度を計測することができるという効果を得られる。

以上、本発明の混雑度計測装置１０、設備制御システム５０、混雑度計測方法、およびプログラムについて実施の形態を挙げて詳細に説明したが、本発明は上記実施の形態に限定されるものではない。

上記実施の形態では、基準情報記憶部１８には、監視空間に人が存在しない状態での監視空間の三次元情報を記憶しているが、基準情報は、監視空間に人がいる場合の三次元情報であってもよい。監視空間に人が存在する場合の監視空間の三次元情報を基準情報とすることにより、監視空間の状態が基準状態と比較して混雑度が増しているか、減っているかを判断することが可能となる。

また、上記実施の形態では、撮像画像から算出された三次元情報をカメラ座標系から監視空間座標系に変換しているが、カメラ座標系のまま、人が存在する領域を抽出する処理を行うことも可能である。

以上説明したように、本発明は、複数の撮像手段で撮像した画像から得られる監視空間の三次元情報を用いて基準情報と比較するので、撮像手段から監視空間内の人までの距離の影響を小さくでき、監視空間内の混雑度を精度良く計測できるというすぐれた効果を有し、監視空間の混雑度を計測する混雑度計測装置等に有用である。

本発明の第１の実施の形態の混雑度計測装置の構成を示す図 撮像画像から三次元情報を算出する方法について説明する図 画像の類似性の評価方法について説明する図 カメラ座標系から監視空間座標系への三次元情報の変換について説明する図 カメラ座標系から監視空間座標系への三次元情報の変換について説明する図 監視空間の基準面を分割した領域ごとの高さ分布を示す図 本発明の第２の実施の形態の混雑度計測装置の構成を示す図 本発明の第３の実施の形態の混雑度計測装置の構成を示す図 本発明の第４の実施の形態の設備制御システムの構成を示す図 本発明の第５の実施の形態のプログラムを示す図 従来の人数計測装置の構成を示す図

符号の説明

１０ 混雑度計測装置
１２ カメラ
１４ 三次元情報算出部
１６ 座標変換部
１８ 基準情報記憶部
２０ 領域抽出部
２２ 混雑度算出部
２４ 三次元情報算出部
２６ 三次元情報記憶部
２８ 表示部

Claims (12)

1. 所定の監視空間を撮像する複数の撮像手段と、
   前記複数の撮像手段により撮像された画像から、前記監視空間の三次元情報を算出する三次元情報算出手段と、
   前記監視空間の基準状態における三次元情報を基準情報として記憶する基準情報記憶手段と、
   前記三次元情報算出手段により算出された前記監視空間の三次元情報と前記基準情報記憶手段に記憶された基準情報とが異なる領域に関する情報を抽出する領域抽出手段と、
   前記領域抽出手段により抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出手段と、
   を備えることを特徴とする混雑度計測装置。
2. 前記領域抽出手段は、前記監視空間の三次元情報に基づいて前記監視空間に存在する個々の物体の高さに関する高さ情報を求め、前記撮像手段により撮像された監視空間のうち、前記基準状態の監視空間と比較して前記高さ情報が所定の閾値より大きく変化した領域を、人が存在するか否かの状態が変化した領域に関する情報として抽出する、ことを特徴とする請求項１に記載の混雑度計測装置。
3. 前記基準情報記憶手段に記憶された基準情報は、前記監視空間に人が存在しないときの三次元情報であり、
   前記領域抽出手段は、前記監視空間のうち人が存在する領域に関する情報を抽出する、
   ことを特徴とする請求項１または２に記載の混雑度計測装置。
4. 前記三次元情報算出手段により算出された三次元情報を記憶する三次元情報記憶手段と、
   前記三次元情報記憶手段に記憶された連続する複数の時刻における三次元情報から処理対象の三次元情報を選択する三次元情報選択手段と、
   を備えることを特徴とする請求項１〜３のいずれかに記載の混雑度計測装置。
5. 前記撮像手段で撮像した画像を表示する表示手段を備えることを特徴とする請求項１〜４のいずれかに記載の混雑度計測装置。
6. 請求項１〜５のいずれかに記載の混雑度計測装置と、
   前記混雑度計測装置により計測された前記監視空間の混雑度に応じて、設備の制御を行う設備制御装置と、
   を備えることを特徴とする設備制御システム。
7. 前記設備制御装置が空調換気設備の制御装置であることを特徴とする請求項６に記載の設備制御システム。
8. 所定の監視空間を複数の撮像手段により撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された複数の画像から、前記監視空間の三次元情報を算出する三次元情報算出ステップと、
   前記三次元情報算出ステップにおいて算出された前記監視空間の三次元情報と基準情報記憶手段に記憶された前記監視空間の基準状態における三次元情報とが異なる領域に関する情報を抽出する領域抽出ステップと、
   前記領域抽出ステップにおいて抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出ステップと、
   を備えることを特徴とする混雑度計測方法。
9. 前記領域抽出ステップは、前記監視空間の三次元情報に基づいて前記監視空間に存在する個々の物体の高さに関する高さ情報を求め、前記撮像ステップにおいて撮像された監視空間のうち、前記基準状態の監視空間と比較して前記高さ情報が所定の閾値より大きく変化した領域を、人が存在するか否かの状態が変化した領域に関する情報として抽出する、ことを特徴とする請求項８に記載の混雑度計測方法。
10. 前記領域抽出ステップは、前記基準情報記憶手段に記憶された前記監視空間に人が存在しないときの前記監視空間の三次元情報に基づいて、前記監視空間のうち人が存在する領域に関する情報を抽出することを特徴とする請求項８または９に記載の混雑度計測方法。
11. 前記三次元情報算出ステップにおいて算出された三次元情報を三次元情報記憶手段に記憶する三次元情報記憶ステップと、
    前記三次元情報記憶手段に記憶された連続する複数の時刻における三次元情報から処理対象の三次元情報を選択する三次元情報選択ステップと、
    を備えることを特徴とする請求項８〜１０のいずれかに記載の混雑度計測方法。
12. 所定の監視空間における混雑度を求めるプログラムであって、コンピュータに、
    前記監視空間の複数の撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像取得ステップにおいて取得された複数の撮像画像から、前記監視空間の三次元情報を算出する三次元情報算出ステップと、
    前記三次元情報算出ステップにおいて算出された前記監視空間の三次元情報と基準情報記憶手段に記憶された前記監視空間の基準状態における三次元情報とが異なる領域に関する情報を抽出する領域抽出ステップと、
    前記領域抽出ステップにおいて抽出された領域に関する情報に基づいて、前記監視空間の混雑度を算出する混雑度算出ステップと、
    を実行させることを特徴とするプログラム。
    
    

Images