JP5384629B2 - 監視ゾーン内の対象物の移動を分類する装置および方法 - Google Patents

Description

本発明は、監視領域内の対象物の移動を監視する装置および方法に関する。

米国特許第５，５１９７８４号明細書において、通路に沿った対象物の移動を分類する装置および方法が開示されている。装置は、通路の一方の側から通路の対向する側に一連の別個の間隔をあけた平行直線放射線ビームを投射する手段を備える。通路の対向する側にある検出器は、ビームが、第１および第２の対向する方向のいずれかに通路内を移動している１人または複数の人物によって遮られるときに感知する。間隔をあけたビームは、人物の数および移動方向に対応して、連続して異なる時点で遮られる。連続して生成された遮られたビーム信号は、対象物の移動履歴情報としてメモリに格納され、次いで人物の数および移動の方向を明示する合成ビーム遮断パターンを生成するように処理され、パターンは時間領域およびセンサーインデックス、すなわち通路内のセンサー識別および位置の関数である。結果として生成されたパターンは、人工ニューラルネットワークなどによる、コンピュータ制御のパターン認識分析を使用して、参照パターンと比較される。比較は、通路内の人物を、移動の方向と数に分類する。

この装置および方法は、一部の用途には適切ではない場合もある。たとえば、間隔をあけた平行ビームを投射するための手段は、細長い筐体に組み込まれる。筐体は通常、足首から膝の間くらいの高さで床面に平行に延在するように、通路の一方の側に取り付けられる。この筐体は、大きすぎて使用可能なスペースに収まらない可能性、および／または特定の用途において美観的に受け入れられない可能性もある。さらに、この装置を通路のいずれかの側に取り付けることは多大な労働力、時間、および費用を要し、多くの場合、装置まで伸びる配線を敷設するために通路の側壁に溝をつける必要がある。さらにその上、一方の側のビーム投射の手段およびもう一方の側の検出器は、位置がずれる可能性もあり、それが装置の機能を停止させてしまうことになる。この側面に取り付けられる装置に関わるもう１つの問題は、通路で静止している人物または対象物がビームを遮る可能性もあり、そのため静止している対象物のいずれかの側で通路に沿って移動しているその他の対象物に対して、少なくとも一時的な装置の反応性の低下を生じることである。さらにもう１つの問題は、投射されたビームの範囲が、幅の広い通路を横断するのに十分ではない場合もあることである。幅の広い通路をカバーするために、前述の欠点のすべてを備える追加の装置を収容する中間構造が必要とされる。

もう１つの既知のシステムであるが、根本的に異なるシステムは、トラッキングアルゴリズムを使用し、関心対象の各対象物のベクトルを決定するために、別個の対象物を識別して、対象物感知機構により生成された連続フレーム間のそれらの位置を監視しようと試みる。対象物が新しい位置にある以前の対象物、または全く新しい対象物のいずれであるかを決定するために、各フレームを完全に分析し、次いで以前のフレームと比較する必要があるので、処理は複雑である。このことに結びついているのは、たとえば、一方では２人の人物と、もう一方ではバックパックまたは旅行鞄を運ぶ１人の人物を区別することの難しさである。対象物を分離して、それらのベクトルを取得することにより、システムは、あらかじめ定められた監視領域にわたりそれらの移動を追跡して、それに応じてカウントを増分または減分することができる。対象物を分離し、それらの連続的位置をリンクするか、または対象物の数を区別するシステムの能力が低下した場合は、システムの精度が損なわれる。加えて、視覚的分析は、膨大なプロセッサ能力を要するので、高価である。

米国特許第５，５１９７８４号明細書

したがって、本発明の目的は、監視領域内の対象物の移動を監視する代替の装置および方法を提供することである。

本発明によれば、監視領域内の対象物の移動を監視するための装置であって、
− 領域内の複数の隣接ゾーンの各々における対象物の存在または不在に感応する感知機構であって、
− ゾーンは、第１の方向に少なくとも２つの隣接するゾーンの列があり、第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、
− 各ゾーンは、それぞれのゾーンインデックスに関連付けられ、
− 個々にゾーンの各々における対象物の存在または不在に感応するように構成され、ゾーンの各々における対象物の存在または不在に関連する感知されたデータを備える領域内を移動している対象物の時間系列表現を取り込むように動作可能である感知機構と、
− 感知されたデータをゾーン内の対象物の存在または不在の多次元パターンに処理するための感知機構に接続されたプロセッサ機構であって、第１の次元は時間であり、第２の次元はゾーンインデックスであり、
− パターンをイベントに関連するパターン部分にセグメント化するように構成されたプロセッサ機構と、
− 予測されるイベントに関連する履歴データを参照してパターン部分を分類するための分類器とを備える装置が提供される。

感知機構は、監視領域の上空に取り付けられる少なくとも１つのカメラを備えることができる。

感知機構は、さまざまな角度から領域をカバーするステレオ写真対のカメラを備えることができる。

したがって、本発明によるシステムは、視界内の各々一意の対象物を識別しようと試みることはないが、イベントを分析して、それをイベント特徴の以前の知識と比較することにより、ニューラルネットワークを備えることができる分類器を使用してカウント数を示すことが可能である。イメージ処理は比較的簡単であり、比較的廉価で行うことができるが、ニューラルネットワーク自体は、比較的簡単なマイクロプロセッサ上で稼働することができるので、費用を抑えることができる。システムはまた、米国特許第５，５１９７８４号明細書の前述の側面取り付けのシステムに関連する前述の問題の少なくとも一部を軽減することができると考えられる。

複数のゾーンは、直接隣接するゾーンの配列を形成することができ、各ゾーンは、第１の方向に第１の次元、第２の方向に第２の次元、および範囲を有することができる。

感知されたデータは、対象物によって占有されているゾーンの範囲の一部に比例するデータまたはパラメータを備えることができる。

プロセッサ機構は、非活動のパターンの領域において、時間の次元に沿ってパターンをセグメント化するように構成されてもよい。

本発明のもう１つの態様によれば、監視領域内の対象物の移動を監視する方法であって、
− 領域を複数のゾーンに分割するステップであって、各ゾーンはゾーンインデックスに関連付けられ、
− ゾーンは、第１の方向に少なくとも２つの隣接するゾーンの列があり、第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置されるステップと、
− 個々にゾーンの各々における対象物の存在または不在を感知するために、自動的および時間系列的に感知機構を使用するステップと、
− ゾーン内の対象物の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
− パターンをイベントに関連するパターン部分にセグメント化するステップと、
− 予測されるイベントに関連する履歴データを参照してパターン部分を分類するステップとを備える方法が提供される。

本発明の範囲にさらに含まれるのは、監視領域内の対象物の移動を監視するためのコンピュータプログラムをホスティングするコンピュータ可読媒体であって、プログラムは、
− 領域内を移動している対象物の時間系列表現に関連する感知されたデータをセンサー機構から受信するステップであって、感知されたデータは複数のゾーンの各々における対象物の存在または不在に関連するデータを備え、ゾーンは第１の方向に少なくとも２つの隣接するゾーンの列があり、第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、各ゾーンはゾーンインデックスに関連付けられているステップと、
− ゾーン内の対象物の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
− パターンをイベントに関連するパターン部分にセグメント化するステップと、
− 予測されるイベントに関連する履歴データを参照してパターン部分を分類するステップとを実行し、
それにより、使用時に領域内を少なくとも１つの方向に移動している対象物のカウントを出力として提供するコンピュータ可読媒体である。

本発明はまた、コンピュータプログラムを備えるファームウェア、および前述のステップを実行するように構成されたコンピュータプログラムにまで及ぶ。

これ以降、本発明はさらに、ほんの一例として、添付の図を参照して説明される。

領域内の対象物の移動を監視するための装置のカメラが領域の上空に取り付けられた監視領域を示す図表示である。 監視領域内のゾーンの配列を示す図表示である。 装置を示すブロック図である。 監視領域内の対象物の移動を監視する方法の関連部分を示す流れ図である。 領域内を移動している楕円形対象物の時間系列イメージを示す図である。 領域内を移動している対象物の、１次元を時間とする、３次元表現である。 ３次元テンソルが２次元マトリクスにフラット化された代替の表現を示す図である。 図５のイベントの結果として生じる表現を示す図である。 図５および図９のイベントのイメージを示す図である。 領域内を移動している複数の人物の上空からの写真である。 図１０のイベントの図６と同様の表現を示す図である。 図１０のイベントの図９と同様のイメージを示す図である。 ピクセルチャネルに関連付けられている分布を示すグラフである。 単純サブイベントモデルの表現を示す図である。 サブイベント検索イメージを示す図である。 サブイベントの中心を定義する極大の表現を示す図である。 サブイベントモデルの第１の４次元の表現を示す図である。 図１５のイベントから抽出されたサブイベントの表現およびそれらの分類を示す図である。 図１５の元のイベントおよび図１８のサブイベントが除去された後の残りのイベントの表現を示す図である。

監視領域１２内の対象物の移動を監視するための装置は、図１および図２において概ね参照番号１０によって指定される。

領域１２は、建物１８の玄関１６のような、カウントポイントにおける入口または通路１４の一部を形成することができ、装置１０は、自動的に一定時間にわたり配置されて、後段において説明されるように、その玄関を通って建物に出入りする人々２６を監視してカウントすることができる。

装置１０は、領域内の複数の隣接ゾーン２４．１から２４．ｎの各々における対象物２６の存在または不在に感応する感知機構２０を備える。図２を参照すると、ゾーン２４．１から２４．ｎは、第１の方向ｙ（つまり、領域を通過する対象物の流れの全体的な方向）に少なくとも２つの隣接するゾーンの列があり、第１の方向と垂直な方向ｘに少なくとも２つの隣接するゾーンの列があるように配置される。各ゾーン２４．１から２４．ｎは、それぞれゾーンインデックスに関連付けられている。センサー機構２０は、個々に各ゾーンの各々における対象物の存在または不在に感応するように構成され、（図５および図６に示されるように）領域内を移動している対象物の時間系列表現、好ましくはイメージを取り込むように動作可能である。イメージは、ゾーンの各々における対象物の存在または不在に関連するデータを備える感知されたデータを備える。プロセッサ機構２２（図３に示される）は、感知されたデータを、対象物が領域内を移動する際にゾーン内の対象物の存在または不在の多次元パターン（図７および図８に示される）に処理するための感知機構２０に接続され、第１の次元は時間であり、第２の次元はゾーンインデックスである。プロセッサ機構はさらに、パターンを、イベントに関連するパターン部分にセグメント化するように構成され、分類器は予測されるイベントに関連する履歴データを参照してパターン部分をリアルタイムで分類する。

感知機構は、ゾーンの時間系列イメージを取り込むために、ゾーン１２に取り付けられた、ビデオカメラ２０および関連する光学部品２１のような少なくとも１つのイメージセンサーを備えることができ、各イメージは感知されたデータを備える。装置はさらに、カメラから感知されたデータを受信するため、および以下で説明されるように多次元パターンデータを生成するために、カメラ２０に接続されたプロセッサ機構２２（図３に示される）を備える電子サブシステム２３を備える。

カメラ２０は、好ましくは、通路の上空の天井２８、したがって監視領域１２の上に取り付けられる。カメラは、特別な次元を追加するため、および通路１４の床３０の上の適切なレベルまたは高さｈで監視領域１２を定義するために、異なる角度から領域をカバーするように、異なった角度で領域に方向付けられた第１および第２のカメラを備えるステレオ写真対のカメラを備えることができる。サブシステム２３は、監視ゾーンにおいて提供されてもよく、あるいは建物の他の玄関（図示せず）において同様の感知機構に接続されるように同じ建物の中心に提供されてもよく、さらに、あるいはサブシステムはリモートでオフサイトに配置されてもよい。

図２に示される例示の実施形態において、監視領域１２は、各ゾーンが範囲を有するように、第１の方向に伸びる第１の軸ｙ、および第１の方向に垂直な第２の方向に伸びる第２の軸ｘを備える。監視ゾーン１２の前述の複数のゾーン２４．１から２４．ｎは、各々第１の方向の第１の次元および第２の方向の第２の次元を有する、隣接領域の行および列の配列を形成する。

図３に示される例示の実施形態において、カメラ２０は、サブシステム２３のプロセッサ機構２２に接続される。プロセッサ機構は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、あるいはコンプレックスプログラマブル論理デバイス（ＣＰＬＤ：ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）３２を備える。ＦＰＧＡは、デュアルポートＲＡＭ機構３４に接続され、機構３４は処理コア３６に接続される。その他の実施形態（図示せず）において、プロセッサ機構２２は、直接メモリアクセス（ＤＭＡ：Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によるカメラインターフェイスおよびプロセッサを備えることができる。サブシステム２３はさらに、処理コア３６および論理回路４０に接続された通信モジュール３８を備える。さらに、論理回路に接続されるのは、リアルタイムクロック（ＲＴＣ）４２、データメモリ機構４４、およびプログラムメモリ機構４６である。装置１０は、主電源に接続可能な電源供給モジュール４８によって電力を供給される。通信モジュール３８は、装置１０と外部ネットワークとの間のデータ通信を可能にする。

前述のように、カメラ２０は、領域２０の時間系列イメージを取り込むように構成される。したがって、各イメージおよびその関連する感知されたデータは、一意の時間関連データに関連付けられているので、以下で説明されるように、感知されたデータの時間次元および多次元表現をもたらす。

図５を参照すると、楕円形対象物２６が領域１２内を移動するときに感知機構２０によって生成される時間系列イメージは、図５（ａ）から図５（ｆ）に示される。たとえば、第２のイメージ、つまり図５（ｂ）のイメージの時点において、対象物はゾーン２４．３を完全に覆い、ゾーン２４．２、２４．４、および２４．８を部分的に覆っている。感知されたデータは、対象物によって占有または覆われているゾーンの範囲の一部に比例するデータをパラメータとして含むことができる。

図５（ａ）から図５（ｆ）の感知されたデータまたはマトリクスのストリームは、３次元表現で表されてもよく、ここで図６に示されるように時間は１次元である。

３次元表現は、マトリクスをベクトル化して、３次元テンソルを２次元表現にフラット化することにより再配列されてもよく、ここで図７に示されるように１次元は時間（ｔ）である。

パターンマトリクスのストリームは、活動の期間に対応して時間にセグメント化される。イベントは、パターンマトリクス要素の合計が、連続フレームの小セットにわたりしきい値レベルを超えると直ちにトリガされる。逆に、イベントは、合計が、連続フレームのセットにわたりしきい値を下回ると直ちに終了される。

図５のイベントの表現は、図８および図９において示される。

図１０において、複数の人々が領域１２内をいずれかの方向に移動しているもう１つの例示のイベントが示される。図１１は、後者のイベントについて図６に対応し、図１２は、この後者のイベントについて図９に対応する。

ここで図４を参照すると、装置および方法は、ビデオ容量の大量のピクセル関連データを変換および処理して、２つの数値、つまり方向Ａのカウントと方向Ｂのカウントまで減らすための、前処理６０、イベント抽出７０、特徴抽出８０、および分類９０という主要コンポーネントを有する。

フロントエンドのビデオ前処理６０は、未加工ピクセルストリームを、背景に関して特有であるが不変であり、しかも輝度と明度のグローバル変形である形態に処理することに携わる。システムのこの部分は、ピクセル単位レベルで動作するので、計算処理的に最も感度の高いものであってもよい。したがって、意図的にビデオ処理は、比較的単純なものにとどめられている。６２において、イメージは最初に、フィルタリングおよびダウンサンプリングにより、管理可能なサイズまで縮小される。このサイズ変更されたイメージから、アクティブな領域が抽出される。このアクティブな領域は、人々がカウントされる境界を画定するフレーム内のユーザが指定した範囲である。計算処理上の効率のために、この境界は、一直線であり、イメージ軸が位置調整されている必要がある。この境界は、流れｙの第１の方向およびそれに垂直な第２の方向ｘという２つの方向を画定する。アクティブな領域は、境界を中心とする軸が位置調整された長方形である。長方形の横幅はユーザによって指定され、流れの方向に沿ったその寸法はフレーム内の平均的な人間の相対的な大きさによって決まる。

アクティブな領域だけがさらに処理され、残りのフレームは破棄される。前処理の重要なタスクは、未加工の入力ビデオを背景に関して正規化することである。このコンテキストにおける背景は、延長された期間にわたり物理的に静的であるシーン内の対象物に対応するイメージの部分として定義されるものとする。反対に、前景は、物理的に移動している対象物を示すイメージの部分に対応する。そのようなものとして各フレームをセグメント化するため、前景および背景の両方に関連付けられているピクセル変化のモデルが構築される。背景はその変化の遅い速度によって定義されるので、背景モデル６４は、入力ビデオに関連付けられている統計に一時ローパスフィルタを原則的に適用することによって近似化される。前景モデルは、背景モデルによって十分に記述されないイメージ領域の統計を分析することにより構築される。この正規化プロセスは、背景除去と呼ばれる。これは最終的に、入力フレームの各ピクセルに、それが前景（移動している対象物）の一部である確率を割り当てようと試みる。

計算処理を簡単にするため、各入力ピクセルは独立して考慮され、さらには各ピクセルはそこに関連付けられているチャネルのセットを有する。これらのチャネル内の変化は、多変量ガウス分布によってモデル化される。この選択は、中心極限定理により、ガウス分布の偏在によって弱く動機付けられるが、ガウス分布がその平均および拡散を単に計算することにより入力データに適合されうるということにより、なお一層弱く動機付けられる。平均値μおよび共分散Σとするｄ−次元確率変数ｘの多変量ガウス分布は、以下のとおりである。

多くの場合、この分布の対数は、計算により好都合である。

ここで、Δ≡ｘ−μ

各ピクセルは、ピクセルチャネルのｄ次元ベクトルｘによって表される。現在、輝度およびＹＵＶカラースペースからの２つのクロミナンス値、ならびに輝度の時間導関数という、４つのチャネルが使用されている。ピクセル前景および背景の条件付き分布は以下のとおりである。

ここで、Ｓ_ｆｇおよび

は、それぞれ前景および背景に対応する可能なｘのセットを表し、｛μ_ｂｇ，Σ_ｂｇ｝および｛μ_ｆｇ，Σ_ｆｇ｝は、それぞれ前景および背景に関連付けられている平均および共分散に対応する。この導出を簡潔にしておくため、２つの分布を示すｆｇおよびｂｇの添え字は、前景および背景モデルのいずれについても成立する式において省略されるものとする。

計算処理を簡単にするため、ピクセルチャネルは独立していると仮定される。したがって、Σは対角線であると仮定されるので、ガウス分布は以下のように表されてもよい。

ここで、

は、Σの対角線要素に対応し、ｘ_ｉおよびμ_ｉはそれぞれｉ＝１．．ｄに対するｘおよびμの要素である。２つのクラス、Ｐ（ｘ∈Ｓ_ｆｇ）≡γ_ｆｇ、Ｐ（ｘ∈Ｓ_ｂｇ）≡γ_ｂｇの事前確率を所与として、条件付き分布は、同時確率分布に変換されてもよい。
Ｐ（ｘ，ｘ∈Ｓ）＝Ｐ（ｘ∈Ｓ）Ｐ（ｘ｜ｘ∈Ｓ）≡ｐ（ｘ）

上記は、ピクセルが前景または背景のいずれにも属するので、γ_ｆｇ＋γ_ｂｇ＝１によって制約されることに留意されたい。

最終的な目標は、事後確率Ｐ（ｘ∈Ｓ_ｆｇ｜ｘ）≡ｚ_ｆｇ（ｘ）であり、所定のピクセルが前景の一部である確率である。これは、ベイズの定理に従って以下のように計算されてもよい。

計算の実際の方法をよりよく表す分布の対数形式に関して、以下のように表現されてもよい。

これらの分布のパラメータ｛μ_ｂｇ，Σ_ｂｇ｝および｛μ_ｆｇ，Σ_ｆｇ｝は、変化する照度および背景の変化を追跡するために時間の経過に伴って適応される。背景平均μ_ｂｇは、分散Σ_ｆｇ，Σ_ｂｇおよび前景平均μ_ｂｇがグローバルであって、イメージ内のすべてのピクセルによって共有されていても、ピクセル単位でモデル化される。この選択は、計算処理の複雑さを軽減するため、またフレーム全体にわたり統計を平均化することによってさらに分散の計算を安定した状態に保つために行われた。

図１３は、ピクセルチャネルに関連付けられている分布の代表的な例である。前景が優勢である場合、事後確率は１に接近するが、背景が優勢である場合、ほぼ０まで減少する。ピクセルモデルパラメータは、グローバルな照度の変動または背景への追加により生じた統計の緩やかな変化を追跡するように、各フレームの後に徐々に更新される。モデルパラメータは、一次ローパスＩＩＲフィルタと同様の方法で更新される。現在のパラメータθ_ｉを所与として、新しいパラメータθ_ｉ＋１は、以下のように定義される。

ここで、λは適応速度であり、

は、モデルを現行フレーム内のデータに適合させることにより得られたパラメータのベクトルである。前景および背景の平均および分散は、ピクセルチャネル値の重み付け第１および第２のモーメントとして近似化される。ピクセル重み付けは、それらの関連する確率によって決まる。前景確率は、前景モデルパラメータの計算に使用され、背景確率は背景パラメータの計算に使用される。分散の計算には、さらに大きい自由度が要求されるので、はるかに遅い適応速度が使用され、したがってこれを確実に決定するためにより多くのデータが必要となる。λを前景および背景ピクセル確率に依存させることにより、この線形手法には非線形性が追加される。これは、現行フレーム内の前景ピクセルのほんの一部ずつλを変調することにより分散更新で行われる。このようにして、分散は、フレーム内に活動がある場合に限り変化する。このことは、分散が、活動の全くない長期にわたって人為的に小さくなることを防ぐ。これはまた、フレーム内の活動があるときに前景と背景を区別することにしか関心がない場合に、理にかなっている。

入力ビデオが、背景および照度とは無関係な形式に正規化されると、ビデオは管理可能なチャンクに分解される。これは、正規化されたビデオをパターンにダウンサンプリングし、次いでそれらのパターンを時間でセグメント化してイベントを形成することにより行われる。

パターンは、７２において、フレームごとに、その前景確率イメージから直接抽出される。パターンは単に、領域にわたるグリッドまたは配列のゾーン２４．１から２４．ｎ内の前景確率を平均化することにより構築される。図２から図５に示されるように、グリッドは、流れの方向に４つの区域を有する。横方向の区域の数は、アクティブな領域の物理的幅によって決まる。ゾーンのアスペクト比は一定に保たれるが、それらの規模は、フレーム内の人間の平均の相対的な大きさに適合される。したがって、各フレームは、要素が、それらの関連するゾーン内の前景ピクセルのわずかな一部に対応するマトリクスによって表されうるパターンをもたらす。

パターンマトリクスは、時間の経過に伴って、図６および図１１に示されるように３次元テンソルと見なすことができるものに積み重ねられる。図４の７４において、パターンマトリクスのこのストリームは、活動の期間に対応するイベントに時間でセグメント化される。イベントは、パターンマトリクス要素の合計が、連続フレームの小セットにわたりしきい値を超えると直ちにトリガされる。逆に、イベントは、合計が、連続フレームのセットにわたりしきい値を下回る場合に終了される。図１１の表現は、ゾーンの値と比例する大きさを持つ立方体として各ゾーンを示す。これらのイベントを簡潔に視覚化するため、図８、図９、および図１２の場合のように、２次元イメージとして好都合に示すことができる図７に説明されるように、３次元構造を流れの方向に沿ってフラット化してマトリクスを形成することが有用である。再び図４を参照すると、時間でイベントパターンを圧縮しようと試み、対象物の速度に関してイベントをある程度正規化するため、７６において、ランレングス符号化（ＲＬＥ：Ｒｕｎ Ｌｅｎｇｔｈ Ｅｎｃｏｄｉｎｇ）と類似した手法がイベントに適用される。プロセスは、プロトタイプとしての第１のフレームパターンで開始する。次いで、フレームは連続してプロトタイプと比較され、フレームがプロトタイプにより十分に表現されない（つまり、差が大きい）場合、それが新しいプロトタイプになる。このプロセスは、イベントの終わりに到達するまで続行される。正規化されたイベントは、単一パターンへのプロトタイプの変化の間の広がりを平均化することにより構築される。各スパンの長さはまた記録され、各プロトタイプベクトルに付加され、したがって元のタイミングは失われない。

正規化された平均平方距離測度は、パターンを比較するために使用される。

ここで、ｐ_＊は、パターンを表す列ベクトルであり、ｃは、ゼロによる除算を防ぐための小さい正の正則定数である。明確にするため、この説明の残りの部分において言及される任意のイベントは、この点において正規化されていると仮定するものとする。

図４の８０における特徴抽出は一般に、入力センサー機構２０に関連付けられている一部の通常高次元の入力スペースから、関心のある対象物のモデルに関連付けられている低次元のパラメータスペースに投射することを伴う。この場合、特徴抽出は、可変長イベントパターンを特有の固定長特徴ベクトルに投射することに携わる。

イベントはさらに、１人の人、連れ立っている２人の人、またはカートを押している人のような、共通の低レベルのサブイベントに対応する領域に分解される。これを行うために、そのようなサブイベントのモデル８２が構築される。主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）および線形判別分析（ＬＤＡ：Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）のような、それらの構築の閉鎖式解が存在するので、線型モデルは、これに最も単純なオプションをもたらす。これらの方法は、サブイベントを簡潔および明確に表すモデルを生成するが、それらを分類する直接の方法をもたらすことはない。それには、混合ガウス分布モデル（ＧＭＭ）が、ＰＣＡおよびＬＤＡによって生成されたサブスペースをクラスに区分するために使用される。サブイベントモデルは、（図４の８４において）イベント内のサブイベントを効率的に検出するために使用される単純検索モデルと、８６においてそれらを条件付きまたは弱く分類するために使用されるより複雑な分類モデルという、２つの関連するモデルで構成される。これらのモデルはいずれも、基底によって広がるサブスペースで定義されたＬＤＡおよびＧＭＭを使用して構築された線形基底で構成される。サブイベントは、より大きいイベント内の固定サイズのウィンドウに及ぶ。この場合、６×４×１６のウィンドウが使用される。ウィンドウがイベントの次元を超えて拡張する場合、ゼロが範囲外の要素の代わりに使用される。ウィンドウ内から抽出されたサブイベントデータに増大されているのは、ウィンドウの相対的な横位置、ならびにウィンドウフレームに対応するＲＬＥ圧縮により生成されたスパンのセットである。

前述のように、単純サブイベントモデルは、８４において、イベント内の有効なサブイベントを効率的に検出するために使用される。この単純モデルは、以下の３つのクラスを区別しようと試みる。
Ｉｎｗａｒｄ（内向） − 図２のＡに示されるような、平均して内側方向のサブイベント
Ｏｎｗａｒｄ（外向） − 図２のＢに示されるような、平均して外側方向のサブイベント
Ｎｕｌｌ（ヌル） − 移動している人々に対応しないイベントの領域

イベントスペースに戻って投射されたときの各クラスごとの典型例は、以下の表に示される。

図１４において、ＬＤＭサブスペース内のこれらのクラスを区別するために使用されるＧＭＭが示される。プロットにおいて、線図は、個々のガウス成分の等確率線に対応する。ガウス成分が非制限共分散マトリクスを有するので、等確率線は楕円にマップすることに留意されたい。プロット内の背景イメージは、クラスの事後確率によって生成された軟判定境界を示す。

８４において、時間および横方向への移動に沿ってイベントを徹底的に検索することにより、サブイベントが検出される。３次元ウィンドウ、サブイベントモデルのサイズは、イベント上をスライドされて、各ポイントを内向、外向、またはヌルのサブイベントのいずれかの中心として分類する。これにより、内側および外側方向に対応する、図１５に示されるような２次元検索イメージのペアが生成される。これらのイメージは、合計されて平滑化され、図１６に示されるような明確に定義された極大を持つイメージを生成する。サブイベントの中心を定義するのは、これらの極大である。図１６の極大は、ブロブ中心の黒いピクセル１００によって示される。内向および外向イメージは、後に、特徴計算において再度使用される。

前述のように、サブイベントの中心が検出されると、それらは図４の８６において弱く分類される必要がある。これは、さらに詳細な分類サブイベントモデルにより行われる。これは、計算処理上より高価であり、より識別力があるが、すでに検出されたサブイベントのみに適用され、イベント全体には適用されない。このモデルは、５次元の基底を使用する。

１２のサブイベントクラスは、このモデルによって区別される。これらのクラスは、以下の表のように要約される。

単純モデルのように、各クラスは、非制限共分散によるガウス成分としてモデル化される。図１７は、サブイベントモデルの第１の４次元を示す。

図１７のｘは、そのサブイベントモデルの分類の曲線バージョンに従って各正方形にラベル付けされている、図１５の例示のイベントで検出されたサブイベントを座標で示す。イベントスペース内のこれらのサブイベントの対応する外観およびそれらの分類は、図１８に示される。

イベント全体の実際のカウントが４〜２であるので、分類サブイベントモデルは、この特定の事例において極めて良好に行われたと見られる。そして次に、各サブイベントは分類され、サブイベントがｉ番目のクラスを表す確率にｉ番目の要素が対応する事後確率のベクトルを各々生成する。これらのベクトルは、すべてのサブイベントにわたり合計されて、最終特徴ベクトルの一部を形成するベクトルｚを生成する。ｚの成分は、イベント内の各クラスのサブイベントの数に概ね対応する。２つのサブイベントが、それらの関連するウィンドウ内でかなり重なり合って近接して検出される場合、重複情報が、サブイベントごとに１回ずつ、合計２回カウントされる確率が高まる。各サブイベントが分類された後にこれを軽減するため、分類の結果はイベントスペースに投射して戻され、元のイベントから減算されて、イベントのその部分がカウント済みであることを効果的にマーク付けする。図１９は、元のイベント、およびサブイベントが正常に除去された後に残されたものを示す。

サブイベントモデルの構築には、トレーニングデータ内のサブイベントの位置およびラベルが既知であることが求められる。しかし、トレーニングデータがサブイベントレベルまでセグメント化されないのでイベントあたり１つのラベルしかなく、このデータは使用可能ではない。したがって、サブイベントモデルを構築するために、反復の手法が使用される。プロセスは、イベントの重心に中心がある、イベントあたり単一のサブイベントという仮定のもとに構築された初期モデルで開始する。この大まかなモデルを使用して、サブイベントの新しいセットが検出されて分類され、そこからモデルを再計算することができ、そのようにプロセスはモデルが収束するまで続行する。

特徴ベクトルｆは、イベント全体にわたる集約統計のセットで構成される。特徴ベクトルの構造は、以下のとおりである。

ここで、
ｔ_ｅ フレーム内のイベントの継続期間
ｔ_ｃ 圧縮されたイベントの長さ
ｍ_ｉｎ 内向検索イメージのモーメント
ｍ_ｏｕｔ 外向検索イメージのモーメント
ｓ サブイベントの中心に対応する極大値の合計
ｚ 合計サブイベント分類ベクトル

モーメントベクトルｍ_ｉｎおよびｍ_ｏｕｔは、図１５に示される内向および外向検索イメージの０次および２次モーメントで構成される。各モーメントベクトルは、以下の形式の４次元を有する。
ｍ＝［ｍ_０，０ ｍ_２，０ ｍ_０，２ ｍ_１，１］^γ

ここで、ｆ_ｘ、ｔが、横位置ｘおよび時間ｔにおけるイメージ要素を表す場合、

１２のサブイベントクラスがあるので、サブイベント分類ベクトルは１２次元であり、モーメントベクトルは各々４つの成分を提供し、３つのスカラーがあるので、最終的な特徴ベクトルは、２３次元である。

再び図４を参照すると、９０における分類の目標は、各特徴ベクトルから最終的な「内向」および「外向」カウントを抽出することである。特徴ベクトルとカウントとの間のマッピングが構築される必要があり、これは回帰の問題となる。人工ニューラルネットワーク９２は、このマッピングを実施するために使用される。ニューラルネットワークは、回帰エラーを最適化することにより、タグ付きイベントの大量のセットからこのマッピングを学習する。標準多層知覚（ＭＬＰ：Ｍｕｌｔｉ−ｌａｙｅｒ Ｐｅｒｃｅｐｔｉｏｎ）は、シグモイド活性化関数を使用する単一の隠れ層および回帰の線形活性化による出力層と共に使用される。

ＭＬＰのトレーニングは基本的に、エッジ重みに関して出力エラーを最小化する、最適化問題であり、このために共役勾配降下アルゴリズムが使用される。トレーニングデータは、特徴ベクトルおよび対応するカウントラベルのセットの形態をとる。しかし、トレーニング前に、特徴は白色化され、特徴スペースを単位共分散に正規化するので、絶対最小値への収束の可能性を高める。正規化投射は、トレーニングされた後、ニューラルネットワークの第１の層の重みに戻して組み入れられる。

ニューラルネットの出力が、図２に示される領域内ならびに方向Ａおよび方向Ｂのいずれか一方向に移動している人々をカウントするために使用されてもよいことが理解されよう。

Claims (10)

1. 監視領域内の物体の移動を監視するための装置であって、
   個々に前記領域内の複数の隣接ゾーンの各々における物体の存在または不在に感応する感知機構であって、
   前記ゾーンは、第１の方向に少なくとも２つの隣接するゾーンの列があり、前記第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、
   各ゾーンは、それぞれのゾーンインデックスに関連付けられ、
   前記ゾーンの各々における物体の存在または不在に関連する感知されたデータを備える前記領域内を移動している前記物体の時間系列表現を取り込むように動作可能である感知機構と、
   前記感知されたデータを前記ゾーン内の前記物体の存在または不在の多次元パターンに処理するための前記感知機構に接続されたプロセッサ機構であって、第１の次元は時間であり、第２の次元はゾーンインデックスであり、
   前記パターンをイベントに関連するパターン部分にセグメント化するように構成されたプロセッサ機構と、
   予測されるイベントに関連する履歴データを参照して前記パターン部分を分類するための分類器とを備える装置。
2. 前記感知機構は、前記監視領域の上空に取り付けられる少なくとも１つのカメラを備える請求項１に記載の装置。
3. 前記感知機構は、さまざまな角度から前記領域をカバーするステレオ写真対のカメラを備える請求項１または請求項２に記載の装置。
4. 前記複数のゾーンは、直接隣接するゾーンの配列を形成し、各ゾーンは第１の方向に第１の次元、第２の方向に第２の次元、および範囲を有する請求項１乃至３のいずれか１項に記載の装置。
5. 前記感知されたデータは、前記物体によって占有されている前記ゾーンの前記範囲の一部に比例するパラメータを備える請求項４に記載の装置。
6. 前記プロセッサは、非活動のパターンの領域において、前記時間の次元に沿って前記パターンをセグメント化するように構成される請求項１乃至５のいずれか１項に記載の装置。
7. 監視領域内の物体の移動を監視する方法であって、
   前記領域を複数のゾーンに分割するステップであって、各ゾーンはゾーンインデックスに関連付けられ、
   前記ゾーンは、第１の方向に少なくとも２つの隣接するゾーンの列があり、前記第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置されるステップと、
   個々に前記ゾーンの各々における物体の存在または不在を感知するために、自動的および時間系列的にセンサー機構を使用するステップと、
   前記ゾーン内の前記物体の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
   前記パターンをイベントに関連するパターン部分にセグメント化するステップと、
   予測されるイベントに関連する履歴データを参照して前記パターン部分を分類するステップとを備える方法。
8. 監視領域内の物体の移動を監視するためのコンピュータプログラムをホスティングするコンピュータ可読媒体であって、前記プログラムは、
   前記領域内を移動している物体の時間系列表現に関連する感知されたデータをセンサー機構から受信するステップであって、前記感知されたデータは複数のゾーンの各々における前記物体の存在または不在に関連するデータを備え、前記ゾーンは第１の方向に少なくとも２つの隣接するゾーンの列があり、前記第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、各ゾーンはゾーンインデックスに関連付けられているステップと、
   前記ゾーン内の前記物体の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
   前記パターンをイベントに関連するパターン部分にセグメント化するステップと、
   予測されるイベントに関連する履歴データを参照して前記パターン部分を分類するステップとを実行し、
   それにより、使用時に前記領域内を少なくとも１つの方向に移動している物体のカウントを出力として提供するコンピュータ可読媒体。
9. 監視領域内の物体の移動を監視するためのコンピュータプログラムをホスティングするファームウェアであって、前記プログラムは、
   前記領域内を移動している物体の時間系列表現に関連する感知されたデータをセンサー機構から受信するステップであって、前記感知されたデータは複数のゾーンの各々における前記物体の存在または不在に関連するデータを備え、前記ゾーンは第１の方向に少なくとも２つの隣接するゾーンの列があり、前記第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、各ゾーンはゾーンインデックスに関連付けられているステップと、
   前記ゾーン内の前記物体の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
   前記パターンをイベントに関連するパターン部分にセグメント化するステップと、
   予測されるイベントに関連する履歴データを参照して前記パターン部分を分類するステップとを実行し、
   それにより、使用時に前記領域内を少なくとも１つの方向に移動している物体のカウントを出力として提供するファームウェア。
10. 監視領域内の物体の移動を監視するためのコンピュータプログラムであって、
    前記領域内を移動している物体の時間系列表現に関連する感知されたデータをセンサー機構から受信するステップであって、前記感知されたデータは複数のゾーンの各々における前記物体の存在または不在に関連するデータを備え、前記ゾーンは第１の方向に少なくとも２つの隣接するゾーンの列があり、前記第１の方向と垂直な方向に少なくとも２つの隣接するゾーンの列があるように配置され、各ゾーンはゾーンインデックスに関連付けられているステップと、
    前記ゾーン内の前記物体の存在または不在の多次元パターンに関連するデータを生成するステップであって、第１の次元は時間であり、第２の次元はゾーンインデックスであるステップと、
    前記パターンをイベントに関連するパターン部分にセグメント化するステップと、
    予測されるイベントに関連する履歴データを参照して前記パターン部分を分類するステップとを実行するように構成され、
    それにより、使用時に前記領域内を少なくとも１つの方向に移動している物体のカウントを出力として提供するコンピュータプログラム。