以下、上記に基本形態について説明した追跡システムおよび追跡方法の具体的な実施形態について、図面を参照して説明する。
図1は、基本形態について説明した追跡システムの具体的な実施形態を示す模式図である。
この図1に示す追跡システム100は、携帯電話機の加入受付や販売等を行なう店舗110内での人物の追跡と、店舗110内でのその人物の行動の記録とを実行するシステムである。
本実施形態の追跡システム100において追跡対象となる店舗110内の人物が、上述の基本形態における移動体の一例に相当する。
尚、この基本形態における移動体は、人物に限るものではなく、例えば、所定の敷地内を移動する車両等といった人物以外の物体であっても良い。
この追跡システム100は、店舗110内に設置された第1から第4までの4種類のセンシング装置120,…,150と、店舗110外に設置された行動履歴記録装置160とを備えている。各センシング装置120,…,150が、上述の基本形態におけるセンシング部の一例に相当する。
第1センシング装置120は、店舗110内全域を視野に納めるカメラ121と、そのカメラ121で得られる撮影画像中の人物について位置の記録等を実行する第1制御装置122とを備えている。また、本実施形態では、カメラ121は、店舗110内を、所定の時間間隔で静止画撮影を繰返し行っている。
第2センシング装置130は、人物によって操作され受付順を示す札番号が記された番号札を発券する発券機131と、その発券機131を操作した人物の位置の記録等を実行する第2制御装置132とを備えている。
第3センシング装置140は、代金支払いの受付け機能を有し売上実績を商品毎に集計するPOS(Point of sale system)141と、POS141で代金支払い等を行った人物の位置の記録等を実行する第3制御装置142とを備えている。この第3センシング装置140のPOS141は、人物が支払いを行なうときに店員によって操作される。
第4センシング装置150は、商品展示エリア110aの床に設置され、踏まれると圧力を検知する3つのマットセンサ151N,151P,151Fを備えている。これら3つのマットセンサ151N,151P,151Fは、商品N、商品P、商品Fという3種類の商品それぞれの商品棚の前に立った人物に踏まれる位置に設置されている。そして、各マットセンサは、1人の人物に踏まれるのに最低限必要なおよそ30cm四方の正方形のマット形状を有している。また、第4センシング装置150は、各マットセンサに接続され、いずれかのマットセンサを踏んだ人物の位置の記録等を実行する第4制御装置152を備えている。
行動履歴記録装置160は、各センシング装置に接続され、各センシング装置で検出される人物の位置に基づいて、その人物の店舗110内での行動を記録する装置である。
以下、各センシング装置が備えている制御装置および行動履歴記録装置160について詳細に説明する。
図2は、図1の追跡システムにおける第1〜第3センシング装置の機能ブロックを示すブロック図である。また、図3は、図1の追跡システムにおける第4センシング装置と行動履歴記録装置160とを示すブロック図である。
まず、カメラ121を備えた第1センシング装置120について説明する。
この第1センシング装置120の第1制御装置122は、移動体検出部122A、位置検出部122B、動線算出部122C、計時部122D、センシング情報格納部122E、および通信部122Fを備えている。
移動体検出部122Aは、カメラ121で所定の時間間隔毎に撮影される各撮影画像中の移動体の像を、店舗110内を移動する人物の像として検出する。尚、移動体の像の検出方法としては、背景差分法、オプティカルフロー、粒子フィルタ等の公知の方法が挙げられるが、ここでは、特に限定しないこととする。
位置検出部122Bは、各撮影画像について得られる検出結果から、店舗110内を移動する人物の、その店舗110における、各撮影画像に対応する位置を検出する。ここで、本実施形態では、人物の位置が、店舗110内を天井から俯瞰したときの、その人物の像の中心点の二次元座標で検出される。
ここで、カメラ121と移動体検出部122Aと位置検出部122Bとを合わせたものが、上述の基本形態における検出部の一例に相当する。
動線算出部122Cは、位置検出部122Bが各撮影画像について検出する二次元座標を時系列に沿って順次に結ぶことで、人物の店舗110における移動経路を表わす動線を求める。
図4は、図2の動線算出部によって人物の店舗における移動経路を表わす動線が求められる様子を模式的に示す図である。
図2の動線算出部122Cは、まず、ある時点での人物の像Ai+1の中心点Ci+1の二次元座標(Xi+1,Yi+1)が位置検出部122Bで検出されると、その二次元座標(Xi+1,Yi+1)と結ぶべき前回の二次元座標(Xi,Yi)を次のように認識する。例えば、店舗110内を複数の人物が移動している場合、撮影画像からは、各人物についての二次元座標が検出される。動線算出部122Cは、前回の撮影画像から検出された二次元座標のうち、ある人物の今回の二次元座標(Xi+1,Yi+1)の所定範囲内の近傍に存在する二次元座標を、その人物の前回の二次元座標(Xi,Yi)に採用する。
そして、動線算出部122Cは、今回の二次元座標(Xi+1,Yi+1)を、その採用された前回の(Xi,Yi)と結ぶ。このような処理が、一定の時間間隔で画像が撮影される度に実行されることで、一人の人物の移動経路を表わす動線L1が求められる。動線算出部122Cは、このように求めた動線L1に属する各二次元座標を、後述するように取得される、その人物を識別する識別情報と対応付けて不図示のメモリに一時的に保管する。
ここで、本実施形態では、図1に示すように、店舗110内には、入口111に隣接し、入退店する人物が必ず通過する範囲(入退店時通過範囲)111aが設定されている。
そして、動線算出部122Cは、動線L1を求めるに当たり、今回の二次元座標が入退店時通過範囲111a内に位置し、かつ、今回の二次元座標に結びつく前回の二次元座標が存在しない場合、今回の二次元座標を、新規に入店した人物の位置であると判定する。動線算出部122Cは、今回の二次元座標を、新規に入店した人物の位置であると判定した場合、その旨を、今回の二次元座標とともにセンシング情報格納部122Eに通知する。
また、動線算出部122Cは、前回、先端が入退店時通過範囲111aに存在していた動線L1について、今回、その先端に結びつく二次元座標が存在しない場合、その動線L1に対応する識別情報の人物が退店したものと判断する。そして、動線算出部122Cは、その識別情報の人物が退店した旨についての判定結果もセンシング情報格納部122Eに通知する。ただし、この場合には、今回の二次元座標が存在しないこととなる。また、この時点では、上記の動線L1が何という識別情報に対応しているかは既に判明している。このため、この場合には、人物が退店した旨についての判定結果と、その人物の識別情報がセンシング情報格納部122Eに通知される。
また、本実施形態では、図1に示すように、店舗110内には、発券機131に隣接し、発券機131を操作する人物が必ず位置する範囲(発券機操作範囲)131aが設定されている。さらに、POS141に隣接し、POS141で代金支払いを行なう人物が必ず位置する範囲(POS支払い範囲)141aが設定されている。また、動線算出部122Cは、上記の3つのマットセンサ151N,151P,151Fそれぞれが設置されている範囲を、各マットセンサに対応する商品を手に取る人物が必ず位置する範囲として認識する。
図4には、発券機操作範囲131a、POS支払い範囲141a、3つのマットセンサ151N,151P,151Fそれぞれの設置範囲が、抽象的な四角領域Sで示されている。
そして、動線算出部122Cは、今回の二次元座標がこのような四角領域S内に存在する場合、動線L1がその四角領域Sに達したと判定する。動線算出部122Cは、このような判定を、発券機操作範囲131a、POS支払い範囲141a、3つのマットセンサ151N,151P,151Fそれぞれの設置範囲について行なう。そして、動線算出部122Cは、このような判定の結果についても今回の二次元座標とともにセンシング情報格納部122Eに通知する。
再び、図2および図3に戻って、この追跡システム100の機能ブロックについての説明を続ける。
この図2に示す第1センシング装置120の計時部122Dは、カメラ121が所定の時間間隔で静止画撮影を行なうときの各撮影時刻を、店舗110内の人物について位置検出が行なわれた検出時刻として計測する。そして、計時部122Dは、その計測した検出時刻を、次回の検出時刻が計測されるまで記憶する。本実施形態では、この計時部122Dが計測して記憶した検出時刻は、後述するようにセンシング情報格納部122Eによって適宜に読み出される。
次に、センシング情報格納部122Eについて説明する。
このセンシング情報格納部122Eは、今回の二次元座標が新規に入店した人物の位置である旨が動線算出部122Cから通知されてきた場合、行動履歴記録装置160に、この新規の人物を識別する識別情報を通信部122Fを使って問い合わせる。また、この問合せの際には、センシング情報格納部122Eは、動線算出部122Cでの判定結果、即ち、この問合せに係る人物が新規に入店した人物である旨を付して問合せを行なう。
そして、この問合せに対して行動履歴記録装置160から通知されてきた識別情報は、センシング情報格納部122Eから上記の動線算出部122Cに渡される。動線算出部122Cは、その識別情報を、今回の二次元座標以降に順次に結ばれて上記のように動線をなす各二次元座標とともに不図示のメモリに一時的に格納する。
以上のような処理により、動線算出部122Cは、1人の人物が入店してから退店するまでの動線を、その人物を識別しながら追って行くこととなる。
ここで、図1の店舗110内では、発券機操作範囲131a、POS支払い範囲141a、3つのマットセンサ151N,151P,151Fそれぞれの設置範囲は、複数の人物で込み合い易い場所である。この様な場所では、ある人物が別の人物の影に隠れて、カメラ121による撮影の死角に入ってしまい、その死角中の人物の二次元座標が一時的に検出できなくなるといった事態が想定される。このような場合には、後で死角を脱した人物の二次元座標が検出されたときに、そのときの二次元座標に結び付けて動線を形成すべき前回の二次元座標が、動線算出部122Cにとって不明となってしまう。言い替えると、今回の二次元座標が、店舗110内のどの人物の位置なのかが動線算出部122Cにとって不明となってしまう。
本実施形態では、動線算出部122Cは、上記の各種範囲内で前回の二次元座標が不明となった場合には、その旨を、今回の二次元座標とともにセンシング情報格納部122Eに通知する。そして、センシング情報格納部122Eは、行動履歴記録装置160に、この今回の二次元座標に位置する人物を識別する識別情報を通信部122Fを使って問い合わせる。また、この問合せの際には、センシング情報格納部122Eは、計時部122Dから今回の検出時刻を読み出して、その今回の検出時刻と今回の二次元座標とを行動履歴記録装置160に通知する。
そして、この問合せに対して行動履歴記録装置160から通知されてきた識別情報は、センシング情報格納部122Eから上記の動線算出部122Cに渡される。動線算出部122Cは、今回の二次元座標を、その渡された識別情報に対応付けて不図示のメモリに一時的に格納する。このような処理により、動線算出部122Cでは、一旦は途切れてしまった1人の人物についての移動経路の追跡が再開されることとなる。
また、センシング情報格納部122Eは、動線算出部122Cから、上述したように、今回の二次元座標が新規に入店した人物の位置であると判定された旨が通知されてきた場合、今回の二次元座標を、その人物の識別情報と対応付けて所定のメモリに格納する。
また、センシング情報格納部122Eは、ある人物の動線が、発券機操作範囲131a等といった上記の各種範囲に達した旨が動線算出部122Cから通知されてきた場合、今回の二次元座標を、その人物の識別情報と対応付けて所定のメモリに格納する。
さらに、センシング情報格納部122Eは、ある人物が退店した旨が動線算出部122Cから通知されてきた場合には、その旨をメモリに格納する。
ここで、センシング情報格納部122Eは、上記のように今回の二次元座標あるいは人物が退店した旨をメモリに格納する際には、計時部122Dから、今回の撮影時刻、即ち、今回の二次元座標の検出時刻あるいは人物の退店時刻を読み出す。そして、センシング情報格納部122Eは、その読み出した今回の検出時刻や退店時刻も、今回の二次元座標や人物が退店した旨に対応付けてメモリに格納する。
このセンシング情報格納部122Eは、上述の基本形態における識別情報検索部の一例に相当する。
また、本実施形態では、センシング情報格納部122Eは、ある識別情報の人物について、入店に係る二次元座標と検出時刻を格納する場合には、その検出時刻にその識別情報の人物が入店した旨を示すイベント情報を生成する。このイベント情報には、人物の入店検出という事象と、その人物の識別情報とが含まれている。そして、センシング情報格納部122Eは、上記の格納時に、その生成したイベント情報を行動記録装置160に送る。
また、センシング情報格納部122Eは、ある識別情報の人物について、退店した旨と退店時刻を格納する場合にも、その退店時刻にその識別情報の人物が退店した旨を示すイベント情報を生成する。このイベント情報には、人物の退店検出という事象と、その人物の識別情報とが含まれている。そして、センシング情報格納部122Eは、上記の格納時に、その生成したイベント情報を行動記録装置160に送る。
次に、発券機131を備えた第2センシング装置130について説明する。
この第2センシング装置130の第2制御装置132は、札番号検出部132A、計時部132B、センシング情報格納部132C、および通信部132Dを備えている。
発券機131は、上述したように、人物によって操作されると札番号が記された番号札を発券する。ここで、本実施形態では、発券機131は、この発券機131を操作する際の人物の立ち位置についての予測の二次元座標を予め記憶している。本実施形態では、この予測の二次元座標として、図2に示す発券機操作範囲131aの中心座標が採用されている。そして、発券機131は、発券する際には、その予め記憶している二次元座標を、この発券機131を操作する人物の位置についての検出結果として札番号検出部132Aに渡す。
この発券機131も、上述の基本形態における検出部の一例に相当する。
札番号検出部132Aは、人物によって操作され発券機131が発券した番号札に記されている札番号を検出する。そして、札番号検出部132Aは、その札番号と、上記のように発券機131から渡された二次元座標とをセンシング情報格納部132Cに渡す。
計時部132Bは、発券機131が人物によって操作されると、その操作時刻を、上記のように人物の位置が検出された検出時刻として計測する。そして、計時部132Bは、その計測した検出時刻を、次に発券機131が操作されてその操作時刻が計測されるまで記憶する。
センシング情報格納部132Cは、札番号検出部132Aから二次元座標を渡されると、その二次元座標に位置して発券機131を操作した人物を識別する識別情報を行動履歴記録装置160に通信部132Dを使って問い合わせる。この問合せの際には、センシング情報格納部132Cは、計時部132Bから上記の検出時刻を読出して、その検出時刻と、札番号検出部132Aから渡された二次元座標とを行動履歴記録装置160に通知する。
この問合せに対して行動履歴記録装置160から上記の人物を識別する識別情報が通知されてくると、センシング情報格納部132Cは、次のような格納処理を行なう。即ち、センシング情報格納部132Cは、札番号検出部132Aから渡された二次元座標、計時部132Bから読み出した検出時刻、および、通知されてきた識別情報とを互いに対応付けてメモリに格納する。
このセンシング情報格納部132Cも、上述の基本形態における識別情報検索部の一例に相当する。
さらに、センシング情報格納部132Cは、上記のような格納の際には、上記の札番号検出部132で検出された札番号の番号札を、上記の検出時刻に上記の識別情報の人物が発券機131で発券した旨を示すイベント情報を生成する。このイベント情報には、番号札発券という事象と、その人物の識別情報と、その番号札の札番号とが含まれている。そして、センシング情報格納部132Cは、上記の格納時に、その生成したイベント情報を行動記録装置160に送る。
次に、POS141を備えた第3センシング装置140について説明する。
この第3センシング装置140の第3制御装置142は、商品検出部142A、計時部142B、センシング情報格納部142C、および通信部142Dを備えている。
POS141は、上述したように、人物による代金支払いの受付け機能を有し売上実績を商品毎に集計する。ここで、本実施形態では、POS141は、このPOS141で代金支払いを行なう際の人物の立ち位置についての予測の二次元座標を予め記憶している。本実施形態では、この予測の二次元座標として、図2に示すPOS支払い範囲141aの中心座標が採用されている。そして、POS141は、代金支払いを受け付ける際には、その予め記憶している二次元座標を、代金支払いを行なう人物の位置についての検出結果として商品検出部142Aに渡す。
このPOS141も、上述の基本形態における検出部の一例に相当する。
商品検出部142Aは、POS141で人物が代金を支払った商品の商品名を検出する。そして、商品検出部142Aは、その商品名と、上記のようにPOS141から渡された二次元座標とをセンシング情報格納部142Cに渡す。
計時部142Bは、POS141で支払いが行なわれると、その時刻を、上記のように人物の位置が検出された検出時刻として計測する。そして、計時部142Bは、その計測した検出時刻を、次にPOS141で支払いが行なわれてその時刻が計測されるまで記憶する。
センシング情報格納部142Cは、商品検出部142Aから渡された二次元座標に位置して代金を支払った人物を識別する識別情報を行動履歴記録装置160に通信部142Dを使って問い合わせる。この問合せの際には、センシング情報格納部142Cは、計時部132Bから上記の検出時刻を読出して、その検出時刻と、商品検出部142Aから渡された二次元座標とを行動履歴記録装置160に通知する。
この問合せに対して行動履歴記録装置160から上記の人物を識別する識別情報が通知されてくると、センシング情報格納部142Cは、次のような格納処理を行なう。即ち、センシング情報格納部142Cは、商品検出部142Aから渡された二次元座標、計時部142Bから読み出された検出時刻、および、通知されてきた識別情報とを互いに対応付けてメモリに格納する。
このセンシング情報格納部142Cも、上述の基本形態における識別情報検索部の一例に相当する。
さらに、センシング情報格納部142Cは、上記のような格納の際には、上記の商品検出部142Aで検出された商品名の商品について、上記の検出時刻に上記の識別情報の人物がPOS141で支払いを行った旨を示すイベント情報を生成する。このイベント情報には、商品購入という事象と、その人物の識別情報と、購入された商品の商品名とが含まれている。そして、センシング情報格納部142Cは、上記の格納時に、その生成したイベント情報を行動記録装置160に送る。
次に、図3に示す3つのマットセンサ151F,151P,151Nを備えた第4センシング装置150について説明する。
この第4センシング装置150の第4制御装置152は、押圧位置検出部152A、計時部152B、センシング情報格納部152C、および通信部152Dを備えている。
3つのマットセンサ151F,151P,151Nは、それぞれ、人物に踏まれるとON状態となりその人物が離れるとOFF状態となる。そして、3つのマットセンサのうちON状態となったマットセンサは、ON状態にある旨を所定の時間間隔毎に、自分が3つのうちのどのマットセンサであるかを示すセンサ識別情報とともに押圧位置検出部152Aに通知する。また、3つのマットセンサのうちON状態からOFF状態になったマットセンサは、直前にON状態を通知したタイミングから上記の時間間隔が経過した後に、OFF状態になった旨をセンサ識別情報とともに押圧位置検出部152Aに通知する。
押圧位置検出部152Aは、3つのマットセンサ151F,151P,151Nそれぞれの設置位置を表わす二次元座標を記憶している。そして、まず、ON状態にある旨がセンサ識別情報とともに通知されてきた場合には、押圧位置検出部152Aは、そのセンサ識別情報が示すマットセンサの設置位置を表わす二次元座標を、そのマットセンサを踏んでいる人物の位置として検出する。そして、この場合には、押圧位置検出部152Aは、そのように検出した人物の位置を表わす二次元座標と、上記のセンサ識別情報が示すマットセンサがON状態にある旨とをセンシング情報格納部142Cに通知する。
また、OFF状態になった旨がセンサ識別情報とともに通知されてきた場合には、押圧位置検出部152Aは、そのセンサ識別情報が示すマットセンサの設置位置を表わす二次元座標を検出する。この二次元座標は、そのマットセンサから人物が離れた時点における、その人物の位置を表している。そして、この場合には、押圧位置検出部152Aは、そのように検出した人物の位置を表わす二次元座標と、上記のセンサ識別情報が示すマットセンサがOFF状態になった旨とをセンシング情報格納部142Cに通知する。
3つのマットセンサ151F,151P,151Nと押圧位置検出部152Aとを合わせたものも、上述の基本形態における検出部の一例に相当する。
計時部152Bは、ON状態にあるマットセンサがその旨を押圧位置検出部152Aに上記の所定間隔毎に通知する時刻を、店舗110内の人物について位置検出が行なわれた検出時刻として計測する。また、ON状態からOFF状態になったマットセンサがその旨を押圧位置検出部152Aに通知する時刻についても、店舗110内の人物について位置検出が行なわれた検出時刻として計測する。そして、計時部152Bは、その計測した検出時刻を、次にいずれかのマットセンサがON状態にある旨あるいはOFF状態になった旨を通知して検出時刻が計測されるまで記憶する。
センシング情報格納部152Cは、ON状態のマットセンサについて所定間隔毎に押圧位置検出部152Aによって行なわれる上記の通知のうち最初の通知が行なわれた時点で、行動履歴記録装置160に、通信部152Dを使って次のような問合せを行なう。即ち、センシング情報格納部152Cは、上記の最初の通知に係る二次元座標に位置する人物を識別する識別情報を行動履歴記録装置160に問い合わせる。この問合せの際には、センシング情報格納部152Cは、計時部152Bからその最初の通知に係る検出時刻を読出して、その検出時刻と、押圧位置検出部152Aから渡された二次元座標とを行動履歴記録装置160に通知する。
この問合せに対して行動履歴記録装置160から上記の人物を識別する識別情報が通知されてくると、センシング情報格納部152Cは、次のような格納処理を行なう。即ち、センシング情報格納部152Cは、上記の最初の通知に係る二次元座標、計時部152Bから読み出された検出時刻、および、通知されてきた識別情報とを互いに対応付けてメモリに格納する。また、2回目以降の通知に係る二次元座標および検出時刻については、センシング情報格納部152Cは、最初の通知についての上記の問合せで得られた識別情報に対応付けた格納を行なう。このような格納は、ON状態である旨が通知されたマットセンサについてOFF状態になった旨が通知されて来るまで、通知の度に繰返し実行される。そして、そのマットセンサについてOFF状態になった旨が通知された後に、再度ON状態である旨が通知された場合には、センシング情報格納部152Cは、もう一度、上記の識別情報の問合せを実行する。
このセンシング情報格納部152Cも、上述の基本形態における識別情報検索部の一例に相当する。
さらに、センシング情報格納部152Cは、上記の最初の通知に係る二次元座標と検出時刻の格納、および、OFF状態になった旨の通知に係る二次元座標と検出時刻の格納の際には、それぞれ次のようなイベント情報を生成する。
まず、最初の通知については、センシング情報格納部152Cは、センサ識別情報が示すマットセンサが、上記の検出時刻に上記の識別情報の人物によってON状態にされた旨を示すイベント情報を生成する。このイベント情報には、センサ識別情報が示すマットセンサがON状態になったという事象と、その人物の識別情報とが含まれている。
次に、OFF状態になった旨の通知については、センシング情報格納部152Cは、センサ識別情報が示すマットセンサが、上記の検出時刻に上記の識別情報の人物によってOFF状態にされた旨を示すイベント情報を生成する。このイベント情報には、センサ識別情報が示すマットセンサがOFF状態になったという事象と、その人物の識別情報とが含まれている。
センシング情報格納部152Cは、最初の通知あるいはOFF状態になった旨の通知についての上記の格納時に生成したイベント情報を行動記録装置160に送る。
次に、行動履歴記録装置160について説明する。
この行動履歴記録装置160は、識別情報検索・付与部161、通信部162、行動検出部163、行動辞書164、および行動履歴記録部165を備えている。
まず、上記の識別情報についての問合せは、通信部162を使って識別情報検索・付与部161で受け取られる。
以下、この問合せに対して識別情報検索・付与部161で実行される処理について説明する。
新規の人物を識別する識別情報の問合せに対しては、識別情報検索・付与部161は、そのような問合せがある度に、「A」から「Z」までのアルファベットを「A」から順次に識別情報として第1センシング装置120に通知する。
また、識別情報検索・付与部161は、一旦途切れてしまった動線の取得を再開する際の第1センシング装置120や、第2〜4センシング装置のうちのいずれかのセンシング装置から識別情報の問合せがあると、次のような識別情報の検索処理を実行する。
図5は、図3の識別情報検索・付与部で実行される識別情報の検索処理を示す模式図である。
この図5には、識別情報の検索処理の一例として、第2センシング装置130から識別情報の問合せがあった場合の検索処理が模式的に示されている。
第2センシング装置130から識別情報の問合せを受けた識別情報検索・付与部161は、他のセンシング装置のセンシング情報格納部に対して次のような検索処理を依頼する。
上述したように各センシング装置が識別情報の問合せを行なう際には、識別情報が不明な人物について検出された二次元座標と検出時刻とが行動履歴記録装置160に通知される。そして、識別情報検索・付与部161は、各センシング情報格納部に対して、それらの二次元座標と時刻との組を検索キーとした検索処理を依頼する。
検索処理を依頼された各センシング情報格納部は、検索キーに属する検出時刻に所定程度近い検出時刻と、検索キーに属する二次元座標に所定程度近い二次元座標とがメモリ内に格納されているか否かを調べる。そして、そのような検出時刻と二次元座標とが見つかったセンシング情報格納部は、それらの検出時刻と二次元座標とに対応付けて格納している識別情報を識別情報検索・付与部161に通知する。
図5の例では、検索キーに属する二次元座標(xs,ys)と時刻tsとの組に対応した二次元座標(xB,yB)と時刻tBに対応する識別情報「B」が、第1センシング装置120のセンシング情報格納部122Bに格納されている。そして、上記の検索処理によって、第1センシング装置120のセンシング情報格納部122Bにおいて識別情報「B」が得られている。そして、この第1センシング装置120のセンシング情報格納部122Bから、検索で得られた識別情報「B」が識別情報検索・付与部161に通知される。一方、上記の検索キーに対応する二次元座標と時刻との組を持たない他のセンシング情報格納部からは、その旨を示す「NULL」情報が識別情報検索・付与部161に通知される。
図3の識別情報検索・付与部161は、このように識別情報を得ると、問合せを行ったセンシング装置に対して、その識別情報を通信部162を使って通知する。
そして、第1センシング装置120が、一旦途切れてしまった動線の取得の再開に当たって上記のように問合せを行った場合には、第1センシング装置120では、その動線がその識別情報が示す人物のものであることを認識した上で動線の取得が再開される。また、他の第2〜4センシング装置が、二次元座標が検出された人物の識別座標について問合せを行った場合には、各センシング情報格納部が、二次元座標、その二次元座標の検出時刻、および受取った識別情報を互いに対応付けて格納する。
本実施形態では、上述した識別情報のやり取りにより、店舗110内での人物の行動が、その人物が誰であるかが各センシング装置で常に把握された状態で追跡されることとなる。
上記の識別情報検索・付与部161が、上述の基本形態における仲介部の一例に相当する。また、上記の各センシング装置が有するセンシング情報格納部は、上述の基本形態における通知部の一例も兼ねている。
以上、説明したように、本実施形態によれば、3つのマットセンサ151N,151P,151F等において人物が込み合い動線検出が一時的に中断しても、上述した識別情報のやり取りによって人物の動線や行動記録を確実に続けることができる。そして、本実施形態の追跡システム100では、カメラ121による撮影の死角が、店舗110内で特に人物が込み合いやすい場所に設置された各種センサによって補われる。その結果、本実施形態では、多数のカメラ121を設置したり、あるいは、店舗110内の多数箇所にマットセンサを設置する等といったコストの増加を招く構成が回避されている。以上のことから、本実施形態の追跡システム100によれば、コストを抑えて確実に人物を追跡することができる。
また、本実施形態では、店舗110内での人物の位置を検出するセンサとして、カメラ121を含むものや、発券機131や、POS141や、マットセンサを含むもの等といった、複数種類のセンサが採用されている。これにより、店舗110内の多様な箇所での人物の位置を、その箇所に応じた適当な検出方法で検出することが可能となっている。
このことは、上述の基本形態に対し、上記複数のセンシング部は、互いに上記検出部による移動体の検出方法が異なる2つ以上のセンシング部を含んでいるという応用形態が好適であることを意味している。
上記の第1〜第4センシング装置120,130,140,150それぞれは、この応用形態におけるセンシング部の一例にも相当している。
また、本実施形態では、人物の識別情報の検索に、その人物の位置を表わす二次元座標と、その二次元座標が検出されたときの検出時刻とが検索キーとして使われる。本実施形態では、これにより、一層確度の高い検索が行なわれることとなっている。
このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記センシング部が、上記検出部で検出された移動体の位置と検出時刻の情報を伴って上記移動体の識別情報の検索命令を行うものとなっている。更に、この応用形態では、上記センシング部が、移動体の識別情報の検索命令を受けると、上記位置と上記検出時刻とを手掛りとして、上記移動体の識別情報を保持しているか否かを判断するものとなっている。
本実施形態の各センシング装置は、この応用形態におけるセンシング部の一例にも相当している。
また、本実施形態の追跡システム100では、第1センシング装置120の動線算出部122Cが、今回、二次元座標が検出された人物が店舗110内に新規に入店してきた人物か否かを判定する。動線算出部122Cは、今回の二次元座標が、入退店時通過範囲111a内に位置し、かつ、今回の二次元座標に結びつく前回の二次元座標が存在しない場合、今回の二次元座標を、新規に入店した人物の位置であると判断する。センシング情報格納部122Eは、その人物の識別情報の問合せを、その人物が新規に入店した人物である旨を付して行なう。そして、識別情報検索・付与部161は、このように判断された人物に対して新たな識別情報を付与し、第1センシング装置122に、その新たな識別情報を通知する。
本実施形態では、このような簡単な処理により、新たな識別情報の付与が必要な新規に入店した人物に対して、新たな識別情報が確実に付与されることとなる。
このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味する。この応用形態では、上記検索命令が、上記複数のセンシング部のうちのいずれのセンシング部でも識別情報が未保持の新たな移動体についての識別情報の検索命令である場合に、上記仲介部が、以下のような処理を実行するものとなっている。仲介部は、このような場合に、上記仲介に加えて、更に上記新たな移動体に対する新たな識別情報の付与と、上記検索命令をしたセンシング部への、上記新たな識別情報の通知とを行なう。
本実施形態の識別情報検索・付与部161は、この応用形態における仲介部の一例にも相当している。
また、本実施形態では、店舗110内での人物の位置を検出する検出部の一例として、人物によって操作される発券機131と、人物が支払いを行なうときに店員によって操作されるPOS141とが採用されている。発券機131とPOS141とのそれぞれは、人物あるいは店員によって操作される際の人物の立ち位置についての予測の二次元座標を予め記憶している。そして、発券機131とPOS141とのそれぞれは、人物あるいは店員によって操作されると、上記の予測の二次元座標を人物の位置についての検出結果として出力する。
このように、本実施形態では、店舗機能の一環として設置される装置が、人物の位置を検出するセンサとして利用されるにより、追跡システム100の導入コストが抑制されている。
このことは上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記複数のセンシング部のうち少なくとも1つのセンシング部が、操作を受ける装置を有し、上記装置が操作を受けたことをもって移動体を検出するものとなっている。
本実施形態の発券機131を有する第2センシング装置130と、POS141を有する第3センシング装置140とのそれぞれは、この応用形態における「1つのセンシング部」の一例にも相当している。
また、本実施形態では、店舗110内での人物の位置を検出する検出部の一例として、カメラ121と移動体検出部122Aと位置検出部122Bとを合わせたものも採用されている。カメラ121での撮影画像から店舗110内での移動体としての人物の位置を検出するこの構成によれば、その人物の移動経路を高精度で追跡することができる。本実施形態では、このように人物の位置を検出するセンサの一つに、このような高精度のセンサを採用することで、追跡システム100全体の精度の向上が図られている。
このことは上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記複数のセンシング部のうち少なくとも1つのセンシング部がカメラを有し、上記カメラで撮影された画像から移動体を検出するものとなっている。
本実施形態のカメラ121等を有する第1センシング部120は、この応用形態における「1つのセンシング部」の一例にも相当している。
また、本実施形態では、店舗110内での人物の位置を検出する検出部の一例として、3つのマットセンサ151F,151P,151Nと押圧位置検出部152Aとを合わせたものも採用されている。マットセンサは、人物が踏んだり離れたりしたときに、ON状態とOFF状態との間で確実に状態遷移が起きることから高感度のセンサである。そして、人物によって踏まれたマットセンサの設置位置をその人物の位置についての検出結果として押圧位置検出部152Aが出力するという構成により、追跡システム100全体の感度の向上が図られている。
このことは上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記複数のセンシング部のうち少なくとも1つのセンシング部が、床に設置されたマットセンサを有し、上記マットセンサが移動体が通過することによって検知するものとなっている。
本実施形態のマットセンサ等を有する第4センシング装置150は、この応用形態における「1つのセンシング部」の一例にも相当している。
次に、図3の行動履歴記録装置160が有する行動検出部163、行動辞書164、および行動履歴記録部165の動作について説明する。
本実施形態では、これらの各部によって、各センシング装置から上述したように送られてくるイベント情報に基づいた人物行動の検出と記録とが実行される。
各センシング装置からのイベント情報は、通信部162を使って行動検出部163で受け取られる。行動検出部163は、その受取ったイベント情報から、例えば人物の入店検出等といった事象を抽出する。そして、行動検出部163は、その抽出した事象を検索キーとして行動辞書164を検索する。
行動辞書164には、各センシング装置でのイベント情報に含まれることが想定される様々な事象と、各事象に対応する人物の行動を表わす行動情報とが互いに対応付けられて記載されている。
図6は、図3の行動辞書を示す図である。
この行動辞書164には、上記の様々な事象が記載される事象記載欄164Aと、各事象に対応する行動情報が記載される行動記載欄164Bとが設けられている。
この図6に示すように、例えば人物の入店検出という事象には、「入店しました」という文章が行動情報として対応付けられている。
また、マットセンサFがON状態にあるという事象には、「商品Fの前に立ちました」という文章が行動情報として対応付けられている。図1を参照して説明したように本実施形態では、3つのマットセンサ151N,151P,151Fは、商品N、商品P、商品Fという3種類の商品それぞれの商品棚の前に立った人物に踏まれる位置に設置されている。つまり、マットセンサFがON状態にあるという事象は、商品Fの商品棚の前に人物が立っていること意味している。このため、図6の行動辞書164では、マットセンサFがON状態にあるという事象に、「商品Fの前に立ちました」という文章が行動情報として対応付けられている。また、同様の理由により、図6の行動辞書164では、マットセンサFがON状態からOFF状態になったという事象に、「商品Fから離れました」という文章が行動情報として対応付けられている。
図3の行動検出部163は、イベント情報から抽出した事象を検索キーとした検索処理により、行動辞書164から、その事象に対応した行動情報を抽出する。そして、行動検出部163は、その抽出した行動情報を、上記のイベント情報とともに行動履歴記録部165に渡す。
行動履歴記録部165は、まず、行動検出部163から渡されたイベント情報から、人物の識別情報、検出時刻を抽出する。また、そのイベント情報が、上記の第2センシング装置130で作成されたものである場合には、発券機131で発券された番号札の札番号も抽出される。また、イベント情報が、上記の第3センシング装置140で作成されたものである場合には、POS141で支払いが行なわれた商品の商品名も抽出される。
そして、行動履歴記録部165は、イベント情報から抽出した識別情報毎に、即ち店舗110内の人物毎に、検出時刻と、その検出時刻におけるその人物の行動を表わす行動文とを記録する。この行動文は、行動履歴記録部165が、行動検出部163から渡された行動情報を、イベント情報から抽出した札番号や商品名等で適宜に編集した文章である。行動履歴記録部165は、このような記録を、行動検出部163からイベント情報が送られてくる度に順次に実行することにより、各人物の店舗110内での一連の行動を表わす行動記録を作成する。
図7は、図3の行動履歴記録部で作成される行動記録の一例を示す図である。
この図7には、図3に模式的に示す2人の人物それぞれについて作成された行動記録が示されている。図7のパート(A)には、識別情報が「A」の人物についての行動記録165Aが示されている。また、図7のパート(B)には、識別情報が「B」の人物についての行動記録165Bが示されている。
各行動記録165A,165Bは、検出時刻が降順で記載される検出時刻記載欄165A_1,165B_1と、各検出時刻に対応する行動文が記載される行動文記載欄165A_2,165B_2とを有している。
尚、図7には、行動文記載欄165A_2,165B_2中の各行動文の作成経緯を分かりやすくするために、行動文の作成に当たってイベント情報から抽出された事象、識別情報等の各情報も示されている。
識別情報が「A」の人物についての行動記録165Aの、検出時刻「10:25:00」に対応する行動文は、「番号札を発券しました」という行動情報が、札番号「**」で編集されて作成されたものである。また、この図7の例では記載されていないが、例えば「商品が購入されました」という行動情報は、商品名「***」によって、「商品名***の商品が購入されました」という行動文に編集されることとなる。
このように、本実施形態では、各センシング装置で人物の位置が検出される度に生成される上記のイベント情報を手掛りに、検出された各位置での人物の行動が上記の行動文として順次に記録される。これにより、後日の商品開発や店舗110内での商品配列の重要な参考となる、店舗110内での人物の一連の行動記録を得ることができる。
このことは上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記センシング部が、上記検出部で検出された移動体の位置に応じたイベント情報を生成して上記イベント情報を出力するイベント出力部を更に有するものとなっている。そして、この応用形態では、この追跡システムが、更に、行動辞書と行動検索部と行動履歴記録部とを備えている。行動辞書は、上記イベント情報と、上記イベント情報に応じた移動体の行動を表わす行動情報とが互いに対応付けられて記載されているものである。行動検索部は、上記行動辞書に記載されている行動情報の中から、上記複数のセンシング部のうちのいずれかのセンシング部から出力されてきた上記イベント情報に対応する行動情報を検索するものである。行動履歴記録部は、上記行動検索部で検索された行動情報を、移動体の識別情報毎に記録するものである。
本実施形態の各センシング装置それぞれが有するセンシング情報格納部は、この応用形態におけるイベント出力部を兼ねた一例にも相当している。また、本実施形態の行動辞書164が、この応用形態における行動辞書の一例に相当する。また、本実施形態の行動検索部163が、この応用形態における行動検索部の一例に相当する。また、本実施形態の行動履歴記録部165が、この応用形態における行動履歴記録部の一例に相当する。
次に、図1の2人の人物それぞれが入店してから、この図7の2つの行動記録165A,165Bが作成されるまでの経緯について説明する。
図8は、識別情報「A」の人物についての行動記録が作成されるまでの経緯を示すフローチャートのうちステップS101からステップS108までを示す図である。また、図9は、識別情報「A」の人物についての行動記録が作成されるまでの経緯を示すフローチャートのうちステップS109からステップS115までを示す図である。この図8および図9のフローチャートが示す経緯が、基本形態について上述した追跡方法の具体的な実施形態に相当する。
まず、第1の人物が入店し、図1の入退店時通過範囲111aを通過すると、第1センシング装置120で、人物の入店が検出される(ステップS101)。
次に、第1センシング装置120から行動履歴記録装置160に、その人物の識別情報についての問合せがなされ、行動履歴記録装置160の識別情報検索・付与部161から第1センシング装置120にその識別情報「A」が通知される(ステップS102)。
第1センシング装置120では、まず、上記のように入店が検出された人物に対して、行動履歴記録装置160から通知されてきた識別情報「A」が付与される(ステップS103)。そして、その付与とともに、センシング情報格納部122Eによって、その人物「A」の入店時の位置を表わす二次元座標と、その二次元座標が検出されたときの検出時刻との格納が行なわれる。さらに、その人物「A」の入店検出という事象を含むイベント情報が生成されて、第1センシング装置120から行動履歴記録装置160に送られる。
行動履歴記録装置160では、行動検出部163が、まず、人物「A」について、入店検出という事象に対応する「入店しました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報をそのまま使って行動文を作成して、上記のイベント情報中の検出時刻と対応付けて図7の行動記録165Aの1行目として記録する(ステップS104)。
一方、第1センシング装置120では、上記のように識別情報が付与された人物「A」の移動経路を表わす動線検出が開始される(ステップS105)。
その後、人物「A」の動線が、図1に示す発券機操作範囲131aに達すると、そのときに検出された人物「A」の位置を表わす二次元座標と検出時刻とがセンシング情報格納部122Eによって格納される(ステップS106)。
そして、人物「A」が発券機131を操作して番号札を発券すると、第2センシング装置130で二次元座標と、発券された番号札の札番号の検出が行なわれる(ステップS107)。そして、第2センシング装置130から、その二次元座標が示す位置に居る人物の識別情報についての問合せが行動履歴記録装置160に行なわれる。このステップS107における行動履歴記録装置160への人物の識別情報についての問合せが、上述の基本形態にいう「不明な移動体の識別情報の検索命令を上記複数のセンシング部と接続する仲介部に出す過程」の一例に相当する。
すると、行動履歴記録装置160の識別情報検索・付与部161が、第2センシング装置130以外の他のセンシング装置に対し、上記の二次元座標と検出時刻とを検索キーとした検索処理を依頼する(ステップS108)。
このステップS108で実行される検索処理の依頼が、上述の基本形態における識別情報検索過程の一例に相当する。
この図8の例では、検索キーに対応した識別情報「A」は、第1センシング装置120のセンシング情報格納部122Eから得られることとなる。そして、この第1センシング装置120が、識別情報検索・付与部161に、その識別情報「A」を通知する。このこのステップS108において実行される、識別情報検索・付与部161への識別情報「A」の通知が、上述の基本形態にいう「上記仲介部に上記不明な移動体の識別情報を通知する過程」の一例に相当する。
ステップS108では、さらに、識別情報検索・付与部161が、このように得た識別情報「A」を第2センシング装置130に通知する。このステップS108において実行される、第2センシング装置130への通知が、上述の基本形態における通知過程の一例に相当する。
第2センシング装置130では、センシング情報格納部132Cが、上記の二次元座標および検出時刻を、識別情報検索・付与部161から通知されてきた識別情報「A」と対応付けて格納する(ステップS109)。さらに、センシング情報格納部132Cは、番号札発券という事象や札番号「**」を含むイベント情報を生成して、行動履歴記録装置160に送る。
行動履歴記録装置160の行動検出部163は、まず、人物「A」について、番号札発券という事象に対応する「番号札を発券しました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報を、札番号を使って編集して「札番号**の番号札を発券しました」という行動文を作成する。そして、行動履歴記録部165は、この行動文を、上記のイベント情報中の検出時刻と対応付けて図7の行動記録165Aの2行目として記録する(ステップS110)。
その後、人物「A」が、図1のマットセンサ「F」151F上に達すると、第1センシング装置120で、そのときに検出された人物「A」の位置を表わす二次元座標と検出時刻とがセンシング情報格納部122Eによって格納される(ステップS111)。
また、人物「A」がマットセンサ「F」151Fを踏むと、第4センシング装置150で二次元座標の検出が行なわれる(ステップS112)。そして、第4センシング装置150から、その二次元座標が示す位置に居る人物の識別情報についての問合せが行動履歴記録装置160に行なわれる。このステップS112における行動履歴記録装置160への人物の識別情報についての問合せも、上述の基本形態にいう「不明な移動体の識別情報の検索命令を上記複数のセンシング部と接続する仲介部に出す過程」の一例に相当する。
すると、まず、行動履歴記録装置160の識別情報検索・付与部161で、上記の二次元座標と検出時刻とを検索キーとした検索処理の依頼が実行される(ステップS113)。
このステップS113で実行される検索処理の依頼も、上述の基本形態における識別情報検索過程の一例に相当する。
図9の例では、検索キーに対応した識別情報「A」は、第1センシング装置120のセンシング情報格納部122Eから得られることとなる。そして、この第1センシング装置120が、識別情報検索・付与部161に、その識別情報「A」を通知する。このこのステップS113において実行される、識別情報検索・付与部161への識別情報「A」の通知も、上述の基本形態にいう「上記仲介部に上記不明な移動体の識別情報を通知する過程」の一例に相当する。
ステップS113では、さらに、識別情報検索・付与部161が、このように得た識別情報「A」を第4センシング装置150に通知する。このステップS113において実行される、第4センシング装置150への通知も、上述の基本形態における通知過程の一例に相当する。
第4センシング装置150では、センシング情報格納部152Cが、上記の二次元座標および検出時刻を、識別情報検索・付与部161から通知されてきた識別情報「A」と対応付けて格納する(ステップS114)。さらに、センシング情報格納部152Cは、マットセンサFがON状態にあるという事象を含むイベント情報を生成して、行動履歴記録装置160に送る。
行動履歴記録装置160の行動検出部163は、まず、人物「A」について、マットセンサFがON状態にあるという事象に対応する「商品Fの前に立ちました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報をそのまま使って行動文を作成し、その行動文を上記のイベント情報中の検出時刻と対応付けて図7の行動記録165Aの3行目として記録する(ステップS115)。
以上に説明した一連の経緯を経て、図7のパート(A)に示す、人物「A」についての行動記録165Aが作成される。
次に、図7のパート(B)に示す、人物「B」についての行動記録165Bが作成されるまでの経緯について説明する。
図10は、識別情報「B」の人物についての行動記録が作成されるまでの経緯を示すフローチャートのうちステップS201からステップS209までを示す図である。また、図11は、識別情報「B」の人物についての行動記録が作成されるまでの経緯を示すフローチャートのうちステップS210からステップS216までを示す図である。この図10および図11のフローチャートが示す経緯も、基本形態について上述した追跡方法の具体的な実施形態に相当する。
まず、識別情報「B」の人物が入店し、図1の入退店時通過範囲111aを通過すると、第1センシング装置120で、人物の入店が検出される(ステップS201)。
次に、第1センシング装置120から行動履歴記録装置160に、その人物の識別情報についての問合せがなされ、行動履歴記録装置160の識別情報検索・付与部161から第1センシング装置120にその識別情報「B」が通知される(ステップS202)。
第1センシング装置120では、まず、上記のように入店が検出された人物に対して、行動履歴記録装置160から通知されてきた識別情報「B」が付与される(ステップS203)。そして、その付与とともに、センシング情報格納部122Eによって、その人物「B」の入店時の位置を表わす二次元座標と、その二次元座標が検出されたときの検出時刻との格納が行なわれる。さらに、その人物「B」の入店検出という事象を含むイベント情報が生成されて、第1センシング装置120から行動履歴記録装置160に送られる。
行動履歴記録装置160では、行動検出部163が、まず、人物「B」について、入店検出という事象に対応する「入店しました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報をそのまま使って行動文を作成して、上記のイベント情報中の検出時刻と対応付けて図6の行動記録165Bの1行目として記録する(ステップS204)。
一方、第1センシング装置120では、上記のように識別情報が付与された人物「B」の移動経路を表わす動線検出が開始される(ステップS205)。
その後、人物「B」が、図1のマットセンサ「N」151N上に達すると、第1センシング装置120で、そのときに検出された人物「B」の位置を表わす二次元座標と検出時刻とがセンシング情報格納部122Eによって格納される(ステップS206)。
そして、ここでの例では、図9の経緯のステップS111で説明したように、人物「A」が、図1のマットセンサ「N」151Nよりもカメラ121側にあるマットセンサ「F」151F上に立っている。その結果、ここでの例では、マットセンサ「N」151N上の人物「B」が、カメラ121から見て、マットセンサ「F」151F上の人物「A」の陰に隠れてしまう。その結果、ここでの例では、カメラ121の撮影画像を用いた第1センシング装置120での動線検出が中断してしまう(ステップS207)。
一方、人物「B」がマットセンサ「N」151Nを踏むと、第4センシング装置150で二次元座標の検出が行なわれる(ステップS208)。そして、第4センシング装置150から、その二次元座標が示す位置に居る人物の識別情報についての問合せが行動履歴記録装置160に行なわれる。このステップS208における行動履歴記録装置160への人物の識別情報についての問合せも、上述の基本形態にいう「不明な移動体の識別情報の検索命令を上記複数のセンシング部と接続する仲介部に出す過程」の一例に相当する。
すると、行動履歴記録装置160の識別情報検索・付与部161が、上記の二次元座標と検出時刻とを検索キーとした検索処理を他のセンシング装置に依頼する(ステップS209)。
このステップS209で実行される検索処理の依頼も、上述の基本形態における識別情報検索過程の一例に相当する。
図10の例では、検索キーに対応した識別情報「B」は、第1センシング装置120のセンシング情報格納部122Eから得られることとなる。そして、この第1センシング装置120が、識別情報検索・付与部161に、その識別情報「B」を通知する。このこのステップS209において実行される、識別情報検索・付与部161への識別情報「B」の通知も、上述の基本形態にいう「上記仲介部に上記不明な移動体の識別情報を通知する過程」の一例に相当する。
ステップS209では、さらに、識別情報検索・付与部161が、このように得た識別情報「B」を第4センシング装置150に通知する。このステップS209において実行される、第4センシング装置150への通知も、上述の基本形態における通知過程の一例に相当する。
第4センシング装置150では、センシング情報格納部152Cが、上記の二次元座標および検出時刻を、識別情報検索・付与部161から通知されてきた識別情報「B」と対応付けて格納する(ステップS210)。さらに、センシング情報格納部152Cは、マットセンサNがON状態にあるという事象を含むイベント情報を生成して、行動履歴記録装置160に送る。
行動履歴記録装置160の行動検出部163は、まず、人物「B」について、マットセンサNがON状態にあるという事象に対応する「商品Nの前に立ちました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報をそのまま使って行動文を作成し、その行動文を上記のイベント情報中の検出時刻と対応付けて図7の行動記録165Bの2行目として記録する(ステップS211)。
その後、人物「B」がマットセンサ「N」151Nの上を離れると、マットセンサ「N」151NがOFF状態となる(ステップS212)。そして、その際には、第4センシング装置150で、マットセンサ「N」151NがOFF状態になったという事象と識別情報「B」を含むイベント情報が生成される。その生成されたイベント情報は、第4センシング装置150から行動履歴記録装置160に送られる。
すると、行動履歴記録装置160の行動検出部163は、まず、人物「B」について、マットセンサNがOFF状態になったという事象に対応する「商品Nから離れました」という行動情報を得る。そして、行動履歴記録部165が、その行動情報をそのまま使って行動文を作成し、その行動文を上記のイベント情報中の検出時刻と対応付けて図7の行動記録165Bの3行目として記録する(ステップS213)。
また、上記のようにマットセンサ「N」151Nから人物「B」が離れることで、この人物「B」がカメラ121の視野内に入ってくることとなり、この新たな人物の位置を表わす二次元座標が検出される(ステップS214)。しかし、第1センシング装置120では、この新たにカメラ121の視野内に入ってきて二次元座標が検出された人物が誰であるか不明となっている。そこで、第1センシング装置120から行動履歴記録装置160に、その二次元座標が示す位置に居る人物の識別情報についての問合せが行動履歴記録装置160に行なわれる。このステップS214における行動履歴記録装置160への人物の識別情報についての問合せも、上述の基本形態にいう「不明な移動体の識別情報の検索命令を上記複数のセンシング部と接続する仲介部に出す過程」の一例に相当する。
すると、行動履歴記録装置160の識別情報検索・付与部161で、上記の二次元座標と検出時刻とを検索キーとした検索処理の依頼が実行される(ステップS215)。
このステップS215で実行される検索処理の依頼も、上述の基本形態における識別情報検索過程の一例に相当する。
図11の例では、検索キーに対応した識別情報「B」は、第4センシング装置150のセンシング情報格納部152Cから得られることとなる。そして、この第4センシング装置150が、識別情報検索・付与部161に、その識別情報「B」を通知する。このこのステップS215において実行される、識別情報検索・付与部161への識別情報「B」の通知が、上述の基本形態にいう「上記仲介部に上記不明な移動体の識別情報を通知する過程」の一例に相当する。
ステップS215では、さらに、識別情報検索・付与部161が、このように得た識別情報「B」を第1センシング装置120に通知する。このステップS215において実行される、第1センシング装置120への通知も、上述の基本形態における通知過程の一例に相当する。
第1センシング装置120では、まず、上記のように新たにカメラ121の視野に入ってきた人物に対して、行動履歴記録装置160から通知されてきた識別情報「B」が付与される(ステップS216)。そして、この識別情報「B」の付与によって、人物「B」の動線検出が再開されることとなる。
以上に説明した一連の経緯を経て、図7のパート(B)に示す、人物「B」についての行動記録165Aが、人物「B」についての動線検出が一時的に中断しながらも問題なく作成されることとなる。
尚、上記では、基本形態について説明した追跡システムの実施形態として、カメラを使った人物の検出を主体とし、その検出の一時的な途切れ等を他の発券機やPOSやマットセンサを使った検出で補うという形態を例示した。しかしながら、基本形態について説明した追跡システムは、この形態に限るものではない。基本形態について説明した追跡システムは、例えば、店舗内の床の主要部分にマットセンサを敷き詰め、マットセンサが設置されていない箇所での検出をカメラ等の他のセンサで補う等といった形態であっても良い。
また、上記では、基本形態について説明した追跡システムの実施形態として、カメラを使った人物の検出を補う箇所として、人物の込み合いが想定される発券機やPOSや商品棚の近傍が採用された形態を例示した。しかしながら、基本形態について説明した追跡システムは、この形態に限るものではない。基本形態について説明した追跡システムは、例えば、カメラによる撮影の死角となる柱の陰等での検出をマットセンサ等の他のセンサで補う等といった形態であっても良い。
また、上記では、上述の基本形態におけるセンシング部の一例として、カメラ121を有する例、発券機131、POS141、および、3つのマットセンサ151F,151P,151Nを有する例を示した。しかしながら、上述の基本形態におけるセンシング部は、これらに限るものではない。この基本形態におけるセンシング部は、例えば、加速度センサや、RFIDタグや、脈拍センサや、赤外センサや、近接センサや、マイク等を有するものであっても良い。加速度センサは、展示商品や商品棚に内蔵させ、人物が商品を手に取ったときの加速度を検知することで、その人物の位置を検出するものである。RFIDタグは、常時、あるいは定期的に電波を発信する電波発信源である。このRFIDタグを用いた例では、人物にこのRFIDタグを持たせ、そのRFIDタグからの電波の検知することにより、その人物の位置が検出される。脈拍センサは、人物が近付くとその人物の脈拍を検知することで、その人物の位置を検出するものである。赤外センサは、人物による赤外線の遮断を検知することで、その人物の位置を検出するものである。近接センサは、人物の近接を検知することで、その人物の位置を検出するものである。
また、上記では、人物の行動を表わす行動文を記録するタイプの応用形態における行動辞書におけるイベント情報と行動情報との例として、人物の入退店や、発券機131やPOS141の操作や、マットセンサのON/OFF等に係る例を示した。しかしながら、上記の応用形態における行動辞書におけるイベント情報と行動情報は、これらの例に限るものではない。この応用形態における行動辞書におけるイベント情報と行動情報としては、例えば、センサとして上述の加速度センサを採用したときの例として、以下に説明するようなものが考えられる。この加速度センサを採用した例では、イベント情報として、商品に貼付された加速度センサで検知される様々な検知波形が挙げられる。そして、各イベント情報、即ち各検知波形に対応する行動情報として、例えば、フタの開閉や左右スイング等といった、各検知波形に対応する様々な操作状態が挙げられる。
以下、上述した基本形態を含む種々の形態に関し、更に以下の付記を開示する。
(付記1)
センシング領域内の移動体を検出する検出部と、不明な移動体が前記検出部で検出された場合に、前記不明な移動体の識別情報の検索命令をする識別情報検索部と、識別情報の検索命令を受けて前記識別情報を保持している場合に前記識別情報を通知する通知部とを有する複数のセンシング部と、
前記複数のセンシング部と接続され、いずれかのセンシング部からの識別情報の検索命令を受けて前記いずれかのセンシング部以外のセンシング部に対し前記識別情報の検索命令をするとともに、前記いずれかのセンシング部以外のセンシング部から前記識別情報の通知を受けて、前記識別情報を、前記いずれかのセンシング部に通知する仲介を行なう仲介部を備えたことを特徴とする追跡システム。
(付記2)
前記複数のセンシング部は、互いに前記検出部による移動体の検出方法が異なる2つ以上のセンシング部を含んでいることを特徴とする付記1記載の追跡システム。
(付記3)
前記検索命令が、前記複数のセンシング部のうちのいずれのセンシング部でも識別情報が未保持の新たな移動体についての識別情報の検索命令である場合に、前記仲介部が、前記仲介に加えて、更に前記新たな移動体に対する新たな識別情報の付与と、前記検索命令をしたセンシング部への、前記新たな識別情報の通知とを行なうことを特徴とする付記1又は2記載の追跡システム。
(付記4)
前記センシング部が、前記検出部で検出された移動体の位置に応じたイベント情報を生成して前記イベント情報を出力するイベント出力部を更に有し、
前記追跡システムが、更に、
前記イベント情報と、前記イベント情報に応じた移動体の行動を表わす行動情報とが互いに対応付けられて記載されている行動辞書と、
前記行動辞書に記載されている行動情報の中から、前記複数のセンシング部のうちのいずれかのセンシング部から出力されてきた前記イベント情報に対応する行動情報を検索する行動検索部と、
前記行動検索部で検索された行動情報を、移動体の識別情報毎に記録する行動履歴記録部とを備えたことを特徴とする付記1から3のうちいずれか1項記載の追跡システム。
(付記5)
前記センシング部が、前記検出部で検出された移動体の位置と検出時刻の情報を伴って前記移動体の識別情報の検索命令を行い、更に、
前記センシング部が、移動体の識別情報の検索命令を受けると、前記位置と前記検出時刻とを手掛りとして、前記移動体の識別情報を保持しているか否かを判断することを特徴とする付記1から4のうちいずれか1項記載の追跡システム。
(付記6)
前記複数のセンシング部のうち少なくとも1つのセンシング部が、操作を受ける装置を有し、前記装置が操作を受けたことをもって移動体を検出することを特徴とする付記1から5のうちいずれか1項記載の追跡システム。
(付記7)
前記複数のセンシング部のうち少なくとも1つのセンシング部がカメラを有し、前記カメラで撮影された画像から移動体を検出することを特徴とする付記1から6のうちいずれか1項記載の追跡システム。
(付記8)
前記複数のセンシング部のうち少なくとも1つのセンシング部が、床に設置されたマットセンサを有し、前記マットセンサが移動体が通過することによって検知することを特徴とする付記1から7のうちいずれか1項記載の追跡システム。
(付記9)
複数のセンシング部のうちのいずれかのセンシング部が不明な移動体を検出した場合に、前記いずれかのセンシング部が前記不明な移動体の識別情報の検索命令を前記複数のセンシング部と接続する仲介部に出す過程と、
前記仲介部が前記検索命令を受けて、前記検索命令をしてきた前記いずれかのセンシング部以外のセンシング部に前記識別情報の検索命令をする識別情報検索過程と、
前記いずれかのセンシング部以外のセンシング部が前記仲介部から前記検索命令を受けて、前記不明な移動体の識別情報を保持している場合に、前記仲介部に前記不明な移動体の識別情報を通知する過程と、
前記仲介部が、前記不明な移動体の識別情報の通知を受けて、前記識別情報を、前記不明な移動体の識別情報の検索命令を行った前記いずれかのセンシング部に通知する通知過程とを有することを特徴とする追跡方法。