JP4677737B2 - 防犯支援システム - Google Patents

Description

本発明は，書店等の小売店の商品に対する盗難防止を支援する防犯支援システムに関する。本発明は，特に，来店者の行動を捉えた映像を監視員に提供し，また，不審人物を自動的に検知してその旨を通知することを特徴とする防犯支援システムに関するものである。

従来より，書店やＣＤショップ等での万引防止策として，非接触タグを利用した防犯支援システムが導入されている。この防犯支援システムでは，非接触タグを各商品に取り付け，出入口にセンサを設置しておく。そして，レジでの支払いを済ませた場合には非接触タグを取り外し，支払をせずに持ち帰ろうとしている場合には，取り付けてある非接触タグにセンサが反応してアラームを発生するという仕組みである。また，防犯カメラを設置し，来店者の行動を監視する防犯支援システムも導入されている。

「映像メディア取得のため把持物体の追跡と移動」伊藤雅嗣他，信学技報ＰＲＭＵ２００２−２６ 「Cue-based camera calibrationwith its practical application to digital image production」Yuji Nakazawa他，信学技報ＩＥ９６−６３ 「動画像中における複数歩行者の追跡技術の開発」山下正人他，画像電子学会研究会２００１−０７ 「複数視点映像による歩行者観測」馬原徳行他，第８回画像センシングシンポジウム

しかし，非接触タグを用いる防犯支援システムでは，各商品へのタグ取り付け作業のコストが掛かるという問題があった。また，出入口でのセンサによるアラームだけでは本当にその退店者が万引を行ったのか確信が持てず，トラブルを避けるために見過ごしてしまうといった問題も生じている。

また，防犯カメラを設置する防犯支援システムでも，監視員を常時配備することは少なく，店員が監視員を兼ねたり，仕事の合間に確認する場合が多い。さらに，カメラを複数台設置している場合にはどのカメラの映像に注目して良いか分からないことから，万引等の問題発生時点での状況把握が困難であり，防犯の効果が低下してしまうという問題があった。

本発明は，従来の防犯支援システムが有する上記問題点に鑑みてなされたものであり，本発明の目的は，書店等の小売店の商品に対する盗難を効率良く防止することの可能な，新規かつ改良された防犯支援システムを提供することである。

上記課題を解決するため，本発明によれば，盗難の対象となる物体の周辺を１台以上のカメラで撮影し，撮影された画像中の各人物が盗難の対象となる物体を所持しているかを判定する物体所持判定部（５）と，カメラの撮影範囲内において各人物を追跡する人物追跡部（６）と，カメラで撮影した画像と物体所持判定部による判定結果とに基づいて，盗難の対象となる物体を所持している人物を特定する映像を表示する表示部（１３）と，を有することを特徴とする，防犯支援システムが提供される（請求項１）。ここで，表示部は，人物を特定するための画像を生成し，カメラで撮影した画像とを重畳するようにしてもよい（請求項２）。

かかる構成によれば，カメラで撮影した画像に対して画像処理を施し，来店者が商品を所持しているかどうかを判断し，監視員に対して商品を所持している来店者が視認できる映像を生成して提供することが可能である。このようにして，監視員は現在どの来店者が商品を所持しているか簡単に視認できるため，注目すべき人物を即座に特定でき，効率の良い防犯が可能となる。

本発明の防犯支援システムにおいて，以下のような応用が可能である。

物体所持判定部（５）は，カメラで撮影した画像中の人物を検出（例えば，画像処理により検出）し，さらに，人物の領域の変化を検出（例えば，画像処理により検出）することにより，盗難の対象となる物体が誰に所持されているかを判断するようにしてもよい（請求項３）。

盗難の対象となる物体には非接触タグが取り付けられており，物体所持判定部（５）は，カメラで撮影した画像中の人物を検出（例えば，画像処理により検出）し，さらに，盗難の対象となる物体が所定位置から離れたかどうかを非接触タグにより検知することにより，盗難の対象となる物体が誰に所持されているかを判断するようにしてもよい（請求項４）。

物体所持者を特定するための情報をカメラで撮影した画像に重畳させるようにしてもよい。ここで，物体所持者を特定するための情報とは，例えば，物体所持者の領域を覆う範囲に矩形や楕円形の線などである。物体所持者を特定するための情報をカメラで撮影した画像に重畳させることにより，盗難の対象となる物体が誰に所持されているかを容易に判断することが可能である。

カメラで撮影した画像中に存在するすべての人物に対して，各人物を特定するための情報を重畳させ，盗難の対象となる物体の所持の有無により各人物を特定するための情報を変更するようにしてもよい。ここで，各人物を特定するための情報とは，例えば，各人物の領域を覆う範囲に矩形や楕円形の線などである。そして，盗難の対象となる物体の所持の有無により，重畳する線の色を変更したりすることにより，盗難の対象となる物体が誰に所持されているかを容易に判断することが可能である。

さらに，すべてのカメラの撮影範囲を含む平面図上において盗難の対象となる物体を所持している人物が視認可能となる平面図映像を生成する平面図映像生成部（１２）を有し，表示部（１３）は，人物を特定する映像および平面図映像を表示するようにしてもよい（請求項５）。重畳映像のみならず平面図映像を表示することにより，容易に監視を行うことができる。

平面図映像生成部（１２）は，各カメラの撮影範囲を平面図上に重畳するようにしてもよい。注目対象の来店者（行動を確認したい人物）を確認するためにはどのカメラを選択すれば良いかを視覚的に把握することができる。

表示部（１３）は，平面図映像と１つ以上の重畳映像とを同時に表示するようにしてもよい。マルチウインドウによりこれらの映像を複数同時に表示することにより，さらに容易に監視を行うことができる。

さらに，行動を確認したい人物を指定するための人物指定部（２１）と，人物指定部により指定された人物の行動が確認可能な映像の再生速度を制御する映像制御部（２２）と，を有するようにしてもよい（請求項６）。かかる構成によれば，監視員が指定した来店者が商品を手にする時点から現在までの映像を監視員に提供することが可能である。このようにして，来店者のこれまでの行動を捉えた映像を確認することが可能となり，商品をカバンに詰め込む等の万引行為を確実に確認できることとなり，効率の良い防犯が実現される。

映像制御部（２２）は，早送り再生またはスロー再生（コマ送り再生）に対応するようにしてもよい。重要な場面（例えば，万引行為等の瞬間）はスロー再生（コマ送り再生）で確実に確認し，その他のあまり重要ではない場面（例えば，移動する場面）は早送り再生で確認するなどすることで，効率的な監視を行うことが可能となる。

映像制御部（２２）は，人物指定部により指定された人物が物体を手に取る場面を確認できる映像を提供するようにしてもよい。例えば，上述のスロー再生（コマ送り再生）や，人物が物体を手に取る場面を拡大した映像を提供することにより，万引行為等があったことについて，監視員が確信を持つことができる。

さらに，人物が通過する仮想ゲートを設定するゲート設定部（３１）と，盗難の対象となる物体を所持する人物がゲート設定部で設定した仮想ゲートを通過したかを判定するゲート通過判定部（３３）と，物体を所持している人物が仮想ゲートを通過した場合に警告（アラーム）を発生させる警告発生部（３４）と，を有するようにしてもよい（請求項７）。かかる構成によれば，商品を所持していながら，レジを通過せずに退店しようとしている人物を検知し，アラームを発生することが可能である。このようにして，商品を所持したままレジを通過せずに退店しようとする人物を検知して監視員に通知することができ，効率の良い防犯が可能となる。

表示部（１３）は，異常が発生したことを知らせる警告機能を有するようにしてもよい。万引等の異常が発生した場合に，音や映像等により異常が発生したことを監視員に知らせる機能を有することで，監視員が表示部を常時監視しなくても済む。このような警告機能は，表示部が画像や音声により警告を発するようにしてもよく，あるいは，表示部の近傍に警告音や警告ランプで警告を知らせる警報装置を配置するようにしてもよい。

また，本発明の他の観点によれば，コンピュータを，上記防犯支援システムのシステム構成要素として機能させるためのプログラムと，そのプログラムを記録した，コンピュータにより読み取り可能な記録媒体が提供される。ここで，プログラムはいかなるプログラム言語により記述されていてもよい。また，記録媒体としては，例えば，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，フレキシブルディスクなど，プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体，あるいは将来用いられるいかなる記録媒体をも採用することができる。

なお上記において，構成要素に付随して括弧書きで記した参照符号は，理解を容易にするため，後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず，本発明がこれに限定されるものではない。

以上説明したように，本発明にかかる防犯支援システムを用いることにより，従来方法よりも効率の良い防犯が可能となる。このような防犯支援システムは，例えば，書店やスーパー等の小売店の万引防止に適応可能である。

以下に添付図面を参照しながら，本発明にかかる防犯支援システムの好適な実施の形態について詳細に説明する。なお，本明細書および図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施の形態）
図１は，第１の実施形態の概略的なシステム配置図である。
図１に示した一例では，小売店において，２台の防犯カメラにより店内全体の状況を撮影しており，商品棚の前に来店者が存在する状態を表している。

カメラエージェント２００（図１の例では，第１のカメラエージェント２００−１，第２のカメラエージェント２００−２）は，防犯カメラ２１０と，画像処理／蓄積装置２２０を含んで構成されている。画像処理／蓄積装置２２０は，防犯カメラ２１０からの映像を処理するとともに，当該防犯カメラ２１０の映像を蓄積する装置である。

管理エージェント３００は，統合／制御装置３１０と，監視員が表示に対する指示を行う入力デバイス３２０と，監視員が望む映像を表示する監視モニタ３３０を含んで構成されている。統合／制御装置３１０は，各カメラエージェント２００−１，２００−２からの処理結果を統合して店舗内全体での人物追跡を行う処理と，監視モニタ３３０に表示する映像の制御を行う装置である。

図１に示した一例では，カメラエージェント２００は２つであるが，１つでもよく，あるいは３つ以上でもよい。すなわち，店舗の規模や商品棚の配置などに応じて，任意の数のカメラエージェントを設置することができる。また，管理エージェント３００は１つであるが，店舗の規模や監視員の数などに応じて，２つ以上でもよい。

図２は，第１の実施形態の概略的な構成図である。
カメラエージェント２００および管理エージェント３００の詳細について，図２を参照しながら説明する。

（カメラエージェント２００）
カメラエージェント２００は，防犯カメラ１と，Ａ／Ｄ変換部２と，映像蓄積部３と，人物領域抽出部４と，物体所持判定部５と，人物追跡部６と，カメラエージェント情報蓄積部７と，重畳映像生成部１１を含んで構成されている。防犯カメラ１は図１の防犯カメラ２１０に相当し，それ以外の構成要素については，図１の画像処理／蓄積装置２１０に相当する。

Ａ／Ｄ変換部２は，防犯カメラ１から取り込む映像の信号を量子化する機能部である。映像蓄積部３は，入力画像を時系列で複数枚保存する機能部である。人物領域抽出部４は，入力画像中から画像処理により来店者の領域を抽出する機能部である。物体所持判定部５は，各来店者が商品を所持しているか判定する機能部である。人物追跡部６は，防犯カメラ１の撮影範囲内での各人物の追跡を行う機能部である。カメラエージェント情報蓄積部７は，人物領域抽出部４と物体所持判定部５と人物追跡部６の結果を保存する機能部である。重畳映像生成部１１は，各来店者が商品を所持しているかどうかを簡単に視認できる画像を，映像蓄積部３の画像とカメラエージェント情報蓄積部７の情報とを利用して生成する機能部である。

（管理エージェント３００）
管理エージェント３００は，情報統合部８と，管理エージェント情報蓄積部９と，映像指定部１０と，平面図映像生成部１２と，表示部１３を含んで構成されている。映像指定部１０は図１の入力デバイス３２０に相当し，表示部１３は図１の監視モニタ３３０に相当し，それ以外の構成要素については，図１の統合／制御装置３１０に相当する。

情報統合部８は，各カメラエージェントで検出された各来店者の情報を統合し，店内全体での各来店者の情報を作成する機能部である。管理エージェント情報蓄積部９は，情報統合部８の結果を保存する機能部である。映像指定部１０は，監視員の要求を受け付ける機能部である。平面図映像生成部１２は，店舗全体を表す平面図映像上での来店者の位置を示す映像を生成する機能部である。表示部１３は，重畳映像生成部１１と平面図映像生成部１２にて生成された映像を表示する機能部である。

本実施形態にかかる防犯支援システム１００は以上のように構成されている。
次いで，本実施形態の動作について，図３〜図１１を参照しながら説明する。

防犯カメラ１から入力されたアナログ映像信号は，Ａ／Ｄ変換部２によりデジタル化された画像データとなり，映像蓄積部３に時系列で複数フレーム保存される。ここで保存される画像には１枚毎に異なる時刻が付与され，時刻から画像を索引することが可能である。ここで用いる時刻はシステム全体で一意の値である。

（人物領域抽出部４）
人物領域抽出部４では，映像蓄積部３に保存された入力画像に画像処理を施して各来店者の領域を抽出する。領域抽出の手法としては，例えば，図３に示した方法を採用することができる。まず，（ａ）来店者が存在しない時点の画像を背景画像として保持する。そして，（ｂ）入力画像と該背景画像の差分を２値化することにより，人物領域を抽出する手法（ｃ）この際，各人物領域に対して，“人物ＩＤ”，“外接矩形情報”を付与する。“人物ＩＤ”としては，画面内の各人物毎に異なる値を割り当てる（図３（ｄ）中の“１”，“２”）。この時点では“人物ＩＤ”は処理フレーム毎に値の割り当てが行われ，時系列で一貫性のないＩＤである。また，“外接矩形情報”としては，抽出された領域の外接矩形の左上座標と右下座標を付与する（図３（ｄ）中の“（２０，２０）”，“（３０，６０）”，“（５０，１０）”，“（６０，５０）”）。

（物体所持判定部５）
物体所持判定部５では，人物領域抽出部４で抽出した各来店者に対し，商品を手に持ったか，また，商品を棚に戻したかを判断する。物体所持の判断手法としては，（１）画像処理により求める方法や，（２）非接触タグを用いるなどの方法がある。

（１）画像処理による方法としては，例えば，可視光カメラ，赤外カメラ，ステレオカメラを用い，色・温度・距離・動きの各情報から物体の所持を判定する手法を採用することができる（参考文献：「映像メディア取得のため把持物体の追跡と移動」伊藤雅嗣他，信学技報ＰＲＭＵ２００２−２６）。（２）非接触タグによる方法としては，例えば，商品１つ１つに非接触タグを取り付け，棚にセンサを設置して商品が棚から離れたかを判断する手法がある。

図４（ａ）に示したように，入力画像中の来店客が物体を持ち上げた場合，図４（ｂ）に示した領域画像において，符号Ａの分だけ来店客の外接矩形が広がる。これにより，物体所持判定部５は，来店者が物体を手に取ったことを判断する。この際，“物体所持タイプ”として，物体を手に取ったと判定された場合に“１”，物体を置いた（元に戻した）と判定された場合に“２”，いずれでもない場合に“０”を割り当てる。そして，“物体所持タイプ”を人物領域抽出部４の結果として得られる各来店者に付与する。

カメラエージェント情報蓄積部７に蓄積されるカメラエージェント情報のフォーマットとしては，図４（ｃ）に示したように，人物領域抽出部４と物体所持判定部５の結果として得られる“人物ＩＤ”，“外接矩形情報”，“物体所持タイプ”に“カメラエージェントＩＤ”，“時刻”，“足元座標”，“物体所持フラグ”を付与したものとすることができる。

ここで，“カメラエージェントＩＤ”は事前にシステム全体で各カメラエージェントが一意となるように割り当てた値である。“時刻”はシステム全体で一意の時刻であり，この値を用いて保存されている画像の索引が可能である。

“足元座標”は実空間座標系での来店者の足元（床面上）の座標値を算出して保存する。画像上の足元の座標値としては，例えば，各来店者の外接矩形の下端の中心を当該座標とすることが考えられる。図５のように，画像座標系における足元の画像座標（ａ，ｂ）を世界座標系における足元の世界座標（ｌ，ｍ，ｎ）を算出する。画像座標から実空間座標系へ変換するためには，キャリブレーション等により，各防犯カメラの画像における各画素の画像座標値と床面上の世界座標値の対応を事前に把握しておく必要がある。この手法としては，例えば，床面上に参照点を４点設定し，世界座標系と画像座標系の変換行列を算出する手法を採用することができる（参考文献：「Cue-based camera calibration with its practical application to digital
image production」Yuji Nakazawa他，信学技報ＩＥ９６−６３）。

“物体所持フラグ”については，以下の人物追跡部６の動作で説明する。

（人物追跡部６）
人物追跡部６では，カメラエージェント情報蓄積部７に蓄積されている現フレームのカメラエージェント情報と前フレームでのカメラエージェント情報を参照して比較することにより，各来店者の追跡を行う。人物追跡手法としては，例えば，人物領域抽出結果に対してグループ化の概念を用いることにより追跡する手法を採用することができる（参考文献：「動画像中における複数歩行者の追跡技術の開発」山下正人他，画像電子学会研究会２００１−０７）。

図６は追跡によるカメラエージェント情報の遷移を説明するための図であり，２人の来店者が存在し，右側の来店者は立ち止まっており，左側の来店者が時刻ｔ−１で商品を手に取った後に移動する場面を表している。（ａ）前フレームでの各来店者の“人物ＩＤ”は“３”と“４”であり，（ｂ）現フレームでの各来店者の“人物ＩＤ”は“５”と“６”である。ここで，例えば，フレーム間において外接矩形の重複率が最大となる人物同士を対応付けする方法を用いると，（ｃ）現フレームの“人物ＩＤ”が“５”の人物と前フレームの“人物ＩＤ”が“３”の人物が同一人物であり，また，現フレームの“人物ＩＤ”が“６”の人物と前フレームの“人物ＩＤ”が“４”の人物が同一人物であると判断される。この結果から，（ｄ）現フレームでの人物ＩＤを対応付けされた前フレームの人物ＩＤに更新する。この際，前フレームに対応付けの対象が存在しない場合には，保存されている人物ＩＤとは異なる人物ＩＤを新規に割り当てる。

ここで，“物体所持フラグ”には，当該人物が物体を所持していない場合には“０”，物体を所持している場合には“１”を代入する。“物体所持フラグ”は初期値“０”であり，図７に示す対応関係により，現フレームのカメラエージェント情報の“物体所持フラグ”を確定する。前フレームまで物体を所持していない場合（“物体所持フラグ”が“０”）において，現フレームで物体を手に取った場合（“物体所持タイプ”が“１”）には“物体所持フラグ”を“１”に更新し，その他の場合には“物体所持フラグ”は“０”のままとする。前フレームまで物体を所持している場合（“物体所持フラグ”が“１”）において，現フレームのカメラエージェント情報として物体を置いた場合（“物体所持タイプ”が“２”）には“物体所持フラグ”を“０”に更新し，その他の場合には“物体所持フラグ”は“１”のままとする。

（カメラエージェント情報蓄積部７）
カメラエージェント情報蓄積部７では，上記処理の結果から，“カメラエージェントＩＤ”，“時刻”，“人物ＩＤ”，“外接矩形情報”，“物体所持タイプ”，“物体所持フラグ”を来店者毎に保存する。

（情報統合部８）
情報統合部８では，各カメラエージェントのカメラエージェント情報蓄積部７から現フレームにおける各来店者のカメラエージェント情報を参照し，店内全域での追跡を行う。カメラエージェントを複数セット用いている場合には，複数のカメラに同時に映っている人物に対して人物同定を行い，システム全体での一貫性を保つ。カメラ間での人物同定手法としては，例えば，各カメラエージェントで検出された各来店者の足元座標（世界座標系）同士の距離を算出し，当該距離が最小となる組み合わせを同一人物として対応付けする手法を採用することができる（参考文献：「複数視点映像による歩行者観測」馬原徳行他，第８回画像センシングシンポジウム）。

（管理エージェント情報蓄積部９）
管理エージェント情報蓄積部９では，情報統合部８の結果として，図８に示したように，“時刻”，“人物ＩＤ”，“足元座標”，“物体所持フラグ”，“カメラエージェント情報”のデータ項目を来店者毎に記録する。ここで，管理エージェント情報の“人物ＩＤ”は各来店者がシステム全体で一意となる値であり，カメラエージェント情報の“人物ＩＤ”の値とは異なる。また，“カメラエージェント情報”として，来店者が映っているカメラを有するカメラエージェントの“カメラエージェントＩＤ”とそのカメラエージェントにおける当該来店者の“人物ＩＤ”を保存する。同一人物が複数のカメラに映っている場合には，適当なカメラエージェントを１つ選択し記録する。選択方法としては，例えば，外接矩形が最大であるカメラエージェントを選択する。

（映像指定部１０）
映像指定部１０では，監視員が確認したい映像として，確認したい防犯カメラを有するカメラエージェントや平面図画像を指定し，該当するカメラエージェントの重畳映像生成部１１や平面図映像生成部１２に画像配信を要求する。

（重畳映像生成部１１）
重畳映像生成部１１では，映像指定部１０からの映像配信要求を受けた場合，当該カメラエージェントの防犯カメラが撮影した画像を映像蓄積部３から読み取り，また，カメラエージェント情報蓄積部７を参照し，現在商品を所持している人物の視認が可能となるような映像を生成し，表示部１３に送信する。例えば，“物体所持フラグ”が“１”である来店者の“外接矩形情報”を利用し，当該来店者の外接矩形に色を付け，入力画像に重ね合せた映像を生成する。

図９は，重畳映像生成部１１が生成した映像の一例であり，物体所持人物が視認可能な映像の例を示している。図９には，２人の来店者が存在し，（ａ）時刻ｔ−２ではまだどちらも商品を所持しておらず，（ｂ）時刻ｔ−１で手前の来店者が商品を手に取ったことにより，当該人物の領域の外接矩形を画像に重ねて表示している。（ｃ）時刻ｔでは，商品は画像に映っていないが，上述した“物体所持フラグ”の遷移ルールにより，商品を元に戻していないと判断された場合，映っていない部分で物体を所持し続けている（例えば，脇に抱える，バッグに入れる等）と判断し，ここでも当該人物の領域の外接矩形を重ねた画像を生成する。

（平面図映像生成部１２）
平面図映像生成部１２では，画像座標を世界座標に変換することにより，店内全体の平面図（鳥瞰図）上での来店者の位置を示す映像を生成する。この際，図１０に示したように，該画像においてもどの来店者が商品を所持しているかを区別した画像を生成する。また，図１１に示したように，各カメラ（第１のカメラ，第２のカメラ）の撮影範囲を付加した映像を提供することにより，注目対象の来店者を確認するためにはどのカメラを選択すれば良いかが視覚的に把握できる。

（表示部１３）
表示部１３では，重畳映像生成部１１および平面図映像生成部１２で生成された来店者の商品の所持の確認が可能な画像（図９，図１０，図１１）を表示する。この際，マルチウィンドウによりこれらの映像を複数同時に表示することにより，確認がさらに容易となる。

（第１の実施形態の効果）
以上説明したように，第１の実施形態にかかる防犯支援システムによれば，監視員は現在どの来店者が商品を所持しているか簡単に視認できるため，注目すべき人物を即座に特定でき，効率の良い防犯が可能となる。

（第２の実施形態）
図１２は，第２の実施形態の概略的な構成図である。本実施形態は，図１２に示したように，第１の実施形態の概略的な構成図（図２）に対し，人物指定部２１と映像制御部２２を追加したものである。図１に示したシステム配置図では，人物指定部２１と映像制御部２２は，統合／制御装置３１０に含まれる。

人物指定部２１は，監視員が行動を確認したい人物を指定する機能部である。映像制御部２２は，指定された人物の行動が確認可能な映像の再生速度を制御する機能部である。

第１の実施形態ですでに説明した構成要素については，本実施形態でも実質的に同一の機能構成を有する。このため，同一の符号を付することにより重複説明を省略する。

次いで，本実施形態の動作について，図１３，図１４を参照しながら説明する。

（人物指定部２１）
人物指定部２１では第１の実施形態で説明したような物体所持の視認が可能となる映像を監視員が確認し，当該画像中からこれまでの行動をさらに確認したい来店者を監視員が指定する。人物の指定方法としては，例えば，図１０のような平面図画像において確認したい来店者のマーク付近をマウス等でポインタを移動しクリックすることで指定するＧＵＩを提供する。この際，管理エージェント情報を参照して指定した来店者が商品を所持し始めた時刻を検出し，商品所持時刻とする。

（映像制御部２２）
映像制御部２２では，商品所持時刻を参考に，監視員が表示したい時刻を指定する。このようにして指定された人物と時刻に関し，管理エージェント情報蓄積部９に保存されている管理エージェント情報を参照し，適切なカメラエージェントに映像を要求する。

図１３，図１４は指定した人物の映像の表示方法を説明するための図である。この例では，図１３に示したように，商品棚の両側にカメラを設置し，第１のカメラエージェント２００−１のカメラエージェントＩＤを“１”とし，第２のカメラエージェント２００−２のカメラエージェントＩＤを“２”とする。

この設置例に対して，図１４では，時刻０１：０２：０４，０１：０２：０５，０１：０２：０６の３フレームについて処理した結果を示す。（ａ）第１のカメラエージェント２００−１では，時刻０１：０２：０４での左側の来店者の“人物ＩＤ”を“１”とし，右側の来店者の“人物ＩＤ”を“２”として追跡を行う。“人物ＩＤ”が“１”の来店者は時刻０１：０２：０４で商品を所持した後，右に移動している。

（ｂ）この場面に対して，反対側の第２のカメラエージェント２００−２では，時刻０１：０２：０４での左側の来店者の“人物ＩＤ”を“５”とし，右側の来店者の“人物ＩＤ”を“６”として追跡を行う。ここで，第１のカメラエージェント２００−１の“人物ＩＤ”が“１”の来店者と第２のカメラエージェント２００−２の“人物ＩＤ”が“６”の来店者は同一人物であり，第１のカメラエージェント２００−１の“人物ＩＤ”が“２”の来店者と第２のカメラエージェント２００−２の“人物ＩＤ”が“５”の来店者は同一人物である。

（ｃ）管理エージェント情報では，システム全体で一意となる人物ＩＤを割り当てており，第１のカメラエージェント２００−１の“人物ＩＤ”が“１”の来店者の，管理エージェント情報の“人物ＩＤ”を“３”とし，第１のカメラエージェント２００−１の“人物ＩＤ”が“２”の来店者の，管理エージェント情報の“人物ＩＤ”を“４”としている。

（ｄ）ここで，監視員が管理エージェント情報での“人物ＩＤ”が“３”の来店者を指定した場合，管理エージェント情報のカメラエージェント情報より，時刻０１：０２：０４および時刻０１：０２：０５に関しては第１のカメラエージェント２００−１に映像を要求し，時刻０１：０２：０６に関しては第２のカメラエージェント２００−２に映像を要求する。このような手法により，指定した来店者がカメラを跨いで移動する場合にもシームレスな映像が提供でき，監視員は複数のカメラを意識することなく映像を操作することが可能となる。

この際，監視員が時刻を任意に選択することができることから，コマ送りや早送りといった制御が可能となる。従って，監視員は指定した来店者の商品所持時刻を参考に，当該来店者が商品を手に持つ瞬間をしっかり確認し，その後のあまり重要ではない移動する場面は早送りで簡単に確認することが可能となる。また，商品を手に持つ時点付近の映像は通常の再生速度で表示し，その他のあまり重要ではない移動中の画像は早送りで表示するという映像を自動的に提供する方法もある。

映像制御部２２から時刻を受け取ったカメラエージェントの重畳映像生成部１１は，映像蓄積部３に蓄積されている当該時刻の画像とカメラエージェント情報蓄積部７に保存されている当該時刻における指定された来店者の外接矩形を重畳した映像を生成する。

表示部１３では，上記手法により，監視員が指定した来店者に対して，当該来店者が複数カメラ間に掛かって移動している場合であっても，当該来店者のこれまでの行動を捉えた映像を監視員の望む速度で表示する。

（第２の実施形態の効果）
以上説明したように，第２の実施形態にかかる防犯支援システムによれば，来店者のこれまでの行動を捉えた映像を確認することが可能となり，商品をカバンに詰め込む等の万引行為を確実に確認できることとなり，効率の良い防犯が実現される。

（第３の実施形態）
図１５は，第３の実施形態の概略的な構成図である。本実施形態は，図１５に示したように，第２の実施形態の概略的な構成図（図１２）に対し，ゲート設定部３１とゲート情報蓄積部３２とゲート通過判定部３３とアラーム発生部３４を付加したものである。
図１に示したシステム配置図では，ゲート設定部３１とゲート情報蓄積部３２とゲート通過判定部３３は，統合／制御装置３１０に含まれる。また，アラーム発生部３４は，表示部３３０に含まれるか，あるいは，表示部３３０の近傍に配置される。

ゲート設定部３１は，人物の仮想ゲートを設定する機能部である。ゲート情報蓄積部３２は，ゲート設定部３１で設定した仮想ゲートの情報を蓄積する機能部である。ゲート通過判定部３３は，盗難の対象となる物体を所持する人物がゲート設定部３１で設定した仮想ゲートを通過したか判定する機能部である。アラーム発生部３４は，物体所持人物が仮想ゲートを通過した場合にアラームを発生させる機能部である。

第１，第２の実施形態ですでに説明した構成要素については，本実施形態でも実質的に同一の機能構成を有する。このため，同一の符号を付することにより重複説明を省略する。

次いで，本実施形態の動作について，図１６，図１７を参照しながら説明する。

（ゲート設定部３１）
ゲート設定部３１では，店内全域を表す平面図画像上において仮想ゲートをレジや出入口等の通過を確認した場所に設定する。例えば，図１６のように，出入口に第１の仮想ゲートを，レジに第２の仮想ゲートを設定する。

（ゲート情報蓄積部３２）
ゲート情報蓄積部３２では，ゲート設定部３１で図面画像上に設定した仮想ゲートの情報を保存する。

（ゲート通過判定部３３）
ゲート通過判定部３３では，管理エージェント情報から店内を移動する来店者が，ゲート情報蓄積部３２に保存された仮想ゲートと交差したかを判定する。図１７は，仮想ゲートの通過判断を示す説明図である。図１７の右上の来店者Ａのように，商品を所持したまま，出入口の第１の仮想ゲートを通過した場合，盗難の可能性があるものと判断し，アラーム発生部３４に信号を送信する。また，図１７の右下の来店者Ｂのように，商品を所持した来店者がレジに設定した第２の仮想ゲートを通過した場合には，商品を購入すると判断し，当該来店者の商品所持フラグを“０”に変更する。

（アラーム発生部３４）
アラーム発生部３４では，通過判定部３３から信号を受けた場合にアラームを発生し，監視員に注意を促す。監視員はその時点の平面図映像や重畳映像を見ることにより，どの来店者がレジを通らずに退店しようとしているのか確認することができる。この際，監視員は，当該来店者に対して，第２の実施形態で説明した方法により，行動を詳しく確認することも可能である。

（第３の実施形態の効果）
以上説明したように，第３の実施形態にかかる防犯支援システムによれば，商品を所持したままレジを通過せずに退店しようとする人物を検知して監視員に通知することができ，効率の良い防犯が可能となる。

以上，添付図面を参照しながら本発明にかかる防犯支援システムの好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，第３の実施形態において，アラーム発生部３４を有するシステムについて説明したが，異常が発生したことを知らせる警告機能を，第１，第２の実施形態にも有するようにしてもよい。このような警告機能は，例えば図１に示したシステム配置図では，表示部３３０に持たせることができる。すなわち，図１８（ａ）に示したように，表示部３３０が画像や音声により警告を発するようにしてもよく，あるいは，図１８（ｂ）に示したように，表示部３３０の近傍に警告音や警告ランプで警告を知らせる警報装置３３５を配置するようにしてもよい。第３の実施形態におけるアラーム発生部３４も，図１８に示したような構成とすることができる。

本発明は，書店等の小売店の商品に対する盗難防止を支援する防犯支援システムとして利用可能である。

第１の実施形態の概略的なシステム配置を示す説明図である。 第１の実施形態の概略的な構成を示す説明図である。 背景差分による人物領域抽出を示す説明図である。 カメラエージェント情報のデータ構造を示す説明図である。 足元座標を示す説明図である。 カメラエージェント情報の遷移を示す説明図である。 物体所持フラグの遷移を示す説明図である。 管理エージェント情報を示す説明図である。 物体所持人物が視認可能な映像の例を示す説明図である。 物体所持人物が視認可能な映像の例を示す説明図である。 各カメラの撮影範囲が視認可能な映像の例を示す説明図である。 第２の実施形態の概略的な構成を示す説明図である。 第２の実施形態の概略的な構成を示す説明図である。 指定人物の映像表示方法を示す説明図である。 第３の実施形態の概略的な構成を示す説明図である。 仮想ゲートの設定例を示す説明図である。 仮想ゲートの通過判断を示す説明図である。 表示部の警告機能を示す説明図である。

符号の説明

１ 防犯カメラ
２ Ａ／Ｄ変換部
３ 映像蓄積部
４ 人物領域抽出部
５ 物体所持判定部
６ 人物追跡部
７ カメラエージェント情報蓄積部
８ 情報統合部
９ 管理エージェント情報蓄積部
１０ 映像要求部
１１ 重畳映像生成部
１２ 平面図映像生成部
１３ 表示部
２１ 人物指定部
２２ 映像制御部
３１ ゲート設定部
３２ ゲート情報蓄積部
３３ 通過判定部
３４ アラーム発生部
１００ 防犯支援システム
２００ カメラエージェント
２１０ 防犯カメラ
２２０ 画像処理／蓄積装置
３００ 管理エージェント
３１０ 統合／制御装置
３２０ 入力デバイス
３３０ 監視モニタ

Claims (7)

1. 盗難の対象となる物体の周辺を１台以上のカメラで撮影し，撮影された画像中の各人物が盗難の対象となる物体を所持しているかを判定する物体所持判定部と，
   前記カメラの撮影範囲内において各人物を追跡する人物追跡部と，
   前記カメラで撮影した画像と前記物体所持判定部による判定結果とに基づいて，前記盗難の対象となる物体を所持している人物を特定する映像を表示する表示部と，
   を有することを特徴とする，防犯支援システム。
2. 前記表示部は，前記人物を特定するための画像を生成し，前記カメラで撮影した画像とを重畳することを特徴とする，請求項１に記載の防犯支援システム。
3. 前記物体所持判定部は，前記カメラで撮影した画像中の人物を検出し，さらに，前記人物の領域の変化を検出することにより，前記盗難の対象となる物体が誰に所持されているかを判断することを特徴とする，請求項１または２に記載の防犯支援システム。
4. 前記盗難の対象となる物体には非接触タグが取り付けられており，
   前記物体所持判定部は，前記カメラで撮影した画像中の人物を検出し，さらに，前記盗難の対象となる物体が所定位置から離れたかどうかを前記非接触タグにより検知することにより，前記盗難の対象となる物体が誰に所持されているかを判断することを特徴とする，請求項１または２に記載の防犯支援システム。
5. さらに，
   すべての前記カメラの撮影範囲を含む平面図上において前記盗難の対象となる物体を所持している人物が視認可能となる平面図映像を生成する平面図映像生成部を有し，
   前記表示部は，前記人物を特定する映像および前記平面図映像を表示することを特徴とする，請求項１〜４のいずれかに記載の防犯支援システム。
6. さらに，
   行動を確認したい人物を指定するための人物指定部と，
   前記人物指定部により指定された人物の行動が確認可能な映像の再生速度を制御する映像制御部と，
   を有することを特徴とする，請求項１〜５のいずれかに記載の防犯支援システム。
7. さらに，
   人物が通過する仮想ゲートを設定するゲート設定部と，
   前記盗難の対象となる物体を所持する人物が前記ゲート設定部で設定した仮想ゲートを通過したかを判定するゲート通過判定部と，
   前記物体を所持している人物が前記仮想ゲートを通過した場合に警告を発生させる警告発生部と，
   を有することを特徴とする，請求項１〜６のいずれかに記載の防犯支援システム。

Images