JP2017182654A - 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 - Google Patents

Abstract

【課題】施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができるようにする。【解決手段】撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す活動情報を取得する活動情報取得部と、施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部５３と、活動情報に基づき、対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部５４と、指標化情報に基づき、対象エリアにおける全体的な動体の活動状況を表すダイジェスト画像を生成する活動状況表示画像生成部５５と、活動状況表示画像を施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部５８と、を備えたものとする。【選択図】図６

Description

本発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法に関するものである。

コンビニエンスストアなどの店舗においては、店舗内での顧客の行動に関する分析に基づいて、店舗経営上の改善策、具体的には売場ごとの商品の種類の見直しや商品の陳列方法などに関する改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。一方、コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの撮像画像で店舗内の状況を監視する監視システムが広く普及しており、このカメラの撮像画像を利用して、店舗内での顧客の行動に関する分析を情報処理装置に行わせるようにすると、店舗経営上の改善策の検討作業を効率よく行うことができる。

このようなカメラの撮像画像を利用して人物の行動に関する分析を行う技術として、従来、カメラの撮像画像などに基づいて、監視エリア内の各位置における人物の活動レベルを取得して、その活動レベルを可視化した活動マップを生成する技術が知られている（特許文献１参照）。この技術では、活動マップが、人物の活動レベルに応じて等高線状に色分けされた状態で、監視エリアの配置図上に重畳して表示されるようになっており、特に、活動レベルを時間帯ごとに集計することで、時間帯ごとの活動マップが表示されるようにしている。

特開２００９−１３４６８８号公報

さて、前記従来の技術では、監視エリアにおける人物の全体的な活動状況を時間帯ごとに把握することは容易にできるものの、活動マップが複雑な形状で表示されるため、監視エリア内でユーザが特に注目する特定のエリアにおける人物の活動状況を即座に把握することができないという問題があった。特に、店舗管理者は、商品種別や陳列区分などに基づいて区画された売場単位に顧客の活動傾向を把握したいといった要望があるが、前記従来の技術は、このような要望に応えることができないものであった。

そこで、本発明は、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法を提供することを主な目的とするものである。

本発明の施設内活動分析装置は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の施設内活動分析システムは、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の施設内活動分析方法は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定し、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成し、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成し、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する構成とする。

本発明によれば、施設内でユーザが注目するエリアを対象エリアに設定することで、その対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像が施設マップ画像に重ね合せた状態で表示されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

第１実施形態に係る施設内活動分析システムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 店舗マップ画像上に設定される対象エリア、および店舗マップ画像上に対象エリアのダイジェスト画像を重畳して表示した状態を示す説明図 カメラ１およびサーバ装置２で行われる処理の概要を示す説明図 カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図 カメラ１およびサーバ装置２の機能ブロック図 サーバ装置２で生成されてユーザ端末装置３に表示される統合管理画面を示す説明図 サーバ装置２で生成されてユーザ端末装置３に表示されるマップ表示画面を示す説明図 時系列ヒートマップの表示項目を選択した際に表示される関連情報表示画面を示す説明図 ヒストグラムの表示項目を選択した際に表示される関連情報表示画面を示す説明図 グラフの表示項目を選択した際に表示される関連情報表示画面を示す説明図 カメラ画像の表示項目を選択した際に表示される関連情報表示画面を示す説明図 商品陳列状態の表示項目を選択した際に表示される関連情報表示画面を示す説明図 相関関係の表示項目を選択した際に表示される関連情報表示画面を示す説明図 細密化の表示項目を選択した際に表示されるマップ表示画面を示す説明図

前記課題を解決するためになされた第１の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、施設内でユーザが注目するエリアを対象エリアに設定することで、その対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像が施設マップ画像に重ね合せた状態で表示されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

また、第２の発明は、前記対象エリア設定部は、ユーザの入力操作に応じて、ユーザが指定する任意の形状に前記対象エリアを設定する構成とする。

これによると、ユーザが対象エリアの形状を自由に指定することができる。

また、第３の発明は、前記活動情報は、前記対象エリアに滞在した人物の人数である滞在人数、および前記対象エリアに人物が滞在した時間である滞在時間の少なくともいずれかに関するものである構成とする。

これによると、滞在人数や滞在時間を表す活動状況表示画像が表示されるため、施設内でユーザが注目するエリアにおける滞在人数や滞在時間をユーザが即座に把握することができる。

また、第４の発明は、前記活動状況表示画像生成部は、前記活動状況表示画像の細密化をユーザが指定する操作に応じて、前記活動情報に基づき、前記対象エリア内の各位置における動体の活動状況を表す細密化活動状況表示画像を生成し、前記出力情報生成部は、前記細密化活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を生成する構成とする。

これによると、ユーザの必要に応じて細密化活動状況表示画像が表示されるため、対象エリアにおける動体の活動状況をユーザが詳しく把握することができる。

また、第５の発明は、前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せて表示するマップ表示部、および前記活動情報の観測期間をユーザに指定させる操作部を有する活動状況表示画面に関する前記出力情報を生成し、前記活動情報取得部は、ユーザにより指定された前記観測期間で生成された前記活動情報を取得する構成とする。

これによると、活動情報の観測期間をユーザが自由に指定することができるため、所要の期間における動体の活動状況を表す活動状況表示画像を表示させることができる。

また、第６の発明は、更に、施設内の状況に関する統計情報を生成する統計情報生成部を、備え、前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せた前記表示情報と、前記活動状況表示画像に関連する前記統計情報を関連情報として表示させる表示情報と、を含む出力情報を生成する構成とする。

これによると、活動状況表示画像に関連する統計情報が関連情報として表示されるため、施設内の種々の状況をユーザが多様な観点から把握することができる。

また、第７の発明は、前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せて表示するマップ表示部、および前記関連情報の表示項目を選択させる選択部を有する活動状況表示画面に関する前記出力情報を生成し、前記選択部で表示項目をユーザが選択する操作に応じて、選択された表示項目の前記関連情報を表示する関連情報表示画面に関する前記出力情報を生成する構成とする。

これによると、関連情報表示画面に表示させる関連情報をユーザが自由に選択することができる。

また、第８の発明は、更に、前記施設内を撮像したカメラ画像を取得するカメラ画像取得部を、備え、前記出力情報生成部は、前記対象エリアに関連する複数の前記カメラ画像を時系列で配列した前記表示情報を生成する構成とする。

これによると、関連情報表示画面にカメラ画像が表示されるため、対象エリアに関連する施設内の実際の状況を観察することができる。

また、第９の発明は、前記出力情報生成部は、時系列で配列された複数の前記カメラ画像を選択可能に表示する関連情報表示画面に関する前記出力情報を生成し、前記関連情報表示画面において前記カメラ画像をユーザが選択する操作に応じて、選択された前記カメラ画像を前記関連情報表示画面において拡大表示させる構成とする。

これによると、注目するカメラ画像を拡大表示させることで、施設内の実際の状況を詳しく観察することができる。

また、第１０の発明は、更に、前記カメラ画像に基づき、前記施設としての店舗において前記対象エリアに関連する陳列エリアにおける商品の陳列状態を判定する陳列状態判定部を、備え、前記出力情報生成部は、前記陳列状態判定部による判定結果に基づき、前記陳列エリアにおける商品の陳列状態を表す図表を表示させる表示情報を生成する構成とする。

これによると、商品の陳列状態を表す図表が表示されるため、対象エリアに関連する陳列エリアにおける商品の陳列状態をユーザが把握することができる。

また、第１１の発明は、前記出力情報生成部は、前記陳列エリアにおける商品の陳列状態を表す図表と、前記対象エリアに関連する前記カメラ画像とを並べて表示させる前記表示情報を生成する構成とする。

これによると、対象エリアに関連するカメラ画像により、対象エリアに関連する陳列エリアにおける商品の実際の陳列状態をユーザが把握することができる。

また、第１２の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる。

また、第１３の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定し、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成し、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成し、前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する構成とする。

これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る施設内活動分析システムの全体構成図である。

この施設内活動分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗（施設）ごとに設けられたカメラ１と、サーバ装置（施設内活動分析装置）２と、ユーザ端末装置３と、を備えている。

カメラ１は、店舗内の適所に設置され、店舗内を撮像する。このカメラ１は、店舗内ネットワーク、ルータ４およびＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークを介してサーバ装置２に接続されている。また、カメラ１では、店舗内を撮像した画像から人物を除去する画像処理などが実施され、この画像処理で得られたカメラ画像（処理画像）がカメラ１から出力される。

サーバ装置２は、店舗内での顧客の活動状況に関する分析を行うものである。このサーバ装置２は、店舗内に設置されたカメラ１から送信されるカメラ画像などを受信する。また、サーバ装置２は、インターネットを介してユーザ端末装置３に接続されており、分析結果情報の閲覧画面を生成してユーザ端末装置３に配信し、また、ユーザが閲覧画面で入力した情報を取得する。

ユーザ端末装置３は、店舗側のユーザ、例えば店長や、本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが、サーバ装置２で生成した分析結果情報を閲覧するものであり、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置３では、サーバ装置２から配信される分析結果情報の閲覧画面が表示される。

次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口、陳列棚、およびレジカウンタなどが設けられている。陳列棚は、ファーストフード（ＦＦ）、米飯（おにぎり、弁当、寿司などの商品）、ベーカリー、デザート、ドリンク、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の区分（種類）に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。

また、店舗には、売場を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、売場の陳列棚などに陳列された商品や、売場に滞在する顧客などを撮影することができる。

なお、カメラ１では、魚眼画像の中心部を含まない画像領域上に４つの対象エリアを設定し、その４つの対象エリアの映像を魚眼映像から切り出して、その４つの対象エリアの映像に対して歪み補正を実施して得られる４画ＰＴＺ画像の他、１画ＰＴＺ画像、ダブルパノラマ画像、単一パノラマ画像などを出力することができる。１画ＰＴＺ画像は、魚眼画像上に１つの対象エリアを設定し、その対象エリアの画像を魚眼画像から切り出して、その画像に対して歪み補正を実施することで得られる。ダブルパノラマ画像は、魚眼画像の中心部を除くリング状の画像領域を２分割した状態で画像を切り出して、その画像に対して歪み補正を実施することで得られる。単一パノラマ画像は、魚眼映像の中心に対して対称位置にある弓形状の画像領域を除いた映像を魚眼画像から切り出して、その画像に対して歪み補正を実施することで得られる。

次に、対象エリアおよびダイジェスト画像について説明する。図３（Ａ）は、店舗マップ画像上に設定される対象エリアを示す説明図である。図３（Ｂ）は、店舗マップ画像上に対象エリアのダイジェスト画像を重畳して表示した状態を示す説明図である。

サーバ装置２では、ユーザ端末装置３におけるユーザの操作入力に基づき、図３（Ａ）に示すように、店舗のレイアウトを描画した店舗マップ画像（施設マップ画像）６１上に対象エリアを設定する。図３（Ａ）に示す例では、２つの対象エリアＡ１，Ａ２が設定されている。この対象エリアは、店舗内でユーザ（店舗管理者など）が特に注目する特定のエリア、例えば、特定の商品（新商品、季節商品、弁当、飲料など）の集客状況を確認するために、その商品が陳列された陳列エリア（陳列棚など）に接するエリアに設定される。

なお、店舗マップ画像６１では、店舗に設置された出入口、陳列棚、およびレジカウンタなどの店舗の構成要素が描画され、この店舗の構成要素がどのように配置されているかをユーザが把握することができる。

また、カメラ１では、店舗内を撮像した撮像画像に基づいて、撮像画像の各位置における人物の活動度合いを表す活動情報（滞在人数および滞在時間）を取得し、この活動情報がカメラ１からサーバ装置２に送信され、サーバ装置２では、活動情報に基づき、図３（Ｂ）に示すように、対象エリアにおける全体的な人物の活動状況を表すダイジェスト画像（活動状況表示画像）６２を店舗マップ画像６１上に重畳して表示する画面情報を生成する。このダイジェスト画像６２では、活動情報が表示色の変化で表現されている。

なお、図３（Ｂ）に示す例では、活動情報として滞在人数に関するダイジェスト画像６２が表示されているが、滞在時間に関するダイジェスト画像も同様に表示させることができる。

また、図３（Ｂ）に示す例では、ダイジェスト画像６２の表示色の変化で活動情報（滞在人数および滞在時間）を表現するようにしたが、この他の表示要素（例えば塗り潰しのパターンなど）の表示形態を変化させることで活動情報を表現するようにしてもよい。また、滞在人数および滞在時間に異なる表示要素を割り当てて、１つのダイジェスト画像６２で滞在人数および滞在時間を同時に表現するようにしてもよい。

次に、カメラ１およびサーバ装置２で行われる処理の概要について説明する。図４は、カメラ１およびサーバ装置２で行われる処理の概要を示す説明図である。

カメラ１では、撮像画像から人物などの動体を除去する画像処理により動体除去画像が生成される。また、カメラ１では、プライバシーマスク処理、すなわち、撮像画像内の人物領域をマスク画像に変更する画像処理によりプライバシー保護画像が生成される。また、カメラ１では、撮像画像を格子状に分割したセル（検出要素）ごとに、人物の活動度合いを表す活動情報（滞在人数および滞在時間）を生成する。なお、図４に示す例では、４画ＰＴＺ画像の１枚の画像を対象にセルごとの活動情報を表示色の濃淡で表している。

このとき、セルごとの活動情報を所定の単位時間ごとに取得し、単位時間ごとの活動情報を、ユーザが指定する観測期間（例えば１５分間、１時間）で集計することで、単位時間の整数倍の任意の観測期間の活動情報を取得することができる。

サーバ装置２では、撮像画像上に設定されたセルの中から、対象エリア内に位置するセルを抽出する。このとき、店舗マップ画像上の各位置とカメラ画像上の各位置との対応関係に関するマッピング情報が用いられ、このマッピング情報に基づいて、撮像画像上に設定された各セルを店舗マップ画像上にマッピングすることができる。

なお、マッピング情報は、店舗マップ画像に各カメラ画像の撮影範囲を重ね合わせ、ユーザがシミュレーションソフト等を用いて設定するようにすればよいが、画像処理（射影変換など）によりマッピング情報を取得するようにしてもよい。

次に、サーバ装置２では、抽出されたセルごとの活動情報に基づき、対象エリアにおける人物の活動状況を指標化（集約化）した指標化情報を生成する。この指標化では、各セルの活動情報を統計処理することで、対象エリアにおける全体的な人物の活動状況を表す代表値（平均値、最頻値、中央値など）が求められる。また、指標化では、求められた代表値を所定のしきい値でランク分け（多い、少ない、普通の３ランクなど）して、対象エリアの指標化情報を取得する。

このようにして対象エリアの指標化情報を取得すると、図３（Ｂ）に示したように、対象エリアにおける全体的な人物の活動状況を表すダイジェスト画像（活動状況表示画像）６２が生成される。このとき、対象エリアの指標化情報に基づいて、ダイジェスト画像６２の表示色が決定される。

なお、本実施形態では、ダイジェスト画像６２を細密化したヒートマップ画像１６１（図１５参照）を表示するようにしており、この場合、撮像画像上に設定された各セルを細分化したサブセル単位で活動情報を生成するようにしてもよい。この場合、マッピング情報に基づいて、撮像画像上に設定された各サブセルを店舗マップ画像上にマッピングして、対象エリア内に位置するサブセルを抽出すればよい。

次に、カメラ１、サーバ装置２およびユーザ端末装置３の概略構成について説明する。図５は、カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図である。

カメラ１は、撮像部１１と、制御部１２と、情報記憶部１３と、通信部１４と、を備えている。

撮像部１１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。制御部１２は、撮像画像に対して人物などの動体を除去する画像処理や、撮像画像内の人物領域をマスク画像に変更する画像処理を行い、この画像処理により生成した動体除去画像やプライバシー保護画像をカメラ画像として出力する。情報記憶部１３は、制御部１２を構成するプロセッサで実行されるプログラムや、撮像部１１から出力される撮像画像を記憶する。通信部１４は、サーバ装置２との間で通信を行うものであり、制御部１２から出力されるカメラ画像をネットワークを介してサーバ装置２に送信する。

サーバ装置２は、制御部２１と、情報記憶部２２と、通信部２３と、を備えている。

通信部２３は、カメラ１およびユーザ端末装置３との間で通信を行うものであり、カメラ１から送信されるカメラ画像を受信し、また、ユーザ端末装置３から送信されるユーザ設定情報を受信し、また、分析結果情報の閲覧画面をユーザ端末装置３に配信する。情報記憶部２２では、通信部２３で受信したカメラ画像や、制御部２１を構成するプロセッサで実行されるプログラムなどを記憶する。制御部２１は、店舗内での顧客の活動状況に関する分析を行い、ユーザ端末装置３に配信する分析結果情報の閲覧画面を生成する。

ユーザ端末装置３は、制御部３１と、情報記憶部３２と、通信部３３と、入力部３４と、表示部３５と、を備えている。

入力部３４は、ユーザが各種の設定情報を入力する。表示部３５は、サーバ装置２から送信される画面情報に基づいて分析結果情報の閲覧画面を表示する。入力部３４および表示部３５は、タッチパネルディスプレイで構成することができる。通信部３３は、サーバ装置２との間で通信を行うものであり、入力部３４で入力されたユーザ設定情報をサーバ装置２に送信し、また、サーバ装置２から送信される画面情報を受信する。制御部３１は、ユーザ端末装置３の各部を制御する。情報記憶部３２は、制御部３１を構成するプロセッサで実行されるプログラムなどを記憶する。

次に、カメラ１およびサーバ装置２の機能的な構成について説明する。図６は、カメラ１およびサーバ装置２の機能ブロック図である。

カメラ１の制御部１２は、動体除去画像生成部４１と、人物検出部４２と、プライバシー保護画像生成部４３と、活動情報生成部４４と、属性判定部４５と、を備えている。この制御部１２の各部は、情報記憶部１３に記憶された施設内活動分析用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

動体除去画像生成部４１では、所定の学習期間における複数の撮像画像（フレーム）に基づいて、撮像画像から動体を除去した動体除去画像（図４参照）を生成する。具体的には、撮像部１１から出力される時間的に連続する撮像画像が動体除去画像生成部４１に順次入力されると、直近の所定のサンプリング期間における複数の撮像画像に基づいて、画素単位の支配画像情報（優勢な状態にある色情報）を求めて、動体除去画像（背景画像）を生成する。そして、このような支配画像情報を撮像画像が入力される度に更新することで、最新の動体除去画像を得ることができる。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。

人物検出部４２では、動体除去画像生成部４１で取得した動体除去画像（背景画像）と、撮像部１１から出力される現在の撮像画像とを比較して、両者の差分から撮像画像内の動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この動体検知および人物検知には公知の技術を用いればよい。

また、人物検出部４２では、人物の検出結果に基づいて、人物ごとの動線を取得する。この処理では、人物の中心点の座標を取得して、その中心点を結ぶように動線を生成すればよい。なお、人物検出部４２で取得する情報には、人物が検出された撮像画像の撮影時刻から取得した人物ごとの検出時刻などに関する時間情報が含まれる。

属性判定部４５では、人物検出部４２で検出された人物ごとの属性（性別および年齢など）を判定する処理が行われる。なお、この属性判定には公知の技術を用いればよい。

プライバシー保護画像生成部４３では、人物検出部４２の検出結果に基づいて、撮像部１１から出力される撮像画像内の人物領域をマスク画像に変更したプライバシー保護画像（図４参照）を生成する。

このプライバシー保護画像を生成するにあたっては、まず、人物検出部４２で取得した人物の画像領域の位置情報に基づいて、人物の画像領域に対応する輪郭を有するマスク画像を生成する。そして、動体除去画像生成部４１で取得した動体除去画像上にマスク画像を重畳してプライバシー保護画像を生成する。マスク画像は、人物の輪郭の内部を所定の色（例えば青色）で塗りつぶしたものであり、透過性を有し、プライバシー保護画像ではマスク画像の部分で背景の画像が透けて見える状態となる。

活動情報生成部４４では、撮像画像を格子状に分割したセル（検出要素）ごとの人物の活動度合いを表す活動情報を取得する。本実施形態では、人物検出部４２で取得した人物ごとの動線情報に基づいて、人物の活動度合いを表す活動情報として滞在人数および滞在時間を取得する。

滞在人数を取得するにあたっては、各セルを通過した各人物の動線の本数をカウントして、各セルの滞在人数を求める。滞在時間を取得するにあたっては、まず、各セルを通過した各人物の動線を対象にして、人物ごとの滞留時刻（セルに対する進入時刻および退出時刻）を取得し、次に、この人物ごとの滞留時刻から、人物ごとの滞在時間を取得し、次に、この人物ごとの滞在時間に対して平均化の処理（統計処理）を行って、各セルの滞在時間を取得する。

なお、活動情報生成部４４では、各セルの活動情報（滞在人数および滞在時間）を単位時間ごとに取得した上で、統計処理（加算や平均化など）により、単位時間ごとの活動情報を所定の観測期間（例えば１時間）で集約して、観測期間における各セルの活動情報を取得するようにしてもよい。また、この観測期間における各セルの活動情報を人物ごとに生成することで、サーバ装置２において、対象エリア全体で活動情報を指標化（集約化）する際に、人物の重複が生じないようにすることができる。

動体除去画像生成部４１で生成された動体除去画像、およびプライバシー保護画像生成部４３で取得したプライバシー保護画像は、カメラ画像として通信部１４から所定の単位時間間隔（例えば１５分間隔）でサーバ装置２に送信される。具体的には、サーバ装置２において、カメラ１に対する画像送信要求が所定のタイミング（例えば１５分間隔）で定期的に行われ、カメラ１の通信部１４では、サーバ装置２からの画像送信要求に応じて、その時刻のカメラ画像を送信する。

また、活動情報生成部４４で取得した活動情報、および属性判定部４５で取得した属性情報も、通信部１４からサーバ装置２に送信される。この活動情報および属性情報は、カメラ画像（動体除去画像およびプライバシー保護画像）と同一のタイミングでサーバ装置２に送信すればよいが、カメラ画像とは異なるタイミングでサーバ装置２に送信するようにしてもよい。

なお、活動情報をカメラ画像と同一のタイミングで送信する場合には、活動情報の観測期間を送信間隔（例えば１５分間隔）に一致させるようにしてもよい。この場合、送信間隔より長い観測期間の活動情報を取得したい場合には、カメラ１から取得した活動情報を統合すればよい。例えば、送信間隔が１５分間隔である場合に、１５分間の活動情報を１時間分だけ加算すれば、１時間の活動情報を取得することができる。

また、動体除去画像とマスク画像情報（マスク画像または人物の画像領域の位置情報）をカメラ１からサーバ装置２に送信して、サーバ装置２においてプライバシー保護画像を生成するようにしてもよい。

サーバ装置の制御部２１は、カメラ画像取得部５１と、活動情報取得部５２と、対象エリア設定部５３と、指標化情報生成部５４と、活動状況表示画像生成部５５と、陳列状態判定部５６と、統計情報生成部５７と、出力情報生成部５８と、を備えている。この制御部２１の各部は、情報記憶部２２に記憶された施設内活動分析用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

カメラ画像取得部５１では、カメラ１から定期的（例えば１５分間隔）に送信されて通信部２３において受信したカメラ画像（動体除去画像およびプライバシー保護画像）を取得する。このカメラ画像取得部５１で取得したカメラ画像は情報記憶部２２に記憶される。

活動情報取得部５２では、カメラ１から送信されて通信部２３において受信した活動情報を取得する。この活動情報取得部５２で取得した活動情報は情報記憶部２２に記憶される。

対象エリア設定部５３では、ユーザ端末装置３において行われるユーザの入力操作に応じて、店舗マップ画像６１上に対象エリア（図３（Ａ）参照）を設定する処理が行われる。このとき、店舗マップ画像６１が表示されたエリア設定画面をユーザ端末装置３に表示させ、このエリア設定画面上で対象エリアの位置をユーザに入力させればよい。

指標化情報生成部５４では、活動情報取得部５２で取得した活動情報（滞在人数および滞在時間）に基づいて、対象エリア設定部５３で設定された対象エリアにおける人物の活動状況を指標化した指標化情報を生成する。本実施形態では、所定の観測期間におけるセルごとの活動情報をカメラ１から取得し、また、情報記憶部２２には、カメラ画像上の各位置と店舗マップ画像上の各位置との対応関係に関するマッピング情報が記憶されており、指標化情報生成部５４では、マッピング情報に基づいて、カメラ画像のセルの中から対象エリア内に位置するセルを抽出して、抽出された各セルの活動情報を統計処理して、対象エリア全体を対象にした指標化情報を生成する。指標化情報としては、各セルの活動情報の平均値や最頻値を求めればよい。

活動状況表示画像生成部５５では、指標化情報生成部５４で生成した対象エリアの指標化情報に基づき、対象エリアにおける全体的な人物の活動状況を表すダイジェスト画像（活動状況表示画像）６２を生成する。このとき、対象エリアの指標化情報に基づいて、ダイジェスト画像６２の表示色が決定される。

陳列状態判定部５６では、カメラ画像取得部５１で取得した動体除去画像に基づいて、対象エリアに関連する陳列エリア（陳列棚など）における商品の陳列状態を判定する。本実施形態では、カメラ画像上に状態監視エリアが設定され、この状態監視エリアを対象にして、商品の陳列量、具体的には、商品が最大限に陳列された状態での最大陳列量に対する指定時刻の陳列量の比率を求める。また、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度などの評価指標を基準にして、商品の陳列状態の良否を判定する。

統計情報生成部５７では、店舗全体を対象にした図表、具体的には、客層、来店者数、滞在時間、および陳列量の各グラフや、陳列状態の評価結果を表す表（図８参照）を生成するための統計情報を生成する。また、統計情報生成部５７では、対象エリアを対象にした図表、具体的には、時系列ヒートマップ（図９参照）、ヒストグラム（図１０参照）、グラフ（図１１参照）、相関関係を表す散布図（図１４参照）を生成するための統計情報を生成する。

出力情報生成部５８では、活動状況表示画像生成部５５で取得したダイジェスト画像を店舗マップ画像に重ね合せる表示情報を生成する。また、本実施形態では、統計情報生成部５７で取得した統計情報に基づいて、統合管理画面（図７参照）、マップ表示画面（図８，図１５参照）、および関連情報表示画面（図９〜図１４参照）に関する表示情報を生成する。

次に、サーバ装置２で生成されてユーザ端末装置３に表示される統合管理画面について説明する。図７は、サーバ装置２で生成されてユーザ端末装置３に表示される統合管理画面を示す説明図である。

この統合管理画面は、店舗全体に関する各種の統計情報などを表示して、店舗全体の状況をユーザが確認することができるようにしたものである。この統合管理画面には、表示条件指定部７１と、店舗売場情報表示部７２と、マップ表示部７３と、が設けられている。

表示条件指定部７１には、店舗売場情報表示部７２やマップ表示部７３に表示させる情報の対象となる日時、店舗および売場を指定し、また、店舗売場情報表示部７２に表示させる項目を指定するものであり、表示日時指定部７４と、店舗売場指定部７５と、表示項目指定部７６と、が設けられている。

表示日時指定部７４では、表示させる日時（表示日および表示時刻）をユーザが指定する。表示日のボタン７８を操作すると、カレンダー画面（図示せず）が表示され、このカレンダー画面で日付を選択すると、選択された日付が表示される。また、表示時刻のボタン７９を操作すると、時刻入力画面（図示せず）が表示され、この時刻入力画面で時刻を入力すると、入力された時刻が表示される。

店舗売場指定部７５では、表示させる店舗および売場をユーザが指定する。店舗のボタン８１を操作すると、店舗ごとにラジオボタンが設けられた店舗選択画面（図示せず）が表示され、この選択画面で店舗を選択すると、選択された店舗が表示される。売場のボタン８２を操作すると、売場ごとにラジオボタンが設けられた売場選択画面（図示せず）が表示され、この選択画面で売場を選択すると、選択された売場が表示される。

表示項目指定部７６では、店舗売場情報表示部７２に表示させる項目をユーザが指定する。ここでは、統計情報に関する表示項目では、客層、来店者数、および滞在時間の各ラジオボタン８４，８６，８８が設けられており、客層、来店者数、および滞在時間を選択することができる。また、指定時刻情報に関する表示項目では、陳列状態および来店者数の各ラジオボタン９１，９３が設けられており、陳列状況および来店者数のいずれか一方を選択することができる。

また、表示項目指定部７６では、客層、来店者数の各表示項目に関して、日次、週次、時次を選択するプルダウンメニュー８５，８７が設けられている。また、滞在時間、陳列状態の各表示項目に関して、最大値および平均値を選択するプルダウンメニュー８９，９２が設けられている。

店舗売場情報表示部７２は、表示条件指定部７１で指定した店舗や売場に関する統計情報や、指定した時刻の情報を、図表を用いて表示するものである。この店舗売場情報表示部７２には、統計情報表示部９５と、指定時刻情報表示部９６と、が設けられている。

この店舗売場情報表示部７２では、表示項目指定部７６で指定した表示項目に関する情報が表示される。図７に示す例では、統計情報に関する表示項目として、客層、来店者数、滞在時間の全てが選択されているため、統計情報表示部９５に、客層表示部９７、来店者数表示部９８、および滞在時間表示部９９が表示されている。また、指定時刻情報に関する表示項目として、陳列状態が選択されているため、指定時刻情報表示部９６に、商品の陳列状態に関する情報が表示されている。

客層表示部９７では、店舗に来店した顧客の客層に関する図表が表示される。図７に示す例では、各性別（男性および女性）における年齢層ごとの来店者数の割合が円グラフで表示されている。

来店者数表示部９８では、来店者数（店舗に来店した顧客の人数）の時間的な推移状況に関する図表が表示される。図７に示す例では、１日における各時間帯の来店者数が棒グラフで表示されている。

滞在時間表示部９９では、店舗における顧客の滞在時間に関する図表が表示される。図７に示す例では、滞在時間の度数分布を表すヒストグラムが表示されている。この滞在時間のヒストグラムでは、１日における人物ごとの滞在時間を、複数のしきい値（５分、１０分...）でクラス分けして、クラスごとに人数を集計して、クラスごとの人数（度数）を表示している。また、滞在時間のヒストグラムでは、表示日の人数と、過去の所定の期間（例えば１０年間）における人数の平均値または最大値と、が表示されている。なお、表示日の人数と、過去の指定した日（例えば表示日と同じ曜日）の人数と、を表示するようにしてもよい。

指定時刻情報表示部９６では、指定した時刻における商品の陳列状態に関する図表が表示される。ここでは、陳列棚の各棚の陳列量が横棒グラフで表示されている。また、陳列棚の各棚に関する陳列状態の良否に関する評価結果が記号（○、△、×）で表示されている。

なお、指定時刻情報に関する表示項目として、来店者数を選択すると、指定時刻情報表示部９６に、指定した時刻における来店者数に関する図表が表示される。

マップ表示部７３では、店舗マップ画像６１上に対象エリアのダイジェスト画像６２を重畳した画像が表示される。なお、本実施形態では、ダイジェスト画像の元になる活動情報の観測期間の初期値として所定の時間（例えば１時間）が予め設定されており、この観測期間の初期値によるダイジェスト画像６２が表示される。

また、マップ表示部７３には、拡大表示のボタン１０１が設けられており、このボタン１０１を操作すると、マップ表示画面（図８参照）に遷移する。

なお、図７に示した例では、１つの画面に、表示条件指定部７１と、店舗売場情報表示部７２と、マップ表示部７３と、を設けたが、これらを別の画面として表示する、すなわち、表示条件指定画面、店舗売場情報表示画面、およびマップ表示画面を別々に表示するようにしてもよい。

次に、サーバ装置２で生成されてユーザ端末装置３に表示されるマップ表示画面について説明する。図８は、サーバ装置２で生成されてユーザ端末装置３に表示されるマップ表示画面を示す説明図である。

統合管理画面（図７参照）で拡大表示のボタン１０１を操作すると、図８に示すマップ表示画面（活動状況表示画面）に遷移する。

このマップ表示画面には、マップ表示部１１１と、基準時刻指定部１１２と、観測期間指定部（操作部）１１３と、が設けられている。

マップ表示部１１１には、店舗マップ画像６１上に対象エリアのダイジェスト画像（活動状況表示画像）６２が重畳して表示されている。このダイジェスト画像６２は、撮像画像上に設定されたセルごとの活動情報の指標化（集約化）により取得した指標化情報に応じた単一の表示色で表示される。

ここで、活動状況が異なる複数の対象エリアのダイジェスト画像６２は色分けして表示される。例えば、滞在人数が多い、または滞在時間が長い対象エリアのダイジェスト画像６２は赤色で表示され、滞在人数が少ない、または滞在時間が短い対象エリアのダイジェスト画像６２は緑色で表示される。これにより、どの売場の人気が高いかをユーザが即座に把握することができる。

基準時刻指定部１１２は、ダイジェスト画像６２の基準時刻をユーザが指定するものである。この基準時刻指定部１０２には、基準時刻表示部１１５と、左向きおよび右向きの矢印ボタン１１６ａ，１１６ｂと、が設けられている。本実施形態では、ダイジェスト画像６２の元になる活動情報の観測期間の終了時刻を基準時刻としている。

矢印ボタン１１６ａ，１１６ｂは、所定の間隔で時刻送りを行うものである。左向きの矢印ボタン１１６ａを操作すると、表示時刻が１つ前のタイミングの時刻（例えば１５分前）に変更され、右向きの矢印ボタン１１６ｂを操作すると、表示時刻が１つ後のタイミングの時刻（例えば１５分後）に変更される。なお、時刻送りの間隔は、カメラ画像の取得タイミング（例えば１５分間隔）に対応したものとしてもよい。

なお、基準時刻指定部１１２では、時間帯ごとのラジオボタンの選択や、スライドバーにおけるスライダの移動により、基準時刻を指定するようにしてもよい。

観測期間指定部１１３は、活動情報の観測期間をユーザが指定するものである。本実施形態では、観測期間の初期値（例えば１時間）が設定されているが、この観測期間指定部１１３により観測期間を任意の時間にユーザが設定することができる。この観測期間指定部１１３には、基準時刻を表すマーク１２１と、観測期間を表すバー１２２と、観測期間表示部１２３と、が設けられている。バー１２２では、左端および右端の位置がそれぞれ観測期間の開始時刻および終了時刻となる。

本実施形態では、観測期間の終了時刻である基準時刻を指定して、その基準時刻からどれだけ遡った期間を観測期間とするかをユーザに指定させる。すなわち、基準時刻指定部１１２で指定された時刻に、基準時刻を表すマーク１２１が表示されるとともに、バー１２２の右端が位置する。一方、観測期間の開始時刻を表すバー１２２の左端の位置は、ドラッグ操作により移動させることができ、このドラッグ操作により、観測期間の開始時刻、すなわち、観測期間の長さを指定することができ、ドラッグ操作に応じて観測期間表示部１２３に表示される観測期間が変化する。

なお、本実施形態では、基準時刻から過去側の期間を観測期間として指定するようにしたが、基準時刻から未来側の期間を観測期間として指定するようにしてもよい。

また、このマップ表示画面では、対象エリアを選択する操作（クリック）を行うと、表示項目選択メニュー（選択部）１２５が表示される。この表示項目選択メニュー１２５には、時系列ヒートマップ、ヒストグラム、グラフ、カメラ画像、商品陳列状態、相関関係の各表示項目があり、いずれかを選択すると、関連情報表示画面（図９〜図１４参照）に遷移する。また、表示項目選択メニュー１２５には、細密化の表示項目があり、これを選択すると、ダイジェスト画像６２を細密化したヒートマップ画像１６１を表示するマップ表示画面（図１５参照）に遷移する。

次に、サーバ装置２で生成されてユーザ端末装置３に表示される関連情報表示画面について説明する。図９〜図１４に示す関連情報表示画面は、ユーザが注目する対象エリアに関する顧客の活動状況や商品の陳列状態など、指定した対象エリアのダイジェスト画像６２と関連性のある情報をユーザに提供するものである。

まず、時系列ヒートマップの表示項目を選択した際に表示される関連情報表示画面について説明する。図９は、時系列ヒートマップの表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともに時系列ヒートマップの表示項目を選択すると、図９に示す関連情報表示画面に遷移する。

この関連情報表示画面には、マップ表示部１３１と、関連情報表示部１３２と、が設けられている。

マップ表示部１３１は、マップ表示画面（図８参照）におけるマップ表示部１１１と同様であるが、画像を縮小表示することで空いたスペースに関連情報表示部１３２を配置するようにしている。

関連情報表示部１３２には、指定された対象エリアにおける顧客の滞在状況に関する統計情報の時間的な推移状況を表す時系列ヒートマップが表示される。この時系列ヒートマップでは、統計情報として、各日における時間帯（１時間）ごとの活動情報（滞在人数および滞在時間）が格子状に分割して表示される。ここでは、活動情報が、マップ表示部１３１に表示されるダイジェスト画像と同様に、表示色の変化で表現されている。

これにより、特定の日に注目して、その日の各時間帯の活動情報を比較することで、その日における滞在人数の時間的な推移状況をユーザが把握することができる。また、特定の時間帯に注目して、その時間帯の各日の滞留度を比較することで、例えば、曜日による活動情報の変化状況をユーザが把握することができる。

次に、ヒストグラムの表示項目を選択した際に表示される関連情報表示画面について説明する。図１０は、ヒストグラムの表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともにヒストグラムの表示項目を選択すると、図１０に示す関連情報表示画面に遷移する。

この関連情報表示画面では、関連情報表示部１３２に、指定された対象エリアにおける顧客の滞在状況に関する統計情報の度数分布を表すヒストグラムが表示される。図１０に示す例では、滞在人数および滞在時間のヒストグラムが表示されている。

滞在人数のヒストグラムでは、１日における単位時間ごとの滞在人数を、複数のしきい値（１０人、２０人...）でクラス分けして、クラスごとの滞在人数の出現した回数（度数）が表示されている。滞在時間のヒストグラムでは、１日における人物ごとの滞在時間を、複数のしきい値（５分、１０分...）でクラス分けして、クラスごとに人数を集計して、クラスごとの人数（度数）を表示している。

また、滞在人数および滞在時間のヒストグラムでは、表示日の度数（回数および人数）と、過去の所定の期間における度数の平均値または最大値とが表示されている。なお、表示日の度数と、過去の指定した日（例えば表示日と同じ曜日）の度数と、を表示するようにしてもよい。

次に、グラフの表示項目を選択した際に表示される関連情報表示画面について説明する。図１１は、グラフの表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともにグラフの表示項目を選択すると、図１１に示す関連情報表示画面に遷移する。

この関連情報表示画面では、関連情報表示部１３２に、指定された対象エリアにおける顧客の滞在状況に関する統計情報の時間的な推移状況を表すグラフが表示される。図１１に示す例では、統計情報として最大滞在人数および最大滞在時間のグラフが表示されている。

最大滞在人数は、所定の単位期間において対象エリアに滞在した顧客の人数の時間帯ごとの最大値である。最大滞在時間は、所定の単位期間において対象エリアに滞在した顧客の滞在時間の時間帯ごとの最大値である。ここでは、１日の各時間帯の最大滞在人数が折れ線グラフで表示され、また、１日の各時間帯の最大滞在時間が棒グラフで表示されている。

なお、図１１に示す例では、最大滞在人数および最大滞在時間のグラフを表示しているが、この他に、平均滞在人数、すなわち、所定の単位期間において対象エリアに滞在した顧客の人数の時間帯ごとの平均値のグラフや、平均滞在時間、すなわち、所定の単位期間において対象エリアに滞在した顧客の滞在時間の時間帯ごとの平均値のグラフを表示するようにしてもよい。

次に、カメラ画像の表示項目を選択した際に表示される関連情報表示画面について説明する。図１２は、カメラ画像の表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともにカメラ画像の表示項目を選択すると、図１２に示す関連情報表示画面に遷移する。

この関連情報表示画面では、関連情報表示部１３２に、選択した対象エリアに関連するカメラ１、すなわち、対象エリアを撮像するカメラ１、および対象エリアに隣接する陳列エリア（陳列棚など）を撮像するカメラ１の各時刻のカメラ画像が一覧表示される。ここでは、同一のエリアを撮像したカメラ画像が撮像時刻順に横方向に並べて表示され、別のエリアを撮像したカメラ画像が縦方向に並べて表示されている。

これにより、ダイジェスト画像６２と対比して、各時刻のカメラ画像を観察することで、各売場における各時刻の売場の実際の状況を把握することができる。

また、カメラ画像の両側には、左向きおよび右向きの矢印ボタン１４１ａ，１４１ｂが設けられている。この矢印ボタン１４１ａ，１４１ｂは、関連情報表示部１３２に収まらない時刻のカメラ画像を表示させるものである。左向きおよび右向きの矢印ボタン１４１ａ，１４１ｂをそれぞれ操作すると、表示されていない時刻のカメラ画像が表示されるように、関連情報表示部１３２に表示されるカメラ画像が１つ分、右方向または左方向に移動する。

また、カメラ画像を選択する操作を行うと、選択したカメラ画像の拡大画像が表示される。これにより、注目する時刻の売場の実際の状況を詳細に把握することができる。また、拡大画像の両側には、左向きおよび右向きの矢印ボタン１４２ａ，１４２ｂが設けられている。この矢印ボタン１４２ａ，１４２ｂを操作することで、前後の時刻の拡大画像を表示させることができる。

なお、カメラ１から取得した所定間隔（例えば１５分間隔）のカメラ画像をすべて表示するようにしてもよいが、活動情報の観測期間（例えば１時間）ごとのカメラ画像を表示するようにしてもよい。

また、カメラ画像には、主に陳列棚などの商品の陳列エリアを撮像した画像と、主に通路を撮像した画像とがあるが、主に陳列エリアを撮像した画像では、商品の状況を観察することができるように、動体除去画像を表示するようにするとよい。一方、主に通路を撮像した画像で、通路に存在する顧客の状況を観察することができるように、プライバシー保護画像を表示するようにするとよい。

また、拡大画像を別に表示するようにしたが、カメラ画像に高解像度の画像を用いて、画面を拡大する操作、例えば、スマートフォンやタブレット端末のようなタッチパネルディスプレイにおいてピンチアウト操作を行うことで、カメラ画像を拡大表示させるようにしてもよい。

次に、商品陳列状態の表示項目を選択した際に表示される関連情報表示画面について説明する。図１３は、商品陳列状態の表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともに商品陳列状態の表示項目を選択すると、図１３に示す関連情報表示画面に遷移する。

この関連情報表示画面では、関連情報表示部１３２に、カメラ画像表示部１５１と、グラフ表示部１５２と、が設けられている。

カメラ画像表示部１５１には、指定された対象エリアに隣接する陳列エリア（陳列棚など）を撮像したカメラ画像が表示される。このカメラ画像を観察することで、売場における商品の実際の陳列状況を把握することができる。また、カメラ画像には、ユーザが設定した状態監視エリアを表す枠画像１５４が表示されている。図１３に示す例では、陳列棚の各棚板上の商品が存在する領域を取り囲むように状態監視エリアが設定されている。

また、カメラ画像表示部１５１に表示させるカメラ画像選択部１５５で選択することができる。このカメラ画像選択部１５５では、指定された対象エリアに隣接する陳列エリアを撮像したカメラ画像の候補がプルダウンメニューで表示される。

グラフ表示部１５２には、商品の陳列状況に関する統計情報（陳列量および陳列状態）の時間的な推移状況を表すグラフが表示される。このグラフは、カメラ画像表示部１５１に表示された各状態監視エリアを対象にしたものであり、各状態監視エリアにおける時間帯ごとの統計情報を５段階評価して、時間帯ごとの各状態監視エリアの評価値（１〜５）を積み上げ棒グラフで示している。

また、グラフ表示部１５２に表示された時間帯ごとのグラフや文字を選択する操作を行うと、選択した時間帯のカメラ画像がカメラ画像表示部１５１に表示される。

陳列量に関するグラフでは、時間帯ごとの各状態監視エリアにおける商品の陳列量、具体的には、商品が最大限に陳列された状態での最大陳列量に対する指定時刻の陳列量の比率を５段階評価している。陳列状態に関するグラフでは、時間帯ごとの各状態監視エリアにおける商品の陳列状態の良否を５段階評価している。

このように、本実施形態では、指定された対象エリアに隣接する陳列エリアを撮像したカメラ画像と、そのカメラ画像に写る状態監視エリアにおける商品の陳列状態に関する統計情報の時間的な推移状況を表すグラフが同時に表示される。このため、カメラ画像とグラフとを対比することで、商品の陳列状態の時間的な推移状況を詳細に把握することができる。

なお、状態監視エリアを表す枠画像１５４の表示色を変更することで、統計情報（陳列量および陳列状態）を表現するようにしてもよい。

次に、相関関係の表示項目を選択した際に表示される関連情報表示画面について説明する。図１４は、相関関係の表示項目を選択した際に表示される関連情報表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともに相関関係の表示項目を選択すると、図１４に示す関連情報表示画面に遷移する。

この関連情報表示画面では、関連情報表示部１３２に、統計情報相互の相関関係を表す散布図が表示される。

図１４に示す例では、滞在人数と陳列量との間の相関関係を表す散布図と、滞在時間と陳列量との間の相関関係を表す散布図と、が表示されている。これらの散布図は、指定された対象エリアについて、時間帯ごとに収集された滞在人数、滞在時間および陳列量をプロットしたものであり、これらの散布図により統計情報相互の相関関係の有無を確認することができる。

ちなみに、図１４に示す例では、滞在人数と陳列量との間の相関関係を表す散布図では、滞在人数と陳列量との間に相関関係が認められるが、滞在時間と陳列量との間の相関関係を表す散布図では、滞在時間と陳列量との間に相関関係は認められない。

なお、この関連情報表示画面において、散布図により相関関係を表示させる統計情報をユーザが選択することができるようにしてもよい。

次に、細密化の表示項目を選択した際に表示されるマップ表示画面について説明する。図１５は、細密化の表示項目を選択した際に表示されるマップ表示画面を示す説明図である。

マップ表示画面（図８参照）で対象エリアを選択するとともに細密化の表示項目を選択すると、図１５に示すマップ表示画面に遷移する。

このマップ表示画面では、ダイジェスト画像６２を細密化したヒートマップ画像１６１が表示される。図８に示したマップ表示画面では、対象エリア全体で集約された指標化情報に基づいて、ダイジェスト画像６２が単一色で表示されるが、図１５に示すマップ表示画面では、対象エリア内の各位置における活動情報（滞在人数および滞在時間）に応じてヒートマップ画像１６１の内部が複数色で色分けされて表示される。

この場合、指標化情報生成部５４で活動情報を集約する処理を行わずに、活動状況表示画像生成部５５において、対象エリア内に位置するセルごとの活動情報に基づいてヒートマップ画像１６１を生成すればよい。また、撮像画像上に設定された各セルを細分化したサブセルごとの活動情報に基づいてヒートマップ画像１６１を生成するようにしてもよい。

この細密化されたヒートマップ画像１６１により、対象エリア内の顧客の滞留状況をユーザが詳細に把握することができる。例えば、本実施形態では、陳列棚の間の通路に対象エリアが設定されているため、対象エリアの中央部で滞留人数が多いと、多くの顧客が通路を素通りしていることをユーザが把握することができ、また、陳列棚に面した対象エリアの端部で滞留度が高いと、陳列棚の商品の品定めをするなど、顧客が陳列棚の商品に高い関心を示していることをユーザが把握することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。

第１実施形態では、人物の動線を取得して、その動線に基づいて活動情報（滞留時間および滞留度数）を取得するようにしたが、この第２実施形態では、撮像画像の各画素（検出要素）が人物エリア（人物が存在する領域）に位置する回数をカウントして、画素ごとの動体活動値（カウンタ値）を取得し、これを画素ごとの人物の活動度合いを表す動体活動値として、適宜な統計処理、例えば平均化により、対象エリアで集約して、対象エリアの活動情報を取得する。

まず、カメラ１の人物検出部４２において、人物の位置情報として、人物エリアに関する座標情報を取得する。そして、活動情報生成部４４において、人物検出部４２で取得した人物エリアに関する座標情報に基づいて、撮像画像の画素ごとに、人物エリアに位置する回数をカウントして、画素ごとの動体活動値（カウンタ値）を活動情報として取得する。

具体的には、各画素が人物エリア内に入る度にその画素のカウンタ値を１増分し、この画素ごとの人物エリアのカウントが、所定の検出単位期間で継続して行われて、検出単位期間ごとに画素単位の動体活動値が順次求められる。なお、人物エリアの誤検出を考慮して、人物エリア内に所定回数（例えば３回）連続して入った場合に、動体活動値（カウンタ値）を１増分するようにしてもよい。

このようにして検出単位期間ごとの動体活動値が順次求められると、この検出単位期間ごとの動体活動値を観測期間で集約する統計処理（例えば単純な加算や平均化）を行って、観測期間における動体活動値を取得する。

なお、人物エリアは、人物枠（人物が存在する矩形の領域）や、検出された人物の上半身の領域や、検出された人物の床面における存在領域とすればよい。

サーバ装置２では、指標化情報生成部５４において、活動情報取得部５２で取得した活動情報、すなわち、画素ごとの動体活動値を対象エリアで集約して、対象エリア全体の動体活動値を指標化情報として取得する。特に、本実施形態では、対象エリア内に位置する複数の画素ごとの動体活動値を平均化して、対象エリア全体の動体活動値を取得する。そして、活動状況表示画像生成部５５において、対象エリア全体の動体活動値に基づいてダイジェスト画像（活動状況表示画像）を生成する。

また、図１５に示したように、ダイジェスト画像６２を細密化したヒートマップ画像１６１を表示する場合には、指標化情報生成部５４で動体活動値を集約する処理を行わずに、活動状況表示画像生成部５５において、対象エリア内に位置する画素ごとの動体活動値に基づいてヒートマップ画像１６１を生成すればよい。

なお、対象エリアを複数のセルに分割して、指標化情報生成部５４において、画素ごとの動体活動値をセル単位で集約して、そのセル単位の動体活動値（指標化情報）を取得して、活動状況表示画像生成部５５において、セル単位の動体活動値に基づいて、セル単位で色分けされたダイジェスト画像を生成するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。

また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、前記の実施形態では、カメラ１において、動体除去画像生成、人物検出、プライバシー保護画像生成、活動情報生成、属性判定の各処理を行うようにしたが、これらの処理の全部あるいは一部を、サーバ装置２、あるいは店舗に設置されたＰＣで行うようにしてもよい。サーバ装置２において、対象エリア設定、指標化情報生成、ダイジェスト画像生成、陳列状態判定、統計情報生成、および出力情報生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、カメラ１、あるいは店舗に設置されたＰＣで行うようにしてもよい。

本発明に係る施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法は、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる効果を有し、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法などとして有用である。

１ カメラ
２ サーバ装置
３ ユーザ端末装置
４４ 活動情報生成部
５１ カメラ画像取得部
５２ 活動情報取得部
５３ 対象エリア設定部
５４ 指標化情報生成部
５５ 活動状況表示画像生成部
５６ 陳列状態判定部
５７ 統計情報生成部
５８ 出力情報生成部
６１ 店舗マップ画像（施設マップ画像）
６２ ダイジェスト画像（活動状況表示画像）
１１１ マップ表示部
１１２ 基準時刻指定部
１１３ 観測期間指定部（操作部）
１２５ 表示項目選択メニュー（選択部）
１６１ ヒートマップ画像（細密化活動状況表示画像）

本発明の施設内活動分析装置は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成する出力情報生成部と、を備え、前記出力情報生成部は、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

また、本発明の施設内活動分析システムは、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成する出力情報生成部と、を備え、前記出力情報生成部は、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

また、本発明の施設内活動分析方法は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定し、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成し、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成し、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成し、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

本発明によれば、施設内で設定された対象エリアごとに全体的な動体の活動状況を表す活動状況表示画像が施設マップ画像に重ね合せた状態で表示される活動状況表示画面において、所望の対象エリアをユーザが選択する操作に基づいて、その対象エリアと関連性のある情報が続けて表示されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

前記課題を解決するためになされた第１の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成する出力情報生成部と、を備え、前記出力情報生成部は、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

これによると、施設内で設定された対象エリアごとに全体的な動体の活動状況を表す活動状況表示画像が施設マップ画像に重ね合せた状態で表示される活動状況表示画面において、所望の対象エリアをユーザが選択する操作に基づいて、その対象エリアと関連性のある情報が続けて表示されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

また、第４の発明は、前記活動状況表示画像生成部は、前記活動状況表示画像の細密化をユーザが指定する操作に応じて、前記活動情報に基づき、前記対象エリア内の各位置における動体の活動状況を表す細密化活動状況表示画像を生成し、前記出力情報生成部は、前記細密化活動状況表示画像を前記施設マップ画像に重ね合せた前記活動状況表示画面を生成する構成とする。

また、第５の発明は、前記出力情報生成部は、前記活動情報の観測期間をユーザに指定させる操作部を有する前記活動状況表示画面を生成し、前記活動情報取得部は、ユーザにより指定された前記観測期間で生成された前記活動情報を取得する構成とする。

また、第６の発明は、前記表示項目は、人物の滞在状況の時間的な推移状況を表す時系列ヒートマップ、人物の滞在状況の度数分布を表すヒストグラム、人物の滞在状況の推移状況を表すグラフ、前記対象エリアに関連するカメラ画像、前記対象エリアに関連する商品等の陳列状態、人物の滞在状況と陳列量との間の相関関係のいずれかである構成とする。

これによると、対象エリアに対応した関連性のある種々の情報をユーザに提供することができる。

また、第７の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成する出力情報生成部と、を備え、前記出力情報生成部は、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

また、第８の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定し、前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成し、前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成し、前記活動状況表示画像を前記施設マップ画像に重ね合せた活動状況表示画面を生成し、前記活動状況表示画面から所望の前記対象エリアをユーザが選択する第１の操作、および前記第１の操作に伴って表示される関連情報の表示項目から所望の前記表示項目をユーザが選択する第２の操作に応じて、その選択された前記表示項目に関する前記関連情報が含まれた関連情報表示画面を生成する構成とする。

これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。

Claims (13)

1. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、
   前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、
   前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、
   前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、
   前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、
   前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする施設内活動分析装置。
2. 前記対象エリア設定部は、ユーザの入力操作に応じて、ユーザが指定する任意の形状に前記対象エリアを設定することを特徴とする請求項１に記載の施設内活動分析装置。
3. 前記活動情報は、前記対象エリアに滞在した人物の人数である滞在人数、および前記対象エリアに人物が滞在した時間である滞在時間の少なくともいずれかに関するものであることを特徴とする請求項１または請求項２に記載の施設内活動分析装置。
4. 前記活動状況表示画像生成部は、前記活動状況表示画像の細密化をユーザが指定する操作に応じて、前記活動情報に基づき、前記対象エリア内の各位置における動体の活動状況を表す細密化活動状況表示画像を生成し、
   前記出力情報生成部は、前記細密化活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を生成することを特徴とする請求項１から請求項３のいずれかに記載の施設内活動分析装置。
5. 前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せて表示するマップ表示部、および前記活動情報の観測期間をユーザに指定させる操作部を有する活動状況表示画面に関する前記出力情報を生成し、
   前記活動情報取得部は、ユーザにより指定された前記観測期間で生成された前記活動情報を取得することを特徴とする請求項１から請求項４のいずれかに記載の施設内活動分析装置。
6. 更に、施設内の状況に関する統計情報を生成する統計情報生成部を、備え、
   前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せた前記表示情報と、前記活動状況表示画像に関連する前記統計情報を関連情報として表示させる表示情報と、を含む出力情報を生成することを特徴とする請求項１から請求項５のいずれかに記載の施設内活動分析装置。
7. 前記出力情報生成部は、前記活動状況表示画像を前記施設マップ画像に重ね合せて表示するマップ表示部、および前記関連情報の表示項目を選択させる選択部を有する活動状況表示画面に関する前記出力情報を生成し、前記選択部で表示項目をユーザが選択する操作に応じて、選択された表示項目の前記関連情報を表示する関連情報表示画面に関する前記出力情報を生成することを特徴とする請求項６に記載の施設内活動分析装置。
8. 更に、前記施設内を撮像したカメラ画像を取得するカメラ画像取得部を、備え、
   前記出力情報生成部は、前記対象エリアに関連する複数の前記カメラ画像を時系列で配列した前記表示情報を生成することを特徴とする請求項１から請求項７のいずれかに記載の施設内活動分析装置。
9. 前記出力情報生成部は、時系列で配列された複数の前記カメラ画像を選択可能に表示する関連情報表示画面に関する前記出力情報を生成し、前記関連情報表示画面において前記カメラ画像をユーザが選択する操作に応じて、選択された前記カメラ画像を前記関連情報表示画面において拡大表示させることを特徴とする請求項８に記載の施設内活動分析装置。
10. 更に、前記カメラ画像に基づき、前記施設としての店舗において前記対象エリアに関連する陳列エリアにおける商品の陳列状態を判定する陳列状態判定部を、備え、
    前記出力情報生成部は、前記陳列状態判定部による判定結果に基づき、前記陳列エリアにおける商品の陳列状態を表す図表を表示させる表示情報を生成することを特徴とする請求項１から請求項９のいずれかに記載の施設内活動分析装置。
11. 前記出力情報生成部は、前記陳列エリアにおける商品の陳列状態を表す図表と、前記対象エリアに関連する前記カメラ画像とを並べて表示させる前記表示情報を生成することを特徴とする請求項１０に記載の施設内活動分析装置。
12. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、
    前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、
    前記活動情報を可視化した出力情報を生成するサーバ装置と、
    前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、
    を有し、
    前記サーバ装置は、
    前記カメラから前記活動情報を取得する活動情報取得部と、
    前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定する対象エリア設定部と、
    前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成する指標化情報生成部と、
    前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成する活動状況表示画像生成部と、
    前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする施設内活動分析システム。
13. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、
    前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、
    前記施設内のレイアウトを描画した施設マップ画像上に対象エリアを設定し、
    前記活動情報に基づき、前記対象エリアにおける動体の活動状況を指標化した指標化情報を生成し、
    前記指標化情報に基づき、前記対象エリアにおける全体的な動体の活動状況を表す活動状況表示画像を生成し、
    前記活動状況表示画像を前記施設マップ画像に重ね合せた表示情報を含む出力情報を生成することを特徴とする施設内活動分析方法。

Images