WO2018221030A1 - 人数管理装置、人数管理方法およびプログラム - Google Patents

人数管理装置、人数管理方法およびプログラム Download PDF

Info

Publication number
WO2018221030A1
WO2018221030A1 PCT/JP2018/015324 JP2018015324W WO2018221030A1 WO 2018221030 A1 WO2018221030 A1 WO 2018221030A1 JP 2018015324 W JP2018015324 W JP 2018015324W WO 2018221030 A1 WO2018221030 A1 WO 2018221030A1
Authority
WO
WIPO (PCT)
Prior art keywords
count
image data
area
setting
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/015324
Other languages
English (en)
French (fr)
Inventor
太一 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201880035612.0A priority Critical patent/CN110709857B/zh
Priority to EP18809856.0A priority patent/EP3633986B1/en
Publication of WO2018221030A1 publication Critical patent/WO2018221030A1/ja
Priority to US16/697,425 priority patent/US11250273B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present disclosure provides a technique for detecting the number of persons existing in a predetermined area and the number of persons passing through a predetermined position of the predetermined area and performing display corresponding to each detection method. To do.
  • the number management device of the present invention has the following configuration. That is, a number management device that manages the number of people for each time zone based on image data obtained by an imaging unit, the area number count for counting the number of persons existing in a predetermined area of the image data, and the image data Setting means for setting one of passing person counts for counting the number of persons passing through a predetermined line set in the display, and a display for displaying the result of counting people from the image data in accordance with the setting by the setting means And when the area number count is set by the setting means, the display control means is a still image photographed by the imaging means in a time zone corresponding to the selected number of people count result. Is displayed, and when the passing means count is set by the setting means, in the time zone corresponding to the selected count result Playing a moving image taken by serial imaging means.
  • the image data 108 is image data generated by being imaged by a camera (not shown) as an imaging means connected to the number management device 101.
  • the image data 108 is stored in an HDD (Hard Disc Drive) 204 (FIG. 2) as a recording unit of the number management device 101.
  • the image data 108 may be a moving image or a still image.
  • the image acquisition unit 105 can acquire the image data 108 and output it to the display control unit 107, the result image creation unit 104, and the object detection unit 102.
  • the object detection unit 102 measures the number of persons in the image data 108.
  • the object detection unit 102 can measure the number of persons by, for example, using a known image processing technique to identify and detect a person and measure the number of detected persons.
  • the result image creation unit 104 creates a result image (number of people count result image) to be presented to the user from the image data received from the image acquisition unit 105 and the data received from the database 109 via the file input / output unit 106. .
  • the result image creation unit 104 is configured to create a result image, but it is also possible to create a result other than an image.
  • the graph creation unit 103 receives information set in the display unit 208 (FIG. 2) from the user via the operation unit 207 (FIG. 2) via the display control unit 107, and creates a graph based on the information. .
  • the display control unit 107 performs display control on the display unit 208 (FIG. 2).
  • FIG. 2 shows an example of a hardware configuration of the number management device 101 in the embodiment of the present invention.
  • the number management device 101 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Read Only Memory) 203, an HDD 204, a network interface 205, an operation unit 207, and a display unit 208 as hardware configurations. Is done.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Read Only Memory
  • FIG. 6A and 6B show an example of the graph setting dialog.
  • FIG. 6A shows a graph setting dialog 601 in the case where “area count” is selected by the user in a type setting area 603 to be described later.
  • FIG. 6B shows a graph setting dialog 611 in the case where the “passing person count” is selected by the user in the type setting area 603.
  • the graph creating unit 103 performs graphing processing.
  • a start date / end date / time setting area 612, a type setting area 613, a search button 614, a totaling unit setting area 616, and a display / cancel button 617 are the start date / time / end date / time setting area 602, the type setting area 603, and the type setting area 603, respectively. Since it is the same as the search button 604, the total unit setting area 606, and the display / cancel button 607, description thereof is omitted.
  • the detection line setting area 615 selects the detection line 502 as shown in FIG. 5 and the direction to be the positive direction from, for example, a pull-down list.
  • FIGS. 6A and 6B are examples, and other configurations may be used as long as settings for creating and displaying graphs can be made.
  • FIG. 9 shows an example of a passing person count graph 901 created by the graph creation unit 103 in accordance with the user setting in the graph setting dialog 611 shown in FIG. 6B and displayed on the screen of the display unit 208 by the display control unit 107. It is.
  • the vertical axis represents the number of people and the horizontal axis represents time, and the time shown on the horizontal axis is the start date / time and end date / time set in at least the start date / end date / time setting area 612 in FIG. 6B. Including the period.
  • the bar graphs 902 and 903 are between 11:10 and 11:20 along the total unit time set in the total unit setting area 616 in FIG. 6B (in the example of FIG. 7, the total unit time is 10 minutes). The number of In counted and the number of Out counted are shown.
  • the passing person count result image 1001 is a moving image.
  • an ellipse 1002 obtained from the coordinates and size of a detected person, a detection line 1003, an arrow 1004 indicating a positive direction, and a measurement person number 1005 are displayed on the image data to be measured. This is a superimposed image.
  • the passing person count result image 1001 is reproduced and displayed in the image display area 302. Instead of the ellipse 1002, another figure indicating the detected person may be used.
  • the measurement data at the next earlier imaging time in the time zone of the total unit time in which the bar graph 902 exists is selected. If no measurement data exists, the process ends.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像手段により得られた画像データに基づいて人数を管理する人数管理装置は、該画像データの所定の領域に存在する人数をカウントする領域人数カウントと、該画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定し、該設定に応じて、該画像データから人数カウント結果を作成し、該人数カウント結果を表示部に表示する。人数管理装置は、該領域人数カウントが設定された場合は、該人数カウント結果として静止画を作成し、該通過人数カウントが設定された場合は、該人数カウント結果として動画を作成する。

Description

人数管理装置、人数管理方法およびプログラム
　本発明は、人数管理装置、人数管理方法およびプログラムに関する。
　近年、監視カメラをあらゆる場所に設置することが進められている。また、最近では、建物内の監視カメラを設置し、監視カメラにより撮像された画像を建物の管理者等が再生して閲覧することにより、セキュリティや販促を目的とした解析を行うための技術の開発が進められている。
　例えば、撮像装置により撮像された画像から人物等の特定物の個数を検出し、当該個数に対応する情報を出力する技術が特許文献１に記載されている。また、検出した結果を管理者等に分かりやすく表示する技術が特許文献２に記載されている。具体的には、特許文献２には、所定のエリアへの時間帯別の入場者数のヒストグラムを表示し、当該ヒストグラムの任意の時間帯のグラフが選択されることに応答して、選択された時間帯に撮像装置により撮像された画像を表示するシステムが開示されている。
特開２０１４-６５８６号公報 特開２０１０－１８１９２０号公報
　画像の解析目的によっては、人の動きを考慮して、所定の領域に存在する人数、および、当該所定の領域内の所定の位置を通過する人数を、時間帯別に把握することが必要である。また、カウントした人数を管理者等に分かりやすい態様で提示（表示）することも重要である。しかしながら、上記文献に開示される技術では、このような要求を満たすものではなかった。
　本開示では、上記課題に鑑みて、所定の領域に存在する人数および当該所定の領域の所定の位置を通過する人数を検出して、それぞれの検出手法に対応した表示を行うための技術を提供する。
　上記目的を達成するための一手段として、本発明の人数管理装置は以下の構成を有する。すなわち、撮像手段により得られた画像データに基づいて人数を時間帯ごとに管理する人数管理装置であって、前記画像データの所定の領域に存在する人数をカウントする領域人数カウントと、前記画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定する設定手段と、前記設定手段による設定に応じて、前記画像データから人数カウント結果を表示部に表示する表示制御手段と、を有し、前記表示制御手段は、前記設定手段により前記領域人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された静止画を表示し、前記設定手段により前記通過人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された動画を再生する。
　本発明によれば、所定の領域に存在する人数および当該所定の領域の所定の位置を通過する人数を検出して、それぞれの検出手法に対応した表示を行うことが可能となる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
図１は人数管理装置の機能構成の一例を示す図である。 図２は人数管理装置のハードウェア構成の一例を示す図である。 図３は表示部２０８のメインウィンドウの画像の一例を示す図である。 図４は領域人数カウント中の表示部２０８のメインウィンドウの画像の一例を示す図である。 図５は通過人数カウント中の表示部２０８のメインウィンドウの画像の一例を示す図である。 図６Ａは領域人数カウント時のグラフ設定ダイアログ画像を示す図である。 図６Ｂは通過人数カウント時のグラフ設定ダイアログ画像を示す図である。 図７は領域人数カウントグラフ画像を示す図である。 図８Ａは領域人数カウント結果画像を示す図である。 図８Ｂは領域人数カウント結果画像を示す図である。 図９は通過人数カウントグラフ画像を示す図である。 図１０は通過人数カウント結果画像を示す図である。
　以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
　図１は、本発明の実施形態における人数管理装置１０１の機能構成の一例を示す。人数管理装置１０１は、機能構成として、物体検知部１０２、グラフ作成部１０３、結果画像作成部１０４、画像取得部１０５、ファイル入出力部１０６、表示制御部１０７から構成される。
　画像データ１０８は、人数管理装置１０１に接続された撮像手段としてのカメラ（不図示）により撮像されて生成された画像データである。画像データ１０８は、人数管理装置１０１の録画手段としてのＨＤＤ（Hard Disc Drive）２０４（図２）に保存される。なお、画像データ１０８は、動画像または静止画であり得る。画像取得部１０５は、画像データ１０８を取得し、表示制御部１０７、結果画像作成部１０４、物体検知部１０２に出力することができる。物体検知部１０２は、画像データ１０８における人物の数を計測する。物体検知部１０２は、例えば、周知の画像処理技術を利用して人物を特定して検出、検出された人物の数を計測することにより、人数を計測することができる。
　結果画像作成部１０４は、画像取得部１０５から受け取った画像データやデータベース１０９からファイル入出力部１０６を介して受け取ったデータから、ユーザに提示するための結果画像（人数カウント結果画像）を作成する。本実施形態では、結果画像作成部１０４は結果画像を作成するように構成されるが、画像以外の結果を作成することも可能である。グラフ作成部１０３は、操作部２０７（図２）を介してユーザより表示部２０８（図２）において設定された情報を表示制御部１０７を介して受け取り、当該情報に基づいてグラフの作成を行う。表示制御部１０７は、表示部２０８（図２）に対する表示制御を行う。例えば、表示制御部１０７は、表示部２０８に対して画像取得部１０５、グラフ作成部１０３、結果画像作成部１０４等から受け取った情報を表示部２０８へ表示し、また、表示部２０８に表示された情報をグラフ作成部１０３、結果画像作成部１０４等に伝達する。ファイル入出力部１０６は、データベース１０９の入出力を行う。
　図２は、本発明の実施形態における人数管理装置１０１のハードウェア構成の一例を示す。人数管理装置１０１は、ハードウェア構成として、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Read Only Memory）２０３、ＨＤＤ２０４、ネットワークインターフェース２０５、操作部２０７、表示部２０８から構成される。
　ＣＰＵ２０１は、人数管理装置１０１を統括制御する。ＲＯＭ２０２は、ＣＰＵ２０１が人数管理装置１０１を制御するためのプログラム等を記憶する。なお、ＲＯＭ２０２に代えて、２次記憶装置であってもよい。ＲＡＭ２０３は、ＲＯＭ２０２から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ２０３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。ＨＤＤ２０４は、データベース１０９を格納する。ネットワークインターフェース２０５は、ネットワーク２０６を介して通信を行い、接続先の画像データ１０８を取得するためのインタフェースである。表示部２０８は、画像取得部１０５、グラフ作成部１０３、結果画像作成部１０４等から受け取った情報を表示するディスプレイ等の画面を有するデバイスである。操作部２０７は、ユーザによる入力操作により用いられ、例えば、マウスやタッチパネルから構成される。
　以上のように、人数管理装置１０１のハードウェア構成は、一般的なＰＣ（Personal Computer）に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、人数管理装置１０１で実現される各種機能を、一般的なＰＣ上で動作するソフトウェアとして実装することも可能である。
　続いて、人数管理装置１０１の動作について説明する。まず、表示制御部１０７は、画像取得部１０５を介して受け取った画像データ１０８を表示部２０８の画面に表示する。図３は、表示部２０８の画面のメインウィンドウの画像の一例を示す。図３において、メインウィンドウ３０１は、画像表示エリア３０２、領域人数カウントボタン３０３、通過人数カウントボタン３０４、グラフ設定ダイアログ起動ボタン３０５を含んで構成されている。
　画像表示エリア３０２には、画像取得部１０５がネットワークインターフェース２０５を介して取得した画像データ１０８の画像が表示される。領域人数カウントボタン３０３は、所定の領域に存在する人数を時間帯別にカウントすることを指示するためのボタンである。通過人数カウントボタン３０４は、所定の領域内の所定の位置を通過する人数を時間帯別にカウントすることを指示するためのボタンである。グラフ設定ダイアログ起動ボタン３０５は、表示部２０８に、グラフを作成・表示するための設定を行うためのグラフ設定ダイアログを表示することを指示するためのボタンである。
　以下、ユーザが操作部２０７を介して、領域人数カウントボタン３０３、通過人数カウントボタン３０４、またはグラフ設定ダイアログ起動ボタン３０５をそれぞれ選択した場合の人数管理装置１０１の動作について説明する。
　まず、ユーザが操作部２０７を介して領域人数カウントボタン３０３を選択した場合について説明する。なお、領域人数カウントボタン３０３が選択された場合に物体検知部１０２が人数を計測する対象となる画像データ１０８は、動画または静止画である。領域人数カウントボタン３０３が選択されることに応答して、物体検知部１０２は、画像データ１０８における人物の数（人数）を計測する。物体検知部１０２は、画像データ１０８を継続的に取得し、人数を継続的に計測する。物体検知部１０２は更に、人数計測の対象となった画像データ１０８の撮像時刻、計測人数、検知した人物の画像中の座標とサイズ、画像データ１０８、の情報を関連付けて、計測データとしてファイル入出力部１０６へ出力する。ファイル入出力部１０６は、物体検知部１０２から受け取った計測データをデータベース１０９に保存する。なお、データの保存先はデータベース１０９に限定されない。
　図４に、領域人数カウントボタン３０３が選択された場合の、物体検知部１０２により人数計測中における表示部２０８の画面のメインウィンドウの画像の一例を示す。表示部２０８の画面のメインウィンドウ４０１には、表示制御部１０７により画像データ１０８が表示される。また、表示制御部１０７は、物体検知部１０２により計測された人数の情報を数４０２のようにメインウィンドウ４０１に表示する。
　次に、ユーザが操作部２０７を介して通過人数カウントボタン３０４を選択した場合について説明する。なお、通過人数カウントボタン３０４が選択された場合に物体検知部１０２が人数を計測する対象となる画像データ１０８は、動画である。通過人数カウントボタン３０４が選択されることに応答して、物体検知部１０２は、画像データ１０８の画像中に設定した検知線（通過ライン）を、設定した方向と同方向（正方向）で通過した人数および設定した方向の逆方向（逆方向）で通過した人数を計測する。この検知線と方向は、図６Ｂを用いて後述するようにユーザによって設定されたものでもよく、また、人数管理装置１０１に対して所定の条件を与えることにより、ＣＰＵ２０１により設定されてもよい。物体検知部１０２は、正方向で通過した人数をＩｎの人数として計測し、逆方向で通過した人数をＯｕｔの人数として計測する。
　物体検知部１０２は、画像データ１０８を継続的に取得し、人数を継続的に計測する。物体検知部１０２は更に、人数計測の対象となった画像データ１０８の撮像時刻、計測人数、検知した人物の画像中の座標とサイズ、設定した検知線、設定した方向（正方向）、画像データ１０８、の情報を関連付けて、計測データとしてファイル入出力部１０６へ出力する。ファイル入出力部１０６は、物体検知部１０２から受け取った計測データをデータベース１０９に保存する。なお、データの保存先はデータベース１０９に限定されない。
　図５に、通過人数カウントボタン３０４が選択された場合の、物体検知部１０２により人数計測中における表示部２０８の画面のメインウィンドウの画像の一例を示す。表示部２０８の画面のメインウィンドウ５０１には、表示制御部１０７により画像データ１０８が表示される。また、表示制御部１０７は、検知線５０２と正方向の矢印５０３をメインウィンドウ５０１に表示する。また、表示制御部１０７は、物体検知部１０２により計測されたＩｎの人数とＯｕｔの人数の情報を数５０４のようにメインウィンドウ５０１に表示する。
　次に、ユーザが操作部２０７を介してグラフ設定ダイアログ起動ボタン３０５を選択した場合について説明する。グラフ設定ダイアログ起動ボタン３０５が選択されることに応答して、表示制御部１０７は表示部２０８の画面に、グラフを作成・表示するための設定を行うためグラフ設定ダイアログを表示する。
　図６Ａと図６Ｂに、グラフ設定ダイアログの一例を示す。図６Ａは、後述する種別設定領域６０３でユーザにより「領域人数カウント」が選択された場合のグラフ設定ダイアログ６０１を示す。また、図６Ｂは、種別設定領域６０３でユーザにより「通過人数カウント」が選択された場合のグラフ設定ダイアログ６１１を示す。ユーザが操作部２０７を介してグラフ設定ダイアログ６０１または６１１で種々の設定を完了することに応じて、グラフ作成部１０３がグラフ化処理を行う。
　図６Ａのグラフ設定ダイアログ６０１は、開始日時／終了日時設定領域６０２、種別設定領域６０３、検索ボタン６０４、検出領域設定領域６０５、集計単位設定領域６０６、および表示／キャンセルボタン６０７から構成される。各ボタン／領域への操作は、操作部２０７を介して行われる。
　開始日時／終了日時設定領域６０２は、グラフ作成対象期間を設定する領域であり、ユーザは当該対象期間を、開始日時と終了日時を特定することにより設定する。種別設定領域６０３では、ユーザは「領域人数カウント」または「通過人数カウント」のいずれかを、例えばプルダウンリストから選択可能である。「領域人数カウント」が選択された場合、領域人数カウントボタン３０３が選択されたことに応じて計測された人数に対応するグラフが、グラフ作成部１０３により作成される。「通過人数カウント」が選択された場合、通過人数カウントボタン３０４が選択されたことにより計測された人数に対応するグラフがグラフ作成部１０３により作成される。
　ユーザは、開始日時／終了日時設定領域６０２と種別設定領域６０３に対する設定を完了し、検索ボタン６０４を選択すると、ＣＰＵ２０１により開始日時／終了日時設定領域６０２と種別設定領域６０３に対する設定に対応するよう選択された、検出領域設定領域６０５、集計単位設定領域６０６が表示される。検出領域設定領域６０５は、撮影対象の領域を設定する領域であり、ユーザは当該領域を、例えばプルダウンリストから選択可能である。なお、検出領域設定領域６０５として、画像データ１０８を生成した撮像手段を指定できるように構成されてもよい。集計単位設定領域６０６は、グラフ作成の集計単位時間を設定する領域であり、ユーザは当該領域を、例えば例えばプルダウンリストから選択可能である。
　集計単位設定領域６０６までの設定が完了し、ユーザにより表示／キャンセルボタン６０７のうち、表示ボタンが選択されることに応じて、グラフ作成部１０３は、設定された情報に基づいてグラフを作成する。そして、グラフが作成されると、表示制御部１０７は後述する図７のような画面を表示部２０８に表示する。設定を修正する場合は、ユーザは、表示／キャンセルボタン６０７のうち、キャンセルボタンを選択し、再度設定を行う。
　一方、図６Ｂのグラフ設定ダイアログ６１１は、開始日時／終了日時設定領域６１２、種別設定領域６１３、検索ボタン６１４、検知線設定領域６１５、集計単位設定領域６１６、および表示／キャンセルボタン６１７から構成される。各ボタン／領域への操作は、操作部２０７を介して行われる。
　開始日時／終了日時設定領域６１２、種別設定領域６１３、検索ボタン６１４、集計単位設定領域６１６、および表示／キャンセルボタン６１７は、それぞれ図６Ａの開始日時／終了日時設定領域６０２、種別設定領域６０３、検索ボタン６０４、集計単位設定領域６０６、および表示／キャンセルボタン６０７と同様のため、説明を省略する。検知線設定領域６１５は、図５に示したような検知線５０２と、正方向とする方向を、例えばプルダウンリストから選択する。
　集計単位設定領域６１６までの設定が完了し、ユーザにより表示／キャンセルボタン６０７のうち、表示ボタンが選択されることに応じて、グラフ作成部１０３は、設定された情報に基づいてグラフを作成する。そして、グラフが作成されると、表示制御部１０７は後述する図９のような画面を表示部２０８に表示する。設定を修正する場合は、ユーザは、表示／キャンセルボタン６０７のうち、キャンセルボタンを選択し、再度設定を行う。
　なお、図６Ａと図６Ｂに示したグラフ設定ダイアログは一例であり、グラフ作成・表示のための設定ができる構成であれば、他の構成であってもよい。
　図７は、図６Ａに示したグラフ設定ダイアログ６０１でのユーザの設定に応じてグラフ作成部１０３により作成され、表示制御部１０７より表示部２０８の画面に表示される領域人数カウントグラフ７０１の例である。領域人数カウントグラフ７０１において、縦軸は人数、横軸は時間を表し、ここで横軸に示す時間は、少なくとも図６Ａの開始日時／終了日時設定領域６０２において設定された開始日時と終了日時間の期間を含む。グラフ要素の１つである棒グラフ７０２は、図６Ａの集計単位設定領域６０6で設定された集計単位時間（図７の例では、集計単位時間は４分とする）に沿った、０９：０８～０９：１２の期間内で複数回計測処理を行ったときにカウントされた人数の平均を示している。また、図７では、各グラフ要素としての各棒グラフは、各集計単位時間でカウントされた人数の平均を示すが、これに替えて、各集計単位時間において計測された、最大人数、最小人数、もしくはそれらの組み合わせであってもよい。また、各集計単位時間で１回のみの計測の場合はそのままの人数が計測結果としてグラフ表示されることになる。
　ここで、ユーザが操作部２０７を介して棒グラフ７０２を選択することに応じて、結果画像作成部１０４は、選択されている棒グラフ７０２が存在する集計時間単位の時間帯で計測されてデータベース１０９に保存された計測データのうち、最も撮像時刻が早い計測データを選択する。そして、結果画像作成部１０４は、選択した計測データに含まれる、計測人数、検知した人物の画像中の座標とサイズ、画像データを、ファイル入出力部１０６経由でデータベース１０９から取得する。結果画像作成部１０４は、計測データから画像データが取得できない場合は、画像取得部１０５から画像データ１０８を取得してもよい。続いて、結果画像作成部１０４は、取得したデータから、結果作成を行う。本実施形態では、結果画像作成部１０４は、表示部２０８に結果として表示する領域人数カウント結果画像を作成する。
　図８Ａは、このようにして結果画像作成部１０４により作成された領域人数カウント結果画像８０１を示す。領域人数カウント結果画像８０１は、静止画であり、例えば、計測対象の画像データ上に、検知した人物の座標とサイズから求めた楕円８０２と、計測人数８０３を重畳した画像である。領域人数カウント結果画像８０１は、画像表示エリア３０２に表示される。なお、楕円８０２に替えて、検出した人物を指し示す他の図形であってもよい。
　なお、図８Ａでは、１つのグラフ要素である１つの棒グラフから１つの計測データに対する領域人数カウント結果画像８０１が作成され表示される例を示したが、これに限定されない。例えば、結果画像作成部１０４は、１つの棒グラフが存在する集計単位時間の時間帯で計測されてデータベースに保存された全て計測データに対応して複数の領域人数カウント結果画像を作成し、表示制御部１０７が、それらを時系列順にまたは同時に表示してもよい。また、結果画像作成部１０４は、複数の領域人数カウント結果画像８０１として、検出した複数人物を示す画像をそれぞれ作成し、表示制御部１０７が、それらを時系列順または同時に表示することも可能である（図８Ｂ）。
　図９は、図６Ｂに示したグラフ設定ダイアログ６１１でのユーザの設定に応じてグラフ作成部１０３により作成され、表示制御部１０７より表示部２０８の画面に表示される通過人数カウントグラフ９０１の例である。通過人数カウントグラフ９０１において、縦軸は人数、横軸は時間を表し、ここで横軸に示す時間は、少なくとも図６Ｂの開始日時／終了日時設定領域６１２において設定された開始日時と終了日時間の期間を含む。棒グラフ９０２と９０３は、図６Ｂの集計単位設定領域６１６で設定された集計単位時間（図７の例では、集計単位時間は１０分とする）に沿った、１１：１０～１１：２０間でカウントされたＩｎの人数とＯｕｔの人数をそれぞれ示す。
　ここで、ユーザが操作部２０７を介して棒グラフ９０２を選択することに応じて、結果画像作成部１０４は以下のように動作する。
（１）選択した棒グラフ９０２が存在する集計単位時間の時間帯で計測されてデータベース１０９に保存された計測データのうち、最も撮像時刻が早い計測データを選択する。
（２）選択された計測データに含まれる、計測人数と、検知された人物の画像中の座標とサイズと、および画像データを、ファイル入出力部１０６経由でデータベース１０９から取得する。計測データから画像データを取得できない場合は、画像取得部１０５から画像データ１０８を取得する。
（３）取得したデータから、表示部２０８に結果として表示する通過人数カウント結果画像を作成する。図１０は、このようにして結果画像作成部１０４により作成された通過人数カウント結果画像１００１を示す。通過人数カウント結果画像１００１は、動画であり、例えば、計測対象の画像データ上に、検知した人物の座標とサイズから求めた楕円１００２、検知線１００３、正方向を示す矢印１００４、計測人数１００５を重畳した画像である。通過人数カウント結果画像１００１は、画像表示エリア３０２に再生・表示される。なお、楕円１００２に替えて、検出した人物を指し示す他の図形であってもよい。
（４）（１）に戻って棒グラフ９０２が存在する集計単位時間の時間帯の、次に早い撮像時刻の計測データを選択する。計測データが存在しなければ終了する。
　また、上記（３）の表示形態（通過人数カウント結果画像１００１の形態）としては、以下のような形態も考えられる。
（Ａ）検知線を正方向に通過した人数（Ｉｎの人数）を表す棒グラフが選択された場合は、検知線を正方向に通過した瞬間（プラス前後の所定時間）の画像だけを、通過人数カウント結果画像１００１の少なくとも一部として作成して表示する。
（Ｂ）検知線を逆方向に通過した人数（Ｏｕｔの人数）を表す棒グラフが選択された場合は、検知線を逆方向に向に通過した瞬間（プラス前後の所定時間）の画像だけを、通過人数カウント結果画像１００１の少なくとも一部として作成して表示する。
（Ｃ）正方向と逆方向のいずれの方向の人数（Ｉｎの人数とＯｕｔの人数）を表している棒グラフが選択された場合は、方向に関わらず棒グラフが存在する時間単位の時間帯のデータの結果画像を、通過人数カウント結果画像１００１の少なくとも一部として作成し、時系列順または同時に、全て表示する。
　このように、本実施形態によれば、計測した結果を保存し、保存した結果を後から呼び出して、特定の期間をグラフ化して表示し、表示したグラフからグラフの要素となる計測結果画像を表示することができる。ここで、計測する人数のタイプにより表示形態を変えることにより、よりユーザに解析しやすい表示を提供することができる。
（その他の実施例）　
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１７年５月３０日提出の日本国特許出願特願２０１７－１０７０６７を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (10)

  1. 　撮像手段により得られた画像データに基づいて人数を時間帯ごとに管理する人数管理装置であって、
    　前記画像データの所定の領域に存在する人数をカウントする領域人数カウントと、前記画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定する設定手段と、
    　前記設定手段による設定に応じて、前記画像データから人数カウント結果を表示部に表示する表示制御手段と、を有し、
    　前記表示制御手段は、前記設定手段により前記領域人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された静止画を表示し、前記設定手段により前記通過人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された動画を再生する
    ことを特徴とする人数管理装置。
  2. 　前記設定手段により前記領域人数カウントが設定された場合、前記表示制御手段は、前記所定の領域に存在する平均の人数、最大人数、最小人数、またはそれらの組み合わせの人数を前記時間帯ごとにグラフ化して表示することを特徴とする請求項１に記載の人数管理装置。
  3. 　前記設定手段により前記通過人数カウントが設定された場合、前記表示制御手段は、前記所定のラインを所定の方向および当該所定の方向と逆方向に通過する時間帯別の人数をグラフ化して表示することを特徴とする請求項２に記載の人数管理装置。
  4. 　前記表示制御手段は、
    　前記設定手段により前記領域人数カウントが設定された場合、時間帯ごとの人数を示すグラフの要素のうちの１つがユーザにより選択されることに応じて、前記表示制御手段は、前記選択されたグラフの要素が存在する時間帯において撮像された前記画像データから、カウントされた人数、および検知した人物の座標とサイズに対応する前記人物を示す図形、の情報を、前記画像データに重畳した静止画を表示することを特徴とする請求項２または３に記載の人数管理装置。
  5. 　前記設定手段により前記領域人数カウントが設定された場合、時間帯ごとの人数を示すグラフのうちの１つがユーザにより選択されることに応じて、前記表示制御手段は、前記選択されたグラフの要素が存在する時間帯において撮像された前記画像データから、カウントされた人物を含む静止画を表示することを特徴とする請求項４に記載の人数管理装置。
  6. 　前記設定手段により前記通過人数カウントが設定された場合、時間帯ごとの人数を示すグラフの要素のうちの１つがユーザにより選択されることに応じて、カウントされた人数、検知した人物の座標とサイズに対応する前記人物を示す図形、前記所定のラインおよび前記所定の方向、の情報を重畳した動画を前記人数カウント結果として作成することを特徴とする請求項２または３に記載の人数管理装置。
  7. 　撮像手段により得られた画像データに基づいて人数を時間帯ごとに管理する人数管理装置であって、
    　前記画像データの所定の領域に存在する人数をカウントする領域人数カウントと、前記画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定する設定手段と、
    　前記設定手段により前記領域人数カウントが設定された場合は、人数カウント結果として静止画を表示し、前記設定手段により前記通過人数カウントが設定された場合は、前記人数カウント結果として動画を表示部に表示する表示制御手段と、
    を有することを特徴とする人数管理装置。
  8. 　撮像手段により得られた画像データに基づいて人数を時間帯ごとに管理する人数管理方法であって、
    　前記画像データの所定の領域に存在する人数をカウントする領域人数カウントと、前記画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定する設定工程と、
    　前記設定工程における設定に応じて、前記画像データから人数カウント結果を表示部に表示する表示制御工程と、を有し、
    　前記表示制御工程では、前記設定工程において前記領域人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された静止画を表示し、前記設定工程において前記通過人数カウントが設定された場合は、選択された人数カウント結果に対応する時間帯に前記撮像手段によって撮影された動画を再生する
    ことを特徴とする人数管理方法。
  9. 　撮像手段により得られた画像データに基づいて人数を時間帯ごとに管理する人数管理方法であって、
    　前記画像データの所定の領域に存在する人数をカウントする領域人数カウントと、前記画像データに設定された所定のラインを通過する人数をカウントする通過人数カウントのいずれかを設定する設定工程と、
    　前記設定工程において前記領域人数カウントが設定された場合は、人数カウント結果として静止画を表示し、前記設定工程において前記通過人数カウントが設定された場合は、前記人数カウント結果として動画を表示部に表示する表示制御工程と、
    を有することを特徴とする人数管理方法。
  10. 　コンピュータを、請求項１から７のいずれか１項に記載の人数管理装置として機能させるためのプログラム。

    　
PCT/JP2018/015324 2017-05-30 2018-04-12 人数管理装置、人数管理方法およびプログラム Ceased WO2018221030A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880035612.0A CN110709857B (zh) 2017-05-30 2018-04-12 人物计数设备、人物计数方法以及存储介质
EP18809856.0A EP3633986B1 (en) 2017-05-30 2018-04-12 Headcount management device, and headcount management method and program
US16/697,425 US11250273B2 (en) 2017-05-30 2019-11-27 Person count apparatus, person count method, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017107067A JP6910208B2 (ja) 2017-05-30 2017-05-30 情報処理装置、情報処理方法およびプログラム
JP2017-107067 2017-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/697,425 Continuation US11250273B2 (en) 2017-05-30 2019-11-27 Person count apparatus, person count method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2018221030A1 true WO2018221030A1 (ja) 2018-12-06

Family

ID=64454703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015324 Ceased WO2018221030A1 (ja) 2017-05-30 2018-04-12 人数管理装置、人数管理方法およびプログラム

Country Status (5)

Country Link
US (1) US11250273B2 (ja)
EP (1) EP3633986B1 (ja)
JP (1) JP6910208B2 (ja)
CN (1) CN110709857B (ja)
WO (1) WO2018221030A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250273B2 (en) 2017-05-30 2022-02-15 Canon Kabushiki Kaisha Person count apparatus, person count method, and non-transitory computer-readable storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7313850B2 (ja) * 2019-03-15 2023-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
JP2022011927A (ja) 2020-06-30 2022-01-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2023066182A (ja) * 2021-10-28 2023-05-15 アイタックソリューションズ株式会社 情報処理システム、情報処理方法及び情報処理プログラム
CN116843514B (zh) * 2023-08-29 2023-11-21 北京城建置业有限公司 一种基于数据识别的物业综合管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2005143016A (ja) * 2003-11-10 2005-06-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2008016895A (ja) * 2006-06-30 2008-01-24 Sony Corp 監視システム、監視システム用サーバ及び監視方法
JP2010181920A (ja) 2009-02-03 2010-08-19 Optex Co Ltd エリア管理システム
JP2014006586A (ja) 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2016085688A (ja) * 2014-10-28 2016-05-19 パナソニックＩｐマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP2017107067A (ja) 2015-12-09 2017-06-15 株式会社ニコン ズームレンズ、光学機器及びズームレンズの製造方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148863A (ja) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
US7692684B2 (en) * 2004-09-27 2010-04-06 Point Grey Research Inc. People counting systems and methods
US8228382B2 (en) * 2005-11-05 2012-07-24 Ram Pattikonda System and method for counting people
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US7787656B2 (en) * 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
GB2476500B (en) * 2009-12-24 2012-06-20 Infrared Integrated Syst Ltd Activity mapping system
JP5868164B2 (ja) * 2011-12-21 2016-02-24 キヤノン株式会社 撮像装置、情報処理システム、制御方法、及びプログラム
US20140059134A1 (en) * 2012-08-24 2014-02-27 Realtek Semiconductor Corp. Multimedia delivery system and related computer program product for providing statistical graph related to auxiliary multimedia data
KR101776706B1 (ko) * 2012-11-30 2017-09-08 한화테크윈 주식회사 복수의 카메라 기반 사람계수장치 및 방법
KR101480348B1 (ko) * 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
JP5834249B2 (ja) * 2013-11-20 2015-12-16 パナソニックＩｐマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
KR101557376B1 (ko) * 2014-02-24 2015-10-05 에스케이 텔레콤주식회사 사람 계수 방법 및 그를 위한 장치
JP5853141B2 (ja) * 2014-03-26 2016-02-09 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP6074395B2 (ja) * 2014-09-12 2017-02-01 富士フイルム株式会社 コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
CN105844328B (zh) * 2015-01-15 2021-03-02 开利公司 用于自动试运行人员计数系统的方法和系统
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6532398B2 (ja) * 2015-08-07 2019-06-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10134146B2 (en) * 2016-01-14 2018-11-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US10497130B2 (en) * 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP6910208B2 (ja) 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2005143016A (ja) * 2003-11-10 2005-06-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2008016895A (ja) * 2006-06-30 2008-01-24 Sony Corp 監視システム、監視システム用サーバ及び監視方法
JP2010181920A (ja) 2009-02-03 2010-08-19 Optex Co Ltd エリア管理システム
JP2014006586A (ja) 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2016085688A (ja) * 2014-10-28 2016-05-19 パナソニックＩｐマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP2017107067A (ja) 2015-12-09 2017-06-15 株式会社ニコン ズームレンズ、光学機器及びズームレンズの製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633986A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250273B2 (en) 2017-05-30 2022-02-15 Canon Kabushiki Kaisha Person count apparatus, person count method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
EP3633986B1 (en) 2025-11-05
US20200097736A1 (en) 2020-03-26
JP2018207175A (ja) 2018-12-27
CN110709857A (zh) 2020-01-17
CN110709857B (zh) 2023-11-28
US11250273B2 (en) 2022-02-15
EP3633986A1 (en) 2020-04-08
JP6910208B2 (ja) 2021-07-28
EP3633986A4 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JP6910208B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102021999B1 (ko) 인체 감시 발열 경보 장치
JP2013504933A5 (ja)
JP2013017631A (ja) 手洗いモニタおよび手洗いモニタ方法
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
CN110199316A (zh) 相机和相机的图像处理方法
JP6909083B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2014050432A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2010108257A (ja) メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
CN111353374A (zh) 信息处理设备及其控制方法以及计算机可读存储介质
US12100219B2 (en) Generating images or timelines based on user-configured thresholds for number of people and staying time in target area
JP6602067B2 (ja) 表示制御装置、表示制御方法、プログラム
JP2016015579A (ja) 情報処理装置、情報処理方法及びプログラム
JP2021145303A5 (ja)
Mushahar et al. Human body temperature detection based on thermal imaging and screening using YOLO Person Detection
JP2017085204A (ja) メタデータの登録制御
JP2017192114A5 (ja)
JP2017017488A (ja) 監視システム、撮影制御方法及びプログラム
CN108463692A (zh) 信息处理设备、信息处理方法及程序
JP2020191590A (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
JP2026009817A (ja) システムおよびプログラム
JP6554820B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP7775913B2 (ja) 画像分析装置、画像分析方法及びプログラム
JPWO2021131050A5 (ja)
JP2018051243A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18809856

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018809856

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018809856

Country of ref document: EP

Effective date: 20200102

WWG Wipo information: grant in national office

Ref document number: 2018809856

Country of ref document: EP