JP6785437B2 - 人物行動監視装置および人物行動監視システム - Google Patents

Description

本発明は、施設内に設置された複数のカメラの撮影画像から監視画像を生成して表示装置に表示する人物行動監視装置および人物行動監視システムに関するものである。

鉄道の駅の構内では、危険な行動を起こす人物がいると、安全で円滑な列車の運行に支障を来すことから、そのような危険な行動を起こす可能性の高い要注意人物を迅速に発見して、早期に適切な対応を行う必要がある。

このような要注意人物を迅速に発見する技術として、従来、カメラの撮影画像から人物の行動を認識することで不審な行動を判定して、不審者を発見する技術が知られている（特許文献１参照）。また、カメラの撮影画像から人物を検出して、撮影画像に登場する登場回数を人物ごとに取得し、登場回数が多い場合にうろつきの可能性が高いものと判定して、うろつき者を検知する技術が知られている（特許文献２参照）。

特開２０１０−２７２９５８号公報 国際公開第２０１４／１３２８４１号

しかしながら、これらの従来技術では、駅の構内のように、多数の人物が行き交うような環境下では、場合によっては要注意人物が多数発見されるなどして、どの人物に注目すべきかを適切に判断することができず、監視者が施設内に滞在する人物をリアルタイムに監視する監視作業を効率よく行うことができないという問題があった。

そこで、本発明は、多くの人物が行き交う環境下でも、監視者が要注意人物に適切に注目して、施設内に滞在する人物をリアルタイムに監視する監視作業を効率よく行うことができる人物行動監視装置および人物行動監視システムを提供することを主な目的とする。

本発明の人物行動監視装置は、施設内に設置された複数のカメラの撮影画像に基づき、監視画像を生成して表示装置に表示する人物行動監視装置であって、複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、前記プロセッサは、前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成する構成とする。

また、本発明の人物行動監視システムは、施設内に設置される複数のカメラと、この複数のカメラの撮影画像をネットワーク経由で取得して監視画像を生成するサーバ装置と、このサーバ装置から出力される前記監視画像を表示する表示装置と、を備えた人物行動監視システムであって、前記サーバ装置は、複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、前記プロセッサは、前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成する構成とする。

本発明によれば、第１、第２の追尾テーブルに登録された追尾情報に基づいて、人物の滞在の程度を識別可能とした第１の定型画像および第２の定型画像を撮影画像に重畳することにより、監視者が、注意の必要性の高さを認識した上で、うろつき人物に注目することができる。これにより、多くの人物が行き交う環境下でも、施設内に滞在するうろつき人物をリアルタイムに監視する監視作業を効率よく行うことができる。

本実施形態に係る人物行動監視システムの全体構成図 サーバ２の概略構成を示すブロック図 表示装置３に表示される監視画像を示す説明図 人物の追尾状況の一例を示す説明図 サーバ２で管理されるリアルタイム追尾テーブルおよび追尾完了テーブルの登録内容を示す説明図 サーバ２で管理されるうろつき人物テーブルの登録内容を示す説明図 サーバ２のプロセッサ１２で行われる処理の手順を示すフロー図 長時間滞在判定（ＳＴ１０５）の処理手順を示すフロー図 うろつき検知（ＳＴ１０８）の処理手順を示すフロー図

前記課題を解決するためになされた第１の発明は、施設内に設置された複数のカメラの撮影画像に基づき、監視画像を生成して表示装置に表示する人物行動監視装置であって、複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、前記プロセッサは、前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成する構成とする。

これによると、第１、第２の追尾テーブルに登録された追尾情報に基づいて、人物の滞在の程度を識別可能とした第１の定型画像および第２の定型画像を撮影画像に重畳することにより、監視者が、注意の必要性の高さを認識した上で、うろつき人物に注目することができる。これにより、多くの人物が行き交う環境下でも、施設内に滞在するうろつき人物をリアルタイムに監視する監視作業を効率よく行うことができる。

また、第２の発明は、前記プロセッサは、第１のカメラによる前記撮影画像の前記追尾処理により、前記長時間滞在フラグが真になった人物と同一の人物が、第２のカメラによる前記撮影画像の前記追尾処理により、前記長時間滞在フラグが真となった場合、前記第１の定型画像を前記第２の定型画像に変更する構成とする。

これによると、異なるカメラの撮影画像で同一人物の長時間滞在フラグが真となった場合に、前記第１の定型画像を前記第２の定型画像に変更することで、監視者の注意を喚起することができる。

また、第３の発明は、前記第１の定型画像および前記第２の定型画像は、前記撮影画像内の人物領域の少なくとも一部を取り囲む枠画像であり、その枠画像における色、濃淡、線種、線の太さの少なくともいずれかの表示属性が、滞在の程度に応じて変更される構成とする。

これによると、監視画像上に人物の滞在の程度を明瞭に表示することができる。

また、第４の発明は、前記第１の定型画像および前記第２の定型画像は、前記撮影画像内の人物領域の内部または近傍に表示される図形、文字、記号の少なくともいずれかからなる構成とする。

これによると、監視画像上に人物の滞在の程度を明瞭に表示することができる。

また、第５の発明は、前記プロセッサは、同一の人物に対して、前記長時間滞在フラグが真となる複数の前記追尾情報が存在する場合、警報装置に、要注意人物が存在することを監視者に報知する警報動作を行わせる構成とする。

これによると、要注意人物が存在することを迅速に監視者に知らせることができる。

また、第６の発明は、施設内に設置される複数のカメラと、この複数のカメラの撮影画像をネットワーク経由で取得して監視画像を生成するサーバ装置と、このサーバ装置から出力される前記監視画像を表示する表示装置と、を備えた人物行動監視システムであって、前記サーバ装置は、複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、前記プロセッサは、前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成する構成とする。

これによると、第１の発明と同様に、多くの人物が行き交う環境下でも、施設内に滞在するうろつき人物をリアルタイムに監視する監視作業を効率よく行うことができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る人物行動監視システムの全体構成図である。

この人物行動監視システムは、施設内に滞在する人物の行動を監視するものであり、カメラ１と、サーバ２（人物行動監視装置）と、表示装置３と、警報装置４と、を備えている。

カメラ１は、施設内に複数設置され、施設内に設定された複数の監視エリアをそれぞれ撮影する。このカメラ１は、ネットワークを介してサーバ２と通信可能に接続されている。

サーバ２は、施設内または施設外の適所に設置される。このサーバ２は、ＰＣなどの情報処理装置で構成され、表示装置３が接続されている。このサーバ２では、カメラ１から撮影画像を取得して、その撮影画像の解析により、監視エリア内の人物の状態に関する情報を取得し、その情報を含む監視画像を生成して、その監視画像を表示装置３に表示させて監視者に閲覧させる。本実施形態では、撮影画像の解析によりうろつき人物（要注意人物）を検知し、うろつき人物を示す定型画像を撮影画像上に重畳した監視画像を生成して表示装置３に表示させる。

警報装置４は、サーバ２に接続され、サーバ２からの指示に応じて、ランプの点灯や音声の出力などの警報動作を行う。本実施形態では、うろつき人物を検知すると、警報装置４に警報動作を行わせて、うろつき人物が存在することを監視者に報知する。

次に、サーバ２の概略構成について説明する。図２は、サーバ２の概略構成を示すブロック図である。

サーバ２は、通信部１１と、プロセッサ１２と、記憶部１３と、出力部１４と、を備えている。

通信部１１は、ネットワークを介してカメラ１との間で通信を行う。本実施形態では、カメラ１から送信される撮影画像を受信する。記憶部１３は、カメラ１の撮影画像や、プロセッサ１２で実行されるプログラムなどを記憶する。出力部１４は、プロセッサ１２の制御に基づいて、表示装置３に画面情報を出力し、警報装置４に警報動作指示を出力する。

プロセッサ１２は、記憶部１３に記憶されたプログラムを実行する。本実施形態では、カメラ１の撮影画像で人物を追尾して、１つのカメラ１の撮影エリア内に所定時間以上連続して滞在している長時間滞在者か否かの長時間滞在判定を行い、この長時間滞在判定の結果に基づいて、うろつき人物（注意の必要性の程度が高い要注意人物）を検知する。そして、そのうろつき人物を示す定型画像を撮影画像上に重畳した監視画像を生成して表示装置３に表示させ、また、うろつき人物が存在することを監視者に報知する警報動作を警報装置４に行わせる。

次に、表示装置３に表示される監視画像について説明する。図３は、表示装置３に表示される監視画像を示す説明図である。

駅の構内には、列車の到着を待っている人物、休憩している人物、別の人物と待ち合わせをしている人物など、比較的長時間滞在する人物が存在する。このような人物は、あまりうろつかず、１つのカメラ１の撮影エリア内に留まり続ける。一方、危険な行動を起こす人物は、１つのカメラ１の撮影エリアに留まる一方で、比較的広い範囲を動き回り、複数のカメラ１の撮影エリアを渡り歩く傾向がある。

そこで、本実施形態では、カメラ１の撮影画像３１で人物を追尾して、１つのカメラ１の撮影エリア内に長時間滞在する長時間滞在者か否かの長時間滞在判定を行い、この長時間滞在者とする判定が同一の人物に対して複数回なされた場合に、その人物を、うろつき人物（注意の必要性の程度が高い要注意人物）として検知して、そのうろつき人物を表す人物矩形３２（定型画像、枠画像）を、撮影画像３１における該当する人物に対応する位置に重畳した監視画像を生成して表示装置３に表示させる。

また、うろつき人物と判定される可能性のある人物を、うろつき人物に確定する前から監視者に注目させるようにすると、うろつき人物に確定したタイミングで即座に対応することができるようになる。そこで、本実施形態では、最初に長時間滞在者と判定される、すなわち、長時間滞在者とする判定が１回なされると、うろつき候補人物（注意の必要性の程度が低い要注意人物）と判定して、うろつき候補人物を表す人物矩形３２（定型画像）を、撮影画像３１における該当する人物に対応する位置に重畳した監視画像を生成して表示装置３に表示させる。

また、本実施形態では、人物矩形３２の表示態様の違いで、うろつき候補人物とうろつき人物とを識別する。図３に示す例では、人物矩形３２の枠線の線種の違いで識別できるようにしている。すなわち、うろつき候補人物では人物矩形３２が点線で表示され、うろつき人物では人物矩形３２が実線で表示されている。また、図３に示す例では、人物矩形３２に近傍に、人物ごとに付与された人物ＩＤが表示されている。

なお、１つの撮影画像３１に、人物矩形３２を表示させる人物、すなわち、うろつき候補人物またはうろつき人物が複数存在する場合には、人物ごとに異なる色（例えば、赤色、オレンジ色、青色、緑色など）で人物矩形３２を表示するとよい。

ここで、図３（Ａ）は、改札口を撮影する第１のカメラ１（CamA）の監視画像である。この監視画像では、２人の人物（Id1，Id2）が、滞在時間が長くなるため、長時間滞在者と判定されて、人物矩形３２が表示されるが、２人ともうろつき候補人物であるため、うろつき候補人物を表す点線の人物矩形３２が表示されている。

図３（Ｂ）は、ホームを撮影する第２のカメラ１（CamB）の監視画像であり、図３（Ａ）の監視画像より後に撮影されたものである。この監視画像では、２人の人物（Id11，Id22）が、滞在時間が長くなるため、長時間滞在者と判定されて、人物矩形３２が表示されるが、一方の人物（Id11）は、図３（Ａ）の監視画像のタイミングで、長時間滞在者と判定された人物と同一であるため、うろつき人物となり、うろつき人物を表す実線の人物矩形３２が表示されている。また、もう一方の人物（Id22）は、過去に長時間滞在者と判定されていないため、うろつき候補人物となり、うろつき候補人物を表す点線の人物矩形３２が表示されている。

なお、本実施形態では、うろつき候補人物およびうろつき人物の別（人物の滞在の程度）を表す定型画像として、人物の全身を取り囲む人物矩形３２（枠画像）を表示し、その枠線の線種（点線および実線）で、うろつき候補人物とうろつき人物とを識別するようにしたが、うろつき候補人物とうろつき人物とを識別する表示属性は、枠線の線種に限定されない。

例えば、枠線の色でうろつき候補人物とうろつき人物とを識別するようにしてもよい。例えば、うろつき候補人物は緑色の枠線とし、うろつき人物は赤色の枠線としてもよい。また、枠線の濃淡でうろつき候補人物とうろつき人物とを識別するようにしてもよい。例えば、うろつき候補人物は薄い枠線とし、うろつき人物は濃い枠線としてもよい。また、枠線の太さでうろつき候補人物とうろつき人物とを識別するようにしてもよい。例えば、うろつき候補人物は細い枠線とし、うろつき人物は太い枠線としてもよい。

また、人物矩形３２（枠画像）は、人物領域の全部または一部を取り囲むものであればよく、例えば、人物の上半身や顔を取り囲むものであってもよい。

さらに、うろつき候補人物およびうろつき人物の別（人物の滞在の程度）を表す定型画像は、人物領域を取り囲む枠画像に限定されるものではなく、図形、文字、記号の少なくともいずれかからなるもので、人物領域の内部または近傍に表示されるようにしてもよい。

例えば、定型画像として、円形などの適宜な形状の図形や記号を人物領域の中心に表示し、また、人物領域を指し示すような図形（吹き出しや矢印）を人物領域の近傍に表示して、その図形の表示態様をうろつき人物とうろつき候補人物とで変化させるようにしてもよい。また、「うろつき候補」や「うろつき」の文字を人物領域の近傍に表示するようにしてもよい。また、うろつき人物とうろつき候補人物とをそれぞれ表す記号を、人物領域の内部または近傍に表示するようにしてもよい。

次に、サーバ２のプロセッサ１２で行われる長時間滞在判定およびうろつき検知について説明する。図４は、人物の追尾状況の一例を示す説明図である。

本実施形態では、カメラ１の撮影画像から検出された人物が長時間滞在者か否かを判定する長時間滞在判定が行われる。この長時間滞在判定では、１つのカメラ１の撮影画像で人物が追尾されている時間、すなわち、追尾開始時刻から現在時刻までの経過時間を計測する。そして、この計測時間を、人物が１つのカメラ１の撮影エリアに滞在している滞在時間として、その滞在時間が所定のしきい値（例えば２０秒）を超えた場合に、その人物を長時間滞在者と判定して、うろつき候補人物の人物矩形を表示する。

また、本実施形態では、長時間滞在判定で長時間滞在者と判定されると、過去に長時間滞在者と判定された人物と、今回長時間滞在者と判定された人物との間で人物照合（人物再同定処理）を行い、同一人物と判定された人物が見つかった場合には、その人物をうろつき人物と判定して、うろつき人物の人物矩形を表示する。

図４に示す例では、まず、人物（Id1）が第２のカメラ１（CamB）の撮影画像に現れ、この人物は、滞在時間が長くなるため、長時間滞在者と判定されて、うろつき候補人物の人物矩形が表示される。次に、人物（Id2）が第１のカメラ１（CamA）の撮影画像に現れ、この人物は、滞在時間が短いため、長時間滞在者と判定されないため、人物矩形が表示されない。

次に、人物（Id11）が第１のカメラ１（CamA）の撮影画像に現れ、この人物は、滞在時間が長くなるため、長時間滞在者と判定される。このとき、過去に長時間滞在者と判定された人物（Id1）が存在するため、この人物との間で人物照合が行われる。この人物照合で同一人物と判定されると、うろつき人物の人物矩形が表示される。

また、人物（Id44）が第１のカメラ１（CamA）の撮影画像に現れ、この人物は、滞在時間が長くなるため、長時間滞在者と判定される。このとき、過去に長時間滞在者と判定された人物（Id1）との間で人物照合が行われるが、同一人物ではないため、うろつき候補人物の人物矩形が表示される。

また、人物（Id222）が第２のカメラ１（CamB）の撮影画像に現れ、この人物は、滞在時間が長くなるため、長時間滞在者と判定される。このとき、過去に長時間滞在者と判定された３人の人物（Id1，Id11，Id44）が存在するため、これらの人物との間で人物照合が行われるが、同一人物ではないため、うろつき候補人物の人物矩形が表示される。

なお、本実施形態では、長時間滞在者と判定されたタイミングで、過去に長時間滞在者と判定された人物との間での人物照合を行うようにしたが、撮影画像から人物が検出されたタイミングで、過去に長時間滞在者と判定された人物との間での人物照合を行うようにしてもよい。このようにすると、過去にうろつき候補人物またはうろつき人物と判定された人物が撮影画像から検出されると、すぐに、その人物に、うろつき候補人物およびうろつき人物の別に応じた人物矩形を表示させることができる。

また、このようにすると、過去にうろつき候補人物と判定された人物が、現在のカメラ１の撮影エリアでの滞在時間が長くなり、長時間滞在者と判定されると、うろつき候補人物からうろつき人物に変更されて、うろつき候補人物の人物矩形からうろつき人物の人物矩形に切り替えて表示される。

次に、サーバ２で管理されるリアルタイム追尾テーブルおよび追尾完了テーブルについて説明する。図５は、リアルタイム追尾テーブルおよび追尾完了テーブルの登録内容を示す説明図である。

図５（Ａ）に示すリアルタイム追尾テーブル（リアルタイム追尾情報）は、追尾中の人物に関する情報を登録するものであり、このリアルタイム追尾テーブルには、カメラＩＤ（Cam）、人物ＩＤ（Id）、追尾開始時刻（Begin Time）、最新滞在時刻（Exist Time）、および長時間滞在フラグ（Long Stay Flag）の各項目の情報が登録されている。

本実施形態では、サーバ２のプロセッサ１２において、カメラ１から順次送信されるフレーム（撮影画像）の各々に対して人物検出および人物追尾の各処理が行われ、この処理で取得したカメラＩＤ（Cam）、人物ＩＤ（Id）、追尾開始時刻（Begin Time）、最新滞在時刻（Exist Time）の各項目の情報がリアルタイム追尾テーブルに登録される。

ここで、カメラＩＤ（Cam）は、各カメラ１に付与される識別情報である。人物ＩＤ（Id）は、撮影画像から検出された各人物に付与される識別情報である。追尾開始時刻（Begin Time）は、撮影画像に最初に人物が出現して追尾が開始された時刻、すなわち、最初に人物が検出されたフレームの撮影時刻である。最新滞在時刻（Exist Time）は、追尾中である現在の時刻、すなわち、人物が検出された現在のフレームの撮影時刻である。長時間滞在フラグ（Long Stay Flag）は、長時間滞在者か否か（True／False）を表すものである。

また、サーバ２のプロセッサ１２では、リアルタイム追尾テーブルの追尾開始時刻（Begin Time）と最新滞在時刻（Exist Time）との差分を滞在時間として算出して、検出された人物が長時間滞在者か否かを判定する長時間滞在判定が行われ、この判定結果が長時間滞在フラグ（Long Stay Flag）としてリアルタイム追尾テーブルに登録される。すなわち、長時間滞在者と判定された人物では、長時間滞在フラグ（Long Stay Flag）が「False」から「True」に書き換えられる。

図５（Ｂ）に示す追尾完了テーブル（確定追尾情報）は、追尾が完了した人物に関する情報を登録するものであり、この追尾完了テーブルには、カメラＩＤ（Cam）、人物ＩＤ（Id）、追尾開始時刻（Begin Time）、追尾終了時刻（Exist Time）、および長時間滞在フラグ（Long Stay Flag）の各項目の情報が登録されている。

ここでは、図５（Ａ）に示したリアルタイム追尾テーブルで最新滞在時刻（Exist Time）となっていた項目が、対象となる人物がカメラ１の撮影エリアから退出して追尾が終了することで、追尾終了時刻、すなわち、撮影画像で検出された最後の時刻として確定されたものとなる。その他は、リアルタイム追尾テーブルと同様である。

次に、サーバ２で管理されるうろつき人物テーブルについて説明する。図６は、うろつき人物テーブルの登録内容を示す説明図である。

このうろつき人物テーブル（うろつき人物情報）は、うろつき人物と判定された人物に関する情報を登録するものであり、このうろつき人物テーブルには、現在追尾中のカメラＩＤ（Current Cam）、現在追尾中の人物ＩＤ（Current Id）、以前に追尾したときのカメラＩＤ（Previous Cam）、以前に追尾したときの人物ＩＤ（Previous Id）、およびうろつき人物度（Walk Around Score）の各項目の情報が登録されている。

本実施形態では、サーバ２のプロセッサ１２において、リアルタイム追尾テーブル（図５（Ａ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」になったタイミングで、その人物、すなわち、長時間滞在者がうろつき人物か否かを判定するうろつき検知が行われる。

このうろつき検知では、追尾完了テーブル（図５（Ｂ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」になっている人物、すなわち、過去に長時間滞在者と判定された人物と、リアルタイム追尾テーブル（図５（Ａ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」になった人物、すなわち、今回長時間滞在者と判定された人物との間で、同一人物か否かの人物照合（人物再同定処理）を行う。

この人物照合では、２人の人物の類似度をうろつき人物度（Walk Around Score）として算出し、そのうろつき人物度が所定のしきい値（例えば０．８０）を超える場合に、同一人物と判断する。そして、同一人物と判定された人物が見つかった場合には、その人物をうろつき人物と判定して、その人物に関する情報をうろつき人物テーブルに登録する。

次に、サーバ２のプロセッサ１２で行われる処理の手順について説明する。図７は、サーバ２のプロセッサ１２で行われる処理の手順を示すフロー図である。図８は、長時間滞在判定（ＳＴ１０５）の処理手順を示すフロー図である。図９は、うろつき検知（ＳＴ１０８）の処理手順を示すフロー図である。

サーバ２のプロセッサ１２では、まず、カメラ１から送信されて通信部１１で受信した撮影画像（フレーム）を取得し、カメラＩＤとフレーム番号を付加する（ＳＴ１０１）。そして、その撮影画像に対して人物検出を行う（ＳＴ１０２）。なお、カメラ１では、撮影画像（フレーム）に、撮影時刻を付加して送信される。

この人物検出では、撮影画像内の人物領域を特定して、その人物領域を取り囲むように撮影画像上に人物矩形を設定し、その人物矩形の位置および大きさに関する情報、すなわち、人物矩形の左上の頂点の座標（x,y）と幅（w）と高さ（h）を取得する。この人物検出には、公知の画像認識技術を用いればよい。なお、人物矩形には人物ＩＤが付与される。

次に、撮影画像から人物が検出されたか否かを判定する（ＳＴ１０３）。ここで、人物が検出されない場合には、次の撮影画像（フレーム）の処理に進む。一方、人物が検出された場合には、次に、人物追尾を行う（ＳＴ１０４）。

この人物追尾では、今回の撮影画像（フレーム）で検出された人物を、過去の撮影画像（フレーム）に検出された人物と対応づける処理を行う。この人物追尾には、公知の画像認識技術を用いればよい。

このとき、新規追尾（new）、追尾完了（complete）および追尾中（track）の３つの追尾状態を判定する。新規追尾（new）の場合には、リアルタイム追尾テーブル（図５（Ａ）参照）に、該当する人物の情報を登録し、追尾完了（complete）の場合には、追尾完了テーブル（図５（Ｂ）参照）に、該当する人物の情報を登録し、追尾中（track）の場合には、リアルタイム追尾テーブルの最新滞在時刻（Exist Time）を更新する。

次に、長時間滞在判定を行う（ＳＴ１０５）。この長時間滞在判定では、撮影画像で追尾されている人物が、その撮影画像を撮影するカメラ１の撮影エリア内に所定時間以上連続して滞在している長時間滞在者か否かを判定する。

この長時間滞在判定の処理手順を詳細に示すと図８に示すようになる。ここでは、追尾状態（s）が追尾中（track）であり、かつ、滞在時間Ｔがしきい値ＴＨ（例えば２０秒）を超えた場合に（ＳＴ２０３でＹｅｓ）、その人物を長時間滞在者と判定し、リアルタイム追尾テーブル（図５（Ａ）参照）の該当する人物の長時間滞在フラグ（Long Stay Flag）を「True」とする（ＳＴ２０４）。ここで、ｎは人物矩形の通し番号であり、Ｎは人物矩形の総数であり、今回の人物検出で検出された各人物を順に判定している。

なお、滞在時間Ｔは、追尾開始時刻から現在時刻までの経過時間であり、リアルタイム追尾テーブル（図５（Ａ）参照）の追尾開始時刻（Begin Time）と最新滞在時刻（Exist Time）との差分として算出される。また、追尾状態（s）が新規追尾（new）および追尾完了（complete）となる人物は長時間滞在判定の対象から除外される。

このようにして長時間滞在判定（ＳＴ１０５）を行うと、次に、図７に示したように、うろつき候補人物表示を行う（ＳＴ１０６）。ここでは、長時間滞在者と判定された人物、すなわち、リアルタイム追尾テーブル（図５（Ａ）参照）の長時間滞在フラグ（Long Stay Flag）が「True」となっている人物をうろつき候補人物として表示する。すなわち、撮影画像における該当する人物に、うろつき候補人物の人物矩形（点線）を表示する（図３参照）。

次に、過去に長時間滞在者と判定された人物、すなわち、追尾完了テーブル（図５（Ｂ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」となっている人物がいるか否かを判定する（ＳＴ１０７）。ここで、過去に長時間滞在者と判定された人物がいない場合には（ＳＴ１０７でＮｏ）、次の撮影画像（フレーム）の処理に進む。一方、過去に長時間滞在者と判定された人物がいる場合には（ＳＴ１０７でＹｅｓ）、うろつき検知を行う（ＳＴ１０８）。

このうろつき検知（ＳＴ１０８）では、過去に長時間滞在者と判定された人物と、今回長時間滞在者と判定された人物との間で人物照合（人物再同定処理）を行い、同一人物と判定された人物が見つかった場合には、その人物をうろつき人物と判定して、うろつき人物テーブル（図６参照）を更新する。

このうろつき検知の処理手順を詳細に示すと図９に示すようになる。ここで、ｋおよびＫはそれぞれ、過去に長時間滞在者と判定された人物、すなわち、追尾完了テーブル（図５（Ｂ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」となる人物の通し番号および総数であり、ｍおよびＭはそれぞれ、今回長時間滞在者と判定された人物、すなわち、リアルタイム追尾テーブル（図５（Ａ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」となる人物の通し番号および総数であり、過去に長時間滞在者と判定された人物と、今回長時間滞在者と判定された人物との間で１対１の人物照合を順に行うようにしている。

ここで、本実施形態では、現在から過去に遡った所定の照合対象期間内に長時間滞在者と判定された人物を対象として人物照合を行う。この照合対象期間の長さは、例えば、数１０分間程度に設定するとよい。また、ユーザが照合対象期間の長さを適宜に設定できるようにするとよい。

また、人物照合には、公知の方法を用いればよい。具体的には、照合対象となる２人の人物について、撮影画像から人物矩形の領域を切り出した人物画像を取得し、その２つの人物画像から色特徴量を抽出する。例えば、各人物画像からＨＳＶ色空間のヒストグラムを生成するなどして、特徴量ベクトルを取得する。次に、その色特徴量を比較することで、２つの人物画像の類似度を算出する。そして、類似度が最も高い組み合わせを選択して、その類似度が所定のしきい値より高い場合に、２つの人物画像の人物を同一人物と判定する。

なお、過去に長時間滞在者と判定された人物と、今回長時間滞在者と判定された人物とは、別のカメラ１の撮影画像に出現するとは限らない。すなわち、施設の全ての場所がカメラ１で撮影されていない場合、カメラ１の撮影画像から消失した後に、別のカメラ１の撮影画像に出現することなく、同じカメラ１の撮影画像に出現する場合もあり、この場合、同一のカメラ１の撮影画像で、続けて長時間滞在者と判定される場合がある。

このようにしてうろつき検知（ＳＴ１０８）を行うと、次に、図７に示したように、うろつき人物表示を行う（ＳＴ１０９）。ここでは、撮影画像上に、うろつき検知でうろつき人物として検知された人物に、うろつき人物用の人物矩形を表示する。このとき、うろつき人物では、リアルタイム追尾テーブル（図５（Ａ）参照）で長時間滞在フラグ（Long Stay Flag）が「True」となっており、リアルタイム追尾テーブルと同じカメラＩＤと人物ＩＤとの組み合わせがうろつき人物テーブル（図６参照）に登録されている。また、リアルタイム追尾テーブルで長時間滞在フラグ（Long Stay Flag）が「True」となる間、すなわち、人物が検出されている間は、うろつき人物用の人物矩形の表示が継続される。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、鉄道の駅の例について説明したが、このような鉄道の駅に限定されるものではなく、各種の施設に広く適用することができる。

また、前記の実施形態では、サーバに接続された表示装置に監視画面を表示させて監視者が閲覧するようにしており、サーバおよび表示装置を監視室に設置することで、表示装置の監視画面を監視者が閲覧することができるが、スマートフォンやタブレット端末などの携帯デバイスが、無線ＬＡＮなどの無線通信網を介してサーバと接続できるように構成すれば、施設内の任意の場所で監視画面を閲覧することができる。また、携帯デバイスやＰＣなどのユーザ端末が、インターネットなどの広域通信網を介してサーバと接続できるように構成すれば、施設外の任意の場所で監視画面を閲覧することができる。

また、前記の実施形態では、同一の人物に対して長時間滞在者とした判定結果が１回得られると、うろつき候補人物の定型画像（人物矩形）を表示し、同一の人物に対して長時間滞在者とした判定結果が２回得られると、うろつき人物の定型画像を表示するようにしたが、同一の人物に対して長時間滞在者とした判定結果が３回以上得られた場合には、判定回数に応じて、さらに定型画像の表示態様を変更するようにしてもよい。

また、うろつき候補人物の定型画像（人物矩形）を表示した後、次回の長時間滞在者の判定結果で、直ちに、うろつき人物の定型画像（人物矩形）を表示せず、長時間滞在者の判定結果が連続（２回以上）する場合に、うろつき人物の定型画像を表示するようにしてもよい。

本発明に係る人物行動監視装置および人物行動監視システムは、多くの人物が行き交う環境下でも、監視者が要注意人物に適切に注目して、施設内に滞在する人物をリアルタイムに監視する監視作業を効率よく行うことができる効果を有し、施設内に設置された複数のカメラの撮影画像から監視画像を生成して表示装置に表示する人物行動監視装置および人物行動監視システムなどとして有用である。

１ カメラ
２ サーバ（人物行動監視装置、サーバ装置）
３ 表示装置
４ 警報装置
１１ 通信部
１２ プロセッサ
１３ 記憶部
１４ 出力部

Claims (6)

1. 施設内に設置された複数のカメラの撮影画像に基づき、監視画像を生成して表示装置に表示する人物行動監視装置であって、
   複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、
   前記プロセッサは、
   前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、
   この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、
   前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、
   前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成することを特徴とする人物行動監視装置。
2. 前記プロセッサは、
   第１のカメラによる前記撮影画像の前記追尾処理により、前記長時間滞在フラグが真になった人物と同一の人物が、第２のカメラによる前記撮影画像の前記追尾処理により、前記長時間滞在フラグが真となった場合、前記第１の定型画像を前記第２の定型画像に変更することを特徴とする請求項１に記載の人物行動監視装置。
3. 前記第１の定型画像および前記第２の定型画像は、前記撮影画像内の人物領域の少なくとも一部を取り囲む枠画像であり、その枠画像における色、濃淡、線種、線の太さの少なくともいずれかの表示属性が変更されることを特徴とする請求項１または請求項２のいずれかに記載の人物行動監視装置。
4. 前記第１の定型画像および前記第２の定型画像は、前記撮影画像内の人物領域の内部または近傍に表示される図形、文字、記号の少なくともいずれかからなることを特徴とする請求項１または請求項２のいずれかに記載の人物行動監視装置。
5. 前記プロセッサは、同一の人物に対して、前記長時間滞在フラグが真となる複数の前記追尾情報が存在する場合、警報装置に、うろつき人物が存在することを監視者に報知する警報動作を行わせることを特徴とする請求項１から請求項４のいずれかに記載の人物行動監視装置。
6. 施設内に設置される複数のカメラと、
   この複数のカメラの撮影画像をネットワーク経由で取得して監視画像を生成するサーバ装置と、
   このサーバ装置から出力される前記監視画像を表示する表示装置と、
   を備えた人物行動監視システムであって、
   前記サーバ装置は、
   複数の前記カメラごとの前記撮影画像を取得して、その撮影画像の解析により追尾情報を取得して、うろつき人物に関する画像を含む監視画像を生成するプロセッサを備え、
   前記プロセッサは、
   前記カメラごとに、前記撮影画像から検出された人物の追尾処理を行い、その追尾中の人物に対応した長時間滞在フラグを含む前記追尾情報を第１の追尾テーブルへ登録し、
   この第１の追尾テーブルに登録された人物のうち、前記追尾処理の完了した人物に対応した前記追尾情報を第２の追尾テーブルに登録し、
   前記第１の追尾テーブルで登録される追尾中の人物が、初めて前記長時間滞在フラグが真になった人物である場合、その人物に対応させて、うろつき人物候補であることを示す第１の定型画像を前記撮影画像に重畳し、
   前記第１の追尾テーブルで登録される追尾中の人物の前記長時間滞在フラグが真となり、その追尾中の人物と前記第２の追尾テーブルに登録された前記長時間滞在フラグが真に該当する人物との人物照合を行って、同一人物と判定された場合、その人物に対して、前記第１の定型画像をうろつき人物であることを示す第２の定型画像に変更し、この第２の定型画像を前記撮影画像に重畳した監視画像を生成することを特徴とする人物行動監視システム。

Images