JP6548306B2 - カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 - Google Patents

Description

本発明は、カメラの撮影画像に映る人物を追跡する画像解析の技術に関する。

従来、カメラによる撮影画像を解析し、その撮影画像に映る人物を検出し追跡する技術がある。このような技術は、例えば所定の撮影対象範囲における人の混雑度調査や、動線解析、監視のための不審者検知等に利用される。例えば、単眼カメラの映像から、登録された人物領域候補をマッチングさせることによって、人物を検出し追跡する技術がある（例えば特許文献１参照）。撮影画像内に人物の全身がはっきりと映り込む場合、比較的容易に人物領域を検出することができる。

しかしながら、実際の利用シーンでは、撮影画像内に複数の人物同士が重なる遮蔽（人物間オクルージョン）が発生した際に、人物を検出することが難しい。このとき、人物の追跡が途切れたり、追跡中の人物の動線が入れ替わることも生じる。特許文献１に記載の技術によれば、人物間オクルージョンによって追跡精度が劣化してしまう。

これに対し、複数のカメラを用いて撮影した撮影画像の前景画像から、視差を用いた視体積交差法によって、人物領域を３次元的に推定する技術がある（例えば特許文献２参照）。
また、複数のカメラで個々に追跡した人物動線を統合することにより、追跡の失敗や動線の入れ替わりを防ぐ技術もある（例えば特許文献３参照）。
更に、複数のカメラを用いることなく、連続的な追跡結果からオクルージョンが発生している前景画像を分割することによって個々の人物領域に分離して、人物間オクルージョンを解消する技術もある（例えば特許文献４参照）。
更に、オクルージョン領域を輝度変化に基づいて領域分割することにより、個々の人物領域に分離し、正確な人数を計測する技術もある（例えば特許文献５参照）。この技術によれば、天井に設置されたカメラを想定し、撮影画像から抽出した前景画像から、人物の頭部領域のみを検出する。これによって、非人物の雑音領域を除外し、人物領域を高精度に検出することができる。

特開２０１０−２５７４４１号公報 特開２０１４−１６４５２５号公報 特開２０１０−０６３００１号公報 特開２０１３−２０６２６２号公報 特開２０１４−２２９０６８号公報

特許文献２及び３に記載の技術によれば、複数のカメラが重複して撮影できていない撮影対象範囲については、人物間オクルージョンに対して頑健（ロバスト）に人物を追跡することができない。また、撮影対象範囲が広くなるほど、複数のカメラで重複して撮影できるようにするためには、カメラの設置コストも問題となる。

特許文献４及び５の記載の技術によれば、単一のカメラで人物間オクルージョンを解消することができるが、前景画像を領域分割することで複数人を検出しているために、完全なオクルージョン（一方の人物が他方の人物によって完全に遮蔽される状況）が発生した場合には、領域分割で失敗する。

図１は、人物間オクルージョンの発生を表す画像である。

図１によれば、室内の天井にパノラマカメラが設置され、床面全域が撮影されている。また、その撮影画像に基づくフレームt-4の前景画像からは、４人の人物が検出できる。しかしながら、フレームt-3〜t+1の前景画像によれば、各人物が移動することによって、人物間オクルージョンが発生している。また、フレームtの前景画像によれば、完全な人物間オクルージョンが発生しており、人物領域を検出することが極めて難しい。

図２は、完全な人物間オクルージョンの発生によって人物の追跡失敗を表す説明図である。

図２によれば、フレームt-1の前景画像では、人物Ａ、Ｂ、Ｃが検出できる。しかしながら、フレームtの前景画像では、人物Ｃを完全に見失っている。このとき、人物Ｃは、人物間オクルージョンによって、他の人物Ａ又はＢに完全に遮蔽されたと推定することもできる。しかしながら、人物Ｃは、人物Ａ又は人物Ｂのいずれに遮蔽されたか？まで推定することはできない。

図３は、部分的な人物間オクルージョンの発生によって人物の入れ替わりを表す説明図である。

図３によれば、フレームtの前景画像では、人物領域候補とマッチングすることによって、人物Ｂ及び人物Ｃで、人物間オクルージョンが発生していることを認識することができる。しかしながら、人物追跡の過程で、人物Ｂ及び人物Ｃが入れ替わって認識される恐れがある。人物追跡で、人物間オクルージョンが発生した後に、各人物の識別子が入れ替わって認識してしまうという問題がある。

そこで、本発明は、１台のカメラによる撮影画像であっても、移動速度の異なる複数人の人物間オクルージョンに対してロバストに追跡を継続することができる画像解析装置、プログラム及び方法を提供することを目的とする。

本発明によれば、カメラによる連続的な撮影画像の中から人物を追跡する画像解析装置において、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
を有することを特徴とする。

本発明の画像解析装置における他の実施形態によれば、
人物領域追跡手段は、当該人物領域が最低更新頻度の前景画像i=nから検出されない場合、当該人物領域の動線を除外することも好ましい。

本発明の画像解析装置における他の実施形態によれば、
人物領域追跡手段は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始することも好ましい。

本発明の画像解析装置における他の実施形態によれば、
人物領域識別手段は、
移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なり、
次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別することも好ましい。

本発明の画像解析装置における他の実施形態によれば、
人物領域識別手段は、
静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致し、
次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
ことによってオクルージョン発生時の人物を識別することも好ましい。

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、先の時刻のフレームの中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出することも好ましい。

本発明の画像解析装置における他の実施形態によれば、
前景画像抽出手段は、最低更新頻度の前景画像i=nの段階nについて、
人物領域追跡手段によって検出された動線の数（追跡中の人数）に応じて、
人物領域識別手段によって検出されたオクルージョン領域の最大人数に応じて、
又は、
人物領域識別手段によって検出されたオクルージョン領域の最大面積に応じて
可変されることも好ましい。

本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、前景画像iについて、前景画像i=nに映る人物領域以外の部分を、残像領域として除外することも好ましい。

本発明によれば、カメラによる連続的な撮影画像の中から人物を識別する装置に搭載されたコンピュータを機能させる画像解析用のプログラムにおいて、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、カメラによる連続的な撮影画像の中から人物を識別する装置の画像解析方法において、
装置は、
連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する第１のステップと、
最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する第２のステップと、
当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ第３のステップと、
複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する第４のステップと
を実行することを特徴とする。

本発明の画像処理装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、移動速度の異なる複数人の人物間オクルージョンに対してロバストに追跡を継続することができる。具体的には、各人物を、移動速度及び静止状態に応じて複数の前景画像に分散させて認識することができるために、複数人物が同じ時間に固まって移動しない状況である限り、高精度にオクルージョン領域の人物同士を検出することができる。

人物間オクルージョンの発生を表す画像である。 完全な人物間オクルージョンの発生によって人物の追跡失敗を表す説明図である。 部分的な人物間オクルージョンの発生によって人物の入れ替わりを表す説明図である。 本発明における画像解析装置の機能構成図である。 部分的な人物間オクルージョンを表す説明図である。 完全な人物間オクルージョンを表す説明図である。 本発明による人物追跡を表す第１の説明図である。 本発明による人物追跡を表す第２の説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図４は、本発明における画像解析装置の機能構成図である。

画像解析装置１は、１台のカメラによる撮影画像の中から人物を検出する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの（例えばライブ映像）であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。

カメラは、何ら限定されることなく、既存のものであってもよい。室内の人物を追跡する場合、例えば広い画角を１フレームとして撮影するパノラマカメラであることも好ましい。具体的には、室内の天井から床面全域を撮影することができる全方位カメラであってもよい。

カメラの内部パラメータＡ及び外部パラメータＷは、事前にキャリブレーションによって取得されたものであり、基本的に撮影中は変化しないと想定している。但し、複数種類のパラメータを事前に用意するか、又は、公知の動的キャリブレーション技術を利用することによって、内部パラメータの動的変化（パン・チルト・ズームなどの変化）や、移動カメラにも適用することができる。

本発明の画像解析装置は、１台のカメラによる撮影画像であっても、移動速度の異なる人物同士の人物間オクルージョン（完全なオクルージョンも含む）に対してロバスト（頑健）な追跡を継続することができる。画像解析装置１は、前景画像抽出部１１と、人物領域検出部１２と、人物領域追跡部１３と、人物領域識別部１４とを有する。これら一連の機能部は、時間経過に伴うフレーム毎に、フィードバックして実行される。
尚、これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。

［前景画像抽出部１１］
前景画像抽出部１１は、連続的な撮影画像から、異なる頻度で更新される複数の背景モデルを用いた背景差分によって、前景画像を抽出する。例えば背景差分やフレーム間差分のような公知技術を用いたものであってもよいし、前述した特許文献５の記載の技術を用いたものであってもよい。尚、背景差分法の中でも、例えば混合ガウス分布（MoG）を用いる場合、「学習率」や「サンプリングレート」が、「静止した前景画像が背景とみなされる速さ」を調整するパラメータに相当する。

「背景差分(background subtraction)」とは、現時刻の撮影画像と過去時刻の撮影画像とを比較して、過去時刻の撮影画像に映らない物体を抽出する技術をいう。このとき、過去時刻の撮影画像を背景画像と称す。また、背景画像に存在しない物体が占める領域を「前景領域」、それ以外を「背景領域」と称す。具体的には、事前に過去の複数枚の撮影画像から背景画像を作成しておき、その差分となる前景画像を抽出することも好ましい。前景画像には、静止物体は映り込むことなく除外され、人物のような移動物体のみが映り込む。前景画像とは、一般に前景と推定されたピクセルの輝度値を255、背景と推定されたピクセルの輝度値を0とした画像の形で表される。具体的な前景画像は、前述した図１の下段のように表される。

前景画像抽出部１１は、連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する。iは、前景画像のインデックスを表す。
前景画像i=1は、最高頻度で更新される（最も高い場合は毎フレーム更新される）背景画像に基づいて抽出される。
同様に、前景画像i=nは、最低頻度で更新される（最も低い場合は、実行中に一切更新されない）背景画像に基づいて抽出される。

従来技術によれば、前景画像は、撮影画像に対して１枚生成されるのに対し、本発明によれば、複数枚生成される。
前景画像i=1には、移動中の人物の人物領域のみが映り込むことが期待される（静止中の人物は背景画像となって検出されない）。前景画像i=1は、d₁(d₁>0)フレーム前の画像とのフレーム差分(d=d₁)を取る。例えばd₁=1とすることができる。
前景画像i=2は、d₂(d₂>d₁)フレーム前の画像とのフレーム差分(d=2)を取る。例えばd₂=2とすることができる。
・・・・・
前景画像i=nは、静止中及び移動中の全ての人物の人物領域が映り込むことが期待される。前景画像i=nによれば、前景画像nは、人物が存在しない過去（d_nフレーム前）の背景画像とのフレーム差分(d=d_n, d_n>d_n-1)を取る。又は、背景モデルを更新しない場合、d_n=ts(tsは初期フレームからの経過時間)としてもよいし、別途入力される背景画像（事前に無人の撮影シーンを撮影することで取得することが望ましい）との差分を取ってもよい。
例えば、背景モデルの更新頻度や、フレーム差分の間隔d₁、d₂、・・・、d_n[frame]を調整することによって、前景画像を抽出する人物の移動時間の範囲を調整することができる。また、実行中にd₁、d₂、・・・、d_nを動的に調整することも可能である。

尚、本発明によれば、前景画像の枚数（背景モデルの種類）nは、最低n=2であるが、その枚数は任意であってもよい。
但し、前景画像の枚数が増えるほど処理負荷が増加するため、リアルタイム性が要求される。そのために、前景画像の枚数nは、必要最小限の数に抑えることが好ましい。勿論、撮影画像中の人物が１人である場合、オクルージョンは発生しないために、その時間帯に限っては前景画像n=1として処理することが好ましい。

＜最低更新頻度の前景画像i=nの段階nを可変する実施形態＞
前景画像抽出部１１は、最低更新頻度の前景画像i=nの段階nについて、以下の３つの実施形態に応じて可変とすることも好ましい。これにより、処理負荷とロバスト性の両立が可能となる。
（段階制御１）人物領域追跡部１３からフィードバックされた動線の数（追跡中の人数）に応じて、前景画像の段階nを可変する。例えば追跡人数が少ないほど、前景画像の段階を少なくする。
（段階制御２）人物領域識別部１４からフィードバックされたオクルージョン領域の最大人数に応じて、前景画像の段階nを可変する。例えばオクルージョン領域の最大人数が少ないほど、前景画像の段階を少なくする。例えば、前景画像の段階nを、追跡人数と同数に設定してもよい。
（段階制御３）人物領域識別部１４からフィードバックされたオクルージョン領域の最大面積に応じて、前景画像の段階nを可変する。例えばオクルージョン領域の最大面積が小さいほど、前景画像の段階を少なくする。

そして、前景画像抽出部１１は、抽出した複数枚の前景画像i=1〜nを、人物領域検出部１２へ出力する。

［人物領域検出部１２］
人物領域検出部１２は、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、マッチングによって人物領域を検出する。

人物領域検出部１２は、例えば、撮影画像中で当該人物が占めると想定される輪郭画像を「人物領域候補」として予め記憶したものであってもよい。人物領域候補は、事前に、３次元空間に配置した人物の３次元モデルを、カメラパラメータを用いて撮影画像中に投影して作成したものであってもよい。即ち、前景画像の中から、人物領域候補の外縁領域とマッチングして、類似度が最も高い人物領域を探索する。勿論、例えば特許文献５の記載の技術を用いたものであってもよい。また、類似度としては、人物領域における画像特徴量や、移動時間、移動量、これら組み合わせに基づくものであってもよい。

人物領域検出部１２は、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクする。マスクは、具体的には輝度値を0にする。即ち、人物領域の検出対象となる前景画像は、先の前景画像(<i)によって検出された人物領域を含まない画像とする。これによって、人物領域の重複検出を避けることができる。

図５は、部分的な人物間オクルージョンを表す説明図である。
図６は、完全な人物間オクルージョンを表す説明図である。

図５に及び図６によれば、更新頻度が高い前景画像から順に、人物領域を検出し、検出した人物領域を更新頻度が低い前景画像からマスクしたものである。部分的な人物間オクルージョンを表す図５によれば、マスク後も、前景画像i=n=2に人物Ｂの人物領域の一部が映り込んでおり、人物Ｂを検出することができる。一方で、完全な人物間オクルージョンを表す図６によれば、マスクによって、前景画像i=n=2から人物Ｂが完全に消えてしまう。このような状態にあっても、後述する人物領域追跡部１３及び人物識別部１４によって、人物Ｂ及びＣを区別して、人物の追跡を可能とする。

＜残像領域を除外する実施形態＞
撮影画像に移動中の人物が映る場合、更新頻度の高い前景画像ほど、実際に人物が存在する実像領域と、実際には人物が存在しない残像領域とが映り込む。残像領域とは、実際に人物が存在していないにも拘わらず、背景画像内の人物が移動したことによって前景画像として検出されたものである。

前景画像に残像領域が映り込む場合、人物識別の精度が劣化する場合がある。そのために、人物領域検出部１２は、前景画像iについて、前景画像i=nに映る人物領域以外の部分は、残像領域であるとして除外することも好ましい。残像領域をできる限り除外することによって、人物識別の精度を高めることができる。

尚、背景画像が人物を含むことによって、各前景画像iについて、人物領域が（背景画像に含まれる自身の影響で）一部欠けることも起こりうる。そのため、人物が存在すると判定された場合に、当該前景画像を包含する前景画像i=n内の前景画像を当該前景画像と置き換えてもよい。

＜前景画像に対する人物領域のマッチングの実施形態＞
前景画像から人物領域候補のマッチングは、３次元距離最小のペアを対応付けてもよいし、以下のような式で表される領域の重複率に基づいて対応付けてもよい。
Ｓ₁₂＝（Ａ₁∩Ａ₂）／（Ａ₁∪Ａ₂）
Ｓ₁₂：領域Ａ₁とＡ₂との一致度（重複率）
Ａ₁∩Ａ₂：領域Ａ₁とＡ₂との重複領域の面積
Ａ₁∪Ａ₂：領域Ａ₁とＡ₂との包含領域の面積
即ち、マッチングとは、前景画像から抽出された人物領域の集合の中で、重複率が最も高い人物領域候補を探索することを意味する。

尚、本発明ではマッチング方法について具体的に特定しないが、一般的な「貪欲法」を用いたものであってもよい。
まず、人物領域の集合の中で、重複率が最も高い人物領域ペアを対応付ける。次に、選択したそのペアを人物領域の集合から取り除き、再び、重複率が最も高い人物領域ペアを対応付ける。これを、重複率が所定閾値を超えるペアが無くなるまで、又は、一方のフレームの人物領域の集合の全人物領域の選択を完了するまで、繰り返す。これによって、人物領域のフレーム間を追跡（対応付け）することできる。
尚、貪欲法以外にも、ハンガリアン法等、選択する全ペアの重複率の総和が最大となるようにマッチングする方法や、選択するペア数が最大となるようにマッチングする方法もある。

＜先の時刻のフレームに基づく前景画像を用いた人物領域のマッチングの実施形態＞
人物領域検出部１２は、先の時刻のフレームt-1の中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームtについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出する。ここで、画像特徴量は、人物領域の外縁形状又は面積であってもよい。

＜オクルージョンの判定＞
例えば図６によれば、人物Ｂの人物領域は、前景画像i=n=2ではマッチングによって検出されない。このとき、他の人物によって完全に遮蔽された可能性を考慮し、オクルージョンを判定する。具体的には、より上位の前景画像に映り込む人物Ｂの人物領域を用いて、例えば以下の式によって判定する。
Ｃ₁₂＝Ａ₁／（Ａ₁∪Ａ₂）
Ｃ₁₂：領域Ａ₁とＡ₂との包含率
Ａ₁：領域Ａ₁の面積（例えば上位の前景画像に映る人物Ｂの人物領域）
Ａ₁∪Ａ₂：領域Ａ₁とＡ₂との包含領域の面積
（前景画像nに映るオクルージョン領域）
例えば図６によれば、人物Ｂの人物領域を、マッチング済みの人物Ｃの人物領域が包含するために、人物Ｂは人物Ｃに完全に遮蔽されたと判定する。

＜コストを用いたマッチング方法＞
完全な遮蔽が発生している領域の構成人数がｎ_pの場合、ある１通りのマッチング方法を、以下のものとする。
Ｍi＝［ｍ₁,・・・,ｍ_j,・・・,ｍ_np］（i=1,・・・,Ｎ_M）
ここで、以下の式のコスト最小化によって、類似度の総和（例えば総積）を最大化するマッチング方法を選択することができる。
cost＝Σ^np _jＤ（ｍ_j）
Ｄ（ｍ_j）は、マッチングした１つのペアの距離を表し、画像特徴のユークリッド距離や、移動時間の差の絶対値、移動量の差のノルム等を用いることができる。人物の画像特徴の抽出については、ＨＯＧ特徴量や色ヒストグラムなどの、公知の技術を用いることができる。

ここで、遮蔽される後方側の人物の画像特徴は、遮蔽する前方側の人物の影響で正確に抽出することができない。そのために、人物領域検出部１２は、遮蔽する前方側の人物の画像特徴のみを用いることによって、高精度なマッチングを実現することができる。
又は、遮蔽が発生する前の画像をテンプレートとして保存しておき、遮蔽される後方側の人物については、テンプレートの画像特徴と、人物領域候補の画像特徴との類似度を評価してもよい。

［人物領域追跡部１３］
人物領域追跡部１３は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始する。前景画像i=nについて、更新頻度が高い前景画像でマッチングされない（残っている）人物領域は、新規に撮影画像内に映り込んだ人物の可能性が高い。これらを新規の人物として動線の追跡を開始する。また、精度を高めるために、別途信頼性の高い人物判定の処理を実行し、人物と判定されたもののみを人物領域として検出してもよい。

そして、人物領域追跡部１３は、最低更新頻度の前景画像i=nに人物領域が映った後、当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ。人物の動線とは、同一の人物について前フレームから現フレームへの追跡を表す。人物領域追跡部１３は、各人物の人物領域毎に、前フレームのいずれの前景画像iに動線が結ばれていたかを記憶する。

また、人物領域追跡部１３は、当該人物領域が最低更新頻度の前景画像i=nから検出されない場合、当該人物領域の動線を除外する。その人物は既に、撮影画像に映り込んでいないためである。

［人物領域識別部１４］
人物領域識別部１４は、複数の人物領域同士でオクルージョンが発生した際に、人物領域毎の動線の相違によって人物を識別する。即ち、人物間オクルージョンが発生しても、動線が相違する限り、各人物の動線を識別する。

人物領域識別部１４は、オクルージョン発生時の人物を、以下の２つの条件によって識別する。
（条件１）移動中の人物の後方で、静止中の人物が遮蔽された場合の条件
移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なる。この場合、次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む。
（条件２）静止中の人物の後方で、移動中の人物が遮蔽された場合の条件
移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致する。この場合、次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む。

従来技術によれば、完全なオクルージョンが解消した場合、人物に付与する人物識別子が入れ替わる恐れがあった。これに対し、本発明によれば、オクルージョン発生後の人物領域が、最高更新頻度の前景画像i=1に映り込むか、又は、最低更新頻度の前景画像i=nに映り込むかによって、人物を明確に識別し、ロバストに追跡することができる。

図７は、本発明による人物追跡を表す第１の説明図である。図７によれば、フレームtについて、移動中の人物Ｃの後方で、静止中の人物Ａが遮蔽された場合の条件１を表す。

図８は、本発明による人物追跡を表す第２の説明図である。フレームtについて、静止中の人物Ａの後方で、移動中の人物Ｃが遮蔽された場合の条件２を表す。

人物領域識別部１４は、完全な人物間オクルージョンが発生しても、以下のように判定することができる。
図７によれば、移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致する。
図８によれば、静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なっている。

図７及び図８によれば、前景画像n=3とし、３人の人物Ａ、Ｂ、Ｃの移動が撮影画像に映り込む例を表す。
図７及び図８について、フレームt-5〜t-1までは全く同じ人物追跡となっている。

［フレームt-5］撮影画像には、人物Ａのみが映り込んでいる。
（前景画像i=1）人物Ａの人物領域と、その近くに人物Ａの残像領域とが映り込んでいる。人物Ａの残像領域に当たる前景領域は、当該領域がi=3に映り込んでいないことで残像領域と判別できるため、人物領域とは見なされずに除外される。以下の説明でも、残像領域は、人物領域とは見なされずに除外されることとする。
（前景画像i=2）人物Ａの人物領域のみが映り込んでいる。
（前景画像i=3）人物Ａの人物領域のみが映り込んでいる。最低更新頻度の前景画像i=3に初めて人物検出を開始したために、その後、人物Ａの動線の追跡を開始する。

［フレームt-4］撮影画像には、左から右方向へ移動している人物Ａのみが映り込んでいる。
（前景画像i=1）人物Ａの人物領域と、その近くに残像領域とが映り込んでいる。
（前景画像i=2）人物Ａの人物領域と、少し離れて残像領域とが映り込んでいる。ここで、前景画像i=2から、前景画像i=1に映り込む人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａの人物領域のみが映り込んでいるが、前景画像i=3から、前景画像i=1に映り込む人物領域を、画像的にマスクしている。このとき、当該人物領域が映る更新頻度が最も高い前景画像i=1を時間経過に応じて動線で結ぶ。人物Ａについて、t-5の前景画像i=3から、t-4の前景画像i=1に動線を結ぶ。

［フレームt-3］人物Ａが静止し、撮影画像に新たに人物Ｂが映り込んだとする。
（前景画像i=1）新たな人物Ｂの人物領域は検出されるが、人物Ａの人物領域は、静止によって背景画像と一致して検出できない。
（前景画像i=2）人物Ａ及びＢの人物領域が検出されると共に、少し離れて残像領域も検出される。ここでは、前景画像i=2は、前景画像i=1よりも更新頻度が低いために、静止した人物Ａはまだ検出できる。
（前景画像i=3）人物Ａの人物領域と、人物Ｂの人物領域とが映り込んでいる。その上で、前景画像i=3から、前景画像i=2に映り込む人物Ａの人物領域を、画像的にマスクする。
人物Ａについて、t-4の前景画像i=1から、t-3の前景画像i=2に動線を結ぶ。
人物Ｂについて、最低更新頻度の前景画像i=3に初めてその人物領域（人物Ｂ）が映り込んだために、その後、当該人物Ｂの動線の追跡を開始する。

［フレームt-2］人物Ａが静止し、人物Ｂが左から右へ移動し、撮影画像に新たに人物Ｃが映り込んだとする。
（前景画像i=1）人物Ｂ及びＣの人物領域は検出されるが、人物Ａの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｂの人物領域の左横には、その人物Ｂの残像領域が映り込んでいる。
（前景画像i=2）人物Ｂ及びＣの人物領域が検出される。人物Ａの人物領域は、静止によって背景画像と一致して検出できない。その上で、前景画像i=2から、前景画像i=1に映り込む人物Ｂの人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=1に映り込む人物Ｂの人物領域を、画像的にマスクする。
前景画像i=3は、前景画像i=2よりも更新頻度が低いために、静止した人物Ａの人物領域は、まだ検出できている。
人物Ａについて、t-3の前景画像i=2から、t-2の前景画像i=3に動線を結ぶ。
人物Ｂについて、t-3の前景画像i=3から、t-2の前景画像i=1に動線を結ぶ。
人物Ｃについて、最低更新頻度の前景画像i=3に初めてその人物領域（人物Ｃ）が映り込んだために、その後、当該人物Ｃの動線の追跡を開始する。

［フレームt-1］人物Ａ、Ｂが静止し、人物Ｃが右下へ移動したとする。
（前景画像i=1）人物Ｃの人物領域は検出できるが、人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｃの左上には、その人物Ｃの残像領域が映り込んでいる。
（前景画像i=2）人物Ｂ及びＣの人物領域が検出される。人物Ａの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｂの人物領域の左横には、その人物Ｂの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=1,2に映り込む人物Ｂ及びＣの人物領域を、画像的にマスクする。
前景画像i=3は、前景画像i=2よりも更新頻度が低いために、静止した人物Ａの人物領域は、まだ検出できている。
人物Ａについて、t-2の前景画像i=3から、t-1の前景画像i=3に動線を結ぶ。
人物Ｂについて、t-2の前景画像i=1から、t-1の前景画像i=2に動線を結ぶ。
人物Ｃについて、t-2の前景画像i=3から、t-1の前景画像i=1に動線を結ぶ。

人物の人物領域は、その移動速度が速くなるほど、更新頻度の高い前景画像から順に映り込み、静止するほど、更新頻度の低い前景画像のみに映り込む。本発明のようにマスクすることによって、人物の人物領域は、その移動速度が速くなるほど、更新頻度の高い前景画像のみに映り込む。

＜図７：移動中の人物の後方で、静止中の人物が遮蔽された場合＞
［フレームt］移動中の人物Ｃの後方で、静止中の人物Ｂが遮蔽されたとする。
（前景画像i=1）人物Ｃの人物領域は検出できるが、人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｃの人物領域の左横には、その人物Ｃの残像領域が映り込んでいる。
（前景画像i=2）人物Ｃの人物領域が検出される。人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｃの人物領域から少し離れて、その人物Ｃの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいるが、人物Ａ及びＣが完全なオクルージョンを発生している。ここで、前景画像i=3から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
人物Ａについて、人物Ｃと完全なオクルージョンが発生したことを認識したために、t-1の前景画像i=3から、tの前景画像i=3のオクルージョン部分に動線を結ぶ。
人物Ｂについて、t-1の前景画像i=2から、tの前景画像i=3に動線を結ぶ。
人物Ｃについて、t-1の前景画像i=1から、tの前景画像i=1に動線を結ぶ。

［フレームt+1］人物Ｃが、右へ移動したとする。
（前景画像i=1）人物Ｃの人物領域が検出されると共に、オクルージョンが解消し、遮蔽されていた静止中の人物Ａの人物領域が新たに映り込む。即ち、オクルージョン解消後の時刻t+1について、オクルージョンを発生していた人物Ａ及び人物Ｃの両方が、前景画像i=1に映り込む。
（前景画像i=2）人物Ｃの人物領域が検出される。人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｃの人物領域から少し離れて、その人物Ｃの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいる。ここで、前景画像i=3から、前景画像i=1に映り込む人物Ｂ及びＣの人物領域を、画像的にマスクする。
人物Ａについて、tの前景画像i=3から、t+1の前景画像i=1に動線を結ぶ。
人物Ｂについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Ｃについて、tの前景画像i=1から、t+1の前景画像i=1に動線を結ぶ。
このように、フレームt及びフレームt+1から、完全なオクルージョンを発生した人物Ａ及びＣを識別して追跡することができる。

［フレームt+2］移動によって人物Ｃが撮影画像に映り込まなくなったとする。人物Ａ及びＢは静止したままである。
（前景画像i=1）人物Ｃの人物領域は検出されない。また、人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=2）人物Ａの人物領域のみが検出される。人物Ｂの人物領域は、静止によって背景画像と一致して検出できない。
（前景画像i=3）人物Ａ、Ｂの人物領域が映り込んでいる。その上で、前景画像i=3から、前景画像i=2に映り込む人物Ａの人物領域を、画像的にマスクする。
人物Ａについて、t+1の前景画像i=1から、t+2の前景画像i=2に動線を結ぶ。
人物Ｂについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Ｃについて、t+2の前景画像i=3にも映り込んでおらず、追跡が終了される。

［フレームt+3］人物Ａ及びＢは静止したままである。
（前景画像i=1）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。
（前景画像i=2）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=3）人物Ａ、Ｂの人物領域が映り込んでいる。
人物Ａについて、t+2の前景画像i=2から、t+3の前景画像i=3に動線を結ぶ。
人物Ｂについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。

＜図８：静止中の人物の後方で、移動中の人物が遮蔽された場合＞
［フレームt］静止中の人物Ａの後方で、移動中の人物Ｃが遮蔽されたとする。
（前景画像i=1）人物Ｃの人物領域は検出できない。人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=2）人物Ｃの人物領域は検出できない。人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいるが、人物Ａ及びＣが完全なオクルージョンを発生している。
人物Ａについて、t-1の前景画像i=3から、tの前景画像i=3に動線を結ぶ。
人物Ｂについて、t-1の前景画像i=2から、tの前景画像i=3に動線を結ぶ。
人物Ｃについて、人物Ａと完全なオクルージョンが発生したことを認識したために、t-1の前景画像i=3から、tの前景画像i=3のオクルージョン部分に動線を結ぶ。

［フレームt+1］人物Ｃが、右へ移動したとする。
（前景画像i=1）オクルージョンが解消し、遮蔽されていた人物Ｃの人物領域が検出される。人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。即ち、オクルージョン解消後の時刻t+1について、オクルージョンの後方で遮蔽されていた人物Ｃのみが、前景画像i=1に映り込む。
（前景画像i=2）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。また、人物Ｃの人物領域から少し離れて、その人物Ｃの残像領域が映り込んでいる。その上で、前景画像i=2から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
（前景画像i=3）人物Ａ、Ｂ、Ｃの人物領域が映り込んでいる。ここで、前景画像i=3から、前景画像i=1に映り込む人物Ｃの人物領域を、画像的にマスクする。
人物Ａについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Ｂについて、tの前景画像i=3から、t+1の前景画像i=3に動線を結ぶ。
人物Ｃについて、tの前景画像i=3から、t+1の前景画像i=1に動線を結ぶ。
このように、フレームt及びフレームt+1から、完全なオクルージョンを発生した人物Ａ及びＣを識別して追跡することができる。

［フレームt+2］移動によって人物Ｃが撮影画像に映り込まなくなったとする。人物Ａ及びＢは静止したままである。
（前景画像i=1）人物Ｃの人物領域は検出されない。また、人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=2）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。
（前景画像i=3）人物Ａ、Ｂの人物領域が映り込んでいる。
人物Ａについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Ｂについて、t+1の前景画像i=3から、t+2の前景画像i=3に動線を結ぶ。
人物Ｃについて、t+1の前景画像i=3にも映り込んでおらず、追跡が終了される。

［フレームt+3］人物Ａ及びＢは静止したままである。
（前景画像i=1）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。
（前景画像i=2）人物Ａ及びＢの人物領域は、静止によって背景画像と一致して検出できない。但し、人物Ｃの残像領域のみが映り込んでいる。
（前景画像i=3）人物Ａ、Ｂの人物領域が映り込んでいる。
人物Ａについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。
人物Ｂについて、t+2の前景画像i=3から、t+3の前景画像i=3に動線を結ぶ。

以上、詳細に説明したように、本発明の画像処理装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、移動速度の異なる複数人の人物間オクルージョンに対してロバストに追跡を継続することができる。具体的には、各人物を、移動速度及び静止状態に応じて複数の前景画像に分散させて認識することができるために、複数人物が同じ時間に固まって移動しない状況である限り、高精度にオクルージョン領域の人物同士を検出することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 画像解析装置、画像解析サーバ
１１ 前景画像抽出部
１２ 人物領域検出部
１３ 人物領域追跡部
１４ 人物領域識別部
２ 全方位カメラ

Claims (10)

1. カメラによる連続的な撮影画像の中から人物を追跡する画像解析装置において、
   連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
   最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
   当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
   複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
   を有することを特徴とする画像解析装置。
2. 前記人物領域追跡手段は、当該人物領域が最低更新頻度の前景画像i=nから検出されない場合、当該人物領域の動線を除外する
   ことを特徴とする請求項１に記載の画像解析装置。
3. 前記人物領域追跡手段は、最低更新頻度の前景画像i=nに人物領域が最初に映り込んだ際に、当該人物領域の動線の追跡を開始する
   ことを特徴とする請求項１又は２に記載の画像解析装置。
4. 前記人物領域識別手段は、
   移動中の人物の後方で、静止中の人物が遮蔽された場合、移動中の人物における人物領域の動線は、静止中の人物における人物領域の動線と異なり、
   次の時刻のフレームで、移動中の人物による遮蔽が解消した静止中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
   ことによってオクルージョン発生時の人物を識別する
   ことを特徴とする請求項３に記載の画像解析装置。
5. 前記人物領域識別手段は、
   静止中の人物の後方で、移動中の人物が遮蔽された場合、移動中の人物における人物領域の動線と、静止中の人物における人物領域の動線とが一致し、
   次の時刻のフレームで、静止中の人物による遮蔽が解消した移動中の人物における人物領域の動線は、最高更新頻度の前景画像i=1に映り込む
   ことによってオクルージョン発生時の人物を識別する
   ことを特徴とする請求項３又は４に記載の画像解析装置。
6. 前記人物領域検出手段は、先の時刻のフレームの中で動線を結ぶ前景画像に映る当該人物領域の画像特徴量を用いて、次の時刻のフレームについて、最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまで順に、マッチングによって人物領域を検出する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像解析装置。
7. 前記前景画像抽出手段は、最低更新頻度の前景画像i=nの段階nについて、
   前記人物領域追跡手段によって検出された動線の数（追跡中の人数）に応じて、
   前記人物領域識別手段によって検出されたオクルージョン領域の最大人数に応じて、
   又は、
   前記人物領域識別手段によって検出されたオクルージョン領域の最大面積に応じて
   可変される
   ことを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。
8. 前記人物領域検出手段は、前景画像iについて、前景画像i=nに映る人物領域以外の部分を、残像領域として除外する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像解析装置。
9. カメラによる連続的な撮影画像の中から人物を識別する装置に搭載されたコンピュータを機能させる画像解析用のプログラムにおいて、
   連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する前景画像抽出手段と、
   最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する人物領域検出手段と、
   当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ人物領域追跡手段と、
   複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する人物領域識別手段と
   してコンピュータを機能させることを特徴とする画像解析用のプログラム。
10. カメラによる連続的な撮影画像の中から人物を識別する装置の画像解析方法において、
    前記装置は、
    連続的な撮影画像から、異なる頻度で更新される複数の背景画像を用いた背景差分によって、同一時刻のフレームに対して複数の前景画像i(i=1〜n、n>1)を抽出する第１のステップと、
    最高更新頻度の前景画像i=1から最低更新頻度の前景画像i=nまでの全ての前景画像から、人物領域を検出する第２のステップと、
    当該人物領域が映る更新頻度が最も高い前景画像iを、フレームの時間経過に応じて動線で結ぶ第３のステップと、
    複数の人物領域同士でオクルージョンが発生した際に、同一時刻のフレームについて、当該前景画像iよりも更新頻度が高い先の前景画像(<i)で既に検出された人物領域で、当該前景画像iを画像的にマスクし、人物領域毎の動線の相違によって人物を識別する第４のステップと
    を実行することを特徴とする装置の画像解析方法。