JP4578864B2 - 自動追尾装置及び自動追尾方法 - Google Patents

Description

本発明は、侵入物体等の監視システムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法に関する。

遠隔監視カメラシステムが普及し、遠隔地にある特定地点を撮影した画像を監視し、侵入者等の追跡ができるようになってきた。監視カメラシステムで用いられるカメラは、一般的に広域を監視するため撮影用レンズとして広角レンズが装着されており、侵入物体の有無は判定できるものの、例えば侵入者の人相や表情などの詳細までは把握ことができない欠点がある。

そこで、広角レンズを装着したカメラ以外に、パン、チルト、ズーム（以下、まとめてＰＴＺとよぶ）の機能を備えたカメラを設置し、監視員のＰＴＺ制御により、侵入者の人相等のより詳細な画像を取得できるようにした監視システムがある（非特許文献１）。しかし、ジョイスティック等の操作装置によりＰＴＺ機能を持つカメラを手動操作して侵入者を追尾し続けることは高度な技術が必要であり、困難を感じる監視員が多い。このため、画像認識技術を用いて、自動的に撮影画像中の侵入者等の追跡物体を追尾できる自動追尾装置が望まれている。

このような自動追尾が可能な装置として、テンプレートマッチングの手法を利用した物体追跡方法及び物体追跡装置が提案されている（特許文献１）。テンプレートマッチングは、ある時刻の追跡物体の画像領域を切り出した部分画像をテンプレート画像として、異なる時刻の画像内でテンプレート画像と最も相関が高い領域を相関演算などにより求め、追跡物体を追跡する方法である。

図６は上記特許文献１の従来例における物体追跡時の動作を示すフローチャートである。まず、ある時刻ｔ１の入力画像において物体検出処理を行い（ステップ９０１）、検出された物体領域の画像を初期のテンプレート画像として登録する（ステップ９０２）。次に、新たな時刻ｔ２の入力画像を入力し（ステップ９０３）、テンプレートマッチングを行って入力画像からテンプレート画像と相関が最も高い領域を検出し、物体を追跡する（ステップ９０４）。

そして、保存されているすべてのテンプレート画像についてテンプレートマッチング処理がなされたかを判定し（ステップ９０５）、すべてのテンプレートマッチング処理が終了している場合には、最大一致度の判定処理を行う（ステップ９０６）。すべてのテンプレートマッチング処理が終了していない場合は、終了するまでステップ９０４のテンプレートマッチング処理を繰り返す。

ステップ９０６において、最大一致度が所定値以下の場合は、入力画像中に追跡物体がいなくなったものとして、ステップ９０１に戻って再度物体検出処理を行う。一方、最大一致度が所定値以上である場合、テンプレートマッチングの結果に応じてテンプレート画像の位置を補正し（ステップ９０７）、補正した複数のテンプレート画像を保存する（ステップ９０８）。複数のテンプレート画像は、それぞれ取得時刻または更新時刻が異なり、見掛けが多少異なるものの同一物体に関するテンプレート画像である。続いて、カメラの光軸方向が追跡物体に向くようにカメラ雲台を制御する（ステップ９０９）。そして、例えば追跡物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに追跡物体の画像を表示したりする（ステップ９１０）。

特開２００１−６０２６９号公報 羽下、藤原、鷲見著「首振り、ズームカメラを用いたトラッキング型侵入監視システム」、電子情報通信学会 信学技報ＰＲＭＵ９９−６７（Ｐ２３−３０）、１９９９年９月

しかしながら、上記のような従来の自動追尾方法においては、背景中にテンプレート画像との相関が高い領域が存在すると、テンプレート画像が誤対応して背景に貼り付きやすく、結果として物体の追跡に失敗しやすいという課題があった。また、カメラ雲台を動かしてパンチルト動作させ、パンチルト角を制御中の撮影画像を入力した場合には、物体のみならず背景にも動きが発生するため、動きを利用して物体領域のみを抽出することができず、物体領域を用いてテンプレート画像の移動先を補正することができないという課題があった。

本発明は、上記事情に鑑みてなされたもので、画像中の侵入者等の物体を追跡する際に、テンプレート画像と類似する背景中の類似パターンの影響を受けることなく、安定した追尾が可能な自動追尾装置及び自動追尾方法を提供することを目的とする。

本発明の自動追尾装置は、撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、前記対象物体の特徴を示すテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、前記入力画像の画像全体の動きを示す背景の動きベクトルを推定する背景ベクトル推定手段と、前記背景の動きベクトルを用いて前記画像全体の動きをキャンセルし、前記画像全体の動きとは異なる動きをする部分を物体領域として抽出する物体領域抽出手段と、前記テンプレートマッチング手段が相関演算を行った領域の周辺で前記物体領域となった画素の密度を示す動きマップを生成し、前記動きマップと、前記テンプレート画像と入力画像間の相関を示す相関マップを統合したマップのピークを検出することで前記テンプレート画像の移動先を推定するテンプレート位置補正手段とを備えるものである。

これにより、例えば撮像手段がパン、チルト、ズーム動作などで撮影範囲制御中のために背景に動きがある画像であっても、背景とは異なる動きをする物体領域を抽出し、テンプレート画像の移動先を物体領域付近へ位置補正することができる。このため、テンプレート画像と類似する背景中の類似パターンの影響を受けることなく、より安定して物体を追跡することが可能となる。

本発明によれば、画像中の侵入者等の物体を追跡する際に、テンプレート画像と類似する背景中の類似パターンの影響を受けることなく、安定した追尾が可能な自動追尾装置及び自動追尾方法を提供できる。

以下、本発明の実施形態として、侵入物体等を監視する遠隔監視システムにおいて、テンプレートを用いて撮影画像中の物体を追跡し、カメラのパン、チルト、ズーム動作（ＰＴＺ動作）を制御して詳細に侵入物体を監視するための自動追尾カメラ等の自動追尾装置、及び自動追尾方法の例を説明する。

図１は本発明の実施形態に係る自動追尾装置の機能構成を示す図である。
自動追尾装置１００は、カメラ等の撮像装置（撮像手段の一例に相当する）１０８によって撮影された画像を入力する画像入力部１０１と、入力画像の中から予め登録済みのテンプレート画像との相関が高い領域を探索するテンプレートマッチング部（テンプレートマッチング手段の一例に相当する）１０２と、物体以外の背景の動きベクトルを推定する背景ベクトル推定部（背景ベクトル推定手段の一例に相当する）１０３と、背景の動きベクトルを用いて画像全体の動きをキャンセルし、フレーム間の差分により画面全体の動きとは異なる物体領域を抽出する物体領域抽出部（物体領域抽出手段の一例に相当する）１０４と、テンプレート画像が物体領域から外れないように位置補正するテンプレート位置補正部（テンプレート位置補正手段の一例に相当する）１０５と、追跡物体が画像の中央部に位置するように撮像装置をＰＴＺ動作させる撮像装置制御部（撮影範囲制御手段の一例に相当する）１０６と、画像を外部の画像表示装置１０９に出力する画像出力部１０７とを有する構成である。

本実施形態では、撮像装置１０８によって撮影され画像入力部１０１より入力された入力画像の中から、予め登録済みのテンプレート画像との相関が高い領域を探索し、探索領域内の各位置の相関値を２次元配列としたものを相関マップとして取得する。そして、物体領域抽出部１０４は、背景ベクトル推定部１０３で推定した背景ベクトルを用いて背景の動きをキャンセルし、フレーム間差分により物体領域を抽出する。そして、テンプレート位置補正部１０５は、該物体領域及び相関マップを用いてテンプレートが物体領域から外れないように位置を補正する。

次に、自動追尾装置１００の主要部分の動作について説明する。本実施形態では、予め入力画像（撮像装置１０８による撮影画像）から追跡したい物体領域の画素を含む矩形領域をテンプレート画像として設定登録する。

図２は、テンプレートマッチング部１０２の動作を説明する図である。テンプレートマッチング部１０２は、画像入力部１０１より入力された新たな入力画像と登録済みのテンプレート画像との相関を求め、相関性の高い領域を探索する。図２において、（ａ）に示すようなテンプレート設定部１０２で設定された直前のフレームのテンプレート画像をテンプレート画像Ｔとし、（ｂ）に示すような新たに入力された入力画像を入力画像Ｉとする。テンプレートマッチング部１０２では、入力画像Ｉからテンプレート画像Ｔと最も相関が高くなる対応領域２０１を探索する。ここで、対応領域２０１の探索は、数十〜数百ｍｓ周期毎に繰り返すことで物体位置を追跡することができる。複数のテンプレート画像Ｔが存在する場合には、対象となる全てのテンプレート画像を用いて探索する。

このとき、直前フレームの処理において相関が最も高かった領域を基準に、最新の入力画像Ｉに水平垂直数十画素程度の探索範囲２０２を設定する。相関性を求めるとき、探索範囲２０２内を走査しながらテンプレート画像Ｔとの相関を順次に求める。探索範囲２０２を入力画像全体とすることも考えられるが、演算量が大きすぎることや誤対応が発生しやすいこと等から、一般的には探索範囲を限定する。探索範囲２０２の広さは、物体の動きにもよるが、水平垂直方向に数画素から数十画素程度である。

画像における相関値の算出方法として、正規化相関を用いる場合の例を説明する。テンプレート画像Ｔの大きさをＫ（Ｈ）＊Ｌ（Ｖ）画素とし、このテンプレート画像Ｔ（ｐ，ｑ）が移動して、現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素になったものとする。このテンプレート画像Ｔ（ｐ，ｑ）と現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域Ｋ（Ｈ）＊Ｌ（Ｖ）画素との正規化相関値ＮＲＭＬ（ｘｖ，ｙｖ）は以下の式（１）のように表すことができる。

正規化相関値ＮＲＭＬは、両画像間の相関が高いほど１．０に近い値となり、相関が無い場合は０である。探索範囲２０２内にテンプレート画像Ｔと全く同じ画素値を持つ画像が存在した場合、正規化相関値ＮＲＭＬは１．０となる。最も相関が高くなる現フレーム上の位置を対応領域２０１とする。直前のフレームで抽出したテンプレート画像の位置からの対応領域２０１の移動量が（ｘｖ，ｙｖ）であり、これがテンプレートの動きベクトルを示す。

なお、上記例では正規化相関によって新たな入力画像とテンプレート画像との相関値を求める方法を説明したが、相関値の算出方法としては、より演算量が小さい差分法や差分絶対値和法などの手法も利用できる。また、輝度値を用いる例で説明したが、相関値計算には色やエッジ等を場合に応じて用いることも考えられる。

テンプレートマッチング部１０２において、上記探索範囲２０２による探索領域内の各位置の相関値を２次元配列としたものを相関マップとして生成する。この相関マップを後述するテンプレート位置補正部１０５において使用する。この段階では、テンプレートの移動先は決定していない。

テンプレート画像の設定方法としては、操作者が入力画像を見ながら物体領域上に手動で指示操作して設定してもよいし、入力画像中に輝度変化が発生した領域を物体領域と見なして、ラベリング処理後同一ラベルを付与された画素を含む領域をテンプレート画像として自動設定してもよい。あるいは、パターン認識技術を利用して、ある画像領域が追跡すべき物体と認識された場合にこの物体領域をテンプレートとして設定してもよい。

追尾開始時における初期テンプレートの作成には、操作者が追尾したい物体上をマウス等のポインティングデバイスで指定してもよいし、入力画像中に所望の物体が存在する確率が高い領域を認識して抽出後作成してもよいし、予め追尾したい物体に関するテンプレートを保持しておくことも考えられる。このように、テンプレートの作成については任意の手法で構わない。

また、テンプレートのサイズは、物体領域全体を含む大きさに設定するのが一般的であるが、物体領域の頭部周辺等の一部分をテンプレート画像として設定してもよい。また、テンプレート画像は、入力画像から切り出したものであり、入力画像の一部であるが、特に処理を加えずに用いてもよいし、エッジ抽出や各種フィルタ処理を施してテンプレート画像としてもよい。

テンプレート画像は、同一物体について取得時刻や更新時刻が異なる複数枚保持することを想定しているが、単数でも構わない。テンプレート画像と入力画像との相関が低くなった場合等には、テンプレートを保存可能な上限枚数まで追加する。上限枚数に達した際は、一部のテンプレートを削除して新しいものを追加する。テンプレート削除のルールとしては、例えば古いものから削除する、相関が低いものから削除するなどがある。

背景ベクトル推定部１０３では、撮像時刻の異なる画像から背景の動きベクトルを推定する。撮像装置１０８においてパンチルト動作可能なカメラを用いた場合、カメラ制御中は追跡物体以外の背景にも動きが発生する。物体領域のみを抽出するため、まず背景の動きを推定する。

図３は、背景の動きベクトル推定と物体領域抽出及びテンプレート位置補正の各処理の一例を示す図であり、図３（ａ）は背景ベクトル推定部の動作において前々フレーム、前フレーム及び現フレームにより背景ベクトル推定を示す図、図３（ｂ）は物体領域抽出部の動作において移動物体領域抽出を示す図、図３（ｃ）は物体領域と背景領域と区別した２値化画像を示す図、図３（ｄ）はテンプレート位置補正部において論理演算により得た現フレームのみで発生した物体領域と現フレームか前フレームかのどちらかで発生した物体領域を示す図である。

背景ベクトル推定部１０３による背景ベクトル推定は、図３（ａ）のように、前フレーム及び前々フレームから背景ベクトル（ｂｇｘ１，ｂｇｙ１）を推定し、現フレーム及び前フレームから背景ベクトル（ｂｇｘ２，ｂｇｙ２）を推定する。背景ベクトル推定の方法は図３（ａ）に示したように、現フレームを４領域に分割し、領域ごとに前フレームからの動き量である動きベクトルを推定する。各領域で得られた動きベクトルから水平垂直方向別にの中間値を取るなどして代表動きベクトルを求め、これを画面全体の動きを示す背景ベクトル（ｂｇｘ，ｂｇｙ）とする。背景ベクトル推定の手法としては、ブロックマッチング手法等、一般的に知られる方式で構わない。ここでのさらに詳しい説明は省略する。

なお、ここでは、現フレームを４領域に分割し、領域ごとに前フレームからの動き量である動きベクトルを推定する例を説明したが、画像を分割せずに画像全体から背景ベクトルを推定してもよいし、４領域より細かく分割して推定してもよい。

物体領域抽出部１０４は、背景ベクトル推定部１０３により得られた背景ベクトルを用いて、撮像時刻の異なる現フレームと前フレームのフレーム間差分により画像中の移動物体領域を抽出する。

パンチルト動作を行ってパンチルト角制御中の撮像装置１０８で取得した映像は、画面全体が動いている可能性がある。このような場合に、単純なフレーム間差分法では画面全体を動きが発生したとして抽出してしまう可能性がある。

そこで、本実施形態では、図３（ｂ）のように、背景ベクトル推定部１０３で推定した背景ベクトル（ｂｇｘ，ｂｇｙ）を用いて前フレームを平行移動して、背景の動きをキャンセルし、下記の式（２）を用いて現フレームとフレーム間差分ＳＡ（ｘ，ｙ）を求める。これにより、画面中で背景とは異なる動きをする物体が存在する場合に、その動きをする物体部分のみを物体領域として抽出することができる。

ＳＡ（ｘ，ｙ）＝｜Ｉ_t（ｘ，ｙ）−Ｉ_t-1（ｘ＋ｂｇｘ，ｙ＋ｂｇｙ）｜ …（２）

上記の式（２）で取得したフレーム間差分結果を閾値で２値化することにより、図３（ｃ）に示す物体領域と背景領域とを区別した２値化画像を得る。

なお、上記説明では、フレーム間の差分で物体領域を抽出する例を説明したが、フレーム間の何かしらの特徴の変化を検出し、物体領域と背景領域とを区別してもよい。

テンプレート位置補正部１０５は、テンプレートマッチング部１０２で取得した相関マップと物体領域抽出部１０４で抽出した物体領域を用いて、テンプレートが物体領域から外れないようにテンプレートの位置を補正する。

テンプレート位置補正部１０５でテンプレートの位置を補正する際、まず、式（２）で取得したフレーム間差分結果の内、テンプレートマッチング部１０２でテンプレートを用いて探索する探索領域と同じ領域について画素毎にその周辺の物体領域となった画素をカウントする。つまり、探索領域の画素毎に、周辺で物体領域となった画素の密度を求め、各画素位置での密度を２次元配列としたものを動きマップとして生成する。

また、図３（ｃ）のような２処理周期分の２値化画像を利用して、論理演算を行うことにより、図３（ｄ）のような現フレームのみで発生した物体領域と、現フレームか前フレームかのどちらかで発生した物体領域とを区分することができる。図３（ｃ）に示す２処理周期分の２値化画像間には、背景ベクトル（ｂｇｘ２，ｂｇｙ２）に相当する画面の移動があるので、これを平行移動でキャンセルした後、論理演算を行う。このとき、最新のフレーム間差分でしか発生していない物体領域は、現フレームの物体領域であり、いずれのフレームでも発生している物体領域はどちらにも発生している物体領域であると判断する。

なお、動きマップを作成する際、現フレームのみで発生した物体領域の場合は、現フレームと前フレームのいずれにも発生した物体領域に比ベて重みが大きいとして重み付けを行い、密度算出してもよい。

図４は、相関マップと動きマップにより統合マップを作成する際の処理の一例を示す図であり、図４（ａ）は相関マップを示す図、図４（ｂ）は動きマップを示す図、図４（ｃ）は統合マップを示す図である。

本実施形態では、図４（ａ）のような相関マップと図４（ｂ）のような動きマップをそれぞれの依存度が適当になるようにレベル補正を行って加算し、図４（ｃ）のような統合マップを生成する。動きによるテンプレート移動先補正の効果を高める場合には、動きマップを相関マップに対し相対的に高いレベルで統合する。統合マップは、動きが発生し、かつ、テンプレートとの相関が高い位置がピークとなって現れる。なお、各マップは、値が小さいほどテンプレートの移動先である可能性が高いことを示すようになっている。この統合マップにおけるピークに対応する位置をテンプレートの移動先と判断する。

上述のように、テンプレートとの相関を示す相関マップと物体の動き発生密度を示す動きマップとを用いて、それぞれのマップの依存度が適当になるようにレベル補正して加算することで統合マップを作成し、この統合マップによってテンプレートの移動先を推定する。これにより、テンプレートが物体領域から外れないようにテンプレートの移動先を補正することができる。

次に、上記のように構成された本実施形態の自動追尾装置の全体の動作を図５に基づいて説明する。図５は本実施形態における自動追尾装置の動作手順を示すフローチャートである。

まず、画像入力部１０１において、撮像装置１０８によって撮像された画像を入力する（ステップ５０１）。そして、テンプレートマッチング部１０２において、入力された画像と予め登録済みのテンプレート画像とを比較して相関値を算出し、新たな入力画像の中から予め登録済みのテンプレート画像との相関が高い領域を探索する（ステップ５０２）。このテンプレートマッチング処理により、相関マップが生成される。

次に、背景ベクトル推定部１０３において、背景の動きベクトルを推定する（ステップ５０３）。そして、物体領域抽出部１０４において、ステップ５０３で得られた背景ベクトルを用いて、撮像時刻の異なる現フレームと前フレームのフレーム間差分により画像中の移動物体領域を抽出する（ステップ５０４）。

続いて、テンプレート位置補正部１０５において、テンプレートマッチング部１０２で取得した相関マップと物体領域抽出部１０４で抽出した物体領域とを用いて、テンプレートが物体領域から外れないようにテンプレートの位置を補正する（ステップ５０５）。

その後、撮像装置制御部１０６において、テンプレート位置補正部１０５での位置補正処理結果に基づき、撮像装置１０８のパン、チルト、ズームの制御を行い、追跡物体が画像の中央部に位置するように撮像装置１０８をＰＴＺ動作させ（ステップ５０６）、撮像装置１０８で追跡物体を含む監視領域を撮像する（ステップ５０７）。そして、画像出力部１０７において、撮像装置１０８で撮影した画像を外部の画像表示装置１０９に出力する（ステップ５０８）。その後、ステップ５０１の新たな画像入力処理に戻り、同様の処理を繰り返す。

上記のように、本実施形態の自動追尾装置では、テンプレートマッチング処理で生成した相関マップと、物体の動き発生密度を示す動きマップとを用いて、テンプレートの移動先を推定し、テンプレートの位置を補正する。このように、テンプレートとの相関が高い画像領域だけを探索するのではなく、フレーム間差分によって背景とは異なる動きをする移動物体領域を求めることで、テンプレートとの相関が高くかつ動きが発生している領域を抽出し、この領域にテンプレートの移動先を補正することができる。これによって、テンプレートの誤対応や背景中の類似パターンヘの貼り付きによる追尾失敗を解消することができ、より安定して物体を追跡することが可能になる。

本発明は、画像中の侵入者等の物体を追跡する際に、テンプレート画像と類似する背景中の類似パターンの影響を受けることなく、安定した追尾が可能となる効果を有し、侵入物体等の監視システムにおいて撮影画像中の特定の物体を追跡する自動追尾装置及び自動追尾方法等に有用である。

本発明の実施形態に係る自動追尾装置の機能構成を示す図 本発明の実施形態に係るテンプレートマッチング部の動作を説明する図 本実施形態における背景の動きベクトル推定と物体領域抽出及びテンプレート位置補正の各処理の一例を示す図 本実施形態における相関マップと動きマップにより統合マップを作成する際の処理の一例を示す図 本実施形態における自動追尾装置の動作手順を示すフローチャート 従来例における物体追跡時の動作を示すフローチャート

符号の説明

１００ 自動追尾装置
１０１ 画像入力部
１０２ テンプレートマッチング部
１０３ 背景ベクトル推定部
１０４ 物体領域抽出部
１０５ テンプレート位置補正部
１０６ 撮像装置制御部
１０７ 画像出力部
１０８ 撮像装置
１０９ 画像表示装置

Claims (4)

1. 撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾装置であって、
   前記対象物体の特徴を示すテンプレート画像と入力画像との相関演算を行うテンプレートマッチング手段と、
   前記入力画像の画像全体の動きを示す背景の動きベクトルを推定する背景ベクトル推定手段と、
   前記背景の動きベクトルを用いて前記画像全体の動きをキャンセルし、前記画像全体の動きとは異なる動きをする部分を物体領域として抽出する物体領域抽出手段と、
   前記テンプレートマッチング手段が相関演算を行った領域の周辺で前記物体領域となった画素の密度を示す動きマップを生成し、前記動きマップと、前記テンプレート画像と入力画像間の相関を示す相関マップを統合したマップのピークを検出することで前記テンプレート画像の移動先を推定するテンプレート位置補正手段とを備えることを特徴とする自動追尾装置。
2. 請求項１記載の自動追尾装置であって、
   前記テンプレート位置補正手段は、前記背景の動きベクトルに基づいて撮像時刻の時間差に相当する分の背景の動きをキャンセルした後、撮像時刻の異なる連続した複数フレームの入力画像から得られた連続した複数の物体領域抽出結果を論理演算することで、現フレームのみで発生している物体領域と現フレーム以外でも発生している物体領域とを区別して重みを加えて前記動きマップを生成することを特徴とする自動追尾装置。
3. 撮像手段によって撮影された画像を入力し、前記画像中の対象物体を追跡する自動追尾方法であって、
   前記対象物体の特徴を示すテンプレート画像と入力画像との相関演算を行うテンプレートマッチングステップと、
   前記入力画像の画像全体の動きを示す背景の動きベクトルを推定する背景ベクトル推定ステップと、
   前記背景の動きベクトルを用いて前記画像全体の動きをキャンセルし、前記画像全体の動きとは異なる動きをする部分を物体領域として抽出する物体領域抽出ステップと、
   前記テンプレートマッチング手段が相関演算を行った領域の周辺で前記物体領域となった画素の密度を示す動きマップを生成し、前記動きマップと、前記テンプレート画像と入力画像間の相関を示す相関マップを統合したマップのピークを検出することで前記テンプレート画像の移動先を推定するテンプレート位置補正ステップとを有する自動追尾方法。
4. 請求項３記載の自動追尾方法の各手順をコンピュータに実行させるためのプログラム。

Images