JP2012257173A - 追尾装置、追尾方法及びプログラム - Google Patents

Abstract

【課題】移動物体の速度に関係なく、長時間、より正確に移動体の追尾を行うことを目的とする。
【解決手段】特徴量に対応したパラメータに基づいて撮像手段で撮像された画像中の動体を検出する物体検出手段と、カメラの姿勢を制御する姿勢制御手段と、動体の速度に応じて物体検出手段のパラメータを動的に変更する制御手段と、を有することによって課題を解決する。
【選択図】図６

Description

本発明は、追尾装置、追尾方法及びプログラムに関する。

監視及びモニタリングシステムでは、動画像処理によって画像中の動体を検出する技術がある。検出した動体が画像上の指定した領域に侵入したことを検知したり、長時間静止したことを検出したりする技術がある。また検知した動体を常に画面中央に捉えるようにカメラの姿勢を制御する技術が追尾技術として知られている。
動体の検出には隣接フレーム間差分や背景差分が用いられる。隣接フレーム間差分は連続する二つのフレーム間で対応するサンプリング位置の、輝度成分や周波数成分の差分を用いて動体領域を抽出する。処理速度が速く、使用メモリ領域が少なくて済む一方で、物体の境界領域が検出され易い。背景差分は物体の存在しないシーンにおいて予め撮影した背景と、現画像との比較によって物体領域を検出する。ここで背景は画素単位の輝度やブロック単位の周波数成分が用いられ、シーンの定常的な変化に対応するために、複数の状態を持つ統計量としてモデル化される例もある。背景差分は物体領域を検出できる一方で、背景モデルの作成に時間を要し、また背景モデルを保持するためにメモリリソースを要する。

姿勢制御可能なカメラを用いて、フレーム間差分によって動体を検知し、追尾を行う技術が特許文献１に開示されている。カメラは静止状態でフレーム間差分を行い、検出した動体が画面中央に位置するように姿勢制御を行い、これを繰り返す。特許文献２は背景差分による追尾の例である。追尾範囲全体の追尾画像を予め撮影し、追尾時に現在のカメラの方向に一致する背景画像を切り出して背景差分処理に利用する。特許文献３は背景差分を用いた追尾において、動きベクトルを用いて画像の位置合わせを行う手法が開示している。
この他の物体検出方法には対象物の画像特徴を格納したテンプレートを用いる手法や、動きベクトル解析を用いる手法がある。動きベクトル解析を用いた物体抽出によってカメラの移動中も物体を追尾する方法が特許文献５に開示されている。また特許文献６は物体の速度によって背景差分と動きベクトル解析を切り替えて、追尾を行う手法である。

特開２００３−２１９２２５号公報 特開平１１−２８４９８９号公報 特開平０５−１４５８２３号公報 特開平０５−１５３４５９号公報 特開２００２−３７４５２１号公報 特開２００１−０９２９７６号公報

カメラの視線制御による追尾手法として、テンプレートマッチングを用いた動体検出及び追尾は、物体の見え方の変化に対応するためにテンプレートを更新する必要があり、長時間の追尾に適さない。動きベクトルを用いた動体検出及び追尾も、正確な動きベクトルを安定して求めることは難しい。フレーム間差分を用いた動体検出及び追尾方式は、物体の境界領域を検出するために、物体速度が小さい時に物体を検出できない場合がある。背景差分による物体検出及び追尾方式は、物体の速度が大きいと、背景の生成が間に合わない場合がある。

本発明はこのような問題点に鑑みなされたもので、移動物体の速度に関係なく、長時間、より正確に移動体の追尾を行うことを目的とする。

そこで、本発明の追尾装置は、特徴量に対応したパラメータに基づいて撮像手段で撮像された画像中の動体を検出する物体検出手段と、カメラの姿勢を制御する姿勢制御手段と、前記動体の速度に応じて前記物体検出手段のパラメータを動的に変更する制御手段と、を有する。

本発明によれば、移動物体の速度に関係なく、長時間、より正確に移動体の追尾を行うことができる。

追尾システムのシステム構成等の一例を示す図である。 ネットワークカメラの機能構成等の一例を示す図である。 物体検出処理の手順を説明する図である。 物体の速度に応じた背景差分処理の制御方法を説明するための図である。 物体速度に応じた背景差分パラメータの最適化を説明するための図である。 追尾処理の処理手順を説明する図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、カメラ姿勢制御による動体追尾において、物体検出手段の制御パラメータを物体の速度に応じて適応的に変更する方式を説明する。この方式を用いれば、物体速度に関わらず、正確性と即応性とを兼ね備えた動体追尾を実現できる。
本実施形態におけるシステム構成の例を図１に示す。図１は、追尾システムのシステム構成等の一例を示す図である。ネットワークカメラ１００、表示装置２１０、録画装置２２０がネットワーク経由で接続される。ネットワークカメラ１００は、表示装置２１０、録画装置２２０からの要求に対して、映像１５０や不図示のメタデータ１６０を送信する。メタデータとは映像中の物体位置等のシーン情報である。録画装置２２０は、ネットワークカメラ１００から取得した映像１５０やメタデータ１６０を記録媒体に保存する。表示装置２１０は、ネットワークカメラ１００から得た映像１５０や、録画装置２２０に保存された映像を読み出して表示したり、ネットワークカメラ１００の設定を行ったりする。

ネットワークカメラ１００の構成を図２に示す。図２は、ネットワークカメラの機能構成等の一例を示す図である。ネットワークカメラ１００は、撮像部・雲台１１０と制御部１２０とからなる。表示装置２１０等のクライアントは、カメラを遠隔制御可能である。通信Ｉ／Ｆ１２５は、ＨＴＴＰやＴＣＰ／ＩＰの送受信を担当する。全体制御部１３２は、ネットワークカメラ１００を構成するモジュールの制御を行う。パン、チルト、ズーム制御要求は、通信Ｉ／Ｆ１２５及び全体制御部１３２経由で撮影制御部１２１に渡される。そして撮影制御部１２１は、撮影部・雲台１１０を制御する。
撮像部・雲台１１０から取得された映像は撮影制御部１２１経由で、映像入力部１２２によって取得され、映像符号化部１２３で符号化される。ここで符号化方式としてはＪＰＥＧやＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の方式がある。符号化された映像は映像送信部１２６で、ＨＴＴＰ，ＲＴＰ等の通信方式に従い、通信Ｉ／Ｆ１２５を通じて送信される。
映像入力部１２２によって取得された映像は物体検出部１２７、イベント検知部１２８にも送信され、物体検出処理及びイベント検知が行われる。物体検出部１２７では制御パラメータを動的に変更可能な背景情報を利用した背景差分処理を用いて物体情報を検出する。物体検出部１２７が使用する背景差分処理については後述する。物体検出部１２７で検出される物体情報の例は、位置、面積、外接矩形、存在時間、静止度、物体領域速度、色成分、輝度成分等である。
イベント検知部１２８は、物体検出部１２７で検出された物体の状態から、特定画像領域への侵入や置去り等を検出する。イベント検知部１２８は、イベント検知処理を複数同時に行うこともできる。

追尾処理部１２９では検出した物体が視野の中央に位置するようにカメラの姿勢を変更する。シーン情報生成部１３０は、物体検出結果、イベント検知結果、追尾結果をシーン情報として生成し、シーン情報送信部１３１経由でクライアントに送信する。
表示装置２１０や録画装置２２０からは、映像配信要求、パン・チルト制御要求、イベント検知設定変更要求、追尾設定変更要求等の様々な要求が送信される。これは例えば、ＨＴＴＰのＧＥＴメソッドや、ＳＯＡＰを用いて送受信することができる。ここで通信Ｉ／Ｆ１２５は、主としてＴＣＰ／ＩＰを担当する。そして、全体制御部１３２は、ＨＴＴＰやＳＯＡＰの構文解析とカメラ内ユニットへの命令生成とを担当する。本実施形態は、図２の構成を実現するために特定のハードウェア構成に限定されるものではない。例えば、撮像・雲台１１０、及び、制御部１２０は分離した構成とすることもできる。
また、制御部１２０内の各部等は、ハードウェアで実装されてもよいし、制御部１２０内のメモリ等に記憶されたプログラムを制御部１２０が実行することによって実現されるソフトウェアで実装されてもよい。

本実施形態では背景モデルを用いた判別による手法を説明する。ここでは観測画像の特徴量と背景モデルの保持する特徴量とを比較することにより物体を検出する。背景モデルは背景の変化に対応するため、モードと称する複数の状態を持つ。各モードは複数の画像特徴量やその統計量を背景の状態として保持する。また、８×８画素からなる画像ブロックの周波数成分絶対値和や、隣接フレーム間で対応する周波数成分の差分和を用いる手法もある。本実施形態の処理等は、特定の画像特徴に依存するものではない。
背景モデルを、ある時点ｔにおける、ｉ番目のモードの特徴ベクトルＭ（ｉ，ｔ）として表す。物体の検出は、観測ベクトルＩ（ｔ）と背景に属する背景モードＭ（ｉ，ｔ）との類似度Ｉ（ｔ）・Ｍ（ｉ，ｔ）が低い場合にこれを物体領域と判別する。背景モデルは新規画像が観測されると特徴量が類似したモードを探索し、類似モードの特徴量を更新する。これは観測画像の特徴量と、既存モードの特徴量とを一定比率で混合することによる。この混合比率を更新係数Ｋとすると、モデルの更新は以下の式で表現される。

Ｍ（ｉ，ｔ＋１）＝Ｋ＊Ｆ（ｔ）＋（１−Ｋ）＊Ｍ（ｉ，ｔ） （数式１）
Ｍ（ｉ，ｔ）：時刻ｔにおけるｉ番目のモードの保持する特徴量ベクトル
Ｆ（ｔ）：時刻ｔにおける観測画像の特徴ベクトル
Ｋ：更新係数 ０ ＜ Ｋ ≦ １
数式１において、Ｋが大きい場合は短期間で背景モデルが更新される。特にＫが１の場合は、直前のフレーム情報からのみ背景情報が生成されるため、隣接フレーム間差分に等しくなる。

初期状態において、背景モデルの生成には一定時間を要する。これを背景モデルの初期化と呼ぶ。背景モデルの初期化にかかる時間は更新係数に依存し、例えば１／Ｋフレームと設定できる。例として初期期間に観測される特徴ベクトルの平均値によって初期化する場合、初期背景モデルの生成は数式２のように表現できる。なお初期背景の生成時間中は物体検出を行うことはできない。

Ｍ（ｉ，Ｔｉｎｉ）＝１／Ｔｉｎｉ＊ΣｔＦ（ｉ）｜ｔ＝１．．．Ｔｉｎｉ （数式２）
Ｔｉｎｉ＝１／Ｋ初期背景生成時間（フレーム）

本実施形態における物体検出処理の手順を説明する。図３は、物体検出処理の手順を説明する図である。図３の（ａ）において、制御部１２０は、開始後Ｓ３０１で画像の取得を行い、次にＳ３１０で周波数成分（ＤＣＴ係数）を生成する。次にＳ３１１で制御部１２０は、周波数成分から画像特徴を抽出する。Ｓ３１２において制御部１２０は、Ｓ３１１で生成した複数の特徴量が既存の背景モデルと合致するかを判別する。
原画像との比較は前述したように特徴量ベクトルの差分演算によって行われる。制御部１２０は、Ｓ３１２では既存モードと比較して、もし類似モードが存在する場合はＹ分岐し、Ｓ３１４で対応するモードの特徴量情報を更新する。
制御部１２０は、Ｓ３１３において類似モードが存在しない場合には、Ｎ分岐し、Ｓ３１５に進んで新規モードを生成する。制御部１２０は、新規モードを生成する際に、既存モードのうち長時間使用していない古いモードを破棄する。制御部１２０は、Ｓ３１４、Ｓ３１５終了後、Ｓ３１６に進み、全てのブロックで処理が終了後、Ｓ３１９に進んで物体の抽出処理を行う。

図３の（ｂ）のＳ３２１からＳ３２５までは物体抽出処理である。Ｓ３２１は前景判別処理であり、制御部１２０は、各ブロックの状態が前景か背景かを判別する。これは入力した画像から抽出した特徴量と合致するモードが、前景か背景かを判別する処理である。ここで背景となるモードは、生成されてからの経過時間が、所定の閾値以上であるモードである。逆に前景となるモードは、生成されてからの時間が所定の閾値未満であるモードである。
制御部１２０は、次にＳ３２２で前景ブロックの連結処理を行い、次にＳ３２３で小領域をノイズとして除去する。制御部１２０は、最後にＳ３２４、Ｓ３２５で全ての物体に対して、物体情報の抽出を行い終了する。図３の方式によれば、背景モデルを逐次更新しながら安定して物体情報を抽出することができる。

移動と観測とを繰り返す方式の追尾処理の場合、新規観測位置において迅速に物体領域を抽出することが求められる。しかしながら物体は移動しているため、速度によっては背景を生成する時間を十分に確保できない。そこで物体の速度に応じた背景差分処理の制御方法を図４を用いて説明する。
図４の（ａ）は背景モデルのモード数Ｎｍが多く、更新係数Ｋが小さい場合である。これは物体の移動速度が遅い場合に用いられる。この場合初期背景生成に時間がかかるが、生成された背景は一定時間のシーン情報を含むため、信頼度の高いものとなる。またモード数を増やすことによって、動的に変化する背景にも対応できる。一方で処理速度は低下する。また新規に現れた物体が背景化するまでに時間を要するため、速度の小さい物体であっても、物体領域情報を正確に抽出することができる。
図４の（ｂ）は背景モデルのモード数Ｎｍが少なく、更新係数Ｋが大きい場合である。これは物体の移動速度が速い場合に用いられる。この場合初期背景生成には時間を要しないが、生成されたモデル特徴に含まれるシーン情報量は減ずるため、信頼度の低いものとなる。ここで更新係数Ｋ＝１，モード数Ｎｍ＝１の場合は、毎フレーム背景が更新されることを意味する。これはフレーム間差分と同一である。この場合、検出した物体がすぐに背景化されるため、物体領域の内側は差分量がなく、検出されにくい。結果として物体の境界領域周辺が検出されるため、追尾位置を正確に決定できない。しかし高速に物体を検出可能であるため、速度の大きな物体に対応できる。

次に図５を用いて、背景更新係数Ｋ、背景モード数Ｎｍをどのように制御すればよいかを説明する。図５は、物体速度に応じた背景差分パラメータの最適化を説明するための図である。初期状態では、画面上の物体位置は問わない。物体の移動速度は画像中の見かけ上の移動量である。図５の（ａ）に示すように、最初の物体速度は２回連続して物体を検出し、そのときの物体位置の差分から求めることができる。またＭＰＥＧ−２やＨ．２６４符号化の過程で利用する動きベクトルの結果を解析して、類似の動きベクトル集合を求める手法によることもできる。これはパン、チルトの制御を伴わない画面内の物体位置の対応付け、という意味で画面内追尾と呼ぶ。
最初の追尾動作は求めた物体位置がカメラの中央に移動するように、パン、チルト方向のカメラ制御量ΔＰａｎ，ΔＴｉｌｔを以下のように設定することで実現できる。Ｇｐａｎ，Ｇｔｉｌｔは物体の大きさと速度から、移動後の物体が画面中に収まるように大きく取り過ぎないように設定する。

ΔＰａｎ＝Ｇｐａｎ＊（Ｘｏｂｊ−Ｘｃ）
ΔＴｉｌｔ＝−Ｇｔｉｌｔ＊（Ｙｏｂｊ−Ｙｃ） （数式３）
カメラの最初の追尾動作後に、物体速度に応じて背景差分による物体検出処理制御パラメータを変更する。図５の（ｂ）は物体速度が小さい場合の処理例である。物体速度が小さい場合のモード数ＮｍをＮ１、背景更新係数をＫ１とすると、Ｎ１＞１， Ｋ１＜１ である。ここで１／Ｋ１フレーム後に初期化が終了するので、物体検出処理を開始する。初期背景の生成後、更に１／Ｋ１フレーム待ってから、処理を行ってもよい。その結果、画面中で物体領域５１１を検出できる。したがって、上記物体位置に対して（数式３）を適用し、カメラ制御を行えばよい。

ここで背景生成時に物体が存在している領域は物体自体が背景化する場合がある。これは背景差分の性質上避けることができない。しかし実際には追尾後の物体は画面中央にあることが想定されるため、物体が移動を続ける場合には、周辺部で検出が可能であり、結果として、検出ミスが生じる可能性は低い。即ち、画面中央の領域５１０で検出漏れが生じても、その周辺領域で物体領域５１１を検出可能である。
次に図５の（ｃ）は、物体速度が大きい場合の例である。この場合のモード数をＮｍ＝Ｎ２に、背景更新係数Ｋ＝Ｋ２とすると、例えば、Ｎ１＝１、Ｋ１＝１である。この場合フレーム毎に背景の持つ情報を全てを更新するため、フレーム間差分と同一であり、高速処理が可能である。即ち、追尾動作後にカメラが静止状態になり、２フレーム目には物体検出結果を取得できる。但し、検出した物体領域は５２１，５２２のようになり、物体の境界付近が検出される。追尾目標の定め方は、部分領域５２１，５２２のうち面積の大きい領域の重心か、両者の重心位置の平均を定める方法がある。
物体が画面から外れる前に背景を作成する必要がある。したがって、Ｋは画面上の物体速度Ｖｏｂｊと画像サイズとから、数式４のように決定できる。ここでＧｋは更新係数Ｋを決定するための係数であり、通常１より小さい正の値を設定する。Ｎｍは処理速度が更新率Ｋに影響しない最大の値を設定すればよい。

Ｋ＝Ｇｋ／（Ｓｉｍｇ／Ｖｏｂｊ） （数式４）
Ｓｉｍｇ：画像サイズ（幅又は高さの平均）

Ｖｏｂｊは画面上の物体速度
Ｇｋ：速度決定係数

以上の追尾方式をネットワークカメラ１００上で実施する場合の、実行手順を図６に示す。図６は、追尾処理の処理手順を説明する図である。
制御部１２０は、開始後、Ｓ６０１で物体検出処理を行う。次に、制御部１２０は、Ｓ６０２で検出物体の有無を判別する。制御部１２０は、もし物体が検出された場合にはＹ分岐し、Ｓ６０３で画面内追尾を行って物体の速度を計測する。次のＳ６０４で、制御部１２０は、パンチルト追尾を行うかどうかを判別する。これは一定以上の速度を持つ物体、或いは、視野外への移動が短期間に予想される物体に対して追尾を行うためである。
制御部１２０は、追尾を行う場合はＹ分岐し、Ｓ６０５でパンチルト追尾モードを開始して、Ｓ６０６でカメラの姿勢を変更する。続いてＳ６０７で、制御部１２０は、物体速度に応じて、既に述べた手法によって、背景モデルの更新係数Ｋ，モード数Ｎｍを決定する。更にＳ６０８で、制御部１２０は、再び物体検出処理を行う。次にＳ６０９で、制御部１２０は、追尾対象物体が停止したかどうか、或いは追尾対象物体が静止したかどうかを判別する。もし物体が移動を続けている場合には、制御部１２０は、Ｓ６１０に進んで追尾処理を継続する。もし物体の停止ないしは物体の喪失を検出した場合には、制御部１２０は、Ｓ６１１に進んでパンチルト追尾モードを終了する。
以上説明した手法によれば、背景差分処理によって画像中の動体領域を求めて、追尾処理を行う観測・移動方式の追尾方式において、物体の速度に応じて初期背景生成時間、背景更新係数、背景モード数を変更する。これにより、即応性と正確性とを両立する追尾を実現できる。

＜実施形態２＞
別の実施形態としては、ネットワークカメラ１００から表示装置２１０や録画装置２２０等のクライアントにライブ画像を送信し、クライアント側で背景差分処理による物体検出処理を行うこともできる。この場合、図３で説明した物体検出処理、及び図６に示した追尾制御処理をクライアント側で行い、クライアントからはカメラのパンチルト制御情報を送信する。この場合、図６の追尾制御フローにおいて、Ｓ６０６のＰＴ追尾はクライアントからカメラへのパン・チルト位置制御命令であり、カメラは受信した位置制御命令に従って、パン、チルトの制御を行う。
このような方式によれば、カメラ側の処理速度に制限がある場合にも移動物体の追尾を行うことができる。

＜実施形態３＞
その他の実施形態としては、カメラ移動の前後で、重複する領域については移動する前の背景モデルを適用することもできる。この場合、カメラのパン、チルトに応じて背景モデルの位置をシフトする手法がある。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、移動物体の速度に関係なく、長時間、より正確に移動体の追尾を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１２０ 制御部

Claims (4)

1. 特徴量に対応したパラメータに基づいて撮像手段で撮像された画像中の動体を検出する物体検出手段と、
   カメラの姿勢を制御する姿勢制御手段と、
   前記動体の速度に応じて前記物体検出手段のパラメータを動的に変更する制御手段と、を有する追尾装置。
2. 前記特徴量とは、画像を構成する画素の輝度成分、又は色成分、又は部分領域に対する周波数成分である請求項１記載の追尾装置。
3. 追尾装置が実行する追尾方法であって、
   特徴量に対応したパラメータに基づいて撮像手段で撮像された画像中の動体を検出する物体検出ステップと、
   カメラの姿勢を制御する姿勢制御ステップと、
   前記動体の速度に応じて前記物体検出ステップのパラメータを動的に変更する制御ステップと、
   を含む追尾方法。
4. コンピュータを、
   特徴量に対応したパラメータに基づいて撮像手段で撮像された画像中の動体を検出する物体検出手段と、
   カメラの姿勢を制御する姿勢制御手段と、
   前記動体の速度に応じて前記物体検出手段のパラメータを動的に変更する制御手段と、
   して機能させるためのプログラム。

Images