WO2006059419A1

WO2006059419A1 - 追跡装置および追跡方法

Info

Publication number: WO2006059419A1
Application number: PCT/JP2005/016711
Authority: WO
Inventors: Nobuyuki Otsu; Masaaki Kawai
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2004-12-02
Filing date: 2005-09-12
Publication date: 2006-06-08
Anticipated expiration: 2007-06-02
Also published as: EP1835462A4; JP3970877B2; JP2006163452A; EP1835462A1; US7957557B2; US20080187172A1

Abstract

　処理負荷の軽い方法で動画像からの人などの移動対象の実時間追跡を実現すると共に、追跡を通して特徴を学習し、より精度の高い追跡を実現する追跡装置および追跡方法を提供する。追跡装置は、入力された動画像データを部分画像（短冊状あるいは矩形状）に分割し、追跡対象の含まれていない背景画像と現在の画像とを比較することにより追跡対象が存在する分割画像を抽出する。また、追跡対象の識別を行うために色と形の特徴を一度に抽出できるカラー高次局所自己相関特徴データを算出し、登録されている追跡対象の特徴データとの距離に基づき識別を行う。更に背景画像や登録特徴データを直近のものに更新する。追跡対象を追跡しながら特徴を獲得し、その特徴を利用して対象を識別するので頑健で高精度な追跡を実現できる。

Description

明細書

追跡装置および追跡方法

技術分野

[0001] 本発明は、動画像を取り込んで対象を追跡する追跡装置および追跡方法に関するものである。

背景技術

[0002] 近年、生活支擦こ利用できる人間協調 ·共存型ロボットや情報機器の必要性が高まっている。共存型ロボットには環境と人間のアクションを認識させる必要があり、動 Vヽて、るものを目で追うと、う人間の視覚機能をシステムとして実現しなければならない。また、犯罪率の増加に伴い、監視カメラや録画しておいた映像を調べるビデオサ一べランスと、つた、動ヽて、る人の情報を的確にすばやく取得することのできるシステムの需要が増えて、る。

[0003] 上記したような用途に必要な移動物体の自動追跡技術に関しては、既に多くの研究がなされて!/、る。フレーム間差分画像力も追跡対象である移動物体のエッジ部分を抽出することによって移動物体の領域を抽出して追跡するものや、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度の距離を移動するかを示す速度べタトルであるオプティカルフローを用い、フローが大きい画素のみを移動物体の領域として選択する方法などがある。

[0004] 例えば下記特許文献 1には、オプティカルフローとテンプレート画像との相関（マツチング）による動き情報の双方を使用する物体追跡方法が開示されている。

特許文献 1：特開 2004— 240762号公報

発明の開示

発明が解決しょうとする課題

[0005] 上記した従来の自動追跡方式にお!、ては、対象領域の画像の類似性に注目し、その類似度の高いものを追跡することに主眼を置いてきた。しかし、追跡対象の隠れや交差、向きや大きさの変化等が起きた場合、画像の類似性によってのみ追跡するだけではどうしても対象の識別精度が不十分であり、追跡動作が不安定になるという問題があった。また、従来の自動追跡方式においては、計算量が膨大で実時間追跡には不向きであり、雑音に対して弱いという問題点もあった。

[0006] 本発明の目的はこのような問題点を解決し、できるだけ処理負荷の軽、方法で実時間追跡を実現すると共に、追跡を通して対象の特徴を逐次学習し、更新することにより、認識レベルでのより精度の高い追跡を実現する追跡装置および追跡方法を提供する点にある。

課題を解決するための手段

[0007] 本発明にお、ては、従来手法の多くに見られる画像 (画素）レベルのマッチング (相関）ではなぐ対象特有の特徴を利用して、対象の識別を行いながら追跡を行う。このために、顔の形や色の特徴を一度に抽出できるカラー高次局所自己相関特徴を利用した追跡手法を用いる。

[0008] 本発明の追跡装置は、入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれている力否かを判定する対象有無判定手段と、対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段と、対象有りと判定された分割画像について、隣接する分割画像をまとめて追跡対象の位置を決定する対象位置決定手段と、まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段とを備えたことを主要な特徴とする。

[0009] あるいは、本発明の追跡装置は、入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データから背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、非背景画像データについてカラ一高次局所自己相関特徴データを算出する特徴データ計算手段と、カラー高次局所自己相関特徴データ力特徴データベクトルの長さであるノルムを算出するノルム算出手段と、ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれているか否かを判定する対象有無判定手段と、対象有りと判定された分割画像につ!ヽて、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段と、まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と、登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段とを備えたことを主要な特徴とする。

[0010] また、前記した追跡装置において、前記対象有無判定手段によって追跡対象が無いと判定された分割画像に基づき背景画像を更新する背景画像更新手段を備えていてもよい。

また、前記した追跡装置において、前記識別手段は、追跡対象毎に直近の複数個の特徴データを保存する保存手段と、保存されている全ての特徴データと、検出された対象の特徴データとの距離をそれぞれ計算し、距離が最も近!、奇数個の特徴データを抽出する最近特徴データ抽出手段と、検出された対象が、抽出された奇数個の特徴データの内で特徴データの数が最も多い追跡対象に属するものと判定する対象識別手段とを備えていてもよい。更に、前記した追跡装置において、前記識別手段の識別結果に基づき、登録されて！ヽる追跡対象の特徴データを更新する登録対象更新手段を備えて、てもよ、。

発明の効果

[0011] 高次局所自己相関特徴は、従来の研究において顔認識等の個人識別に対して有効な特徴であることが知られている。本発明においては、この高次局所自己相関特徴を更にカラーに拡張し、形と色の情報を同時に抽出するカラー高次局所自己相関特徴を使用する。このカラー高次局所自己相関特徴は、画像内における位置不変性があり、追跡対象が分割画像内のどこにあっても正確に認識可能である。従って従来の画像マッチングのように対象そのものの位置（輪郭）を正確に検出あるいは予測する必要がなぐ追跡対象を特徴レベルで識別しながら追跡を行うことで、より頑健で高精度な追跡を実現できるという効果がある。

[0012] 本発明の方式は、追跡する処理と追跡対象から情報を獲得する処理を同時に行うこと〖こ相当する。従って、対象の隠れや他の対象との交差等によって対象の認識ができない状態が発生しても、その状態が解消された後は対象を識別することにより、問題なく追跡を継続できる。また、特徴抽出のための計算量が少なぐ実時間処理が可能であるという効果もある。更に各分割画像について並行処理が可能であるので、 PCクラスターなどを用いて並行処理することにより、更に処理速度を向上させることが可能であるという効果もある。

[0013] 更に、本発明の方式はテンプレート画像との比較を行わないので、テンプレートを予め用意する必要がなぐこのことによって汎用性が向上すると共に、新たに検出された対象の正確な特徴データを直ちに取得可能であり、対象の画像上における大きさや動きに依存せず、時間と共に位置のみならず、形、色、大きさが変化しても高精度で追跡可能であると、う効果もある。

図面の簡単な説明

[0014] [図 1]図 1は本発明による追跡装置の構成を示すブロック図である。

[図 2]図 2は本発明の対象追跡処理の内容を示すフローチャートである。

[図 3]図 3はカラー高次局所自己相関の変位ベクトルの種類を示す説明図である。

[図 4]図 4は短冊状に分割した入力画像例を示す説明図である。

[図 5]図 5は非背景画像例 (全体)を示す説明図である。

[図 6]図 6本発明の第 2実施例の追跡処理の内容を示すフローチャートである。符号の説明

[0015] lO- '·ビテォカメラ

l l - '·ビデオキヤプチャ装置

12· "コンピュータ

13· '·モニタ装置

14· ··キーボード

15· "マウス

20· •LAN

21、 22、 31- --PC

23· ' ·ルータ

30· "インターネット

発明を実施するための最良の形態 [0016] 本発明では、追跡対象の位置を推定するために以下の処理を行う。まず、画像を短冊状 (または矩形）に分割し、短冊型の各分割画像を調べることで、追跡対象が存在する分割画像を抽出する。

[0017] 追跡対象の抽出法には様々な方法がある力本発明では、追跡対象の含まれていない背景画像と現在の画像とを比較することにより、追跡対象が存在する分割画像を抽出する。追跡対象の存在する分割画像について隣接するものをまとめることで、追跡対象の現在位置を取得することができる。また、追跡対象の特徴データを生成し、登録データと比較して追跡対象の識別を行う。追跡対象を追跡しながら特徴を獲得、その特徴を利用して対象を識別し、高精度な追跡を実現する。

実施例 1

[0018] 図 1は、本発明による追跡装置の構成を示すブロック図である。ビデオカメラ 10は対象となる人や装置のカラー動画像フレームデータをリアルタイムで出力する。カラ一動画像データは例えば RGB各 256階調であってもよい。 PC (パソコン)などのコンピュータ 12は、外付けあるいは内蔵の、動画像を取り込むためのビデオキヤプチヤー装置 11を介して、ビデオカメラ 10からカラー動画像フレームデータをリアルタイムで取り込む。

[0019] コンピュータ 12は周知のモニタ装置 13、キーボード 14、マウス 15、 LAN20に接続されている。 LAN20には PC21、 22の他、ルータ 23を介してインターネット 30が接続されており、コンピュータ 12は LAN上の他の PC21、 22やインターネット上の PC3 1と通信可能である。本発明の追跡装置は、パソコンなどの周知の任意のコンビユータ 11に後述する処理を実行するプログラムを作成してインストール、起動することにより実現される。

[0020] 他の PC21、 22、 31は、追跡処理における並列処理装置として、あるいは追跡結果の遠隔表示に使用可能である。なお、実施例においては、例えばビデオカメラ 10 力入力された動画像データを実時間で処理する例を開示する力ー且動画像ファィルに保存して力順次読み出して処理してもよ、。

[0021] 図 2は、コンピュータ 12において実行される本発明の対象追跡処理の内容を示すフローチャートである。なお、実施例においては追跡対象として人を追跡する例を開示するが、本発明は任意の追跡対象に適用可能である。 S10においては、ビデオキャプチヤー装置 11を使用してビデオカメラ 10から画像フレームデータをリアルタイムで取り込む。

[0022] S11においては、入力した画像データを N個の短冊型 (垂直にのみ分割）または矩形 (水平および垂直に分割）の画像へ分割する。分割境界では、後述する特徴データ算出のため、境界線よりも 1画素余分に重複して切り出す。分割画像の大きさは対象と同程度カゝより小さい程度とする。対象が多数存在する場合には分割画像の大きさを小さくすることにより、対象の分離精度がより向上する。

[0023] 画像を分割した後の各短冊画像での処理は全て並列に行うことができ、実時間処理を実現するのに好都合である。また本発明で使用する対象を識別するための特徴データは加法性を持っており、画像の分割、結合に対して極めて相性が良い。以下実施例においては、短冊型 (垂直にのみ分割）に分割した場合について説明する。また、実施例においては画像の分割数を例えば 40とする。図 4はコンピュータ 12に入力し、短冊状に分割した画像例を示す説明図である。

[0024] S12においては、分割画像データを 1つ取り出す。 S13においては、背景画像との差分を取り、非背景画像を抽出する。追跡対象抽出手法としては、オプティカルフロ一を用いる方法、フレーム間差分法、背景差分法を用いる方法等がある。しかし、ォプティカルフローを用いる方法は計算量が多ぐ雑音に対しても弱いため、追跡対象の抽出にはあまり適切ではない。また、フレーム間差分法は、対象が静止してしまうと対象を抽出できなくなるという問題点がある。これに対して背景差分法は追跡対象がたとえ静止したとしても正確に抽出することができる。よって、本発明においては背景差分法を用いる。

[0025] 背景差分法とは、予めなんらかの方法で用意した背景画像と現在の入力画像との差分を取ることにより、処理すべき対象を得る方法である。背景画像としては予め追跡対象を含まない画像を入力し、保存すればよい。しかし、実際の場面では、道路や人通りが多い場所など常に追跡対象が存在しており、追跡対象が含まれない画像を取得するのが難し、場合が多、。このような場合にも追跡対象を含まな、背景画像を推定する必要がある。そこで、背景画像をそのまま使うのではなぐ複数の背景画像の各画素について時系列上の中央値を取ってもよい。なお、本発明においては、後述するように、短冊単位で追跡対象がない画像を背景画像として置き換えることにより背景画像を更新している。

[0026] 図 5は複数の分割画像カゝら抽出した非背景画像 (全体)例を示す説明図である。図中〇で囲んだ部分のように、追跡対象が存在しないにもかかわらず抽出されて！、る「雑音」が存在する。この雑音を極力減らすために、次のような処理を行う。各短冊において、背景画像を B (x)、現在の画像を F (_X) (x=r,g,b)、閾値 εを小さな値として、差分画像 G (X)を以下のようにして算出する。

[0027] [数 1]

I Fi x) - Β ω| > ε ならば、。 )： ) 、そうでなければ、 Gij(x) = 0

[0028] この処理を RGBに関して行い、差分画像 Gを生成する。この処理により、わずかな変化は検出しないので雑音が減り、対象の検出精度が向上する。なお、照明や日射し、影などの影響により背景画像が時間と共に変化する。このような変化については上記した処理だけでは対応できな、ので、後述する処理によって背景画像を常に更新する。

[0029] S14においては、非背景面積を求める。即ち、背景部分においては差分画素値は 0であるので、短冊状の差分画像における 0以外の画素数を計数する。 S 14の計数処理は S13の画素毎の判定処理と同時に処理してもよい。

S 15にお、ては、各短冊毎の非背景面積 (画素数)の値が所定の閾値より大き!/、か否かによって対象が存在する可能性が大きいか否かが判定され、判定結果が否定の場合には S17に移行する力肯定の場合には S16に移行する。所定の閾値の最適値は、実験により決定すればよいが、対象が隣の短冊と分割されている場合にも検出する必要があるので、追跡対象 (人）の画像全体の画素数の 1Z20〜1Z5程度とする。

[0030] S16においては、カラー高次局所自己相関特徴を計算して保存する。本発明においては、形の情報を抽出でき、個人識別に実績のある特徴である高次局所自己相関特徴をカラーに拡張し、色と形の両方の情報を同時に抽出できるようにした。高次自己相関特徴は、自己相関特徴を高次へと拡張したものであり、画面内の対象画像を f (r)とすると、高次局所自己相関特徴は変位方向（a ,-,a )に対して次式 2で定義さ

1 N

れる。 V

[0031] ノ

[0032] 高次局所自己相関特徴は、次数や変位方向（a , -,a )の取り方により無数に考え

1 N

られる。しかし、画像は局所的な相関が大きいので局所に限り、組み合わせ爆発を避ける。また局所に限ることにより加法性を持つ。従来の高次局所自己相関特徴は 2値画像や濃淡画像力も抽出していたが、本発明においてはカラー画像に適用するために高次局所自己相関をカラーに拡張する。

[0033] 今、カラー画像を {fG,j) = (r(i,j),g(i,j),b(i,j))|iE I,jEj}とする。ただし、 _r(i,j)、 g(i,j)、 b(i, j)は、それぞれ画素 (i,j)における赤 (r)、緑 (g)、青 (b)成分の輝度を表す。実施例においてはカラー高次局所自己相関の次数を、高々 1までとする力 2以上を採用してもよい。カラー画像に対する 0次の自己相関は、画素数で正規化した場合、

[0034] [数 3]

ュ

U

[0035] で定義される。これらは画像の赤、緑、青成分の平均値である。これにより 3個の特徴が得られる（図 3 (a) )。

[0036] また、 1次の自己相関特徴は、変位方向を a= (a ,a )とすると、

m n

[0037] [数 4] 、

=— (U)f + a_m，j + a_n)

IJ iel eJ

。b

[0038] で定義される。変位方向の取り方により、無数の可能性が考えられるが、ここでは簡単のため、それを参照点 rのまわりの局所的な 3 X 3の局所領域に限定する。つまり、変位ベクトル aは、（0,0)、（0,1)、（1,0)、（1, 1)、…のような値をとる。

[0039] 局所領域の平行移動により等価となる変位ベクトルパターンを除くと、変位ベクトルの種類は図 3 (b)〜(f)に示す 5種類に限定される。このパターンから、 0次と同じバターン (b)については同じ画素値を乗算するために重複する値が 3組あるので 6種類、他の 4つのパターン (c)〜 (f)につ、ては各 9種類の独立な特徴データが計算される。従って、合計 42個の 1次の局所自己相関特徴が得らえる。そして、 0次と 1次の特徴データを合せると、画像カゝら全体として 45個のデータが得られる。特徴データはこの 45個の値力なり、 45次元特徴ベクトルデータとみなすこともできる。

[0040] 各特徴の計算は、「数 3」および「数 4」に示すように、局所パターンの対応する画素の値の積を全矩形画像について加算する。この特徴抽出は、認識のための非可逆な情報圧縮であるが、対象の形および色に関して、画像内における対象の位置に寄らない本質的な情報を抽出し、無関係な情報を捨象する。この情報圧縮によって、入力画像における対象の少々の変動に対して頑健性が期待される。

[0041] こうして計算された特徴データは、次のような性質を持つ。

( 1)位置に関して不変である。背景が一様であれば、対象が画像中のどこにあっても特徴値は同じとなる。従って、対象が画像中で平行移動しても、画像全体から計算される特徴量は同じである。

(2)画面に関する加法性を満たす。画像全体の特徴量は画像中の各対象の特徴量の和になる。言い替えれば、対象の各部位の特徴の和が対象全体の特徴と等しくなる。

(3)計算量が少ない。 (4)認識課題に依存しな!、一般的な特徴である。特徴抽出の際に認識対象を特定する必要がな、。この性質によりシステムの汎用性が確保される。

[0042] S17においては、各短冊毎の非背景面積 (画素数)の値が所定の第二の閾値より大き!/、か否かによって雑音が存在して、る力否かが判定され、判定結果が否定の場合〖こは S 18に移行する力肯定の場合には S 19に移行する。

[0043] S18においては、対象が存在せず雑音もほとんどない背景データを用いて背景データを更新する。更新方法としては、単純に上書きして置き換えてもよいし、直近の複数個の背景データの画素値の中央値を採用してもよい。 S19においては、分割画像データが全て処理完了したか否かが判定され、判定結果が否定の場合には S12に移行するが、肯定の場合には S20に移行する。

[0044] S20においては、分割画像に対象の少なくとも一部が含まれているカゝ否かを判定して、対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定すると共に、それらの隣接する分割画像の特徴データを全て加算して対象の特徴データを合成する。

[0045] 例えば人が歩いている状態を考えてみると、足を前後に開いた状態と直立に近い状態を交互に繰り返している。足先に注目してみると、足先のみの短冊画像はあたかも大きい雑音の様なものであり、雑音と足先との区別がつかない。

[0046] そこで、 S 15にお、て対象有りと判定された短冊画像を非背景面積の大きさによつて更に「大」、「中」の 2つに分け、隣接する短冊画像の非背景面積の大きさ（「大」、「中」、「小」（対象無し)）によって、対象の一部力雑音かを判定する。即ち、「大」は対象の一部であるものと見なし、隣接する「大」または「中」と加算する。「中」は、隣接する「大」があれば対象の一部と見なし、隣接する「大」と加算するが、両隣が「中」または「小」である場合には雑音と見なす。

[0047] なお、「大」 1つのみなどの場合には対象である人とは異なる追跡対象 (例えば鳥など）である可能性がある。この場合には、例えば非背景面積の大きさや特徴ベクトルの長さ等に基づき、対象力否かを判定するようにしてもよい。「大」と「中」の閾値の最適値は追跡対象や入力画像の大きさ、分割方法等によるので実験により決めればよい。 [0048] 以上の処理により、対象を含む複数の隣接する短冊状画像が抽出され、その短冊状画像の位置に対象が存在することが認識できる。また、対象が存在する短冊画像にお、て既に各々抽出されて、る特徴データを足し合わせるだけで、対象全体の特徴データを獲得することができる。これは特徴データが加法性を持っためである。

[0049] S21においては、既に登録されている対象の特徴データとの距離を計算し、対象を識別する。識別を行う前に、得られた特徴データ (ベクトル X)の正規化を行う。ここでの正規ィ匕とはノルムが 1となるように処理する、具体的には特徴ベクトル Xの各要素の値をノルムの値で除算することを示す。ノルム（norm)は下記の数式 5により定義される特徴ベクトルの長さである。

[0050] [数 5]

[0051] すなわち、抽出した対象の特徴を特徴空間上にプロットした点が、特徴空間上において原点を中心とした単位球上に乗るようにする。このようにすると、全く同一の特徴データであれば距離が 0となり、原点との距離が 1となる。つまり距離力^に近ければ近、ほど類似度が高、と、う簡単な処理で識別できるようになる。またそれによつて、対象の距離による大小の変動にも頑健な識別となる。

[0052] 実施例において対象の識別に採用する k-NN法は、最近の検出された全ての対象について、それぞれ数個の特徴データをそのまま保持 '更新しながら、判別したい特徴ベクトルからもっとも近い k個の特徴データを抽出し、その内で最も多数の特徴データが抽出された対象に属するものと判定する方法である。これによつて、歩行などの動きによる対象の形の変化にも頑健な識別が可能となる。

[0053] k-NN法は、対象毎に複数の特徴データをそのまま登録してそれぞれとの距離を比較するので、追跡対象が人物である場合には、歩行中の異なる姿勢の複数の特徴データが登録されることになり、 gait (歩様)も識別に利用することができる。

[0054] 以下、 k-NN法にっ、て説明する。今、対象 A、 Bにつ、てそれぞれ n個の特徴データが所属するクラス（=対象 ID、 Aまたは B)と共に登録されているとする。画像から検出した対象の特徴データ Xと、上記登録されて!、る特徴データそれぞれとの距離を算出し、距離の小さい順に並べる。そして最初の k個 (kは奇数)を取り出し、その特徴データのクラスの多数決を取って最も数の多いクラスを対象が属するクラスとする。

[0055] 例えば kが 5であり、最も近い 5個の特徴データのクラス力 Aが 3個、 Bが 2個であれば対象のクラスを Aと決定する。なお、最も小さい距離が所定値よりも大きい場合には現在登録されてヽるヽずれの対象にも属さなヽものと判定し、新たな対象として登録する。この手法では追跡対象の直近の情報を複数個保持し続けるため、安定して追跡することができる。なお、登録情報は対象が新たに追加される毎に増加していくので、一定時間経ってもその登録情報に属する対象が検出されな力つた登録情報は肖 IJ除するようにしてちょい。

[0056] S22においては、追跡結果を出力する。結果としては、例えば現在の画像上の対象の位置やその対象の軌跡等の情報である。 S23においては、登録特徴データを更新する。対象のクラスが決定した場合には、そのクラスの登録データの最古のものを削除し、最新の特徴データを登録して特徴データを更新する。 S24においては、例えば管理者の終了操作の有無に基づき、処理を終了するか否かが判定され、判定結果が否定の場合には S 10に移行するが、肯定の場合には処理を終了する。実施例 2

[0057] 次に第 2実施例について説明する。第 1実施例においては、分割画像の非背景面積に基づいて対象の有無等を判断したが、第 2実施例においては、全ての分割画像の背景差分画像力特徴データを算出し、特徴データに基づいて対象の有無等を判断する。

[0058] 図 6は、本発明の第 2実施例の対象追跡処理の内容を示すフローチャートである。

第 1実施例と異なる処理は、 S34〜S37および S39であるので、この部分の処理について説明する。 S34においては、図 2の S16と同様の処理により、カラー高次局所自己相関特徴を計算して保存する。この処理は全ての分割画像に対して行われる。 S 35においては、前述したノルムを計算する。

[0059] S36においては、ノルムが所定値以上であるか否かによって、対象の少なくとも一部が分割画像内に存在する可能性が無いか否かが判定され、判定結果が否定の場合には S38に移行する力肯定の場合には S37に移行する。 S37においては、 S18 と同様に、対象が存在せず雑音もほとんどない背景データを用いて背景データを更新する。

[0060] S39においては、対象の位置の推定のためにノルムを用いる。背景差分を行い、生成された非背景画像から得られる特徴のノルムは、追跡対象が存在する画像では大きぐそうでない画像では小さくなつている。つまり、各短冊画像のノルムの大きさを比較すれば、どの短冊画像に追跡対象が存在するかがわかる。

[0061] そこで、ノルムを、ノルムが 0に近いもの、中程度のもの、大きいものの 3つに分ける。大きいものは追跡対象が存在する短冊画像、 0に近いものは追跡対象が存在しな V、短冊画像、中程度のものは大きヽ雑音かあるいは追跡対象（の一部）がある短冊画像となる。そして、ノルムが大きい短冊画像に隣接する短冊画像で、中程度のノルムを持つものを対象の一部が存在するものとみなし、大き、ノルムの短冊とは離れて V、る中程度のノルムを持つ短冊を雑音とみなす。

[0062] このようにすれば追跡対象が人物のように時刻によって幅が変化するものであっても正確に追従できる。また、対象の特徴を獲得する際には、追跡対象が存在する短冊画像にお 1ヽて既に各々抽出されてヽる特徴データを足し合わせるだけで、対象全体の特徴を獲得することができる。

[0063] 次に、実験結果について説明する。本発明者がカラー動画を用いて行った実験の結果、基本的に対象の追跡が可能であり、単純な隠れについて問題なく追跡できることが検証できた。また、追跡対象が隠れ状態から復帰した時、別の対象 (人）に入れ替わっている場合についても実験を行った。その結果、隠れ状態から復帰した人物が入れ替わつていた時は別人だと判断し、その後、元の人物が登場した時に正しく判別しながら追跡を行うことができ、対象が急に入れ替わった場合でもそれを正しく判別し、追跡を行うことができることが検証できた。更に対象者が別の人物と交差する場合、交差中は追跡対象が存在する短冊画像がつながり、うまく認識できない (手前の人物と識別されることが多い）が、交差が終了すると対象の識別がうまく働き、問題なく追跡を続行できた。

[0064] 以上、人などの移動対象の追跡を行う実施例について説明した力本発明には以下のような変形例も考えられる。実施例においては、検出した対象の位置情報を次の追跡処理には利用していない。そこで、追跡対象が今どこに存在し、次にどの位置に移動しそうか、ということを記憶しておき、後の識別に有効に利用する行動予測による対象の位置推定機能を追加してもよい。これによつて更に大幅な計算量の削減が図れる。

また、実施例では色と姿形の情報をカラー高次局所自己相関特徴という形で抽出し、 gaitといった時間軸上の特徴を k-NN識別法で利用している力更に「重み」を用いるようにしてもよい。即ち、実施例においては、色、形、動き方 (gait)といった複合的な特徴をある所定の割合 (重み)で使って総合的に識別を行ってヽるが、状況によつては、特徴の重要度に応じて重みを変える（掛ける）ことで、より信頼度の高い識別も可能となる。

Claims

請求の範囲

[1] 入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データ力背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、

前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれて!、る力否かを判定する対象有無判定手段と、

対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段と、

対象有りと判定された分割画像について、隣接する分割画像をまとめて追跡対象の位置を決定する対象位置決定手段と、

まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段と登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段と、

を備えたことを特徴とする追跡装置。

[2] 入力された動画像データを分割して分割画像データを生成する画像分割手段と、前記分割画像データ力背景画像データと異なる部分の非背景画像データを抽出する抽出手段と、

非背景画像データについてカラー高次局所自己相関特徴データを算出する特徴データ計算手段と、

カラー高次局所自己相関特徴データ力特徴データベクトルの長さであるノルムを算出するノルム算出手段と、

ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれて!ヽるか否かを判定する対象有無判定手段と、

対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段と、

を備えたことを特徴とする追跡装置。

[3] 前記対象有無判定手段によって追跡対象が無いと判定された分割画像に基づき背景画像を更新する背景画像更新手段を備えたことを特徴とする請求項 1または 2 の！、ずれかに記載の追跡装置。

[4] 前記識別手段は、

追跡対象毎に直近の複数個の特徴データを保存する保存手段と、

保存されている全ての特徴データと、検出された対象の特徴データとの距離をそれぞれ計算し、距離が最も近!ヽ奇数個の特徴データを抽出する最近特徴データ抽出手段と、

検出された対象が、抽出された奇数個の特徴データの内で特徴データの数が最も多い追跡対象に属するものと判定する対象識別手段と

を備えたことを特徴とする請求項 1または 2のいずれかに記載の追跡装置。

[5] 前記識別手段の識別結果に基づき、登録されて!ヽる追跡対象の特徴データを更新する登録対象更新手段を備えたことを特徴とする請求項 1または 2のいずれかに記載の追跡装置。

[6] コンピュータを、

入力された動画像データを分割して分割画像データを生成する画像分割手段、前記分割画像データ力背景画像データと異なる部分の非背景画像データを抽出する抽出手段、

前記抽出手段の出力に基づき、前記分割画像に追跡対象の少なくとも一部が含まれて!ヽるか否かを判定する対象有無判定手段、

対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出する特徴データ計算手段、

対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定する対象位置決定手段、

まとめられた非背景画像データの前記特徴データを加算合成する加算合成手段、登録されている追跡対象の特徴データと前記加算合成手段の出力との距離に基づき追跡対象を識別する識別手段

として機能させることを特徴とする追跡プログラム。

[7] コンピュータを、

非背景画像データについてカラー高次局所自己相関特徴データを算出する特徴データ計算手段、

カラー高次局所自己相関特徴データ力特徴データベクトルの長さであるノルムを算出するノルム算出手段、

ノルム算出手段の出力に基づき、分割画像に追跡対象の少なくとも一部が含まれて!ヽるか否かを判定する対象有無判定手段、

として機能させることを特徴とする追跡プログラム。

[8] 入力された動画像データを分割して分割画像データを生成するステップ、

前記分割画像データ力背景画像データと異なる部分の非背景画像データを抽出するステップ、

前記分割画像に追跡対象の少なくとも一部が含まれているか否かを判定するステップ、

対象有りと判定された非背景画像データについて、カラー高次局所自己相関特徴データを算出するステップ、

対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定するステップ、まとめられた非背景画像データの前記特徴データを加算合成するステップ、登録されている追跡対象の特徴データと前記加算合成出力との距離に基づき追跡対象を識別するステップ

を含むことを特徴とする追跡方法。

入力された動画像データを分割して分割画像データを生成するステップ、前記分割画像データ力背景画像データと異なる部分の非背景画像データを抽出するステップ、

非背景画像データについてカラー高次局所自己相関特徴データを算出するステツプ、

カラー高次局所自己相関特徴データ力特徴データベクトルの長さであるノルムを算出するステップ、

ノルムに基づき、分割画像に追跡対象の少なくとも一部が含まれているカゝ否かを判定するステップ、

対象有りと判定された分割画像について、隣接する分割画像をまとめて対象の位置を決定するステップ、

まとめられた非背景画像データの前記特徴データを加算合成するステップ、登録されている追跡対象の特徴データと前記加算合成出力との距離に基づき追跡対象を識別するステップ

を含むことを特徴とする追跡方法。