JPH096947A - 物体追跡装置 - Google Patents

Abstract

(57)【要約】 【目的】 テンプレートマッチングにおいて誤対応が発
生しないように物体領域内に設定する追跡用ブロックを
適切な位置に設定する物体追跡装置を提供する。 【構成】 画像入力部１から入力された１番目のフレー
ム画像の中から物体領域を検出する物体検出部２と、物
体領域を複数に分けた部分領域毎の各特定ブロックに含
まれる画像と当該特定ブロックから所定の画素数ずれた
各位置でのブロックに含まれる画像との相関値を求める
相関演算部３と、求めた相関値に基づいて特定ブロック
における物体領域の形状的な特徴を表す特徴度を演算す
る特徴度演算部４と、部分領域内で特定ブロックを移動
させ、移動した位置毎に求めた特徴度が最大となる特定
ブロックを追跡用ブロックとして決定する追跡用ブロッ
ク決定部５と、各追跡用ブロックに含まれる画像をテン
プレートとしてテンプレートマッチングを行い追跡用ブ
ロックの動きを追跡する追跡部６とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は物体追跡装置、特にテン
プレートマッチングを行うことによってビデオカメラ等
の画像入力装置により取り込んだ各フレーム画像に含ま
れる物体領域の追跡を行う物体追跡装置に関する。

【０００２】

【従来の技術】一般にビデオカメラ等により撮像したｎ
（ｎは正整数）番目のフレーム画像での物体領域が（ｎ
＋１）番目のフレーム画像においてどの位置に移動した
かを求めることで移動する物体を追跡することができる
が、その手法の一つとしてテンプレートマッチングとい
う手法がある。テンプレートマッチングとは、検出しよ
うとする対象を表すテンプレートを、画像の全部又は一
部について移動させながらそれぞれの位置についてテン
プレートと重なる画像の部分パターンとの相関値を求
め、その値が最大となる位置を求める手法である。しか
し、ビデオカメラから物体までの距離が変化する場合
は、各フレーム画像での物体の大きさが変化することに
なる。つまり、各フレーム画像において追跡対象となる
物体を含む特定形状の領域（物体領域）が当該距離の長
短に対応して異なってしまうことになる。

【０００３】このような状況にも対応できるような方法
として、特開平５−１９７８０９号公報には、物体領域
の内部であって物体領域の中心から上下・左右に対称と
なる位置に複数の追跡用ブロックを設定し、各追跡用ブ
ロックについてテンプレートマッチングを行うことによ
って、物体の移動ベクトルを求めるという方法が開示さ
れている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来に
おいては、追跡用ブロックが物体領域の特徴的な形状を
含まない場合、テンプレートマッチングで誤対応が発生
する可能性があるため、物体の追跡が行えなくなってし
まう場合がある。

【０００５】本発明は以上のような問題を解決するため
になされたものであり、その目的は、テンプレートマッ
チングにおいて誤対応が発生しないように物体領域内に
設定する追跡用ブロックを適切な位置に設定する物体追
跡装置を提供することにある。

【０００６】

【課題を解決するための手段】以上のような目的を達成
するために、本発明は、取り込まれた一連のフレーム画
像の中から物体領域を探索することで移動する物体の追
跡を行う物体追跡装置において、フレーム画像に含まれ
る物体領域の形状的な特徴を有する部分を追跡用ブロッ
クとして設定する追跡用ブロック設定手段を有し、追跡
用ブロックを追跡することによって物体の追跡を行うこ
とを特徴とする。

【０００７】また、前記追跡用ブロック設定手段は、物
体領域内に複数の特定ブロックを設定する特定ブロック
設定部と、前記各特定ブロックに含まれる画像と当該特
定ブロックから所定画素数ずれた位置でのブロックに含
まれる画像との相関関係を演算する相関演算部と、前記
相関演算結果に基づいて前記特定ブロックにおける物体
領域の形状的な特徴を表す特徴度を演算する特徴度演算
部と、前記特徴度に基づいて物体領域の形状的な特徴を
有する特定ブロックを追跡用ブロックとして決定する追
跡用ブロック決定部と、を有することを特徴とする。

【０００８】

【作用】以上のような構成を有する本発明に係る物体追
跡装置においては、フレーム画像に含まれる物体領域の
形状的な特徴を有する部分を追跡用ブロックとして設定
し、その追跡用ブロックの動きを追跡することによって
移動する物体の追跡を行うため、追跡用ブロックの動き
を捕え易く、物体追跡の性能を向上することができる。

【０００９】また、追跡用ブロックの設定においては、
まず物体領域の中に追跡用ブロックを決定するために、
特定ブロックを設定する。次に特定ブロックに含まれる
画像と当該特定ブロックから所定画素数ずれた位置での
ブロックに含まれる画像との相関関係を演算し特徴度を
求める。その特徴度に基づいて形状的な特徴を有する部
分を追跡用ブロックとして設定する。すなわち、物体領
域において形状的な特徴を有する部分を追跡用ブロック
として設定することができるので、追跡用ブロックの動
きを捕え易く、物体追跡の性能を向上することができ
る。

【００１０】

【実施例】以下、図面に基づいて、本発明の好適な実施
例を説明する。

【００１１】図１は、本発明に係る物体追跡装置の一実
施例を示したブロック構成図である。本実施例における
物体追跡装置は、移動する物体を撮影した一連のフレー
ム画像を入力する画像入力手段としての画像入力部１
と、各フレーム画像の中から物体領域を検出する物体検
出手段としての物体領域検出部２と、１番目のフレーム
画像に含まれる物体領域の形状的な特徴を有する部分を
追跡用ブロックとして設定する追跡用ブロック設定手段
としての相関演算部３、特徴度演算部４及び追跡用ブロ
ック決定部５と、追跡用ブロックの動きを追跡すること
によって物体の追跡を行う追跡手段としての追跡部６と
を有する。このうち、相関演算部３は、各特定ブロック
に含まれる画像と当該特定ブロックから所定画素数ずれ
た位置でのブロックに含まれる画像との相関関係を演算
する。特徴度演算部４は、相関演算部３が求めた相関演
算結果に基づいて特定ブロックにおける物体領域の形状
的な特徴を表す特徴度を演算する。追跡用ブロック決定
部５は、特徴度演算部４が求めた特徴度に基づいて物体
領域の形状的な特徴を有する特定ブロックを追跡用ブロ
ックとして決定する。また、本実施例における追跡用ブ
ロック決定部５は、物体領域内に複数の特定ブロックを
設定する特定ブロック設定部としても機能する。

【００１２】本実施例において特徴的なことは、物体領
域の形状的な特徴を表す部分を追跡用ブロックとして設
定することである。そして、各追跡用ブロックに含まれ
る画像をテンプレートとすることにより、テンプレート
マッチングでの誤対応が起こりにくくなり物体追跡の性
能を向上させることができる。

【００１３】以下、本実施例における動作について説明
する。

【００１４】画像入力部１は、まず、取り込んだ図２に
示したような一連のフレーム画像Ｆ１、Ｆ２、Ｆ３のう
ち１番目のフレーム画像Ｆ１を物体領域検出部２と相関
演算部３に出力する。なお、画像入力部１は、フレーム
画像Ｆ１に基づいて追跡用ブロックが決定された後は、
２番目以降のフレーム画像を追跡部６にも出力すること
になる。

【００１５】物体領域検出部２は、画像入力部１から入
力されたフレーム画像Ｆ１から物体領域を検出し、追跡
用ブロック決定部５に出力する。物体領域の形状は、ど
のような形状であってもよいが、本実施例においては図
３に示したように物体を含む矩形領域とする。物体領域
１０は、例えば画像の中からエッジを抽出するのに一般
的に用いられる手法であるＳＯＢＥＬオペレータで処理
することによってエッジを抽出し、垂直方向のエッジ、
水平方向のエッジを探索することで検出することができ
る。

【００１６】本実施例における追跡用ブロック決定部５
は、物体領域検出部２から入力された物体領域１０を複
数の部分領域に分け、部分領域毎に追跡用ブロックを決
定する。本実施例においては、図４に示したように、物
体領域１０を４つの部分領域１１、１２、１３、１４に
分割するが、各部分領域は必ずしも隣接していなくても
重なった領域を持つように分けてもよい。

【００１７】前述したように、本実施例は、物体領域の
形状的な特徴を表す部分を追跡用ブロックすることを特
徴としているが、以下に、本実施例において追跡用ブロ
ックを決定する処理について説明する。

【００１８】本実施例においては、物体領域に含まれる
形状的な特徴を特徴度によって表し、算出された特徴度
が最大若しくは最小となることで形状的に最も特徴的な
部分を持つとされる特定ブロックを追跡用ブロックとし
て決定することを特徴とする。従って、まず各部分領域
１１〜１４において特徴度が最大若しくは最小となる特
定ブロックを探索する必要がある。特定ブロックは、特
徴度を算出する領域単位であるため、算出にかかる時間
や物体領域の形状及び大きさを考慮しつつ特徴度を得る
のに最適であると思われる形状及び大きさに予め設定し
ておく必要がある。本実施例における特定ブロックは、
（５×５）画素の矩形領域により形成されるものとす
る。例えば、初期位置として特定ブロックを部分領域の
左上に設け特徴度を求める。特徴度の算出方法に関して
は後述する。そして、特定ブロックを１画素ずつ右方向
に移動しながらそれぞれの位置において特徴度を求め
る。右端まで移動したら左端に戻り、１画素下に移動し
上記処理を繰り返す。この処理を繰り返すことで、各部
分領域１１〜１４において移動した数だけ特徴度が得ら
れ、その中から特徴度が最大若しくは最小となる特定ブ
ロックの位置を追跡用ブロックとして決定する。

【００１９】以下、上記追跡用ブロック決定処理の詳細
並びに各特定ブロックにおける特徴度を求める手順につ
いて説明する。

【００２０】相関演算部３は、追跡用ブロック決定部５
によって送られてきた特定ブロックに含まれる画像を基
準画像とし、特定ブロックから所定の画素数ずれた位置
でのブロック（以下、「比較ブロック」という）におけ
る画像を比較画像とすると、基準画像と比較画像との相
関演算を行い相関値を特徴度演算部４に出力する。図５
は、特定ブロックと比較ブロックとの位置関係の例を示
した図であるが、図５においては特定ブロック２０に対
して上下又は左右にそれぞれ１画素ずれた位置に計８個
の比較ブロック２２ａ〜２２ｈが設けられている。相関
演算は、基準画像と比較画像の対応した位置における画
素毎の差分絶対値の累積加算によって行っている。この
演算によって得られた相関値を特徴度演算部４に基準画
像及び比較画像の１組ずつ順に送ってもよいし、基準画
像に対応する比較画像全ての対する演算が終了した後に
送るようにしてもよい。なお、本実施例では、上下又は
左右にそれぞれ１画素ずれた位置と上下および左右にそ
れぞれ１画素ずれた位置に計８個の比較ブロック２２ａ
〜２２ｈを設けたが、ずらす画素数や比較ブロックの設
定数はこれに限られたものではない。

【００２１】特徴度演算部４は、相関演算部３から入力
された各比較ブロック２２ａ〜２２ｈに対応する８個の
相関値のうち最小の相関値を特定ブロック２０の特徴度
として選択し追跡用ブロック決定部５に出力する。な
お、本実施例における相関演算部３では、相関演算の方
法として、基準画像と比較画像との対応した位置におけ
る画素毎の差分絶対値の累積加算によって行っているた
め、基準画像と比較画像とが似ているほど相関値は小さ
くなる。従って、最小となる相関値をその特定ブロック
における特徴度としているが、その逆に基準画像と比較
画像とが似ているほど相関値が大きくなるという演算方
法を採用している場合は、最大となる相関値をその特定
ブロックにおける特徴度とする必要がある。

【００２２】追跡用ブロック決定部５は、以上説明した
ような手順により各部分領域において１画素ずつ移動さ
せた特定ブロックの各位置における特徴度を得ることに
なるが、その中から最大となる特徴度を示した特定ブロ
ックを追跡用ブロックとして決定する。なお、本実施例
における相関演算部３では、相関演算の方法として、基
準画像と比較画像の対応した位置における画素毎の差分
絶対値の累積加算によって行っているため、最大となる
特徴度を示した特定ブロックを追跡用ブロックとして決
定しているが、その逆に基準画像と比較画像とが似てい
るほど相関値が大きくなるという演算方法を採用してい
る場合は、最小となる特徴度を示した特定ブロックを追
跡用ブロックとして決定する必要がある。

【００２３】図６は、特徴度の大きい画像と小さい画像
の例を示した図である。基準画像が図６（ａ）、（ｂ）
のような場合は、比較画像がどの方向にずれたとしても
求められる相関値はいずれも大きくなるので特徴度は大
きくなる。基準画像が図６（ｃ）のような場合は、水平
方向にずれた比較画像との間で求められる相関値は小さ
くなるので、この場合の特徴度は小さくなる。基準画像
が図６（ｄ）のような場合は、比較画像がどの方向にず
れたとしても求められる相関値はいずれも小さくなるの
で特徴度は小さくなる。従って、本実施例のように、特
徴度の大きい画像を追跡用ブロックとして選択すること
によりテンプレートマッチングにおいて誤対応が生じに
くくなり、その結果、移動した物体を確実に追跡するこ
とができるようになる。

【００２４】以上のようにして、１番目のフレーム画像
Ｆ１から追跡用ブロックを決定すると、追跡部６は、各
追跡用ブロックを追跡用ブロック決定部５から受け取
り、また２番目のフレーム画像Ｆ２を画像入力部１から
受け取ると、追跡用ブロックに含まれる画像をテンプレ
ートとしてフレーム画像Ｆ２に対してテンプレートマッ
チングを行う。そして、各追跡用ブロックの移動ベクト
ルを求め、上述した追跡用ブロックに対応するフレーム
画像Ｆ２の部分を新たな追跡用ブロックとすることで、
追跡用ブロックの位置を更新する。なお、移動ベクトル
の算出方法は、従来からの方法を用いて算出することが
でき、本発明の要旨ではないので説明を省略する。

【００２５】次に、フレーム画像Ｆ２のおける追跡用ブ
ロックに含まれる画像をテンプレートとして、画像入力
部１から入力されたフレーム画像Ｆ３に対してテンプレ
ートマッチングを行う。そして、各追跡用ブロックの移
動ベクトルを求め、上述と同様の手順で追跡用ブロック
の位置を更新する。

【００２６】このように、ｎ（ｎは正整数）番目のフレ
ーム画像の追跡用ブロックに含まれる画像をテンプレー
トとして（ｎ＋１）番目のフレーム画像に対してテンプ
レートマッチングを行い、各追跡用ブロックの移動ベク
トルを求め、追跡用ブロックの位置を更新することによ
って、物体を追跡する。なお、本実施例においては、テ
ンプレートマッチングに用いる相関演算機構を追跡部６
に持たせたが、相関演算部３と共用してもよいし、別個
に持たせてもよい。

【００２７】以上のように、本実施例によれば、物体領
域の形状的な特徴を有する特定ブロックを追跡用ブロッ
クとして設定することができるので、テンプレートマッ
チングにおける誤対応が起こりにくく物体追跡の性能を
向上させることができる。

【００２８】

【発明の効果】本発明によれば、物体領域の形状的な特
徴を表す部分を追跡用ブロックとして設定し、この各追
跡用ブロックの動きを追跡することによって移動する物
体の追跡を行うようにしたので、追跡用ブロックの動き
を捕え易くなり、物体追跡の性能を向上させることが可
能となる。

【００２９】特に、本発明によれば、物体領域の中から
形状的な特徴を表す部分を探索して追跡用ブロックとし
て設定するようにしたので、物体追跡の性能をより一層
向上させることが可能となる。

【図面の簡単な説明】

【図１】 本発明に係る物体追跡層著の位置実施例を示
したブロック構成図である。

【図２】 本実施例において取り込まれた一連のフレー
ム画像を示した図である。

【図３】 本実施例においてフレーム画像における物体
を含む物体領域を示した図である。

【図４】 図３に示した物体領域を複数に分割した部分
領域を示した図である。

【図５】 本実施例において特定ブロックと比較ブロッ
クとの位置関係の例を示した図である。

【図６】 特徴度の大きい画像と小さい画像の例を示し
た図である。

【符号の説明】

１ 画像入力部、２ 物体領域検出部、３ 相関演算
部、４ 特徴度演算部、５ 追跡用ブロック決定部、６
追跡部、１０ 物体領域、１１、１２、１３、１４
部分領域、２０ 特定ブロック、２２ａ〜２２ｈ 比較
ブロック。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 取り込まれた一連のフレーム画像の中か
   ら物体領域を探索することで移動する物体の追跡を行う
   物体追跡装置において、 フレーム画像に含まれる物体領域の形状的な特徴を有す
   る部分を追跡用ブロックとして設定する追跡用ブロック
   設定手段を有し、追跡用ブロックを追跡することによっ
   て物体の追跡を行うことを特徴とする物体追跡装置。
2. 【請求項２】 請求項１記載の物体追跡装置において、 前記追跡用ブロック設定手段は、 物体領域内に複数の特定ブロックを設定する特定ブロッ
   ク設定部と、 前記各特定ブロックに含まれる画像と当該特定ブロック
   から所定画素数ずれた位置でのブロックに含まれる画像
   との相関関係を演算する相関演算部と、 前記相関演算結果に基づいて前記特定ブロックにおける
   物体領域の形状的な特徴を表す特徴度を演算する特徴度
   演算部と、 前記特徴度に基づいて物体領域の形状的な特徴を有する
   特定ブロックを追跡用ブロックとして決定する追跡用ブ
   ロック決定部と、 を有することを特徴とする物体追跡装置。