JPH06231252A

JPH06231252A - 監視画像の移動物体追跡方法

Info

Publication number: JPH06231252A
Application number: JP1730393A
Authority: JP
Inventors: Keiko Yamagishi; 桂子山岸
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-02-04
Filing date: 1993-02-04
Publication date: 1994-08-19

Abstract

(57)【要約】【目的】監視画像内の移動物体を精度よく追跡でき、移
動物体か否かの判定性能の向上が図れる監視画像の移動
物体追跡方法を提供する。【構成】監視領域を撮像手段で撮像し、この撮像された
画像を所定の時間間隔で連続的に取込んでデジタル化
し、このデジタル化された複数の画像を演算することに
よって、移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算
出した差分画像を２値化して差分２値化画像を生成し、
この生成した差分２値化画像から変化領域を検出して移
動物体として該変化領域の濃淡パターンを辞書に登録
し、所定時間経過後に前記撮像手段から入力された原画
画像の前記移動物体の存在した位置の周辺で、前記濃淡
パターンの辞書と前記原画画像の濃淡パターンとを比較
して、類似度の高い領域を抽出して前記移動物体と判定
することにより前記移動物体を追跡する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、監視領域内における移
動物体の監視を行なう画像監視装置において、監視画像
内の移動物体を追跡する監視画像の移動物体追跡方法に
関する。

【０００２】

【従来の技術】この種の画像監視装置の一例として、た
とえば、図９および図１０に示すものがある。図におい
て、撮像手段としてのＩＴＶカメラ１は監視領域２内の
画像を撮像し、電気信号に変換する。このＩＴＶカメラ
１で撮像された画像は、伝送路３によって処理装置４、
および、画像記録手段としてのビデオテープレコーダ
（以降、単にＶＴＲと略称する）５に送られる。ＶＴＲ
５は、ＩＴＶカメラ１で撮像された監視画像を連続的、
あるいは移動物体（以降、侵入物体と言うこともある）
を検出した場合に記録する。

【０００３】一方、処理装置４に送られた画像信号は、
サンプリングパルス生成回路１０から出力される所定周
期のサンプリングパルスにより、Ａ／Ｄ変換器１１でデ
ジタル信号に変換され、たとえば、時刻ｔ＝ｔｉの画像
データとして画像メモリ１２内に格納される。

【０００４】そして、差分２値化回路１３において、こ
の時刻ｔ＝ｔｉの画像データは、変化領域を抽出するた
めに、後述するように、これよりも前に画像メモリ１２
内に取込まれていた時刻ｔ＝ｔｉ-1の画像データと画素
間差分演算を行なうことにより差分画像が求められ、さ
らに、変化があった画素が”１”で表わされる差分２値
化画像に変換され、差分２値化画像メモリ１４に格納さ
れる。

【０００５】ＣＰＵ（セントラル・プロセッシング・ユ
ニット）１５は、差分２値化画像メモリ１４内の差分２
値化画像を用いて変化領域の解析を行ない、変化領域が
移動物体（侵入物体）であると判定した場合には、警報
装置６を鳴らしたり、監視者が表示装置７の画面上で移
動物体が何であるかを確認したり、ＶＴＲ５が動作して
いなかった場合は動作させて監視画像の記録などを行な
う。もし、移動物体でないと判定した場合には、引続き
画像を取込み、上記処理を繰返す。

【０００６】ところで、変化領域の抽出のための画素間
演算としては、一般的に、移動物体が存在しない場合の
背景画像との差分、あるいは、所定時間Δｔ前の時刻ｔ
＝ｔｉ-1の画像との時系列差分のどちらかが用いられ
る。背景画像との差分では、移動物体が停止していても
検出できるが、屋外のように、明るさなどの環境が変化
してゆく場合には、背景画像を更新しないと、移動物体
が存在しなくても変化領域を生じるという特徴がある。

【０００７】時系列差分の場合は、一般に、比較的短い
時間間隔での差分を行なうため、環境変化への追従性は
優れているが、移動物体が停止した場合には検出でき
ず、さらに、移動物体が動いても、２画面での差分で
は、移動物体の消失部分と、発生部分の両方が検出され
るという特徴がある。

【０００８】時系列差分の後者の欠点を取り除くため
に、ｔ＝ｔｉとｔ＝ｔｉ-1の２画面でなく、さらに、ｔ
＝ｔｉ+1の連続した３画面を用いて、前の２画面と後ろ
の２画面でそれぞれ差分演算を行ない、得られた２つの
差分画像の論理積により、ｔ＝ｔｉの画像での移動物体
を抽出する方法をとる場合もある。

【０００９】また、ＣＰＵ１５が、差分２値化画像から
変化領域の解析を行なう際、所定のまとまった領域を求
めるために、画像処理の基本的な手法として、値が”
１”である閉領域にシリアル番号を与え（ラべリン
グ）、それぞれの部分領域の面積や、距離などを求めて
まとまった領域を抽出し、この領域内で形状や値が”
１”である面積などを計算して解析する場合が多いが、
全画像領域でこの操作を行なうと、非情に時間がかか
る。

【００１０】そこで、たとえば、特開昭62-147891 号公
報に開示されているように、差分２値化画像から変化の
あった領域を粗く区分けする方法が提案されている。こ
れは、差分２値化画像において、図１１に示すように、
Ｘ，Ｙ軸方向に射影ヒストグラムを求めて、得られたヒ
ストグラムのうち、所定値Ｘth、Ｙth以上の高さが所定
幅Ｘw ，Ｙw 以上であるような区分領域を求め、この内
部を解析するような手法である。

【００１１】すなわち、ＣＰＵ１５は、図１１に示す区
分領域Ａ11〜Ａ22のみを調べて、変化領域が移動物体で
あるか否かといった解析を行なう。変化領域の解析時に
は、前述のように、ラベリングを行なった解析も行なえ
るし、図１１の区分領域Ａ11，Ａ22のように、区分領域
が移動物体の外接四角形になる場合が多いことから、こ
の区分領域が所定の大きさの場合には、ラベリングなど
の処理を行なわずに、直接、その形状を検査したり、値
が”１”である部分の面積を求めるといった方法によっ
て解析することもある。

【００１２】以上、画像の差分の手法と移動物体の解析
方法について述べたが、取込んだ画像はノイズ成分を含
むために、空間フィルタリングや論理フィルタリングの
処理を施すことが一般的である。

【００１３】

【発明が解決しようとする課題】従来の画像監視装置で
は、変化領域が移動物体であると判定して警報を鳴らす
とか、ＶＴＲに録画するなどした後、監視者が全ての移
動物体について、その移動物体がどこからどのように移
動したかで怪しい人物か否かを判定するものである。し
たがって、常に表示装置の画面を見て監視者が移動物体
を見つけ出すような、初期の画像監視装置と比較する
と、作業の軽減になるが、後処理で監視者が判断する際
にかなりの時間と労力を費やす。

【００１４】そのため、単に移動物体の検出というだけ
でなく、移動物体の追跡を行なって本当に怪しい人物の
みに対して警報を鳴らすように改良することで、さらに
作業の軽減が期待できる。

【００１５】そこで、本発明は、監視画像内の移動物体
を精度よく追跡でき、移動物体か否かの判定性能の向上
が図れ、しかも、効率のよい画像監視が可能となる監視
画像の移動物体追跡方法を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明の監視画像の移動
物体追跡方法は、監視領域内の画像を撮像手段で撮像し
て入力し、この入力された監視領域内の画像を所定の時
間間隔で連続的に取込んでデジタル化し、このデジタル
化された複数の画像を演算することによって、前記監視
領域内での移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算
出した差分画像を２値化して差分２値化画像を生成し、
この生成した差分２値化画像から変化領域を検出し、こ
の検出した変化領域を移動物体としてその変化領域の濃
淡パターンを記憶手段に記憶し、所定時間経過後に前記
撮像手段から入力された原画画像の前記移動物体の存在
した位置の周辺において、前記記憶手段内の濃淡パター
ンと前記原画画像の濃淡パターンとを比較することによ
って、類似度の高い領域を抽出して前記移動物体と判定
することにより前記移動物体を追跡することを特徴とす
る。

【００１７】

【作用】本発明によれば、時系列フレーム間で移動物体
の追跡を行なうことにより、移動物体の出現場所や目的
地がわかり、どこから現れてどの方向に向かっているか
で、本当の移動物体か否かの判定を精度よく行なうこと
が可能となり、移動物体か否かの判定性能の向上が図れ
る。また、追跡する際には、複数の移動物体が交差して
移動した場合や、多数の移動物体が分離したり併合した
りして移動している場合にも対応できるように、差分画
像から求めた移動物体の原画の濃淡パターンを辞書情報
として登録しておき、あらかじめ設定した予測窓の範囲
内で原画と上記濃淡パターンの辞書情報とをマッチング
処理して類似度の高い領域を候補とし、その候補の選択
に差分画像から求まる移動領域を用いることで、より精
度の高い追跡を実現することができる。

【００１８】

【実施例】以下、本発明の一実施例について図面を参照
して説明する。まず、具体的な説明を行なう前に本発明
の概要について説明する。

【００１９】移動物体の動きを解析するには、ある時刻
ｔ＝ｔｉの画像で移動物体を抽出し、それ以降の時刻の
画像でその移動物体の対応する領域を抽出することであ
ると考えられる。すなわち、「追跡」というのは、移動
物体の抽出と対応部分の抽出（以下、追跡処理と呼ぶ）
の２つのステップに分けることができる。ここで、第１
ステップである移動物体の抽出処理は、従来例に述べた
方法で実現できる。第１ステップに、本発明で述べる第
２ステップの追跡処理を追加することにより、従来例と
比べ、より効果的な画像監視装置を実現することができ
る。

【００２０】前述したように、移動物体の追跡を行なう
ためには、異なる時間で取込んだ画像で移動物体の対応
をとる必要がある。この対応をとるために、時刻ｔ＝ｔ
ｉでの移動物体が時刻ｔ＝ｔｉ+1で移動したと考えられ
る画像内の領域（以下、予測窓と呼ぶ）を設定し、その
予測窓中で時刻ｔ＝ｔｉでの移動物体に対応する領域を
抽出すればよい。すなわち、予測窓の設定方法（本発明
の第１のポイント）と、時刻ｔ＝ｔｉ+1の予測窓内にお
ける時刻ｔ＝ｔｉの移動物体の対応の取り方（移動物体
の抽出方法）が重要となる。

【００２１】まず、予測窓の設定方法について説明す
る。たとえば、図３（ａ）に示すように、時刻ｔ＝ｔｉ
で移動物体が抽出されたとする。ここで、この移動物体
の時刻ｔ＝ｔｉ-1における位置と時刻ｔ＝ｔｉにおける
位置とから、移動物体が移動した方向ベクトルが求ま
る。この方向ベクトルは、たとえば、両者の重心を結ぶ
ことで得られる。この方向ベクトルを次の位置を予測す
る移動予測方向ベクトル（矢印）５２（ｘ1 ＞０，ｙ1
＞０）と設定する。

【００２２】この場合、移動物体５１は、前のフレーム
（時刻ｔ＝ｔｉ-1）から右上方向に進んでいるから、次
のフレーム（時刻ｔ＝ｔｉ+1）でも右上方向に進むはず
である。方向を変える場合にも、画像の取込み間隔が短
ければ徐々に方向は変化するはずであるし、移動速度も
それほど急に変わることもないため、予測窓は右上方向
に大きく設定すればよい。

【００２３】実際には、現在のフレーム（時刻ｔ＝ｔ
ｉ）の移動物体５１を含む外接四角形５３を、上下方向
にはｙ1 の大きさを参考にＷ１，Ｗ２を設定して拡大
し、左右方向にはｘ1 の大きさを参考にＷ３，Ｗ４を設
定して拡大することにより予測窓５４を生成する。

【００２４】同様に、図３（ｂ）に示すように、移動物
体５５が抽出され、前のフレーム位置と現在のフレーム
位置とから移動予測方向ベクトル（矢印）５６（ｘ2 ＜
０，ｙ2 ＞０）が設定された場合には、移動物体５５を
含む外接四角形５７を、上下方向にはｙ2 の大きさを参
考に拡大し、左右方向にはｘ2 の大きさ（絶対値）を参
考に拡大することにより予測窓５８を生成する。

【００２５】次に、予測窓内での移動物体の抽出方法に
ついて説明する。移動物体は移動に伴って大きさ、形
状、濃度が変化するが、移動時間（画像の取込み間隔）
が短ければその変化は小さくなるはずである。

【００２６】そこで、本発明では、時刻ｔ＝ｔｉでの移
動物体の原画での濃淡パターンを基準パターン（以下、
辞書パターンと呼ぶ）として、予測窓内で辞書パターン
を動かして最も合う濃淡パターンを求めることによっ
て、移動物体と思われる領域を抽出する方法（本発明の
第２のポイント）、この抽出が良いか否かを確認する方
法（本発明の第３のポイント）、移動に伴う大きさ、形
状、濃度の変化に対応するために辞書パターンを更新す
る方法（本発明の第４のポイント）を考えた。

【００２７】まず、辞書パターンの設定方法を説明す
る。移動物体の濃淡パターンを得るということは、移動
物体の抽出処理を行ない、その抽出された領域の差分２
値化画像を原画に当てはめ、抽出領域と同じ位置のデー
タのみ残し、他は”０”とすればよく、これを辞書パタ
ーンとする。

【００２８】たとえば、図４に第１ステップの移動物体
抽出処理における移動物体の濃淡パターンの例を示す。
ここで、入力フレーム３１内の移動領域３２の濃淡パタ
ーンを辞書パターンとして登録する。辞書領域は、差分
２値化画像から求まる移動物体の背景を含む短形を辞書
パターンにする場合と、背景を除く人物型を辞書パター
ンにする場合が考えられるが、背景が複雑な場合は背景
を除く人物型の辞書パターンを作成する方が効果的であ
る。

【００２９】次に、予測窓内における濃淡パターンの抽
出方法を説明する。たとえば、図４の画像（時刻ｔ＝ｔ
ｉ）の次のフレームで図５の画像（時刻ｔ＝ｔｉ＋１）
が取り込まれたとする（移動物体３２は４１の位置に移
動している）。時刻ｔ＝ｔｉで、前述したように辞書パ
ターン３２と予測窓３３が設定されていたとすると、時
刻ｔ＝ｔｉ+1で予測窓４２（前のフレームの３３と同
じ）内の濃淡パターンと辞書パターン３２とを比較す
る。比較の方法は、たとえば、辞書パターンを予測窓内
で次々にずらして総当たりで比較するテンプレートマッ
チング法など、色々な照合方法が考えられる。

【００３０】上記比較（マッチング）により、予測窓４
２内で辞書パターン３２と最も類似度の高い領域が求ま
った場合は、これらが移動物体と思われる領域となる。
なお、類似度の高い領域は１つではなく、複数の候補を
抽出することも考えられる。

【００３１】また、移動物体と思われる領域が本当に移
動物体に相当するか否かの確認は、前述の移動物体の抽
出方法を組合わせることにする。すなわち、時刻ｔ＝ｔ
ｉ＋１で従来と同じ方法によって差分２値化画像（所定
のしきい値で移動領域が”１”、それ以外が”０”とな
っている）を求め、前記差分２値化画像から抽出された
領域と、予測窓内で原画を用いて抽出された領域の位置
などを用いて比較することにより移動物体であるか否か
の判定を行ない、抽出領域の正当性を確かめる。

【００３２】従来は、差分２値化画像のみで移動物体の
検出を行なっていたが、前述したように、原画でマッチ
ング処理して、それが正しいか否かの判定に差分２値化
画像を用いることで、複数人の追跡に大変有効である。
具体的な判定方法は、類似度の高い領域内の移動領域が
含まれる割合や、Ｘ方向およびＹ方向のライン抜けなど
が考えられる。

【００３３】次に、辞書パターンの更新方法について説
明する。辞書パターンの更新は、移動物体の動きに伴う
変化およびカメラ１の遠近によるサイズの変化に対応す
るため、毎フレームで行なう。すなわち、図６に示すよ
うに、現在のフレーム（時刻ｔ＝ｔｉ）での移動物体
は、次のフレーム（時刻ｔ＝ｔｉ＋１）ではサイズが大
きくなったり、小さくなったりするため、類似度が高い
として抽出された領域を基準に辞書パターンのサイズを
拡大あるいは縮小して辞書パターンの更新を行なう必要
がある。大きさ、形状、濃度の変化は、画像の取込み間
隔が短いほど小さいはずであるが、たとえば、足を踏み
出したり、手を振った場合などはかなり大きさが変化す
る。

【００３４】そこで、辞書パターンの更新時に前記差分
２値化画像を参照し、図６におけるパターン６１のよう
に、マッチング位置を越えて移動領域が存在する場合に
は、Ｄ１〜Ｄ３のサイズ分６２の大きさまで辞書パター
ンのサイズを拡大する。また、図６におけるパターン６
３のように、移動領域がマッチング位置よりも小さい場
合には、Ｄ４〜Ｄ６のサイズ分６４の大きさまで辞書パ
ターンのサイズを縮小する。

【００３５】その際、前述した人物辞書は、背景を含む
矩形情報の場合と背景を除く人物型の場合が考えられ
る。前述したように、辞書パターンを毎フレームで更新
し、マッチングにおいて前のフレームの辞書パターンと
サイズを用いることで、次のフレームでのマッチングの
性能を上げることができる。なお、差分画像を用いて辞
書パターンを拡大あるいは縮小する外に、アフィン変換
を用いた辞書パターンのサイズ変更なども考えられる。
次に、本発明の一実施例について具体的に説明する。

【００３６】図１は、本発明を実施する場合の画像監視
装置の構成を示すものである。本発明方法で従来方法と
異なるのは、画像メモリ１２に格納されているｔ＝ｔｉ
の画像と、それよりも前に取込まれていた画像との画素
間差分演算を行なって差分画像を求め、差分２値化回路
１３で変化のあった画素が”１”で表わされる差分２値
化画像に変換し、ＣＰＵ１５で変化領域を求めて移動物
体であると判定した後、その移動物体を濃淡パターンで
人物辞書（記憶手段）１６に登録（記憶）しておき、次
のフレーム以降では、上記移動物体の移動方向に予測窓
を設定して、入物辞書１６内の辞書パターンを予測窓内
の原画でマッチング処理を行ない、その類似度の最も高
い領域に上記移動物体が移動したと判定して、移動物体
の追跡を行なうことである。

【００３７】また、各フレームでの移動物体の位置およ
び予測窓の大きさなどは、追跡テーブル１７に格納して
おく。単に移動物体の検出だけでなく、その移動物体の
履歴を求めることにより、移動物体の出現場所や目的地
がわかり、また、複数人が交差して歩いた場合などにも
両者を追跡することが可能となる。

【００３８】次に、図２に示すフローチヤートを参照し
て移動物体の追跡処理手順について説明する。処理は、
大別して新物体抽出処理と追跡処理とに分かれる。ま
ず、新物体抽出処理を説明する。画像を入力して（Ｓ
１）、差分２値化回路１３で時系列差分あるいは背景差
分方式を用いて差分２値化画像を生成する（Ｓ２）。次
に、追跡テーブル１７に保存されているフラグ（新物体
抽出、または追跡成功）をチェックして追跡物体がなか
った場合（Ｓ３）、上記生成した差分２値化画像を用い
てＸ，Ｙ方向への射影、あるいは、閉領域の抽出などに
より移動物体を抽出する（Ｓ４）。

【００３９】移動物体があれば（Ｓ５）、前述したよう
に、抽出された移動領域の濃淡パターンの人物辞書パタ
ーンを生成して人物辞書１６に登録する（Ｓ６）。抽出
された移動物体は、フレームのエッジまたは物陰から出
現するわけであるが、出現現場により次に移動する方向
を予測することが可能であるため、その移動予測方向に
前述したような予測窓を設定し、次のフレーム以降で追
跡を行なうための新物体抽出フラグ（ＦＬＧ）、位置情
報とともに追跡テーブル１７に格納しておく（Ｓ７）。

【００４０】移動予測方向は、フレーム内に建物などの
物陰がない場合を考えると、上下左右の４つの（もしく
は右上など２つのエッジにまたがる）フレームエッジか
らの移動物体の出現が予測されるため、上下左右それぞ
れに（０，−１）、（０，１）、（１，０）、（−１，
０）、（（Ｘ，Ｙ）：Ｘ方向、Ｙ方向）の移動予測方向
を設定しておく（右上の場合は（−１，−１））。

【００４１】図４では、移動物体３２はフレーム３１の
下部から出現したので、移動予測方向（矢印）３４
（０，１）が与えられ、予測窓３３が設定される。予測
窓３３の大きさは、画像の取込み間隔や移動物体の移動
速度により考慮されなければならないが、新規に現れる
移動物体の移動速度がわからないため、大きめの予測窓
を設定する。

【００４２】また、次のフレームで移動物体が追跡され
た場合の移動予測方向は、前のフレーム位置から次のフ
レーム位置への方向ベクトルを用いる。たとえば、図４
の画像の次のフレームで移動物体が図５の移動物体４１
の位置に移動したとすると、移動予測方向は矢印４３と
なる。

【００４３】次に、追跡処理を説明する。図２のフロー
チャートで、画像入力後（Ｓ１）、差分２値化画像を生
成し（Ｓ２）、追跡テーブル１７に保存されているフラ
グ（新物体抽出、または追跡成功）をチェックして追跡
物体があった場合（Ｓ３）、以下の方法で追跡処理を行
なう。

【００４４】まず、前のフレームで設定した予測窓４２
内の濃淡パターンと、人物辞書１６に登録されている濃
淡パターン（図４の３２の部分）とを比較する（Ｓ８、
第１のマッチング処理）。ここでは、たとえば、テンプ
レートマッチング法を用いて、予測窓４２内で人物辞書
１６に登録されている濃淡パターンと最も類似度の高い
領域を抽出する。

【００４５】しかし、移動物体の移動に伴い形状や濃度
が異なったり、カメラ１からの遠近の差により大きさが
多少変化することが考えられるため、類似度の高い領域
が必ずしも移動物体とはならない。そのため、抽出され
た領域が移動物体であるか否かを判定する方法として、
前述のように差分２値化画像での抽出領域と予測窓内で
原画を用いて抽出した人物と思われる領域の位置などを
比較することなどにより判定を行なう。

【００４６】また、前述の差分２値化画像を用いた判定
の外に、その移動物体のそれまでの移動方向（図４の３
４）と、前のフレーム位置から現在抽出された位置への
方向ベクトル（図５の４３）とを比較して判定の参考に
することも考えられるが、移動物体が必ずしも同じ方向
に同じ速度で移動するとも限らないので、他に候補があ
ったら同方向を優先する程度の利用法がよい。しかし、
この方向を用いた判定は、同じような移動物体が反対方
向から移動してきて、交差してすれちがった場合などに
有効である。

【００４７】第１のマッチング処理（Ｓ８）では、差分
領域のライン抜けと移動領域の割合と方向ベクトルの違
いによって比較結果を判定している。もし、マッチング
失敗と判定された場合は、別の方法で移動物体の追跡を
行なう必要がある。ここでは、第１のマッチング処理で
失敗した場合、前記差分２値化画像と原画との論理和を
とり、差分領域の原画画像で再びマッチング処理を行な
う（Ｓ９、第２のマッチング処理）。ここでも、第１の
マッチング処理と同様にテンプレートマッチング法を用
い、評価方法も同様に差分領域のライン抜け、移動領域
の割合、方向ベクトルの違いを用いた。

【００４８】さらに、第２のマッチング処理でもマッチ
ングに失敗した場合は、予測窓の大きさを変更している
（Ｓ１０）。特に、移動方向を重視して、移動方向以外
の領域を縮小し、移動方向に予測窓を大きく設定し、再
度、差分領域の原画画像でマッチング処理を行なう（Ｓ
１１、第３のマッチング処理）。たとえば、図５の位置
４１に前フレームで移動物体が存在し、予測窓４５を設
定してマッチングに失敗した場合には、さらに大きな予
測窓４４を設定してマッチング処理を行なう。

【００４９】第３のマッチング処理の評価方法も、第１
のマッチング処理と同様であり、第３のマッチング処理
でも失敗した場合は、また別の範囲で検索することも可
能だが、ここでは追跡打切りとする。

【００５０】追跡を失敗した移動物体は、後に行なう新
物体抽出処理（Ｓ４以降）で新移動物体として抽出され
るはずで、後処理（Ｓ１２）で追跡失敗物体と新物体と
の対応づけを行なうことで追跡を続ける。

【００５１】以上述べてきた第１〜第３のマッチング処
理で辞書パターンとのマッチングに成功し、移動物体の
追跡を行なうことができたならば、辞書パターンを更新
して人物辞書１６に登録し（Ｓ１４）、次のフレームで
用いる予測窓および追跡成功フラグを設定して（Ｓ１
５）、追跡テーブル１７に保存する。一方、前記第１〜
第３のマッチング処理で辞書パターンとのマッチングに
失敗した場合は、追跡失敗フラグを追跡テーブル１７に
保存する（Ｓ１６）。

【００５２】上記追跡処理が終了した後、前記差分２値
化画像から上記追跡処理で抽出した追跡物体を削除した
画像で、さらに新移動物体を抽出する（Ｓ４）。図７
（ａ）にｔｉフレームの差分２値化画像、図７（ｂ）に
（ｔｉ+1）フレームの差分２値化画像、図７（ｃ）に
「（ｔｉ+1）フレームの差分２値化画像−追跡物体」の
一例を示す。削除する追跡物体の範囲は、背景を除く人
物型や人物を含む矩形などが考えられるが、ここでは人
物を含む矩形を用いている。その後の「（ｔｉ+1）フレ
ームの差分２値化画像−追跡物体」の画像で行なう「新
物体抽出処理」は前述した通りである。

【００５３】また、追跡処理、新物体抽出処理が終了し
た後に、後処理（Ｓ１２）を行なう。後処理では、追跡
失敗の移動物体が新移動物体として抽出された場合、追
跡は成功したが、別の移動物体として判定されていた場
合などを追跡テーブル１７に保存されている情報を用い
てチェックして結果を修正する。そして、後処理ののち
処理を終了する（Ｓ１３）。なお、追跡テーブル１７の
一例を図８に示す。

【００５４】以上追跡処理を説明したが、単に移動物体
があるだけでなく、上記方法で移動物体を追跡すること
により、危険区域や不許可区域に向かっている侵入物体
（侵入者）、あるいは、不審な動きをしている侵入物体
の検出が可能で、上記怪しい侵入物体を検出した場合に
警報を鳴らすことで、有効な監視を行なうことができ
る。また、フレーム内に複数の侵入者が交差して歩いて
いる場合にも、原画を用いてマッチング処理しているた
め追跡が可能である。

【００５５】このように、上記実施例によれば、画像監
視装置で移動物体を追跡する場合、差分画像で領域を抽
出して、濃淡パターンの辞書情報を用いて予測窓内で原
画とマッチング処理を行なうことで、移動物体がどこに
移動したかがわかり、移動物体を精度よく追跡すること
ができる。

【００５６】また、原画の辞書情報を持つことで、複数
の移動物体があった場合にも、その対応付けが可能で、
たとえ方向を変えて移動した場合にも、原画とのマッチ
ング処理で同一物体と判定することができる。その原画
とのマッチング処理では、移動物体の移動速度と方向に
応じた予測窓を設けて、範囲を限定してマッチング処理
を行なうことで、検索時間の短縮が可能となる。

【００５７】さらに、人物辞書は、差分画像を利用して
大きさを拡大あるいは縮小して毎フレームごとに更新す
ることで、各フレームでのマッチングの精度を向上させ
ることができる。

【００５８】以上のことから、従来のように移動物体を
検出することを目的とする装置に比べ、本発明のように
移動物体を追跡することで、効率のよい画像監視装置を
実現できる。

【００５９】

【発明の効果】以上詳述したように本発明によれば、監
視画像内の移動物体を精度よく追跡でき、移動物体か否
かの判定性能の向上が図れ、しかも、効率のよい画像監
視が可能となる監視画像の移動物体追跡方法を提供でき
る。

【図面の簡単な説明】

【図１】本発明の一実施例が適用される画像監視装置の
構成を示すブロック図。

【図２】追跡処理を説明するためのフローチャート。

【図３】追跡処理における予測窓の設定方法を説明する
図。

【図４】追跡処理におけるｔｉフレームの画像の一例を
示す図。

【図５】追跡処理における（ｔｉ+1）フレームの画像の
一例を示す図。

【図６】追跡処理における人物辞書の更新方法を説明す
る図。

【図７】追跡処理における新物体の抽出処理を説明する
図。

【図８】追跡処理における追跡テーブルの一例を示す
図。

【図９】画像監視装置の一例を示す構成図。

【図１０】従来の画像監視装置の構成を示すブロック
図。

【図１１】射影を用いた領域抽出方法を説明する図。

【符号の説明】

１……ＩＴＶカメラ、２……監視領域、３……伝送路、
４……処理装置、５……ＶＴＲ、６……警報装置、７…
…表示装置、１０……サンプリングパルス生成回路、１
１……Ａ／Ｄ変換器、１２……画像メモリ、１３……差
分２値化回路、１４……差分２値化画像メモリ、１５…
…ＣＰＵ、１６……人物辞書、１７……追跡テーブル。

Claims

【特許請求の範囲】

【請求項１】監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算出し
た差分画像を２値化して差分２値化画像を生成し、この
生成した差分２値化画像から変化領域を検出し、この検
出した変化領域を移動物体としてその変化領域の濃淡パ
ターンを記憶手段に記憶し、所定時間経過後に前記撮像
手段から入力された原画画像の前記移動物体の存在した
位置の周辺において、前記記憶手段内の濃淡パターンと
前記原画画像の濃淡パターンとを比較することによっ
て、類似度の高い領域を抽出して前記移動物体と判定す
ることにより前記移動物体を追跡することを特徴とする
監視画像の移動物体追跡方法。
【請求項２】移動物体を追跡した後に前記移動物体の
１つ前のフレーム位置と現在位置とから求まる速度に応
じて現在位置を中心とした予測窓を設定し、次のフレー
ムで前記設定された予測窓内で前記記憶手段内の濃淡パ
ターンと前記原画画像の濃淡パターンとを比較すること
を特徴とする請求項１記載の監視画像の移動物体追跡方
法。
【請求項３】前記記憶手段内の濃淡パターンと前記原
画画像の濃淡パターンとを比較して類似度の高い領域を
抽出した後、前記差分画像から求まる移動領域を用い
て、前記類似度の高い領域に含まれている移動領域の割
合もしくは移動領域の形状により、前記抽出した領域が
正当の追跡物体であるか否かの判定を行なうことを特徴
とする請求項１記載の監視画像の移動物体追跡方法。
【請求項４】前記記憶手段内の濃淡パターンと前記原
画画像の濃淡パターンとを比較して類似度の高い領域を
抽出した後、この抽出した領域を前記差分画像を用いて
拡大または縮小し、これを次のフレームにおける移動物
体の追跡のための濃淡パターンとして前記記憶手段にフ
レームごとに更新記憶することを特徴とする請求項１記
載の監視画像の移動物体追跡方法。