JPH06274625A - 監視画像の移動物体追跡方法 - Google Patents
監視画像の移動物体追跡方法Info
- Publication number
- JPH06274625A JPH06274625A JP5058775A JP5877593A JPH06274625A JP H06274625 A JPH06274625 A JP H06274625A JP 5058775 A JP5058775 A JP 5058775A JP 5877593 A JP5877593 A JP 5877593A JP H06274625 A JPH06274625 A JP H06274625A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- pattern
- moving object
- digitized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】監視画像内の移動物体を精度よく追跡でき、移
動物体か否かの判定性能の向上が図れ、しかも、移動物
体の誤検知を防止して、移動物体の検知時間も短縮可能
となる監視画像の移動物体追跡方法を提供する。 【構成】監視領域を撮像手段で撮像し、この撮像された
画像を所定の時間間隔で連続的に取込んでデジタル化
し、このデジタル化された複数の画像を演算することに
よって、上記監視領域内での移動物体の監視を行なう画
像監視装置において、デジタル化された画像の差分画像
を算出し、この算出した差分画像を2値化して差分2値
化画像を生成し、この生成した差分2値化画像から変化
領域を抽出し、この抽出した変化領域が、あらかじめ設
定される移動物体の出現する可能性のある出現予測領域
と接していたとき、該移動物体が目的とする対象物であ
ると判定して追跡する。
動物体か否かの判定性能の向上が図れ、しかも、移動物
体の誤検知を防止して、移動物体の検知時間も短縮可能
となる監視画像の移動物体追跡方法を提供する。 【構成】監視領域を撮像手段で撮像し、この撮像された
画像を所定の時間間隔で連続的に取込んでデジタル化
し、このデジタル化された複数の画像を演算することに
よって、上記監視領域内での移動物体の監視を行なう画
像監視装置において、デジタル化された画像の差分画像
を算出し、この算出した差分画像を2値化して差分2値
化画像を生成し、この生成した差分2値化画像から変化
領域を抽出し、この抽出した変化領域が、あらかじめ設
定される移動物体の出現する可能性のある出現予測領域
と接していたとき、該移動物体が目的とする対象物であ
ると判定して追跡する。
Description
【0001】
【産業上の利用分野】本発明は、監視領域内における移
動物体の監視を行なう画像監視装置において、監視画像
内の移動物体を追跡する監視画像の移動物体追跡方法に
関する。
動物体の監視を行なう画像監視装置において、監視画像
内の移動物体を追跡する監視画像の移動物体追跡方法に
関する。
【0002】
【従来の技術】この種の画像監視装置の一例として、た
とえば、図17および図18に示すものがある。図にお
いて、撮像手段としてのITVカメラ1は監視領域2内
の画像を撮像し、電気信号に変換する。このITVカメ
ラ1で撮像された画像は、伝送路3によって処理装置
4、および、画像記録手段としてのビデオテープレコー
ダ(以降、単にVTRと略称する)5に送られる。VT
R5は、ITVカメラ1で撮像された監視画像を連続
的、あるいは移動物体(以降、侵入物体と言うこともあ
る)を検出した場合に記録する。
とえば、図17および図18に示すものがある。図にお
いて、撮像手段としてのITVカメラ1は監視領域2内
の画像を撮像し、電気信号に変換する。このITVカメ
ラ1で撮像された画像は、伝送路3によって処理装置
4、および、画像記録手段としてのビデオテープレコー
ダ(以降、単にVTRと略称する)5に送られる。VT
R5は、ITVカメラ1で撮像された監視画像を連続
的、あるいは移動物体(以降、侵入物体と言うこともあ
る)を検出した場合に記録する。
【0003】一方、処理装置4に送られた画像信号は、
サンプリングパルス生成回路10から出力される所定周
期のサンプリングパルスにより、A/D変換器11でデ
ジタル信号に変換され、たとえば、時刻t=tiの画像
データとして画像メモリ12内に格納される。
サンプリングパルス生成回路10から出力される所定周
期のサンプリングパルスにより、A/D変換器11でデ
ジタル信号に変換され、たとえば、時刻t=tiの画像
データとして画像メモリ12内に格納される。
【0004】そして、差分2値化回路13において、こ
の時刻t=tiの画像データは、変化領域を抽出するた
めに、後述するように、これよりも前に画像メモリ12
内に取込まれていた時刻t=ti-1の画像データと画素
間差分演算を行なうことにより差分画像が求められ、さ
らに、変化があった画素が”1”で表わされる差分2値
化画像に変換され、差分2値化画像メモリ14に格納さ
れる。
の時刻t=tiの画像データは、変化領域を抽出するた
めに、後述するように、これよりも前に画像メモリ12
内に取込まれていた時刻t=ti-1の画像データと画素
間差分演算を行なうことにより差分画像が求められ、さ
らに、変化があった画素が”1”で表わされる差分2値
化画像に変換され、差分2値化画像メモリ14に格納さ
れる。
【0005】CPU(セントラル・プロセッシング・ユ
ニット)15は、差分2値化画像メモリ14内の差分2
値化画像を用いて変化領域の解析を行ない、変化領域が
移動物体(侵入物体)であると判定した場合には、警報
装置6を鳴らしたり、監視者が表示装置7の画面上で移
動物体が何であるかを確認したり、VTR5が動作して
いなかった場合は動作させて監視画像の記録などを行な
う。もし、移動物体でないと判定した場合には、引続き
画像を取込み、上記処理を繰返す。
ニット)15は、差分2値化画像メモリ14内の差分2
値化画像を用いて変化領域の解析を行ない、変化領域が
移動物体(侵入物体)であると判定した場合には、警報
装置6を鳴らしたり、監視者が表示装置7の画面上で移
動物体が何であるかを確認したり、VTR5が動作して
いなかった場合は動作させて監視画像の記録などを行な
う。もし、移動物体でないと判定した場合には、引続き
画像を取込み、上記処理を繰返す。
【0006】ところで、変化領域の抽出のための画素間
演算としては、一般的に、移動物体が存在しない場合の
背景画像との差分、あるいは、所定時間Δt前の時刻t
=ti-1の画像との時系列差分のどちらかが用いられ
る。背景画像との差分では、移動物体が停止していても
検出できるが、屋外のように、明るさなどの環境が変化
してゆく場合には、背景画像を更新しないと、移動物体
が存在しなくても変化領域を生じるという特徴がある。
演算としては、一般的に、移動物体が存在しない場合の
背景画像との差分、あるいは、所定時間Δt前の時刻t
=ti-1の画像との時系列差分のどちらかが用いられ
る。背景画像との差分では、移動物体が停止していても
検出できるが、屋外のように、明るさなどの環境が変化
してゆく場合には、背景画像を更新しないと、移動物体
が存在しなくても変化領域を生じるという特徴がある。
【0007】時系列差分の場合は、一般に、比較的短い
時間間隔での差分を行なうため、環境変化への追従性は
優れているが、移動物体が停止した場合には検出でき
ず、さらに、移動物体が動いても、2画面での差分で
は、移動物体の消失部分と、発生部分の両方が検出され
るという特徴がある。
時間間隔での差分を行なうため、環境変化への追従性は
優れているが、移動物体が停止した場合には検出でき
ず、さらに、移動物体が動いても、2画面での差分で
は、移動物体の消失部分と、発生部分の両方が検出され
るという特徴がある。
【0008】時系列差分の後者の欠点を取り除くため
に、t=tiとt=ti-1の2画面でなく、さらに、t
=ti+1の連続した3画面を用いて、前の2画面と後ろ
の2画面でそれぞれ差分演算を行ない、得られた2つの
差分画像の論理積により、t=tiの画像での移動物体
を抽出する方法をとる場合もある。
に、t=tiとt=ti-1の2画面でなく、さらに、t
=ti+1の連続した3画面を用いて、前の2画面と後ろ
の2画面でそれぞれ差分演算を行ない、得られた2つの
差分画像の論理積により、t=tiの画像での移動物体
を抽出する方法をとる場合もある。
【0009】また、CPU15が、差分2値化画像から
変化領域の解析を行なう際、所定のまとまった領域を求
めるために、画像処理の基本的な手法として、値が”
1”である閉領域にシリアル番号を与え(ラべリン
グ)、それぞれの部分領域の面積や、距離などを求めて
まとまった領域を抽出し、この領域内で形状や値が”
1”である面積などを計算して解析する場合が多いが、
全画像領域でこの操作を行なうと、非常に時間がかか
る。
変化領域の解析を行なう際、所定のまとまった領域を求
めるために、画像処理の基本的な手法として、値が”
1”である閉領域にシリアル番号を与え(ラべリン
グ)、それぞれの部分領域の面積や、距離などを求めて
まとまった領域を抽出し、この領域内で形状や値が”
1”である面積などを計算して解析する場合が多いが、
全画像領域でこの操作を行なうと、非常に時間がかか
る。
【0010】そこで、たとえば、特開昭62-147891 号公
報に開示されているように、差分2値化画像から変化の
あった領域を粗く区分けする方法が提案されている。こ
れは、差分2値化画像において、図19に示すように、
X,Y軸方向に射影ヒストグラムを求めて、得られたヒ
ストグラムのうち、所定値Xth、Yth以上の高さが所定
幅Xw ,Yw 以上であるような区分領域を求め、この内
部を解析するような手法である。
報に開示されているように、差分2値化画像から変化の
あった領域を粗く区分けする方法が提案されている。こ
れは、差分2値化画像において、図19に示すように、
X,Y軸方向に射影ヒストグラムを求めて、得られたヒ
ストグラムのうち、所定値Xth、Yth以上の高さが所定
幅Xw ,Yw 以上であるような区分領域を求め、この内
部を解析するような手法である。
【0011】すなわち、図19に示す区分領域A11〜A
22のみを調べて、変化領域が移動物体であるか否かとい
った解析を行なう。変化領域の解析時には、前述のよう
に、ラベリングを行なった解析も行なえるし、図19の
区分領域A11,A22のように、区分領域が移動物体の外
接四角形になる場合が多いことから、この区分領域が所
定の大きさの場合には、ラベリングなどの処理を行なわ
ずに、直接、その形状を検査したり、値が”1”である
部分の面積を求めるといった方法によって解析すること
もある。
22のみを調べて、変化領域が移動物体であるか否かとい
った解析を行なう。変化領域の解析時には、前述のよう
に、ラベリングを行なった解析も行なえるし、図19の
区分領域A11,A22のように、区分領域が移動物体の外
接四角形になる場合が多いことから、この区分領域が所
定の大きさの場合には、ラベリングなどの処理を行なわ
ずに、直接、その形状を検査したり、値が”1”である
部分の面積を求めるといった方法によって解析すること
もある。
【0012】以上、画像の差分の手法と移動物体の解析
方法について述べたが、取込んだ画像はノイズ成分を含
むために、空間フィルタリングや論理フィルタリングの
処理を施すことが一般的である。
方法について述べたが、取込んだ画像はノイズ成分を含
むために、空間フィルタリングや論理フィルタリングの
処理を施すことが一般的である。
【0013】
【発明が解決しようとする課題】従来の画像監視装置で
は、変化領域が移動物体であると判定して警報を鳴らす
とか、VTRに録画するなどした後、監視者が全ての移
動物体について、その移動物体がどこからどのように移
動したかで怪しい人物か否かを判定するものである。し
たがって、常に表示装置の画面を見て監視者が移動物体
を見つけ出すような、初期の画像監視装置と比較する
と、作業の軽減になるが、後処理で監視者が判断する際
にかなりの時間と労力を費やす。
は、変化領域が移動物体であると判定して警報を鳴らす
とか、VTRに録画するなどした後、監視者が全ての移
動物体について、その移動物体がどこからどのように移
動したかで怪しい人物か否かを判定するものである。し
たがって、常に表示装置の画面を見て監視者が移動物体
を見つけ出すような、初期の画像監視装置と比較する
と、作業の軽減になるが、後処理で監視者が判断する際
にかなりの時間と労力を費やす。
【0014】そのため、単に移動物体の検出というだけ
でなく、移動物体の追跡を行なって本当に怪しい人物の
みに対して警報を鳴らすように改良することで、さらに
作業の軽減が期待できる。
でなく、移動物体の追跡を行なって本当に怪しい人物の
みに対して警報を鳴らすように改良することで、さらに
作業の軽減が期待できる。
【0015】そこで、最近、移動物体か否かの判定の性
能向上を目的として、時系列フレーム間で移動物体の追
跡を行なう方法が考えられている。その移動物体追跡方
法の一例として、濃淡パターンを用いた方法がある。こ
の移動物体追跡方法は、差分画像から移動物体を求め、
さらに、移動物体の原画像の濃淡パターンを人物辞書と
して登録しておき、次フレームであらかじめ設定した予
測窓の範囲内で原画像と上記濃淡パターンの辞書とのマ
ッチング処理をして、類似度の高い領域を上記移動物体
と判定することで追跡を行なうものである。また、濃淡
パターン辞書を毎フレーム更新することで、移動物体の
形状の変化や遠近によるサイズの変化に対応するように
している。
能向上を目的として、時系列フレーム間で移動物体の追
跡を行なう方法が考えられている。その移動物体追跡方
法の一例として、濃淡パターンを用いた方法がある。こ
の移動物体追跡方法は、差分画像から移動物体を求め、
さらに、移動物体の原画像の濃淡パターンを人物辞書と
して登録しておき、次フレームであらかじめ設定した予
測窓の範囲内で原画像と上記濃淡パターンの辞書とのマ
ッチング処理をして、類似度の高い領域を上記移動物体
と判定することで追跡を行なうものである。また、濃淡
パターン辞書を毎フレーム更新することで、移動物体の
形状の変化や遠近によるサイズの変化に対応するように
している。
【0016】しかし、移動物体の濃淡パターン辞書と原
画像とを照合する際に、対象が例えば人間の場合には、
手や足を動かして移動しているため、辞書を作成した次
のフレームでは移動物体の形状が変化する。そのため、
照合時には前フレームの濃淡パターン辞書とは多少変形
していることを考慮する必要がある。
画像とを照合する際に、対象が例えば人間の場合には、
手や足を動かして移動しているため、辞書を作成した次
のフレームでは移動物体の形状が変化する。そのため、
照合時には前フレームの濃淡パターン辞書とは多少変形
していることを考慮する必要がある。
【0017】また、人の存在する遠近の差によって取込
み画像の物体サイズは変化する。同じ人間が同じ速度で
移動していても、抽出物体のサイズや移動画素は変わっ
てしまい、物体サイズが大きく、移動画素も大きいと照
合時間がかかってしまうという問題がある。
み画像の物体サイズは変化する。同じ人間が同じ速度で
移動していても、抽出物体のサイズや移動画素は変わっ
てしまい、物体サイズが大きく、移動画素も大きいと照
合時間がかかってしまうという問題がある。
【0018】また、移動画素は、監視カメラの仕様や設
置する高さ、角度によって異なるため、正確に移動画素
を求めようとすると、設置場所に応じ、前記条件を全て
入力し、移動画素を計算によって求める必要がある。
置する高さ、角度によって異なるため、正確に移動画素
を求めようとすると、設置場所に応じ、前記条件を全て
入力し、移動画素を計算によって求める必要がある。
【0019】また、濃淡パターン辞書を毎フレーム更新
することにより、移動物体の形状の変化や遠近によるサ
イズの変化への対応には効果的であるが、複数の移動物
体が監視領域内に存在して、移動物体が見かけ上重なっ
て見えたときににも、辞書の更新を行なってしまうと、
下側の辞書に上側の人の情報が入ってしまって、本来の
追跡物の濃淡情報が消えてしまい、別の移動物体を追跡
してしまうことにもなる。
することにより、移動物体の形状の変化や遠近によるサ
イズの変化への対応には効果的であるが、複数の移動物
体が監視領域内に存在して、移動物体が見かけ上重なっ
て見えたときににも、辞書の更新を行なってしまうと、
下側の辞書に上側の人の情報が入ってしまって、本来の
追跡物の濃淡情報が消えてしまい、別の移動物体を追跡
してしまうことにもなる。
【0020】さらに、所定の取込み間隔で画像を取込
み、その取込み画像で毎フレーム移動物体の抽出と追跡
を行なった場合、移動物体の抽出をよくするために、取
込み間隔を長くすると、移動距離が増えて照合時間が長
くなり、照合時間を短くするために、取込み間隔を短く
すると、移動物体の抽出性能が悪くなるといった矛盾が
あった。
み、その取込み画像で毎フレーム移動物体の抽出と追跡
を行なった場合、移動物体の抽出をよくするために、取
込み間隔を長くすると、移動距離が増えて照合時間が長
くなり、照合時間を短くするために、取込み間隔を短く
すると、移動物体の抽出性能が悪くなるといった矛盾が
あった。
【0021】一方、監視領域が屋外の場合は、抽出した
変化領域の全てが目的の移動物体ではなく、風による木
々の揺れや、煙、小動物であったり、天候の変化により
濃淡情報が変化した場合などが考えられ、変化領域が目
的の移動物体であるか否かの判定を行なう必要がある。
変化領域の全てが目的の移動物体ではなく、風による木
々の揺れや、煙、小動物であったり、天候の変化により
濃淡情報が変化した場合などが考えられ、変化領域が目
的の移動物体であるか否かの判定を行なう必要がある。
【0022】また、侵入物体などを追跡する場合、侵入
物体が出現する場所は、取込み画像のフレームや、建物
の端や入り口など、ある程度予測できるので、監視領域
内全ての領域変化の検出を行なっていたのでは、侵入物
体が出現するはずのない無駄な領域まで見ていることに
なる。
物体が出現する場所は、取込み画像のフレームや、建物
の端や入り口など、ある程度予測できるので、監視領域
内全ての領域変化の検出を行なっていたのでは、侵入物
体が出現するはずのない無駄な領域まで見ていることに
なる。
【0023】そこで、本発明は、監視画像内の移動物体
を精度よく追跡でき、移動物体か否かの判定性能の向上
が図れ、しかも、移動物体の誤検知を防止して、移動物
体の検知時間も短縮可能となり、効率のよい画像監視が
可能となる監視画像の移動物体追跡方法を提供すること
を目的とする。
を精度よく追跡でき、移動物体か否かの判定性能の向上
が図れ、しかも、移動物体の誤検知を防止して、移動物
体の検知時間も短縮可能となり、効率のよい画像監視が
可能となる監視画像の移動物体追跡方法を提供すること
を目的とする。
【0024】
【課題を解決するための手段】本発明の監視画像の移動
物体追跡方法は、監視領域内の画像を撮像手段で撮像し
て入力し、この入力された監視領域内の画像を所定の時
間間隔で連続的に取込んでデジタル化し、このデジタル
化された複数の画像を演算することによって、前記監視
領域内での移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算
出した差分画像を2値化して差分2値化画像を生成し、
この生成した差分2値化画像から変化領域を抽出し、こ
の抽出した変化領域が、あらかじめ設定される移動物体
の出現する可能性のある出現予測領域と接していたと
き、該移動物体が目的とする対象物であると判定して追
跡することを特徴とする。
物体追跡方法は、監視領域内の画像を撮像手段で撮像し
て入力し、この入力された監視領域内の画像を所定の時
間間隔で連続的に取込んでデジタル化し、このデジタル
化された複数の画像を演算することによって、前記監視
領域内での移動物体の監視を行なう画像監視装置におい
て、デジタル化された画像の差分画像を算出し、この算
出した差分画像を2値化して差分2値化画像を生成し、
この生成した差分2値化画像から変化領域を抽出し、こ
の抽出した変化領域が、あらかじめ設定される移動物体
の出現する可能性のある出現予測領域と接していたと
き、該移動物体が目的とする対象物であると判定して追
跡することを特徴とする。
【0025】また、本発明の監視画像の移動物体追跡方
法は、監視領域内の画像を撮像手段で撮像して入力し、
この入力された監視領域内の画像を所定の時間間隔で連
続的に取込んでデジタル化し、このデジタル化された複
数の画像を演算することによって、前記監視領域内での
移動物体の監視を行なう画像監視装置において、デジタ
ル化された画像の差分画像を算出し、この算出した差分
画像を2値化して差分2値化画像を生成し、この生成し
た差分2値化画像から変化領域を抽出する変化領域抽出
手段と、この変化領域抽出手段で抽出された変化領域と
前記撮像手段から入力してデジタル化された原画像から
変化領域部分の濃淡パターンを抽出する濃淡パターン抽
出手段と、この濃淡パターン抽出手段で抽出された濃淡
パターンのうちあらかじめ決められた範囲をマスクする
ためのパターンを発生するマスクパターン発生手段と、
このマスクパターン発生手段の出力と前記濃淡パターン
抽出手段の出力とから基準となる濃淡パターンを求める
基準パターン発生手段と、この基準パターン発生手段か
ら得られる基準パターンと前記デジタル化された原画像
とを比較することにより、その原画像内で基準パターン
と類似度の高い領域を求める類似度計算手段とを具備
し、所定時間ごとに監視領域内の画像を取込み、前記変
化領域抽出手段によって変化領域を抽出した際、前記基
準パターン発生手段によって変化領域に対応する基準パ
ターンを求め、以後、画像を取込むごとに前記類似度計
算手段で前記基準パターンを用いて取込み画像内で類似
度の高い領域を求めて所定時間経過後の移動物体の位置
を判定し、さらに前記類似度の高い領域と前記マスクパ
ターンを用いて前記基準パターン発生手段で前記基準パ
ターンを更新することにより、監視画像内で移動物体を
追跡することを特徴とする。
法は、監視領域内の画像を撮像手段で撮像して入力し、
この入力された監視領域内の画像を所定の時間間隔で連
続的に取込んでデジタル化し、このデジタル化された複
数の画像を演算することによって、前記監視領域内での
移動物体の監視を行なう画像監視装置において、デジタ
ル化された画像の差分画像を算出し、この算出した差分
画像を2値化して差分2値化画像を生成し、この生成し
た差分2値化画像から変化領域を抽出する変化領域抽出
手段と、この変化領域抽出手段で抽出された変化領域と
前記撮像手段から入力してデジタル化された原画像から
変化領域部分の濃淡パターンを抽出する濃淡パターン抽
出手段と、この濃淡パターン抽出手段で抽出された濃淡
パターンのうちあらかじめ決められた範囲をマスクする
ためのパターンを発生するマスクパターン発生手段と、
このマスクパターン発生手段の出力と前記濃淡パターン
抽出手段の出力とから基準となる濃淡パターンを求める
基準パターン発生手段と、この基準パターン発生手段か
ら得られる基準パターンと前記デジタル化された原画像
とを比較することにより、その原画像内で基準パターン
と類似度の高い領域を求める類似度計算手段とを具備
し、所定時間ごとに監視領域内の画像を取込み、前記変
化領域抽出手段によって変化領域を抽出した際、前記基
準パターン発生手段によって変化領域に対応する基準パ
ターンを求め、以後、画像を取込むごとに前記類似度計
算手段で前記基準パターンを用いて取込み画像内で類似
度の高い領域を求めて所定時間経過後の移動物体の位置
を判定し、さらに前記類似度の高い領域と前記マスクパ
ターンを用いて前記基準パターン発生手段で前記基準パ
ターンを更新することにより、監視画像内で移動物体を
追跡することを特徴とする。
【0026】また、本発明の監視画像の移動物体追跡方
法は、監視領域内の画像を撮像手段で撮像して入力し、
この入力された監視領域内の画像を所定の時間間隔で連
続的に取込んでデジタル化し、このデジタル化された複
数の画像を演算することによって、前記監視領域内での
移動物体の監視を行なう画像監視装置において、所定の
時間間隔t1 で取込んだデジタル化された画像の差分画
像を算出し、この算出した差分画像を2値化して差分2
値化画像を生成し、この生成した差分2値化画像から変
化領域を抽出する変化領域抽出手段と、この変化領域抽
出手段で抽出された変化領域と前記撮像手段から入力し
てデジタル化された原画像から変化領域部分の濃淡パタ
ーンを抽出する濃淡パターン抽出手段と、この濃淡パタ
ーン抽出手段で抽出された濃淡パターンのうちあらかじ
め決められた範囲をマスクするためのパターンを発生す
るマスクパターン発生手段と、このマスクパターン発生
手段の出力と前記濃淡パターン抽出手段の出力とから基
準となる濃淡パターンを求める基準パターン発生手段
と、この基準パターン発生手段から得られる基準パター
ンと前記時間間隔t1 よりも短い所定の時間間隔t2 で
取込んだデジタル化された原画像とを比較することによ
り、その原画像内で基準パターンと類似度の高い領域を
求める類似度計算手段とを具備し、所定時間ごとに監視
領域内の画像を取込み、前記変化領域抽出手段によって
変化領域を抽出した際、前記基準パターン発生手段によ
って変化領域に対応する基準パターンを求め、以後、画
像を取込むごとに前記類似度計算手段で前記基準パター
ンを用いて取込み画像内で類似度の高い領域を求めて所
定時間経過後の移動物体の位置を判定し、さらに前記類
似度の高い領域と前記マスクパターンを用いて前記基準
パターン発生手段で前記基準パターンを更新することに
より、監視画像内で移動物体を追跡することを特徴とす
る。
法は、監視領域内の画像を撮像手段で撮像して入力し、
この入力された監視領域内の画像を所定の時間間隔で連
続的に取込んでデジタル化し、このデジタル化された複
数の画像を演算することによって、前記監視領域内での
移動物体の監視を行なう画像監視装置において、所定の
時間間隔t1 で取込んだデジタル化された画像の差分画
像を算出し、この算出した差分画像を2値化して差分2
値化画像を生成し、この生成した差分2値化画像から変
化領域を抽出する変化領域抽出手段と、この変化領域抽
出手段で抽出された変化領域と前記撮像手段から入力し
てデジタル化された原画像から変化領域部分の濃淡パタ
ーンを抽出する濃淡パターン抽出手段と、この濃淡パタ
ーン抽出手段で抽出された濃淡パターンのうちあらかじ
め決められた範囲をマスクするためのパターンを発生す
るマスクパターン発生手段と、このマスクパターン発生
手段の出力と前記濃淡パターン抽出手段の出力とから基
準となる濃淡パターンを求める基準パターン発生手段
と、この基準パターン発生手段から得られる基準パター
ンと前記時間間隔t1 よりも短い所定の時間間隔t2 で
取込んだデジタル化された原画像とを比較することによ
り、その原画像内で基準パターンと類似度の高い領域を
求める類似度計算手段とを具備し、所定時間ごとに監視
領域内の画像を取込み、前記変化領域抽出手段によって
変化領域を抽出した際、前記基準パターン発生手段によ
って変化領域に対応する基準パターンを求め、以後、画
像を取込むごとに前記類似度計算手段で前記基準パター
ンを用いて取込み画像内で類似度の高い領域を求めて所
定時間経過後の移動物体の位置を判定し、さらに前記類
似度の高い領域と前記マスクパターンを用いて前記基準
パターン発生手段で前記基準パターンを更新することに
より、監視画像内で移動物体を追跡することを特徴とす
る。
【0027】さらに、本発明の監視画像の移動物体追跡
方法は、監視領域内の画像を撮像手段で撮像して入力
し、この入力された監視領域内の画像を所定の時間間隔
で連続的に取込んでデジタル化し、このデジタル化され
た複数の画像を演算することによって、前記監視領域内
での移動物体の監視を行なう画像監視装置において、デ
ジタル化された画像の差分画像を算出し、この算出した
差分画像を2値化して差分2値化画像を生成し、この生
成した差分2値化画像から変化領域を抽出する変化領域
抽出手段と、この変化領域抽出手段で抽出された変化領
域と前記撮像手段から入力してデジタル化された原画像
から変化領域部分の濃淡パターンを抽出する濃淡パター
ン抽出手段と、この濃淡パターン抽出手段で抽出された
濃淡パターンのうちあらかじめ決められた範囲をマスク
するためのパターンを発生するマスクパターン発生手段
と、このマスクパターン発生手段の出力と前記濃淡パタ
ーン抽出手段の出力とから基準となる濃淡パターンを求
める基準パターン発生手段と、この基準パターン発生手
段から得られる基準パターンと前記デジタル化された原
画像とを比較することにより、その原画像内で基準パタ
ーンと類似度の高い領域を求める類似度計算手段と、こ
の類似度計算手段で類似度の高い領域を求めた後、前記
マスクパターンの内部または外部の濃淡パターンの変化
を調べ、その変化の大小により移動物体が目的とする対
象物体であるか否かを判定する判定手段とを具備し、所
定時間ごとに監視領域内の画像を取込み、前記変化領域
抽出手段によって変化領域を抽出した際、前記基準パタ
ーン発生手段によって変化領域に対応する基準パターン
を求め、以後、画像を取込むごとに前記類似度計算手段
で前記基準パターンを用いて取込み画像内で類似度の高
い領域を求めて所定時間経過後の移動物体の位置を判定
し、さらに前記類似度の高い領域と前記マスクパターン
を用いて前記基準パターン発生手段で前記基準パターン
を更新することにより監視画像内で移動物体を追跡し、
この追跡された移動物体の濃淡パターンの変化により目
的とする対象物体であるか否かを判定することを特徴と
する。
方法は、監視領域内の画像を撮像手段で撮像して入力
し、この入力された監視領域内の画像を所定の時間間隔
で連続的に取込んでデジタル化し、このデジタル化され
た複数の画像を演算することによって、前記監視領域内
での移動物体の監視を行なう画像監視装置において、デ
ジタル化された画像の差分画像を算出し、この算出した
差分画像を2値化して差分2値化画像を生成し、この生
成した差分2値化画像から変化領域を抽出する変化領域
抽出手段と、この変化領域抽出手段で抽出された変化領
域と前記撮像手段から入力してデジタル化された原画像
から変化領域部分の濃淡パターンを抽出する濃淡パター
ン抽出手段と、この濃淡パターン抽出手段で抽出された
濃淡パターンのうちあらかじめ決められた範囲をマスク
するためのパターンを発生するマスクパターン発生手段
と、このマスクパターン発生手段の出力と前記濃淡パタ
ーン抽出手段の出力とから基準となる濃淡パターンを求
める基準パターン発生手段と、この基準パターン発生手
段から得られる基準パターンと前記デジタル化された原
画像とを比較することにより、その原画像内で基準パタ
ーンと類似度の高い領域を求める類似度計算手段と、こ
の類似度計算手段で類似度の高い領域を求めた後、前記
マスクパターンの内部または外部の濃淡パターンの変化
を調べ、その変化の大小により移動物体が目的とする対
象物体であるか否かを判定する判定手段とを具備し、所
定時間ごとに監視領域内の画像を取込み、前記変化領域
抽出手段によって変化領域を抽出した際、前記基準パタ
ーン発生手段によって変化領域に対応する基準パターン
を求め、以後、画像を取込むごとに前記類似度計算手段
で前記基準パターンを用いて取込み画像内で類似度の高
い領域を求めて所定時間経過後の移動物体の位置を判定
し、さらに前記類似度の高い領域と前記マスクパターン
を用いて前記基準パターン発生手段で前記基準パターン
を更新することにより監視画像内で移動物体を追跡し、
この追跡された移動物体の濃淡パターンの変化により目
的とする対象物体であるか否かを判定することを特徴と
する。
【0028】
【作用】本発明によれば、監視装置で移動物体を追跡す
る場合、差分画像で領域を抽出して、動き情報の影響を
受けにくいマスクパターンを用いて、濃淡パターンの辞
書と予測窓内で原画像とを照合して追跡を行なうこと
で、移動物体の出現場所や目的地がわかり、どこから現
われてどの方向に向かっているかで、本当の移動物体か
否かの判定を精度よく行なうことが可能となり、移動物
体か否かの判定性能の向上が図れる。また、濃淡パター
ンを用いて追跡を行なっているので、複数の移動物体が
交差して移動した場合や、多数の移動物体が分離したり
併合したりして移動している場合にも対応でき、たとえ
方向を変えて移動した場合にも原画像とのマッチングで
同一物体と判定することができる。そして、その原画像
とのマッチングでは、移動物体の速度と方向に応じた予
測窓を設けて範囲を限定してマッチングを行なうこと
で、移動物体の誤検知を防止して、移動物体の検知時間
の短縮が可能となる。
る場合、差分画像で領域を抽出して、動き情報の影響を
受けにくいマスクパターンを用いて、濃淡パターンの辞
書と予測窓内で原画像とを照合して追跡を行なうこと
で、移動物体の出現場所や目的地がわかり、どこから現
われてどの方向に向かっているかで、本当の移動物体か
否かの判定を精度よく行なうことが可能となり、移動物
体か否かの判定性能の向上が図れる。また、濃淡パター
ンを用いて追跡を行なっているので、複数の移動物体が
交差して移動した場合や、多数の移動物体が分離したり
併合したりして移動している場合にも対応でき、たとえ
方向を変えて移動した場合にも原画像とのマッチングで
同一物体と判定することができる。そして、その原画像
とのマッチングでは、移動物体の速度と方向に応じた予
測窓を設けて範囲を限定してマッチングを行なうこと
で、移動物体の誤検知を防止して、移動物体の検知時間
の短縮が可能となる。
【0029】
【実施例】以下、本発明の一実施例について図面を参照
して説明する。まず、具体的な説明を行なう前に本発明
の概要について説明する。
して説明する。まず、具体的な説明を行なう前に本発明
の概要について説明する。
【0030】移動物体の動きを解析するには、ある時刻
t=tiの画像で移動物体を抽出し、それ以降の時刻の
画像で、その移動物体の対応する領域を抽出することで
あると考えられる。すなわち、「追跡」というのは、移
動物体の抽出と対応部分の抽出(以下、追跡処理と呼
ぶ)の2つのステップに分けることができる。ここで、
第1ステップである移動物体の抽出処理は、従来例に述
べた方法で実現できる。第1ステップに、本発明で述べ
る第2のステップの追跡処理を追加することにより、従
来例と比べ、より効果的な画像監視装置を実現すること
ができる。
t=tiの画像で移動物体を抽出し、それ以降の時刻の
画像で、その移動物体の対応する領域を抽出することで
あると考えられる。すなわち、「追跡」というのは、移
動物体の抽出と対応部分の抽出(以下、追跡処理と呼
ぶ)の2つのステップに分けることができる。ここで、
第1ステップである移動物体の抽出処理は、従来例に述
べた方法で実現できる。第1ステップに、本発明で述べ
る第2のステップの追跡処理を追加することにより、従
来例と比べ、より効果的な画像監視装置を実現すること
ができる。
【0031】前述したように、移動物体の追跡を行なう
ためには、異なる時間で取込んだ画像で移動物体の対応
をとる必要がある。この対応をとるために、時刻t=t
iでの移動物体が時刻t=ti+1で移動したと考えられ
る画像内の領域(以下、予測窓と呼ぶ)を設定し、その
予測窓内で時刻t=tiでの移動物体に対応する領域を
抽出すればよい。移動物体の追跡は、主に人間を追跡す
る場合が多く、人は手や足を動かして移動するため、対
応部の抽出時に前フレームの全ての辞書として次フレー
ムの原画像と比較したのでは、手や足など動きのある部
分では一致しない場所がでてくる。
ためには、異なる時間で取込んだ画像で移動物体の対応
をとる必要がある。この対応をとるために、時刻t=t
iでの移動物体が時刻t=ti+1で移動したと考えられ
る画像内の領域(以下、予測窓と呼ぶ)を設定し、その
予測窓内で時刻t=tiでの移動物体に対応する領域を
抽出すればよい。移動物体の追跡は、主に人間を追跡す
る場合が多く、人は手や足を動かして移動するため、対
応部の抽出時に前フレームの全ての辞書として次フレー
ムの原画像と比較したのでは、手や足など動きのある部
分では一致しない場所がでてくる。
【0032】そこで、あらかじめ複数の人物パターンか
ら動きの影響を受けにくいマスクパターンを作成してお
き、それを照合時に用いることで、誤りが起こりにくく
なり、追跡の性能が向上する(本発明の第1,2ポイン
ト)。たとえば、図2(a)に示すように手を下げてい
る人が、図2(b)に示すように手を上げた場合や、足
の開き方が変化したときは、辞書と図2(c)に示すよ
うなマスクパターン31の共通部分で原画と比較照合す
ることで、動きの影響を受けることなく照合を行なうこ
とができる。
ら動きの影響を受けにくいマスクパターンを作成してお
き、それを照合時に用いることで、誤りが起こりにくく
なり、追跡の性能が向上する(本発明の第1,2ポイン
ト)。たとえば、図2(a)に示すように手を下げてい
る人が、図2(b)に示すように手を上げた場合や、足
の開き方が変化したときは、辞書と図2(c)に示すよ
うなマスクパターン31の共通部分で原画と比較照合す
ることで、動きの影響を受けることなく照合を行なうこ
とができる。
【0033】次に、マスクパターンの作成方法について
説明する。第1の方法は、時系列画像から特定の人の人
物の濃淡パターンを抽出し、大きさを補正した上で各点
の分散値を求める。その分散値が所定のしきい値よりも
小さい点の集合は、動きの影響を受けにくい点と考えら
れるから、複数の人物で前記の分散値が所定のしきい値
よりも小さい点を抽出して、その共通部分を選択してマ
スクパターンとすることで、動きの影響を受けにくいマ
スクパターンを作成することができる(本発明の第3の
ポイント)。また、縦歩き、横歩きでは動きの形状が異
なるため、マスクパターンを別にすることで効果的な照
合結果が得られる。
説明する。第1の方法は、時系列画像から特定の人の人
物の濃淡パターンを抽出し、大きさを補正した上で各点
の分散値を求める。その分散値が所定のしきい値よりも
小さい点の集合は、動きの影響を受けにくい点と考えら
れるから、複数の人物で前記の分散値が所定のしきい値
よりも小さい点を抽出して、その共通部分を選択してマ
スクパターンとすることで、動きの影響を受けにくいマ
スクパターンを作成することができる(本発明の第3の
ポイント)。また、縦歩き、横歩きでは動きの形状が異
なるため、マスクパターンを別にすることで効果的な照
合結果が得られる。
【0034】第2の方法は、複数の2値化後の人物パタ
ーンをサイズ補正した上で重ね合わせ、個数分布を作成
する。分布が多い点は、動きの影響を受けにくい点と考
えられるから、個数分布が所定のしきい値よりも大きい
点の集合をマスクパターンとすることで、動きの影響を
受けにくいマスクパターンを作成することができる(本
発明の第4ポイント)。
ーンをサイズ補正した上で重ね合わせ、個数分布を作成
する。分布が多い点は、動きの影響を受けにくい点と考
えられるから、個数分布が所定のしきい値よりも大きい
点の集合をマスクパターンとすることで、動きの影響を
受けにくいマスクパターンを作成することができる(本
発明の第4ポイント)。
【0035】マスクパターンは、照合に用いるか用いな
いかの情報を持つ、あらかじめ定めた矩形サイズのパタ
ーンで、実際の照合時には抽出矩形サイズに応じて拡大
・縮小して用いる。また、メモリに登録時には、照合に
用いる画素の横方向のスターと位置とその長さで登録す
ることで、効率良く照合可能である(本発明の第5ポイ
ント)。
いかの情報を持つ、あらかじめ定めた矩形サイズのパタ
ーンで、実際の照合時には抽出矩形サイズに応じて拡大
・縮小して用いる。また、メモリに登録時には、照合に
用いる画素の横方向のスターと位置とその長さで登録す
ることで、効率良く照合可能である(本発明の第5ポイ
ント)。
【0036】図6に、たとえば、65個の人物辞書から
求めた矩形サイズ「16×37」の個数分布の一例を示
す。図7は、個数が「50」以上の点を選択して作成し
たマスクパターンの一例であり、図8は、図7のマスク
パターンをメモリ上に登録した一例である。
求めた矩形サイズ「16×37」の個数分布の一例を示
す。図7は、個数が「50」以上の点を選択して作成し
たマスクパターンの一例であり、図8は、図7のマスク
パターンをメモリ上に登録した一例である。
【0037】実際には、濃淡パターンの辞書登録時に大
きさを補正したマスクパターンと、原画像の共通部分の
濃淡パターンを辞書として登録しておき、辞書と原画像
との照合時に辞書の濃淡パターンを大きさ補正して原画
像とマッチングする方法と、辞書登録時には差分から得
られた移動領域の濃淡パターン全てを辞書として登録し
ておき、照合時に大きさ補正したマスクパターンと辞書
の濃淡パターンとの共通部分と原画像とを照合する方法
が考えられる。
きさを補正したマスクパターンと、原画像の共通部分の
濃淡パターンを辞書として登録しておき、辞書と原画像
との照合時に辞書の濃淡パターンを大きさ補正して原画
像とマッチングする方法と、辞書登録時には差分から得
られた移動領域の濃淡パターン全てを辞書として登録し
ておき、照合時に大きさ補正したマスクパターンと辞書
の濃淡パターンとの共通部分と原画像とを照合する方法
が考えられる。
【0038】また、カメラの設置場所にもよるが、図9
に示すように、物体がカメラの近くに存在するときと遠
くに存在するときでは、取込み画像内では見かけ上、物
体サイズが変わってしまう。物体の存在する遠近の差に
より、同一画像内で同じ人間が数倍大きく見えることが
ある。このため、同じ人物でも辞書点全てを照合の対象
にすると、カメラの近くにいるほど辞書サイズも予測窓
も大きくなり、照合時間がかなりかかることになる。
に示すように、物体がカメラの近くに存在するときと遠
くに存在するときでは、取込み画像内では見かけ上、物
体サイズが変わってしまう。物体の存在する遠近の差に
より、同一画像内で同じ人間が数倍大きく見えることが
ある。このため、同じ人物でも辞書点全てを照合の対象
にすると、カメラの近くにいるほど辞書サイズも予測窓
も大きくなり、照合時間がかなりかかることになる。
【0039】遠くにいても近くにいても、その人物の濃
淡パターンの特徴を失わなければ、辞書点全てを照合に
用いる必要はないから、あらかじめ定めた辞書サイズに
辞書を縮小するのと同じように、辞書点を間引いて照合
することで、照合の計算時間を短縮することができる
(本発明の第6ポイント)。
淡パターンの特徴を失わなければ、辞書点全てを照合に
用いる必要はないから、あらかじめ定めた辞書サイズに
辞書を縮小するのと同じように、辞書点を間引いて照合
することで、照合の計算時間を短縮することができる
(本発明の第6ポイント)。
【0040】人物の濃淡パターンの特徴を失わないよう
な辞書サイズは、あらかじめ実験的に求めておき、あら
かじめ定めた辞書サイズよりも大きく移動物体が抽出さ
れたときには、辞書点を間引き、あらかじめ定めた辞書
サイズよりも小さく移動物体が抽出されたときには、抽
出された物体サイズで、マスクパターンを用いて濃淡パ
ターンと原画像とを照合することで、時間短縮ができ、
効率よく追跡を行なうことができる。
な辞書サイズは、あらかじめ実験的に求めておき、あら
かじめ定めた辞書サイズよりも大きく移動物体が抽出さ
れたときには、辞書点を間引き、あらかじめ定めた辞書
サイズよりも小さく移動物体が抽出されたときには、抽
出された物体サイズで、マスクパターンを用いて濃淡パ
ターンと原画像とを照合することで、時間短縮ができ、
効率よく追跡を行なうことができる。
【0041】また、図9に示すように、遠近により物体
サイズが異なれば、移動物体の移動速度が同じでも見か
け上、移動物体の移動画素は異なる。予測窓のサイズ
は、移動物体の移動画素に依存し、移動画素は移動物体
の実際の速度がわかれば、カメラの仕様と設置条件から
計算で求められる。しかし、カメラを設置するごとに設
置条件を入力して、人物の移動画素を計算するのでは操
作性が良くないので、人物のY方向のサイズに対応した
速度をパラメータとして持つ移動画素(X方向、Y方
向)のテーブルをあらかじめ作成しておき、移動物体の
初期抽出後に、その移動画素テーブルを引いて移動画素
を求めることで、簡単に予測窓を設定することができる
(本発明の第7ポイント)。
サイズが異なれば、移動物体の移動速度が同じでも見か
け上、移動物体の移動画素は異なる。予測窓のサイズ
は、移動物体の移動画素に依存し、移動画素は移動物体
の実際の速度がわかれば、カメラの仕様と設置条件から
計算で求められる。しかし、カメラを設置するごとに設
置条件を入力して、人物の移動画素を計算するのでは操
作性が良くないので、人物のY方向のサイズに対応した
速度をパラメータとして持つ移動画素(X方向、Y方
向)のテーブルをあらかじめ作成しておき、移動物体の
初期抽出後に、その移動画素テーブルを引いて移動画素
を求めることで、簡単に予測窓を設定することができる
(本発明の第7ポイント)。
【0042】その後、追跡処理中は方向ベクトルに応じ
予測窓を決定するが、方向ベクトルの値が小さいときに
は上述の移動画素テーブルを用いて予測窓を決定する。
図10に人物の速度を80m/minと考えて作成した
Y方向のサイズと移動画素のテーブルを示す。初めて移
動物体を抽出したときには、その移動物体を人間と仮定
して、Y方向のサイズから図10の移動画素テーブルを
引いて移動画素を求める。
予測窓を決定するが、方向ベクトルの値が小さいときに
は上述の移動画素テーブルを用いて予測窓を決定する。
図10に人物の速度を80m/minと考えて作成した
Y方向のサイズと移動画素のテーブルを示す。初めて移
動物体を抽出したときには、その移動物体を人間と仮定
して、Y方向のサイズから図10の移動画素テーブルを
引いて移動画素を求める。
【0043】図11に示すように、たとえば、抽出物体
91のYサイズが60画素で、照合画像の取込み間隔が
0.1secの場合、抽出枠の左右に5画素、上下に1
画素加えた大きさに、多少変動を考えて拡大した大きさ
の予測窓92を設定する。それ以降のフレームでは、動
きの方向と移動画素(移動ベクトル)が求められるた
め、その方向ベクトルを用いてベクトルの方向に大き
く、それ以外の方向には小さく予測窓92を決定すれば
よいが、方向ベクトルが小さい場合は、予測される速度
(通常の歩く速度)に応じた移動画素テーブルから移動
画素を求めて予測窓92を設定して照合し、見つからな
かった場合には、さらに大きく(たとえば、走る速度に
応じた大きさ)予測窓92を再設定して照合すること
で、有効な検索を行なうことができる。
91のYサイズが60画素で、照合画像の取込み間隔が
0.1secの場合、抽出枠の左右に5画素、上下に1
画素加えた大きさに、多少変動を考えて拡大した大きさ
の予測窓92を設定する。それ以降のフレームでは、動
きの方向と移動画素(移動ベクトル)が求められるた
め、その方向ベクトルを用いてベクトルの方向に大き
く、それ以外の方向には小さく予測窓92を決定すれば
よいが、方向ベクトルが小さい場合は、予測される速度
(通常の歩く速度)に応じた移動画素テーブルから移動
画素を求めて予測窓92を設定して照合し、見つからな
かった場合には、さらに大きく(たとえば、走る速度に
応じた大きさ)予測窓92を再設定して照合すること
で、有効な検索を行なうことができる。
【0044】なお、上記Y方向の移動画素は、X方向に
比べると、カメラの高さ、俯角によりかなり変動がある
ため、あらゆる設置条件に対応するためには、移動画素
テーブルを大きめに設定しておく必要がある。
比べると、カメラの高さ、俯角によりかなり変動がある
ため、あらゆる設置条件に対応するためには、移動画素
テーブルを大きめに設定しておく必要がある。
【0045】また、移動物体の追跡時に、濃淡パターン
の辞書は原画像と照合後に随時更新する訳だが、領域内
に複数の移動物体が存在した場合、見かけ上、移動物体
が重なって見える可能性がある。移動物体が重なってい
るときに濃淡パターン辞書を更新してしまうと、裏側の
移動物体の濃淡パターンの辞書に表側の移動物体の濃淡
パターンが混在してしまう。2人がピタリと重なってい
る場合に双方の辞書を更新すると、裏側も表側も同じ濃
淡パターンの辞書になってしまい、その辞書で追跡を行
なうと両方とも同一人物を追跡することになってしま
う。
の辞書は原画像と照合後に随時更新する訳だが、領域内
に複数の移動物体が存在した場合、見かけ上、移動物体
が重なって見える可能性がある。移動物体が重なってい
るときに濃淡パターン辞書を更新してしまうと、裏側の
移動物体の濃淡パターンの辞書に表側の移動物体の濃淡
パターンが混在してしまう。2人がピタリと重なってい
る場合に双方の辞書を更新すると、裏側も表側も同じ濃
淡パターンの辞書になってしまい、その辞書で追跡を行
なうと両方とも同一人物を追跡することになってしま
う。
【0046】移動物体が重なっているかどうかは、差分
画像を用いるなどにより、追跡中の移動物体の位置と大
きさ情報で判定できるから、移動物体が他の移動物体と
重なっていると判定された時には、濃淡パターンの辞書
を更新しないようにするとよい(本発明の第8ポイン
ト)。ここに、移動物体が重なっているか否かの判定
は、たとえば、2つの矩形の対角線上の角が他の矩形内
に含まれるかどうかで判定することができる。
画像を用いるなどにより、追跡中の移動物体の位置と大
きさ情報で判定できるから、移動物体が他の移動物体と
重なっていると判定された時には、濃淡パターンの辞書
を更新しないようにするとよい(本発明の第8ポイン
ト)。ここに、移動物体が重なっているか否かの判定
は、たとえば、2つの矩形の対角線上の角が他の矩形内
に含まれるかどうかで判定することができる。
【0047】また、本発明のように、所定時間間隔で取
込んだ画像から差分を用いて変化領域を抽出することに
より、濃淡パターンの辞書を作成し、所定時間後に原画
像と濃淡パターンの辞書との照合を行なって移動物体を
追跡する場合、変化領域を抽出するための画像の取込み
間隔は、ある程度長い方が抽出の性能はよい。特に、図
12(a)に示すように、縦歩きの場合、取込み間隔が
短いと、差分をとったときに変化領域として人物矩形が
抽出されずに一部分しか抽出されないことがある(図1
2b参照)。
込んだ画像から差分を用いて変化領域を抽出することに
より、濃淡パターンの辞書を作成し、所定時間後に原画
像と濃淡パターンの辞書との照合を行なって移動物体を
追跡する場合、変化領域を抽出するための画像の取込み
間隔は、ある程度長い方が抽出の性能はよい。特に、図
12(a)に示すように、縦歩きの場合、取込み間隔が
短いと、差分をとったときに変化領域として人物矩形が
抽出されずに一部分しか抽出されないことがある(図1
2b参照)。
【0048】一方、原画像と濃淡パターンの辞書との照
合を行うときは、動きや遠近による大きさの差の影響が
少なくなるため、画像の取込み間隔は短い方がよいこと
は明白である。そのため、カメラ1から時間間隔t0で
画像を取込み、変化領域検出のための差分画像の生成に
は(t0×m)時間間隔の取込み画像を用い、原画像と
濃淡パターンの辞書との照合には(t0×k)時間間隔
(m>k≧1)の取込み画像を用いることで、有効な追
跡が実現できる(本発明の第9ポイント)。
合を行うときは、動きや遠近による大きさの差の影響が
少なくなるため、画像の取込み間隔は短い方がよいこと
は明白である。そのため、カメラ1から時間間隔t0で
画像を取込み、変化領域検出のための差分画像の生成に
は(t0×m)時間間隔の取込み画像を用い、原画像と
濃淡パターンの辞書との照合には(t0×k)時間間隔
(m>k≧1)の取込み画像を用いることで、有効な追
跡が実現できる(本発明の第9ポイント)。
【0049】たとえば、図3ないし図5のフローチャー
トに示すように、0.1sec間隔で画像を取込み、変
化領域の抽出には0.5sec間隔の画像を用い、照合
には0.1sec間隔の画像を用いる。
トに示すように、0.1sec間隔で画像を取込み、変
化領域の抽出には0.5sec間隔の画像を用い、照合
には0.1sec間隔の画像を用いる。
【0050】マスクパターンを作成する際、たとえば、
人間を追跡対象とする場合には複数の人間をサンプルと
して手や足などを除いた動きの少ない部分を抽出する。
換言すれば、マスクパターン内の領域では動きの変動が
小さく、マスクパターン以外の領域では動きの変動が大
きいと言え、マスクパターン内外の濃淡情報の変動を調
べることで、その移動物体が人間であるか否かを判定す
ることができる。すなわち、マスクパターンの外部の濃
淡パターンの変化を調べて変化がない、または、小さい
場合は、移動物体が人間でないと判定する(本発明の第
10,11ポイント)。
人間を追跡対象とする場合には複数の人間をサンプルと
して手や足などを除いた動きの少ない部分を抽出する。
換言すれば、マスクパターン内の領域では動きの変動が
小さく、マスクパターン以外の領域では動きの変動が大
きいと言え、マスクパターン内外の濃淡情報の変動を調
べることで、その移動物体が人間であるか否かを判定す
ることができる。すなわち、マスクパターンの外部の濃
淡パターンの変化を調べて変化がない、または、小さい
場合は、移動物体が人間でないと判定する(本発明の第
10,11ポイント)。
【0051】また、マスクパターンの内部の濃淡パター
ンの変化を調べて変化が大きい場合は、移動物体が人間
でないと判定する(本発明の第12ポイント)。たとえ
ば、人の形に似た濃度が等しい1枚の板が移動した場合
には、マスクパターンの外部の濃淡パターンの変動は小
さくなるから、人でないと判定することができる。
ンの変化を調べて変化が大きい場合は、移動物体が人間
でないと判定する(本発明の第12ポイント)。たとえ
ば、人の形に似た濃度が等しい1枚の板が移動した場合
には、マスクパターンの外部の濃淡パターンの変動は小
さくなるから、人でないと判定することができる。
【0052】また、変化領域を抽出時に所定時間間隔で
取込んだ画像の差分を用いるが、特に監視領域が屋外の
場合には、監視領域全域で変化領域を抽出すると、煙や
木々の揺れや天候の変化などの影響で実際の移動物体以
外を移動物体として抽出することがある。検出領域の形
状で人でないと判定できる場合はよいが、人と似た形状
で検出された場合には誤検出となる。
取込んだ画像の差分を用いるが、特に監視領域が屋外の
場合には、監視領域全域で変化領域を抽出すると、煙や
木々の揺れや天候の変化などの影響で実際の移動物体以
外を移動物体として抽出することがある。検出領域の形
状で人でないと判定できる場合はよいが、人と似た形状
で検出された場合には誤検出となる。
【0053】人が出現する領域はおおよそ限定でき、図
11のように取込み画像の外枠の他に建物や物陰などが
想定でき、物陰もなにもない領域に人が突然出現するこ
とは考えられない。そのため、監視領域からあらかじめ
侵入物体の出現予測領域93,94を設定しておき、差
分画像で変化領域を抽出した後、その変化領域と前記出
現予測領域93,94が接していたら、前記変化領域は
侵入物体であると判断して追跡することで、誤検出を防
ぐことができる(本発明の第13ポイント)。勿論、大
きさの判定を付け加えることで、性能はより向上する。
また、変化領域の抽出を出現予測領域の周辺だけで行な
うことで、処理時間が短縮できる。次に、本発明の一実
施例について具体的に説明する。
11のように取込み画像の外枠の他に建物や物陰などが
想定でき、物陰もなにもない領域に人が突然出現するこ
とは考えられない。そのため、監視領域からあらかじめ
侵入物体の出現予測領域93,94を設定しておき、差
分画像で変化領域を抽出した後、その変化領域と前記出
現予測領域93,94が接していたら、前記変化領域は
侵入物体であると判断して追跡することで、誤検出を防
ぐことができる(本発明の第13ポイント)。勿論、大
きさの判定を付け加えることで、性能はより向上する。
また、変化領域の抽出を出現予測領域の周辺だけで行な
うことで、処理時間が短縮できる。次に、本発明の一実
施例について具体的に説明する。
【0054】図1は、本発明を実施する場合の画像監視
装置の構成を示すものである。本発明方法で従来方法と
異なるのは、画像メモリ12に格納されているt=ti
の画像と、それよりも前に取込まれていた画像との画素
間差分演算を行なって差分画像を求め、差分2値化回路
13で変化のあった画素が”1”で表わせる差分2値化
画像に変換し、CPU15で変化領域を求めて移動物体
であると判断した後、その移動物体を濃淡パターンで人
物辞書(記憶手段)16に登録(記憶)しておき、次フ
レーム以降では上記移動物体の移動方向に物体のY方向
のサイズに応じた移動画素テーブル17を参照して予測
窓を設定して、上記移動物体の辞書と予測窓内の原画像
とを、マスクパターンメモリ18にあらかじめ登録され
ている動き情報の影響を受けにくいマスクパターンを用
いてマッチング処理を行ない、その類似度の最も高い領
域に上記移動物体が移動したと判定して、移動物体の追
跡を行なうことである。
装置の構成を示すものである。本発明方法で従来方法と
異なるのは、画像メモリ12に格納されているt=ti
の画像と、それよりも前に取込まれていた画像との画素
間差分演算を行なって差分画像を求め、差分2値化回路
13で変化のあった画素が”1”で表わせる差分2値化
画像に変換し、CPU15で変化領域を求めて移動物体
であると判断した後、その移動物体を濃淡パターンで人
物辞書(記憶手段)16に登録(記憶)しておき、次フ
レーム以降では上記移動物体の移動方向に物体のY方向
のサイズに応じた移動画素テーブル17を参照して予測
窓を設定して、上記移動物体の辞書と予測窓内の原画像
とを、マスクパターンメモリ18にあらかじめ登録され
ている動き情報の影響を受けにくいマスクパターンを用
いてマッチング処理を行ない、その類似度の最も高い領
域に上記移動物体が移動したと判定して、移動物体の追
跡を行なうことである。
【0055】マスクパターンは、前述のように複数の人
物辞書を解析して作成したものをマスクパターンメモリ
18にあらかじめ登録しておく。また、各フレームでの
移動物体の位置および予測窓の大きさなどは、追跡テー
ブル19に格納しておく。単に移動物体の検出だけでな
く、その移動物体の履歴を求めることにより、移動物体
の出現場所や目的地がわかり、また、複数人が交差して
歩いた場合などにも両者を追跡することが可能となる。
物辞書を解析して作成したものをマスクパターンメモリ
18にあらかじめ登録しておく。また、各フレームでの
移動物体の位置および予測窓の大きさなどは、追跡テー
ブル19に格納しておく。単に移動物体の検出だけでな
く、その移動物体の履歴を求めることにより、移動物体
の出現場所や目的地がわかり、また、複数人が交差して
歩いた場合などにも両者を追跡することが可能となる。
【0056】次に、図3ないし図5に示すフローチヤー
トを参照して、移動物体の追跡処理手順について説明す
る。処理は、大別して新物体抽出処理と追跡処理とに分
かれる。まず、おおまかな流れを図3のフローチヤート
によって説明すると、たとえば、0.1secごとに画
像を入力して(S1)、差分2値化回路13で時系列差
分あるいは背景差分方式を用いて差分2値化画像を生成
する(S2)。前フレームで追跡物体があれば(S
3)、濃淡パターンの辞書と原画との照合による移動物
体の追跡処理を行なう(S4)。
トを参照して、移動物体の追跡処理手順について説明す
る。処理は、大別して新物体抽出処理と追跡処理とに分
かれる。まず、おおまかな流れを図3のフローチヤート
によって説明すると、たとえば、0.1secごとに画
像を入力して(S1)、差分2値化回路13で時系列差
分あるいは背景差分方式を用いて差分2値化画像を生成
する(S2)。前フレームで追跡物体があれば(S
3)、濃淡パターンの辞書と原画との照合による移動物
体の追跡処理を行なう(S4)。
【0057】次に、新物体抽出処理を行なうのだが、前
述のように新物体の抽出は取込み間隔がある程度長いほ
うがよいので、この場合は5フレームごとに(0.5s
ec間隔で)新物体の抽出処理を行ない(S5,S
6)、後処理を行ない(S7)、終了する(S8)。な
お、後処理では、追跡失敗の人物が新物体として抽出さ
れた場合、追跡は成功したが別人として判定されていた
場合などを追跡テーブル19に保存されている情報を用
いてチェックし、結果を修正する。ここで、追跡テーブ
ル19の例を図13に示す。
述のように新物体の抽出は取込み間隔がある程度長いほ
うがよいので、この場合は5フレームごとに(0.5s
ec間隔で)新物体の抽出処理を行ない(S5,S
6)、後処理を行ない(S7)、終了する(S8)。な
お、後処理では、追跡失敗の人物が新物体として抽出さ
れた場合、追跡は成功したが別人として判定されていた
場合などを追跡テーブル19に保存されている情報を用
いてチェックし、結果を修正する。ここで、追跡テーブ
ル19の例を図13に示す。
【0058】まず、新物体抽出処理を図4のフローチヤ
ートによって説明する。ステップS2で生成された差分
二値化画像を用いて、X,Y方向への射影あるいは閉領
域の抽出などにより、移動物体を抽出する(S11)。
新しい移動物体があれば(S12)、前述のあらかじめ
監視領域に応じて設定してあるフレームのエッジ、また
は、物陰などの出現予測領域と、その新物体が接してい
るか否かをチェックし(S13)、前述したように抽出
された移動領域の濃淡パターンの人物辞書パターンを生
成して人物辞書16に登録する(S14)。
ートによって説明する。ステップS2で生成された差分
二値化画像を用いて、X,Y方向への射影あるいは閉領
域の抽出などにより、移動物体を抽出する(S11)。
新しい移動物体があれば(S12)、前述のあらかじめ
監視領域に応じて設定してあるフレームのエッジ、また
は、物陰などの出現予測領域と、その新物体が接してい
るか否かをチェックし(S13)、前述したように抽出
された移動領域の濃淡パターンの人物辞書パターンを生
成して人物辞書16に登録する(S14)。
【0059】抽出された移動物体は、出現場所によって
次に移動する方向を予測することが可能であるため、そ
の移動予測方向に照合範囲である予測窓を、前述のよう
に移動画素テーブル17を引いて移動画素を求めること
により設定し、次フレーム以降で追跡を行なうための新
物体抽出フラグ、位置情報とともに追跡テーブル19に
保存しておく(S15)。
次に移動する方向を予測することが可能であるため、そ
の移動予測方向に照合範囲である予測窓を、前述のよう
に移動画素テーブル17を引いて移動画素を求めること
により設定し、次フレーム以降で追跡を行なうための新
物体抽出フラグ、位置情報とともに追跡テーブル19に
保存しておく(S15)。
【0060】移動予測方向は、フレーム内に建物などの
物陰がない場合を考えると、上下左右の4つの(もしく
は右上など2つのエッジにまたがる)フレームエッジか
ら人物の出現が予想されるため、上下左右それぞれに
(0,−1)、(0,1)、(1,0)、(−1,0)
((X,Y):X方向、Y方向)の移動予測方向を設定
しておく(右上の場合は(−1,−1))。
物陰がない場合を考えると、上下左右の4つの(もしく
は右上など2つのエッジにまたがる)フレームエッジか
ら人物の出現が予想されるため、上下左右それぞれに
(0,−1)、(0,1)、(1,0)、(−1,0)
((X,Y):X方向、Y方向)の移動予測方向を設定
しておく(右上の場合は(−1,−1))。
【0061】図14では、移動物体122は、フレーム
121の下部から出現したので、移動予測方向123
(0,1)が与えられ、予測窓124が設定される。予
測窓124の大きさは、前述した通り初期抽出では移動
物体のY方向サイズから移動画素テーブル17を引いて
求める。
121の下部から出現したので、移動予測方向123
(0,1)が与えられ、予測窓124が設定される。予
測窓124の大きさは、前述した通り初期抽出では移動
物体のY方向サイズから移動画素テーブル17を引いて
求める。
【0062】また、次フレームで移動物体が追跡された
場合の移動予測方向は、前フレームの位置から次フレー
ムの位置への方向ベクトルを用いる。たとえば、図14
の移動物体122が次フレームで図15の131の位置
に移動したとすると、移動予測方向は矢印133とな
る。また、前述したように出現可能なエッジは限定でき
るため、フレーム内の全領域で変化領域を求めるのでは
なく、出現可能なエッジの周辺に限定して変化領域の抽
出を行なうことで、処理時間が短縮される。
場合の移動予測方向は、前フレームの位置から次フレー
ムの位置への方向ベクトルを用いる。たとえば、図14
の移動物体122が次フレームで図15の131の位置
に移動したとすると、移動予測方向は矢印133とな
る。また、前述したように出現可能なエッジは限定でき
るため、フレーム内の全領域で変化領域を求めるのでは
なく、出現可能なエッジの周辺に限定して変化領域の抽
出を行なうことで、処理時間が短縮される。
【0063】次に、追跡処理を図5のフローチャートに
よって説明する。前記追跡テーブル19に保存されてい
るフラグ(新物体抽出、または追跡成功)をチェックし
て、追跡物体があった場合(S3)、以下の方法で追跡
処理を行なう。
よって説明する。前記追跡テーブル19に保存されてい
るフラグ(新物体抽出、または追跡成功)をチェックし
て、追跡物体があった場合(S3)、以下の方法で追跡
処理を行なう。
【0064】まず、全フレームで設定した予測窓132
内の濃淡パターンと、人物辞書16に登録されている濃
淡パターン(図14の122の部分)とを、マスクパタ
ーンメモリ18に登録されている動きの影響を受けにく
いマスクパターンを用いて照合範囲を限定して比較する
(S21、第1のマッチング処理)。ここでは、たとえ
ば、テンプレートマッチング法を用いて、予測窓132
内で人物辞書16に登録されている濃淡パターンと最も
類似度の高い領域を抽出する。
内の濃淡パターンと、人物辞書16に登録されている濃
淡パターン(図14の122の部分)とを、マスクパタ
ーンメモリ18に登録されている動きの影響を受けにく
いマスクパターンを用いて照合範囲を限定して比較する
(S21、第1のマッチング処理)。ここでは、たとえ
ば、テンプレートマッチング法を用いて、予測窓132
内で人物辞書16に登録されている濃淡パターンと最も
類似度の高い領域を抽出する。
【0065】しかし、移動物体の移動に伴い形状や濃度
が異なったり、カメラ1からの遠近の差により大きさが
多少変化することが考えられるため、類似度の高い領域
が必ずしも移動物体(人物)とはならない。そのため、
抽出された領域が移動物体であるか否かを判定する方法
として、前述のように差分2値化画像での抽出領域と予
測窓内で原画像を用いて抽出した人物と思われる領域の
位置などを比較することなどにより判定を行なう(S2
2)。
が異なったり、カメラ1からの遠近の差により大きさが
多少変化することが考えられるため、類似度の高い領域
が必ずしも移動物体(人物)とはならない。そのため、
抽出された領域が移動物体であるか否かを判定する方法
として、前述のように差分2値化画像での抽出領域と予
測窓内で原画像を用いて抽出した人物と思われる領域の
位置などを比較することなどにより判定を行なう(S2
2)。
【0066】また、前述の差分2値化画像を用いた判定
の外に、その移動物体のそれまでの移動方向(図14の
123)と、前フレームの位置から現在抽出された位置
への方向ベクトル(図15の133)を比較して判定の
参考にすることも考えられるが、移動物体が必ずしも同
じ方向に同じ速度で移動するとは限らないので、他に候
補があったら同方向を優先する程度の利用法がよい。し
かし、この方向を用いた判定は、同じような人物が反対
方向から移動してきて、交差してすれちがった場合など
に有効である。
の外に、その移動物体のそれまでの移動方向(図14の
123)と、前フレームの位置から現在抽出された位置
への方向ベクトル(図15の133)を比較して判定の
参考にすることも考えられるが、移動物体が必ずしも同
じ方向に同じ速度で移動するとは限らないので、他に候
補があったら同方向を優先する程度の利用法がよい。し
かし、この方向を用いた判定は、同じような人物が反対
方向から移動してきて、交差してすれちがった場合など
に有効である。
【0067】第1のマッチング処理(S21)では、差
分領域のライン抜けと移動領域の割合と方向ベクトルの
違いによって比較結果を判定している。もし、マッチン
グに失敗した場合は、予測窓の大きさを変更する(S2
3)。通常、予測窓は小さいほど照合の計算時間が短縮
されるため、前フレームの方向ベクトルを参考にして、
特に移動方向を重視しているが、さらに、照合範囲を広
げて予測窓を大きく設定し(図15の134)、再度、
差分領域の原画像でマッチング処理を行なう(S24、
第2のマッチング処理)。
分領域のライン抜けと移動領域の割合と方向ベクトルの
違いによって比較結果を判定している。もし、マッチン
グに失敗した場合は、予測窓の大きさを変更する(S2
3)。通常、予測窓は小さいほど照合の計算時間が短縮
されるため、前フレームの方向ベクトルを参考にして、
特に移動方向を重視しているが、さらに、照合範囲を広
げて予測窓を大きく設定し(図15の134)、再度、
差分領域の原画像でマッチング処理を行なう(S24、
第2のマッチング処理)。
【0068】第2のマッチング処理の評価方法も、第1
のマッチング処理と同様であり、第2のマッチング処理
でも失敗した場合は、また別の範囲で検索することも可
能だが、ここでは追跡打切りとする。追跡を失敗した移
動物体は、後に行なう前記新物体抽出処理(S11以
降)で新移動物体として抽出されるはずで、後処理(S
7)で追跡失敗物体と新物体との対応づけを行なうこと
で、追跡を続けることができる。
のマッチング処理と同様であり、第2のマッチング処理
でも失敗した場合は、また別の範囲で検索することも可
能だが、ここでは追跡打切りとする。追跡を失敗した移
動物体は、後に行なう前記新物体抽出処理(S11以
降)で新移動物体として抽出されるはずで、後処理(S
7)で追跡失敗物体と新物体との対応づけを行なうこと
で、追跡を続けることができる。
【0069】以上述べてきたように、マスクパターンを
用いて辞書パターンとのマッチングに成功し、移動物体
の追跡を行なうことができたならば、他の移動物体との
重なりをチェックして(S25)、他の移動物体と重な
っていなければ、辞書パターンを更新して(S26)、
人物辞書16に登録し、次フレームで用いる予測窓およ
び追跡成功フラグを設定して(S27)、追跡テーブル
19に保存する。一方、辞書パターンとのマッチングに
失敗した場合は、追跡失敗フラグを設定して追跡テーブ
ル19に保存する(S28)。
用いて辞書パターンとのマッチングに成功し、移動物体
の追跡を行なうことができたならば、他の移動物体との
重なりをチェックして(S25)、他の移動物体と重な
っていなければ、辞書パターンを更新して(S26)、
人物辞書16に登録し、次フレームで用いる予測窓およ
び追跡成功フラグを設定して(S27)、追跡テーブル
19に保存する。一方、辞書パターンとのマッチングに
失敗した場合は、追跡失敗フラグを設定して追跡テーブ
ル19に保存する(S28)。
【0070】前記追跡処理が終了した後、前記差分2値
化画像から前記追跡処理で抽出した追跡物体を削除した
画像で、さらに新移動物体を抽出する(S6)。図16
(a)にtiフレームの差分2値化画像、図16(b)
に(ti+1)フレームにおける差分二値化画像、およ
び、図16(c)に[(ti+1)フレームの差分2値化
画像−追跡物体]の一例を示す。削除する追跡物体の範
囲は、背景を除く人物形や人物を含む矩形などが考えら
れるが、ここでは人物を含む矩形を用いている。その後
の[(ti+1)フレームの差分2値化画像−追跡物体]
の画像で行なう新物体抽出処理は前述した通りである。
化画像から前記追跡処理で抽出した追跡物体を削除した
画像で、さらに新移動物体を抽出する(S6)。図16
(a)にtiフレームの差分2値化画像、図16(b)
に(ti+1)フレームにおける差分二値化画像、およ
び、図16(c)に[(ti+1)フレームの差分2値化
画像−追跡物体]の一例を示す。削除する追跡物体の範
囲は、背景を除く人物形や人物を含む矩形などが考えら
れるが、ここでは人物を含む矩形を用いている。その後
の[(ti+1)フレームの差分2値化画像−追跡物体]
の画像で行なう新物体抽出処理は前述した通りである。
【0071】以上、追跡処理を説明したが、単に移動物
体であるだけでなく、上記方法で移動物体を追跡するこ
とにより、危険区域や不許可区域に向かっている侵入物
体(侵入者)、あるいは、不審な動きをしている侵入物
体の検出が可能で、上記怪しい侵入物体を検出した場合
に警報を鳴らすことで、有効な監視を行なうことができ
る。また、フレーム内に複数人の侵入者が交差して歩い
て入る場合も、原画像を用いてマッチング処理している
ため追跡可能である。
体であるだけでなく、上記方法で移動物体を追跡するこ
とにより、危険区域や不許可区域に向かっている侵入物
体(侵入者)、あるいは、不審な動きをしている侵入物
体の検出が可能で、上記怪しい侵入物体を検出した場合
に警報を鳴らすことで、有効な監視を行なうことができ
る。また、フレーム内に複数人の侵入者が交差して歩い
て入る場合も、原画像を用いてマッチング処理している
ため追跡可能である。
【0072】以上説明したように、上記実施例によれ
ば、画像監視装置で移動物体を追跡する場合、差分画像
で領域を抽出して、動き情報の影響を受けにくいマスク
パターンを用いて、濃淡パターンの辞書と予測窓内で原
画像とを照合して追跡を行なうことで、移動物体がどこ
に移動したかがわかる。濃淡パターンの辞書を持つこと
で、複数個の移動物体があった場合にも、その対応付け
が可能で、たとえ方向を変えて移動した場合にも、原画
像とのマッチングで同一物体と判定することができる。
その原画像とのマッチングでは、移動物体の速度と方向
に応じた予測窓を設けて範囲を限定してマッチング処理
を行なうことで、検索時間の短縮が可能となる。
ば、画像監視装置で移動物体を追跡する場合、差分画像
で領域を抽出して、動き情報の影響を受けにくいマスク
パターンを用いて、濃淡パターンの辞書と予測窓内で原
画像とを照合して追跡を行なうことで、移動物体がどこ
に移動したかがわかる。濃淡パターンの辞書を持つこと
で、複数個の移動物体があった場合にも、その対応付け
が可能で、たとえ方向を変えて移動した場合にも、原画
像とのマッチングで同一物体と判定することができる。
その原画像とのマッチングでは、移動物体の速度と方向
に応じた予測窓を設けて範囲を限定してマッチング処理
を行なうことで、検索時間の短縮が可能となる。
【0073】マスクパターンは、あらかじめ複数の人物
辞書を分析して時系列で分散の小さい点を選択して生成
したり、個数分布を求めて分布の大きい点を選択して生
成することで、濃淡パターンの辞書と原画像を照合する
ときに、動きの影響を受けにくく、良好な追跡が実現可
能である。また、マスクパターンをあらかじめ定めた矩
形サイズで横方向のスタート位置とスタート位置からの
長さで表現して登録することで、メモリを節約でき、照
合の効率もよくなる。
辞書を分析して時系列で分散の小さい点を選択して生成
したり、個数分布を求めて分布の大きい点を選択して生
成することで、濃淡パターンの辞書と原画像を照合する
ときに、動きの影響を受けにくく、良好な追跡が実現可
能である。また、マスクパターンをあらかじめ定めた矩
形サイズで横方向のスタート位置とスタート位置からの
長さで表現して登録することで、メモリを節約でき、照
合の効率もよくなる。
【0074】また、マスクパターンは追跡対象物の動き
の影響を受けにくい領域を選択して生成するため、濃淡
パターンの辞書と原画像とを照合する際、マスクパター
ンの内外の濃淡情報の変動を調べて、マスクパターンの
外部の濃淡情報の変動が小さい、あるいは、マスクパタ
ーンの内部の濃淡情報の変動が大きい場合は、移動物体
が目的の対象物でないと判定することが可能であり、人
間を対象物体とした場合、木々の揺れや小動物、天候の
変動などで濃淡情報が変動したことによる誤検知を防ぐ
ことができる。
の影響を受けにくい領域を選択して生成するため、濃淡
パターンの辞書と原画像とを照合する際、マスクパター
ンの内外の濃淡情報の変動を調べて、マスクパターンの
外部の濃淡情報の変動が小さい、あるいは、マスクパタ
ーンの内部の濃淡情報の変動が大きい場合は、移動物体
が目的の対象物でないと判定することが可能であり、人
間を対象物体とした場合、木々の揺れや小動物、天候の
変動などで濃淡情報が変動したことによる誤検知を防ぐ
ことができる。
【0075】また、遠近による人物サイズの変化に対応
するために、あらかじめ人物の特徴を落とさないような
照合用の辞書サイズを設定しておき、移動物体が近い位
置に存在して人物サイズが大きい場合には、濃淡パター
ン辞書と原画像とを照合する際に、照合点を間引いて照
合することで照合時間が短縮される。また、移動物体を
初めて検出したときは、その移動物体の速度が分からな
いため、移動物体のY方向サイズと移動画素(X方向、
Y方向)のテーブルをあらかじめ作成しておき、予測窓
を設定するときに、その移動画素テーブルを用いてサイ
ズを決定することで、効果的な予測窓を設定することが
可能である。
するために、あらかじめ人物の特徴を落とさないような
照合用の辞書サイズを設定しておき、移動物体が近い位
置に存在して人物サイズが大きい場合には、濃淡パター
ン辞書と原画像とを照合する際に、照合点を間引いて照
合することで照合時間が短縮される。また、移動物体を
初めて検出したときは、その移動物体の速度が分からな
いため、移動物体のY方向サイズと移動画素(X方向、
Y方向)のテーブルをあらかじめ作成しておき、予測窓
を設定するときに、その移動画素テーブルを用いてサイ
ズを決定することで、効果的な予測窓を設定することが
可能である。
【0076】また、移動物体が複数存在し、その位置と
大きさ情報から移動物体が他の移動物体と重なっている
かどうかチェックし、重なっていると判定されたときに
は、辞書更新を行なわないようにすることで、誤追跡を
防ぐことができる。もし、誤って別人を追跡してしまっ
ても、差分画像とそれまでの追跡情報を保存したテーブ
ル内の方向ベクトルなどを用いて修正することが可能で
ある。
大きさ情報から移動物体が他の移動物体と重なっている
かどうかチェックし、重なっていると判定されたときに
は、辞書更新を行なわないようにすることで、誤追跡を
防ぐことができる。もし、誤って別人を追跡してしまっ
ても、差分画像とそれまでの追跡情報を保存したテーブ
ル内の方向ベクトルなどを用いて修正することが可能で
ある。
【0077】一方、照合時間を考えて実現可能ななるべ
く短い間隔で取込んだ画像を照合に用い、その何枚かお
きの画像を検出に用いることで、検出と照合のための有
効な画像が得られる。さらに、移動物体の検出時に、あ
らかじめ設定した出現予測領域を参照して移動物体の検
出を行なうことで、誤検知を防止でき、移動物体の検知
時間も短縮可能となる。
く短い間隔で取込んだ画像を照合に用い、その何枚かお
きの画像を検出に用いることで、検出と照合のための有
効な画像が得られる。さらに、移動物体の検出時に、あ
らかじめ設定した出現予測領域を参照して移動物体の検
出を行なうことで、誤検知を防止でき、移動物体の検知
時間も短縮可能となる。
【0078】以上のことから、従来のように移動物体を
検知することを目的とする装置に比べ、本発明のように
移動物体を追跡することで、効率の良い画像監視装置を
実現することができる。
検知することを目的とする装置に比べ、本発明のように
移動物体を追跡することで、効率の良い画像監視装置を
実現することができる。
【0079】
【発明の効果】以上詳述したように本発明によれば、監
視画像内の移動物体を精度よく追跡でき、移動物体か否
かの判定性能の向上が図れ、しかも、移動物体の誤検知
を防止して、移動物体の検知時間も短縮可能となり、効
率のよい画像監視が可能となる監視画像の移動物体追跡
方法を提供できる。
視画像内の移動物体を精度よく追跡でき、移動物体か否
かの判定性能の向上が図れ、しかも、移動物体の誤検知
を防止して、移動物体の検知時間も短縮可能となり、効
率のよい画像監視が可能となる監視画像の移動物体追跡
方法を提供できる。
【図1】本発明の一実施例が適用される画像監視装置の
構成を示すブロック図。
構成を示すブロック図。
【図2】人の動きを説明する図。
【図3】全体的な処理を概略的に説明するフローチャー
ト。
ト。
【図4】新物体抽出処理を説明するフローチャート。
【図5】追跡処理を説明するフローチャート。
【図6】マスクパターン作成時の人物辞書の個数分布の
一例を示す図。
一例を示す図。
【図7】マスクパターンの一例を示す図。
【図8】マスクパターンを登録した一例を示す図。
【図9】遠近による物体サイズの違いを示す図。
【図10】物体サイズと移動画素の一例を示す図。
【図11】予測窓の設定方法の一例を示す図。
【図12】差分画像で一部分しか抽出されない例を説明
する図。
する図。
【図13】追跡処理における追跡テーブルの一例を示す
図。
図。
【図14】追跡処理におけるtiフレームの画像の一例
を示す図。
を示す図。
【図15】追跡処理における(ti+1)フレームの画像
の一例を示す図。
の一例を示す図。
【図16】追跡処理における新物体の抽出処理を説明す
る図。
る図。
【図17】画像監視装置の一例を示す構成図。
【図18】従来の画像監視装置の構成を示すブロック
図。
図。
【図19】射影を用いた領域抽出方法を説明する図。
【符号の説明】 1……ITVカメラ、2……監視領域、3……伝送路、
4……処理装置、5……VTR、6……警報装置、7…
…表示装置、10……サンプリングパルス生成回路、1
1……A/D変換器、12……画像メモリ、13……差
分2値化回路、14……差分2値化画像メモリ、15…
…CPU、16……人物辞書、17……移動画素テーブ
ル、18……マスクパターンメモリ、19……追跡テー
ブル。
4……処理装置、5……VTR、6……警報装置、7…
…表示装置、10……サンプリングパルス生成回路、1
1……A/D変換器、12……画像メモリ、13……差
分2値化回路、14……差分2値化画像メモリ、15…
…CPU、16……人物辞書、17……移動画素テーブ
ル、18……マスクパターンメモリ、19……追跡テー
ブル。
Claims (4)
- 【請求項1】 監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、 デジタル化された画像の差分画像を算出し、この算出し
た差分画像を2値化して差分2値化画像を生成し、この
生成した差分2値化画像から変化領域を抽出し、この抽
出した変化領域が、あらかじめ設定される移動物体の出
現する可能性のある出現予測領域と接していたとき、該
移動物体が目的とする対象物であると判定して追跡する
ことを特徴とする監視画像の移動物体追跡方法。 - 【請求項2】 監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、 デジタル化された画像の差分画像を算出し、この算出し
た差分画像を2値化して差分2値化画像を生成し、この
生成した差分2値化画像から変化領域を抽出する変化領
域抽出手段と、 この変化領域抽出手段で抽出された変化領域と前記撮像
手段から入力してデジタル化された原画像から変化領域
部分の濃淡パターンを抽出する濃淡パターン抽出手段
と、 この濃淡パターン抽出手段で抽出された濃淡パターンの
うちあらかじめ決められた範囲をマスクするためのパタ
ーンを発生するマスクパターン発生手段と、 このマスクパターン発生手段の出力と前記濃淡パターン
抽出手段の出力とから基準となる濃淡パターンを求める
基準パターン発生手段と、 この基準パターン発生手段から得られる基準パターンと
前記デジタル化された原画像とを比較することにより、
その原画像内で基準パターンと類似度の高い領域を求め
る類似度計算手段とを具備し、 所定時間ごとに監視領域内の画像を取込み、前記変化領
域抽出手段によって変化領域を抽出した際、前記基準パ
ターン発生手段によって変化領域に対応する基準パター
ンを求め、以後、画像を取込むごとに前記類似度計算手
段で前記基準パターンを用いて取込み画像内で類似度の
高い領域を求めて所定時間経過後の移動物体の位置を判
定し、さらに前記類似度の高い領域と前記マスクパター
ンを用いて前記基準パターン発生手段で前記基準パター
ンを更新することにより、監視画像内で移動物体を追跡
することを特徴とする監視画像の移動物体追跡方法。 - 【請求項3】 監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、 所定の時間間隔t1 で取込んだデジタル化された画像の
差分画像を算出し、この算出した差分画像を2値化して
差分2値化画像を生成し、この生成した差分2値化画像
から変化領域を抽出する変化領域抽出手段と、 この変化領域抽出手段で抽出された変化領域と前記撮像
手段から入力してデジタル化された原画像から変化領域
部分の濃淡パターンを抽出する濃淡パターン抽出手段
と、 この濃淡パターン抽出手段で抽出された濃淡パターンの
うちあらかじめ決められた範囲をマスクするためのパタ
ーンを発生するマスクパターン発生手段と、 このマスクパターン発生手段の出力と前記濃淡パターン
抽出手段の出力とから基準となる濃淡パターンを求める
基準パターン発生手段と、 この基準パターン発生手段から得られる基準パターンと
前記時間間隔t1 よりも短い所定の時間間隔t2 で取込
んだデジタル化された原画像とを比較することにより、
その原画像内で基準パターンと類似度の高い領域を求め
る類似度計算手段とを具備し、 所定時間ごとに監視領域内の画像を取込み、前記変化領
域抽出手段によって変化領域を抽出した際、前記基準パ
ターン発生手段によって変化領域に対応する基準パター
ンを求め、以後、画像を取込むごとに前記類似度計算手
段で前記基準パターンを用いて取込み画像内で類似度の
高い領域を求めて所定時間経過後の移動物体の位置を判
定し、さらに前記類似度の高い領域と前記マスクパター
ンを用いて前記基準パターン発生手段で前記基準パター
ンを更新することにより、監視画像内で移動物体を追跡
することを特徴とする監視画像の移動物体追跡方法。 - 【請求項4】 監視領域内の画像を撮像手段で撮像して
入力し、この入力された監視領域内の画像を所定の時間
間隔で連続的に取込んでデジタル化し、このデジタル化
された複数の画像を演算することによって、前記監視領
域内での移動物体の監視を行なう画像監視装置におい
て、 デジタル化された画像の差分画像を算出し、この算出し
た差分画像を2値化して差分2値化画像を生成し、この
生成した差分2値化画像から変化領域を抽出する変化領
域抽出手段と、 この変化領域抽出手段で抽出された変化領域と前記撮像
手段から入力してデジタル化された原画像から変化領域
部分の濃淡パターンを抽出する濃淡パターン抽出手段
と、 この濃淡パターン抽出手段で抽出された濃淡パターンの
うちあらかじめ決められた範囲をマスクするためのパタ
ーンを発生するマスクパターン発生手段と、 このマスクパターン発生手段の出力と前記濃淡パターン
抽出手段の出力とから基準となる濃淡パターンを求める
基準パターン発生手段と、 この基準パターン発生手段から得られる基準パターンと
前記デジタル化された原画像とを比較することにより、
その原画像内で基準パターンと類似度の高い領域を求め
る類似度計算手段と、 この類似度計算手段で類似度の高い領域を求めた後、前
記マスクパターンの内部または外部の濃淡パターンの変
化を調べ、その変化の大小により移動物体が目的とする
対象物体であるか否かを判定する判定手段とを具備し、 所定時間ごとに監視領域内の画像を取込み、前記変化領
域抽出手段によって変化領域を抽出した際、前記基準パ
ターン発生手段によって変化領域に対応する基準パター
ンを求め、以後、画像を取込むごとに前記類似度計算手
段で前記基準パターンを用いて取込み画像内で類似度の
高い領域を求めて所定時間経過後の移動物体の位置を判
定し、さらに前記類似度の高い領域と前記マスクパター
ンを用いて前記基準パターン発生手段で前記基準パター
ンを更新することにより監視画像内で移動物体を追跡
し、この追跡された移動物体の濃淡パターンの変化によ
り目的とする対象物体であるか否かを判定することを特
徴とする監視画像の移動物体追跡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5058775A JPH06274625A (ja) | 1993-03-18 | 1993-03-18 | 監視画像の移動物体追跡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5058775A JPH06274625A (ja) | 1993-03-18 | 1993-03-18 | 監視画像の移動物体追跡方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06274625A true JPH06274625A (ja) | 1994-09-30 |
Family
ID=13093932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5058775A Pending JPH06274625A (ja) | 1993-03-18 | 1993-03-18 | 監視画像の移動物体追跡方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06274625A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082145A (ja) * | 1998-01-07 | 2000-03-21 | Toshiba Corp | 物体抽出装置 |
| JP2001325672A (ja) * | 2000-05-16 | 2001-11-22 | Mega Chips Corp | 侵入者監視システム |
| JP2004355665A (ja) * | 1998-01-07 | 2004-12-16 | Toshiba Corp | 物体抽出装置 |
| JP2008104705A (ja) * | 2006-10-26 | 2008-05-08 | Aloka Co Ltd | 超音波診断装置 |
| WO2010018669A1 (ja) * | 2008-08-11 | 2010-02-18 | オムロン株式会社 | 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム |
| JP2013535047A (ja) * | 2010-05-28 | 2013-09-09 | クゥアルコム・インコーポレイテッド | 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成 |
| WO2014157058A1 (ja) * | 2013-03-28 | 2014-10-02 | 日本電気株式会社 | 鳥検知装置、鳥検知システム、鳥検知方法およびプログラム |
| JP2015179438A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、移動速度判定方法、および移動速度判定プログラム |
| CN111462174A (zh) * | 2020-03-06 | 2020-07-28 | 北京百度网讯科技有限公司 | 多目标跟踪方法、装置以及电子设备 |
| CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
-
1993
- 1993-03-18 JP JP5058775A patent/JPH06274625A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082145A (ja) * | 1998-01-07 | 2000-03-21 | Toshiba Corp | 物体抽出装置 |
| JP2004355665A (ja) * | 1998-01-07 | 2004-12-16 | Toshiba Corp | 物体抽出装置 |
| JP2001325672A (ja) * | 2000-05-16 | 2001-11-22 | Mega Chips Corp | 侵入者監視システム |
| JP2008104705A (ja) * | 2006-10-26 | 2008-05-08 | Aloka Co Ltd | 超音波診断装置 |
| US8774456B2 (en) | 2008-08-11 | 2014-07-08 | Omron Corporation | Detective information registration device and target object detection device for detecting an object in an image |
| WO2010018669A1 (ja) * | 2008-08-11 | 2010-02-18 | オムロン株式会社 | 検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラム |
| CN102105904A (zh) * | 2008-08-11 | 2011-06-22 | 欧姆龙株式会社 | 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序 |
| JP2010044516A (ja) * | 2008-08-11 | 2010-02-25 | Omron Corp | 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム |
| US9256956B2 (en) | 2010-05-28 | 2016-02-09 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
| JP2013535047A (ja) * | 2010-05-28 | 2013-09-09 | クゥアルコム・インコーポレイテッド | 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成 |
| US9785836B2 (en) | 2010-05-28 | 2017-10-10 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
| WO2014157058A1 (ja) * | 2013-03-28 | 2014-10-02 | 日本電気株式会社 | 鳥検知装置、鳥検知システム、鳥検知方法およびプログラム |
| JPWO2014157058A1 (ja) * | 2013-03-28 | 2017-02-16 | 日本電気株式会社 | 鳥検知装置、鳥検知システム、鳥検知方法およびプログラム |
| US10007836B2 (en) | 2013-03-28 | 2018-06-26 | Nec Corporation | Bird detection device, bird detection system, bird detection method, and program extracting a difference between the corrected images |
| JP2015179438A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、移動速度判定方法、および移動速度判定プログラム |
| CN111462174A (zh) * | 2020-03-06 | 2020-07-28 | 北京百度网讯科技有限公司 | 多目标跟踪方法、装置以及电子设备 |
| CN111462174B (zh) * | 2020-03-06 | 2023-10-31 | 北京百度网讯科技有限公司 | 多目标跟踪方法、装置以及电子设备 |
| CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
| CN111931654B (zh) * | 2020-08-11 | 2024-11-22 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8238607B2 (en) | System and method for detecting, tracking and counting human objects of interest | |
| US5554983A (en) | Object recognition system and abnormality detection system using image processing | |
| US7916944B2 (en) | System and method for feature level foreground segmentation | |
| CN1223971C (zh) | 用于自动监控进出试衣间人员的装置和方法 | |
| US6542621B1 (en) | Method of dealing with occlusion when tracking multiple objects and people in video sequences | |
| US7995843B2 (en) | Monitoring device which monitors moving objects | |
| US20050168574A1 (en) | Video-based passback event detection | |
| JPH06231252A (ja) | 監視画像の移動物体追跡方法 | |
| JPH09330415A (ja) | 画像監視方法および画像監視システム | |
| JP2007334623A (ja) | 顔認証装置、顔認証方法、および入退場管理装置 | |
| KR20210096754A (ko) | 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템 | |
| JP3721071B2 (ja) | 侵入者検知システム | |
| CN119205839A (zh) | 一种基于大数据的监控图像处理系统及方法 | |
| JP3025133B2 (ja) | 人物認識装置 | |
| JP2006236260A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
| JP3910626B2 (ja) | 監視装置 | |
| KR20030018487A (ko) | 영상을 이용한 출입 이동 물체 계수 방법 및 장치 | |
| JPH0514891A (ja) | 画像監視装置 | |
| US20050128298A1 (en) | Method for following at least one object in a scene | |
| JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
| JP4728795B2 (ja) | 人物オブジェクト判定装置及び人物オブジェクト判定プログラム | |
| JPH08167022A (ja) | 画像監視装置 | |
| JP4740755B2 (ja) | 画像を用いた監視装置 | |
| JP2865442B2 (ja) | 監視画像の変化領域抽出方法 | |
| JP3078203B2 (ja) | 侵入物体認識装置 |