JPH03280688A - 画像監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の構成コ （産業上の利用分野） 本発明は不審人物検知等に用いられる画像監視装置に関
する。

（従来の技術） 情報化社会の発展に伴い、各種のセキュリティの重要性
が高まっている。このようなセキュリティのの問題に対
処するべく、不審人物検知等に用いられる画像監視シス
テムが種々開発されている。この画像監視システムは、
従来一般的には、ＴＶカメラを用いて撮像入力される所
定の監視区域の画像（時系列画像）をモニタ出力し、こ
れを監視員が常時モニタリングするように構成されてい
る。またその監視対象区域が益々増加する傾向にある。

しかしこのようなシステムでは、画像監視員に加わる作
業負担が非常に多大であり、監□視員の疲れによるモニ
タ画像上での変化の見過ごしに起因する信頼性の低下が
問題となっている。

このような不具合を解消するべく、例えばＴＶカメラを
介して求められる入力画像を画像処理（て自動監視を行
うようにしたシステムが幾つか射唱されている。この種
のシステムは、例えば時り的経過に伴って監視対象が移
動した場合、それ１：応じて監視領域を自動的に変更設
定したり、成しは標準状態の画像と監視状態の画像とを
比較しズ異常検出するように構成される。

このようなシステムにおける画像処理は、基Ａ的には時
系列に得られる入力画像（シーン）間、またはその背景
画像との差分を求め、この差分Ｃ情報から変化の検出と
その判定を行うことにより実現される。然し乍ら、この
ような判定結果だ１プでは変化の有無しか検知すること
ができない。この為、例えば銀行や百貨店等のように人
間が絶えず出入りしているような監視領域では変化部分
力・多数発生するので、特定人物（不審者）の動きを追
跡する等のような監視を行うことはできない。

一方、時系列に入力される画像中から検出対象を特定し
得る特徴を抽出し、その検出された特徴を対応付けて行
くことにより運動パラメータを抽出して、例えば人物の
動きを追跡する等の処理を行う動画像認識の手法かある
。しかし人間が遠方から近付いて来るような状況を想定
した場合、最初の時点ではその特徴を抽出することが非
常に困難である。従って最初の時点では時系列な画像間
の変化しか検出することができず、成る程度検出対象が
近付き、その特徴を検出し得るようにならなければ上述
した特徴抽出による検出対象の追跡を行うことができな
いと云う不具合がある。

（発明が解決しようとする課題） このように従来の画像監視の手法にあっては、時系列に
入力される画像に対して−様な処理を行っているだけな
ので、例えば人間が遠方から近付いてくるような場合等
、長時間に亘って画像を監視しながら不審者判定を行う
ような状況下では有効に機能させることができないと云
う問題があった。

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、時系列に入力される画像に対し
て−様な処理を施すことに起因する検出性能の低下を軽
減し、実環境下において安定に移動物体を検出し、これ
を監視することのできる実用性の高い画像監視装置を提
供することにある。

［発明の構成コ （課題を解決するための手段） 本発明に係る画像監視装置は、時系列に入力された時系
列画像の各シーン間の変化領域を抽出する手段と、変化
領域が検出された際に前記時系列画像における特徴を抽
出する手段と、この特徴を用いて前記時系列画像中にお
いて移動する追跡対象の移動状況を観測する手段とを具
備したもので、 特に前記追跡対象の移動状況の観測を、移動する追跡対
象の特徴が識別できると判定された時点から前記特徴を
用いた追跡を開始、または有効化することを特徴とする
ものである。

つまり時系列画像間の変化領域の検出を行って移動物体
の監視を行うと共に、その移動物体がその特徴を抽出し
得る程度に近付いた時点から前記移動物体に関する特徴
抽出を行い、その抽出された特徴を用いて移動物体の追
跡を行うようにしたことを特徴とするものである。

（作　用） このように構成された本発明によれば、移動物体が遠方
に位置する状態では時系列画像からの変化領域検出によ
るマクロ的な移動物体追跡を行う二たで、特徴を用いた
移動物体の追跡に比較して簡易に且つ安定な画像監視が
実現される。そして前記移動物体が十分に接近した状態
では、その移動物体を特定し得る特徴を抽出しながら追
跡処理を行うので、特徴点の対応付は誤り等に起因する
監視性能の低下を招来することなく、高精度に信頼性良
く移動物体を監視することが可能となる。

（実施例） 以下、図面を参照して本発明に係る画像監視装置の実施
例について説明する。

第１図は実施例装置の全体構成を示す概略ブロック図で
あり、１は監視用ＴＶカメラで撮影入力される時系列画
像を順次画像メモリに格納して画像処理に供する画像入
力部である。変化検出部２は上記画像入力部１にて求め
られた時系列画像間（画像シーン間）の差分を求め、例
えば明度変化の大きい領域を変化領域として検出するも
のである。また特徴抽出部３は前記画像入力部１にて撮
影に入力された時系列画像を、例えば空間微分・２値化
処理等を施してその特徴点を抽出するものである。

上記変化検出部２で求められた変化点の情報、および特
徴抽出部３で求められた特徴点の情報を入力する予測追
跡部４は、例えば前記明度変化の大きい領域がない場合
、また明度変化の大きい領域の面積が小さい場合には、
前記特徴抽出部３で求められた特徴点の情報を無視する
。そしてその変化領域が移動物体に関するものであるか
否かの判定だけを実行する。しかして予測追跡部４は、
前記変化領域の面積が成る大きさを越えたとき、つまり
変化領域の面積がその特徴を抽出し、識別可能な大きさ
になった時点で前記特徴抽出部３で求められる特徴点の
情報を取り込む。そしてその特徴抽出結果を用いて移動
物体の移動方向を計算することで移動物体を追跡する。

このようにして予測追跡部４にて求められる移動物体に
関する移動方向の情報に従い、カメラ姿勢制御部５は前
記画像入力部１にて撮像入力される画像の視野方向を制
御する。例えば追跡対象とする移動物体が撮像入力され
る画像の中央部に位置するように前記監視用ＴＶカメラ
の姿勢を制御する。

概略的には上述した妬く構成される本装置の各部につい
て、以下に説明する。

第２図は画像入力部１の構成例を示す図である。

監視環境に設けられたＴＶ左カメラ１は、その監視領域
の像を撮像入力するもので、その入力画像信号はＮＴＳ
Ｃデコーダ１２を介して所定のＴＶ信号処理が施された
後、Ａ／Ｄ変換変換器−３ディジタル信号変換される。

このディジタル信号変換された入力画像（所定周期のシ
ーンからなる時系列な画像）は、ＩＴＶインターフェー
ス１４から画像バス１５を介して複数の画像メモリから
なる画像メモリ群１６に順次格納される。つまり時系列
に入力される監視環境の画像は、そのシーン毎に個々の
画像メモリに順次記憶される。

尚、この画像メモリ群１６に対する画像の書き込みとそ
の読出しは、個々の画像メモリ毎に制御バス１７を介し
て制御される。

このようにして画像メモリ群１６に格納された時系列な
画像から、その画像間の変化を検出する変化検出部２は
、例えば第３図に示すように前記画像バス１５と制御バ
ス１７とにそれぞれ接続された差分回路２１．符号識別
回路２２．および小領域除去回路２３により構成される
。差分回路２１は、前記画像メモリ群Ｉ６に記憶された
連続する画像をそれぞれ読出し、これらの画像間の明度
の差を求めるものである。この明度の差を前記符号識別
回路２２はその符号が正の部分と負の部分とに別けてそ
れぞれ抽出する。小領域除去回路２３は上述した如く抽
出された差分領域の中の、その面積の小さい領域をノイ
ズ領域として除去し、残された差分領域だけを画像間の
変化領域として検出している。

一方、特徴抽出部３は、例えば第４図に示すように構成
される。この特徴抽出部３は前記変化検出部２と並列的
に前記画像メモリ群１Ｂに格納された時系列な画像を読
出し、その画像信号に対して空間フィルタ回路２４にて
微分型ディジタルフィルタリング処理を施し、これを２
値化回路２５を介して２値化処理する。この処理にて画
像中の、例えば明度変化の大きい部分が検出される。小
領域除去回路２６は、前述した変化検出部２における小
領域除去回路２３と同様にして上記フィルタリング処理
と２値化処理か施された画像成分（明度変化の大きい成
分）の中の面積の小さい領域をノイズ成分として除去す
るものである。向、この小領域除去回路２６は、変化検
出部２における小領域除去回路２３と兼用されるもので
あっても良い。

しかして細線化回路は２７は、上述した処理が施された
画像信号を、例えば線幅１に細線化するもので、この細
線化画像を論理フィルタ回路２８を通すことにより、例
えば第５図（ａ）　（ｂ）〜（ｄ）にそれぞれ示すよう
な上端点、下端点、折点１分岐点等の特徴点の前記画像
における位置が検出される。

このようにして検出される画像上の特徴点の情報は、前
記制御バス１７を介して特徴点メモリ２９に順次格納さ
れる。

さて予測追跡部４は、例えば第６図に示すように変化領
域判別回路３１．移動物体判定回路３２．対応点探索回
路３３．運動パラメータ計算回路３４．および予測知識
ファイル３５を備えて構成される。変化領域判別回路３
１は、前記変化検出部２で求められた画像間の変化領域
の情報を入力し、変化領域毎にその面積を所定の閾値と
比較してその変化領域についての特徴を識別可能な程度
に大きさを有するか否かを判別する。この際、上記閾値
より小さい面積の変化領域については移動物体判定回路
３２にて、その変化が移動物体の存在によって生じたも
のであるか、或いは照明の変動等の外乱に起因するもの
であるかを判定する。この移動物体判定回路３２による
判定処理には、前記予測知識ファイル３５に予め格納さ
れている知識（法則）が用いられる。

この予測知識は、例えばカメラの視野方向に垂直な移動
は、短時間の範囲では平行移動で近似し得る等と云う知
識からなる。即ち、第７図（ａ）に例示するように−様
な背景下で物体Ａが水平方向に移動した場合、その移動
した物体Ｂとの差分は、第７図（ｂ）に示すようにその
物体の両側に符号を相互に異にする領域として検出され
る。このような差分領域の正負の符号は、前述した符号
識別回路２２の識別結果として求められる。

また短時間においては、物体の大きさ・移動方向は大き
く変化することがないと云う仮定から、前述した如く連
続する画像間でその差分画像の近接する領域に符号を異
にする正負の異なる領域が検出された場合、そこに移動
物体が存在する可能性が非常に高いと云うことも予測知
識として与えられる。このようにして判定される移動物
体は、カメラの視野方向に対して垂直に移動する物体で
あると看做すことができる。尚、この例では、移動物体
の判定と同時に、領域単位での移動物体の追跡も行われ
ることになる。

しかして上述した各部分領域の面積に対する所定の閾値
に基づく判定により、その部分領域の面積が所定の閾値
よりも大きいと判定されると、その状態は移動物体がカ
メラに十分近接していると判断される。このような判断
結果に従って対応点探索部３３が起動される。

対応点探索部３３は前述した如く検出された部分領域に
含まれる特徴点を前記特徴点メモリ２９から読出し、そ
の特徴点の周囲の濃度相関等の類似指標を用い、連続す
る画像管での特徴点を相互に対応付けるものである。運
動パラメータ計算回路３４はこの°ようにして対応付け
られた同一領域に特徴点の対から、連立方程式を解くこ
とにより移動物体に対する運動パラメータを算出する。

この運動パラメータの算出は、３次元空間上の座標（ｘ
、ｙ＋　　ｚ）に存在する点は、入力画像中のＰ　（ｘ
　／　ｚ　、　　ｙ　／　ｚ　）の位置に中心投影され
ると云う理論に従って実行される。しかして（Ｘ。

ｙ、ｚ）に存在する移動物体の移動速度を（ｕ。

ｖ、ｗ）としたとき、上記移動物体はｔ時間後にはＱ　
（ｘ＋ｕ　ｔ、ｙ＋ｖ　ｔ、ｚ＋ｗｔ）に移動する。従
って上記移動物体の入力画像に投影される画像中の位置
は、 となる。しかしてこれらの対応する２点は、消失点（ｕ
／ｗ、ｖ／ｗ）を通る直線となる。従って同一物体に属
する２組以上の特徴点の対を用いて連立方程式を解析す
れば上述した消失点（ｕ／ｗ。

ｖ　／　ｗ　）が求まり、この消失点から移動物体の移
動方向が求まることになる。

このようにして求められる移動物体の移動方向の情報を
用いて動作するカメラ姿勢制御部５は、例えば第８図に
示すように構成される。即ち、このカメラ姿勢制御部５
は、移動物体位置予測回路３６、視野判定回路３７．カ
メラコントローラ３８．および警報回路３９を具備して
構成される。移動物体位置予測回路３６は、短時間の間
に移動状態が大幅に変化することがないと云う仮定に立
脚し、前記運動パラメータ計算回路３４で求められた物
体の移動方向の情報、および前記変化検出部２で求めら
れた変化領域の時間的な変化から推定される上記移動物
体の速度とを用い、次の時点で上記物体が存在すると予
想される位置を予測するものである。

視野判定回路３７は、このようにして予測された位置に
前述したＴＶカメラ１１の視野を向けられるか否かを判
定し、その判定結果に従ってカメラコントローラ３８を
起動する。この結果、カメラコントローラ３８は、移動
物体が画像中心に位置するようにカメラの姿勢を制御す
る。

尚、移動物体の移動に比較してカメラの姿勢制御が不可
能であると判定された場合には、警報回路３９が起動さ
れて適宜その旨がオペレータに通知され、監視員による
直接監視が促される。

かくしてこのように構成された本装置によれば、移動物
体が遠方に位置する場合には変化点の情報だけに従って
その移動状況がマクロ的に監視され、上記移動物体が十
分に近付き、その特徴点が検出可能な状態になると画像
からの特徴点抽出による移動物体の追跡処理が行われる
ことになる。

この結果、入力画像から求められる情報内容に応じてそ
の監視形態を切り替え、移動物体（不審者）を効果的に
自動監視することが可能となる。

尚、上述した実施例では変化領域の面積から、入力画像
中における特徴点が識別可能となる位置まで移動物体が
近接したか否かを判定したが、超音波等の距離センサを
用いて直接的に移動物体までの距離を計測し、その計測
結果に従って特徴点情報を用いた移動物体の追跡処理を
開始するか否かを切り替え制御するようにしても良い。

ところで上述した装置を、成る観測点を通過する車両や
人間の数を計測するシステムに応用することができる。

第９図はこのような応用システムの概略構成を示すブロ
ック図であり、先に示した実施例装置と同一部分には同
一符号を付して示しである。

このシステムが前述した実施例装置と異にするところは
、予測追跡部４に代えて、例えば第１０図に示すように
構成される計測部６を組み込んだ点にある。即ち、この
システムでは、前述した画像入力部１や変化検出部２．
および特徴抽出部３がそのまま、つまり同一構成のまま
用いられる。

尚、監視用カメラ１１は、その視野を観測地点に向けて
設置されることは云うまでもない。

しかしてこの計測部６では、変化領域判定回路３１にて
前述した予測追跡部４で説明した場合と同様にして前記
予測知識ファイル３５に格納された知識法則を適用する
ことにより移動物体の移動に起因する変化領域を識別検
出する。その後、移動物体判定回路３２において変化領
域の大きさと特徴識別可能な所定の閾値とを比較し、閾
値を越える変化領域を検出する。このようにして検出さ
れた変化領域について、計測対象判定回路４１にてその
移動物体が計測対象とするものであるか否かを判定する
。この計測対象とする移動物体については、計測対象モ
デルファイル４２に予め登録されている。

この計測対象モデルファイル４２に格納されている情報
と、前述した特徴点メモリ２９に格納されている特徴点
の情報とを照合することにより、その移動物体が計測対
象であるか否かが判定されることになる。しかして移動
物体が計測対象であると判定された場合には、その判定
結果を計数回路４３に与え、これを順次計数することに
より観測点を通過する車両や人間の数が計測されること
になる。

このような計測に用いる特徴としては、移動物体の大き
さ等を採用することも勿論可能である。

尚、本発明は上述した実施例に限定されるものではない
。例えば不審人物検知に適用する場合には、例えば上述
した計測対象モデルファイル４２に犯罪歴のある人物の
顔画像を格納しておき、移動物体判定回路３２において
移動物体（人物）がカメラに接近していると判定された
時点でその入力画像から頭部分を抽出し、上記計測対象
モデルファイル４２に格納されている顔画像と順次照合
するように構成すれば良い。この際、顔画像に該当する
移動物体が検出された時点でオペレータに警報を発する
ようにすることも好ましい。

また魚群の回遊状態を調査するような場合、水中または
水上にカメラを設置しておき、個々の魚の移動方向を平
均化することにより魚群全体の回遊状態を検知するよう
にシステムを構成することも可能である。その他、本発
明はその要旨を逸脱しない範囲で種々変形して実施する
ことができる。

［発明の効果］ 以上説明したように本発明によれば、入力画像中での変
化領域の大きさからカメラと物体との接近の度合いを判
定し、マクロ的な変化領域の検出による画像監視から、
その移動物体を特定し得る特徴を用いた追跡に処理を切
り替えるので、移動物体の精密な移動方向を容易に求め
ることが可能となる。しかも最初から特徴を用いた移動
物体の追跡を行う場合に比較して、その探索の誤りを低
減し、またその処理時間を大幅に低減することが可能と
なる。この結果、非常に効率の良い、信頼性の高い画像
監視を行うことが可能となる等の実用上多大なる効果が
奏せられる。

【図面の簡単な説明】

図は本発明に係る画像監視装置の実施例について示すも
ので、第１図は実施例装置の概略構成を示すブロック図
、第２図は実施例装置における画像入力部の構成例を示
す図、第３図は変化検出部の構成例を示す図、第４図は
特徴抽出部の構成例を示す図、第５図は画像における特
徴点の例を示す図、第６図は予測追跡部の構成例を示す
図、第７図は予測知識の例を説明する為の図、第８図は
カメラ姿勢制御部の構成例を示す図である。 また第９図は本発明を適用した物体通過数計測システム
の概略構成を示すブロック図、第１０図は第９図に示す
システムの軒側部の構成例を示す図である。 ｌ・・・画像入力部、２・・・変化検出部、３・・・特
徴抽出部、４・・・予測追跡部、５・・・カメラ姿勢制
御部、６・・・計測部。

Claims (2)

【特許請求の範囲】
1. （１）時系列画像を入力する手段と、入力された時系列
   画像の各シーン間の変化領域を抽出する手段と、前記時
   系列画像における特徴を抽出する手段と、前記変化領域
   の情報および前記特徴を用いて前記時系列画像中におい
   て移動する追跡対象の移動状況を観測する手段とを具備
   し、 前記追跡対象の移動状況の観測は、移動する追跡対象の
   特徴が識別できると判定された時点から前記特徴を用い
   た追跡を開始、または有効化することを特徴とする画像
   監視装置。
2. （２）請求項（１）に記載の画像監視装置において、追
   跡対象までの距離を検出する手段を備え、検出された距
   離に応じて時系列画像から抽出された特徴を用いた追跡
   の開始、または有効化を判定することを特徴とする画像
   監視装置。