JPH0779429A - Image monitoring device - Google Patents

Image monitoring device

Info

Publication number
JPH0779429A
JPH0779429A JP5223167A JP22316793A JPH0779429A JP H0779429 A JPH0779429 A JP H0779429A JP 5223167 A JP5223167 A JP 5223167A JP 22316793 A JP22316793 A JP 22316793A JP H0779429 A JPH0779429 A JP H0779429A
Authority
JP
Japan
Prior art keywords
moving object
image
captured
background
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5223167A
Other languages
Japanese (ja)
Inventor
Hiroshi Fukuda
浩 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP5223167A priority Critical patent/JPH0779429A/en
Publication of JPH0779429A publication Critical patent/JPH0779429A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】日照条件等の環境の変化があった時や本装置の
起動時に、移動物体の誤検出を回避することのできる画
像監視装置を提供する。 【構成】取込み画像メモリ11に取り込んだ複数の画像
間で、時系列差分をとって移動物体を抽出する移動物体
抽出部13、背景画像メモリ15に取り込んだ背景画像
と、取込み画像メモリ11に所定時間後に取り込んだ画
像との間で背景差分をとって移動物体を抽出する移動物
体抽出部17を有し、本装置の起動時には、移動物体抽
出部13を選択し、この移動物体抽出部13で移動物体
が抽出されなくなると、その時取り込んだ画像に背景画
像メモリ15の内容を更新し、かつ移動物体抽出部17
を選択する。そして、移動物体抽出部17で移動物体が
抽出されなくなると、その時取り込んだ画像に背景画像
メモリ15の内容を更新する。
(57) [Abstract] [Purpose] To provide an image monitoring device capable of avoiding erroneous detection of a moving object when there is a change in environment such as sunshine conditions or when the device is activated. [Structure] A moving object extraction unit 13 for extracting a moving object by taking a time-series difference between a plurality of images captured in a captured image memory 11, a background image captured in a background image memory 15, and a predetermined image in the captured image memory 11. It has a moving object extraction unit 17 that extracts a moving object by taking a background difference from an image captured after a lapse of time, and when the apparatus is activated, the moving object extraction unit 13 is selected and this moving object extraction unit 13 When the moving object is no longer extracted, the contents of the background image memory 15 are updated to the image captured at that time, and the moving object extraction unit 17
Select. When the moving object extraction unit 17 no longer extracts the moving object, the contents of the background image memory 15 are updated with the image captured at that time.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、監視領域内における移
動物体の検出を行う画像監視装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image monitoring apparatus for detecting a moving object within a monitoring area.

【0002】[0002]

【従来の技術】この種の画像監視装置として、例えば、
次のようなものが知られている。すなわち、監視領域内
の画像をITVカメラによって撮像して電気信号に変換
する。ITVカメラからの画像信号は、デジタルデータ
に変換した後、画像メモリに順次入力する。このように
して、時系列に入力された複数枚の画像に対して、差分
演算および2値化演算処理を行うことにより変化領域を
切り出したり、また、時系列に入力された複数枚の画像
と背景画像として取り込まれた画像とで、差分演算およ
び2値化演算処理を行うことにより変化領域を切り出
す。そして、この変化領域に外接する矩形を求めて、こ
の矩形の大きさが、ある一定値(画素数のしきい値)よ
りも大きいならば、移動物体を検知したとして、警報装
置等を動作させるものである。
2. Description of the Related Art As an image monitoring apparatus of this type, for example,
The following are known. That is, the image in the monitoring area is captured by the ITV camera and converted into an electric signal. The image signal from the ITV camera is converted into digital data and then sequentially input to the image memory. In this way, a change area is cut out by performing difference calculation and binarization calculation processing on a plurality of images input in time series, and a plurality of images input in time series are extracted. The change area is cut out by performing difference calculation and binarization calculation processing with the image captured as the background image. Then, a rectangle circumscribing this change area is obtained, and if the size of the rectangle is larger than a certain value (threshold value of the number of pixels), it is determined that a moving object is detected, and an alarm device or the like is operated. It is a thing.

【0003】[0003]

【発明が解決しようとする課題】上述した従来の画像監
視装置では、あらかじめ参照画像として背景画像を作っ
ておいて、一定時間間隔(背景更新タイミング)で取込
んだ画像と背景画像との差分(背景差分)から移動物体
の検出を行う。この場合、次のような背景画像の更新方
法がある。すなわち、背景更新タイミングに従って取込
んだ画像と背景画像との背景差分により移動物体が検出
されなければ、背景更新タイミングで取込んだ画像を背
景画像として更新する、第1の背景更新方法と、背景更
新タイミングで取込んだ連続する画像の加重平均を背景
画像として更新する、第2の背景更新方法と、背景差分
により移動物体が検出されなければ、背景更新タイミン
グで取込んだ連続する画像の加重平均を背景画像として
更新する、第3の背景更新方法が提案されている。
In the conventional image monitoring apparatus described above, a background image is created in advance as a reference image, and the difference between the image captured at a fixed time interval (background update timing) and the background image ( The moving object is detected from the background difference. In this case, there are the following background image update methods. That is, if a moving object is not detected based on the background difference between the image captured according to the background update timing and the background image, the image captured at the background update timing is updated as the background image. A second background update method that updates the weighted average of consecutive images captured at the update timing as a background image, and the weighting of consecutive images captured at the background update timing unless a moving object is detected by the background difference. A third background updating method has been proposed in which the average is updated as a background image.

【0004】ところが、第1の背景更新方法では、移動
物体が検出されているときに日照の変化があった場合、
背景画面は更新されていないので、日照が変化した後は
常に異常を検出してしまうという問題があった。また、
第2の背景更新方法では、背景更新タイミングで取込ん
だ画像中に移動物体があった場合、この画像が背景画像
として更新された後は、その背景画像の移動物体の影響
により移動物体の検出精度が低下するという問題があっ
た。さらに、第3の背景更新方法では、第2の背景更新
方法の問題点は解消されるが、移動物体が検出されてい
るときに日照の変化があった場合には、日照変化前の画
像と日照変化後の画像の加重平均を背景画像とするの
で、実際の背景と背景画像とに若干の相違が生じるた
め、移動物体の誤検出が発生し易くなるという問題があ
った。
However, in the first background updating method, if the sunshine changes when a moving object is detected,
Since the background screen is not updated, there is a problem that an abnormality is always detected after the sunshine changes. Also,
In the second background updating method, when there is a moving object in the image captured at the background updating timing, after this image is updated as the background image, the moving object is detected due to the influence of the moving object in the background image. There was a problem that the accuracy was lowered. Furthermore, the third background updating method solves the problem of the second background updating method, but if there is a change in the sunshine while a moving object is being detected, the image before the sunshine change is displayed. Since the background image is the weighted average of the images after the change of the sunshine, there is a problem that the actual background and the background image are slightly different from each other, so that the false detection of the moving object is likely to occur.

【0005】また、背景画像に移動物体が含まれている
と、背景差分による結果が常に移動物体を検出してしま
う異常状態となるため、背景画像には移動物体が含まれ
ていてはならない。特に、装置起動時に第1、第2、第
3の背景更新方法により初期背景画像として取り込む画
像には、移動物体がないことを保証することができな
い。すなわち、第1、第3の背景更新方法では、常に移
動物体を検出してしまい、背景画像が更新されない場合
があり、第2の背景更新方法では、装置起動時にしばら
く移動物体が検出され続けることがある。したがって、
移動物体がない時に装置を起動したり、オペレータの操
作により背景画像を取り込んだりしなければならないと
いう問題があった。
If the background image contains a moving object, the result of the background difference is an abnormal state in which the moving object is always detected. Therefore, the background image should not contain the moving object. In particular, it cannot be guaranteed that there is no moving object in the image captured as the initial background image by the first, second, and third background updating methods when the device is activated. That is, in the first and third background updating methods, the moving object may be always detected and the background image may not be updated. In the second background updating method, the moving object may be continuously detected for a while at the time of starting the device. There is. Therefore,
There is a problem that the device must be started when there is no moving object, or the background image must be captured by the operation of the operator.

【0006】そこで、本発明は、日照条件等の環境の変
化があった時や本装置の起動時に、移動物体の誤検出を
回避することのできる画像監視装置を提供することを目
的とする。
Therefore, an object of the present invention is to provide an image monitoring apparatus capable of avoiding erroneous detection of a moving object when there is a change in environment such as sunshine conditions or when the apparatus is activated.

【0007】[0007]

【課題を解決するための手段】本発明の画像監視装置
は、監視領域内の画像を撮像する撮像手段と、この撮像
手段で撮像された画像を所定の時間間隔で連続的に取り
込んでデジタル化する変換手段と、この変換手段でデジ
タル化された画像を連続的に取り込み、この取り込んだ
複数の画像間で所定の演算処理を行うことにより、前記
監視領域内における移動物体を抽出する第1の移動物体
抽出手段と、前記変換手段でデジタル化された前記監視
領域内の背景画像、および、その背景画像を含む移動物
体画像をそれぞれ取り込み、この取り込んだ両画像間で
所定の演算処理を行うことにより、前記監視領域内にお
ける移動物体を抽出する第2の移動物体抽出手段と、本
装置の起動時には、前記第1の移動物体抽出手段を選択
し、この選択した第1の移動物体抽出手段で移動物体が
抽出されなくなったことを検出すると、そのとき取り込
んだ画像に前記背景画像を更新するとともに、前記第2
の移動物体抽出手段を選択する第1の制御手段と、この
第1の制御手段で選択された前記第2の移動物体抽出手
段で移動物体が抽出されなくなったことを検出すると、
そのとき取り込んだ画像に前記背景画像を更新する第2
の制御手段とを具備している。
SUMMARY OF THE INVENTION An image monitoring apparatus of the present invention is an image pickup means for picking up an image in a monitoring area, and an image picked up by this image pickup means is continuously fetched at predetermined time intervals and digitized. And a converting means for continuously converting the digitized image by the converting means, and performing a predetermined arithmetic process between the plurality of acquired images to extract a moving object in the monitoring area. A moving object extracting means, a background image in the monitoring area digitized by the converting means, and a moving object image including the background image are respectively captured, and predetermined arithmetic processing is performed between the both captured images. Thus, the second moving object extracting means for extracting the moving object in the monitoring area and the first moving object extracting means at the time of starting the apparatus are selected. When the moving object in the moving object extraction means detects that it is no longer being extracted, and updates the background image at that time captured image, the second
When it is detected that the moving object is no longer extracted by the first control means for selecting the moving object extraction means and the second moving object extraction means selected by the first control means,
The second that updates the background image to the image captured at that time
And the control means.

【0008】また、本発明の画像監視装置は、監視領域
内の画像を撮像する撮像手段と、この撮像手段で撮像さ
れた画像を所定の時間間隔で連続的に取り込んでデジタ
ル化する変換手段と、この変換手段でデジタル化された
画像を連続的に取り込み、この取り込んだ複数の画像間
で所定の演算処理を行うことにより、前記監視領域内に
おける移動物体を抽出する第1の移動物体抽出手段と、
前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、前記第1の移動
物体抽出手段および前記第2の移動物体抽出手段のう
ち、いずれか一方を選択する選択手段と、この選択手段
で前記第2の移動物体抽出手段が選択されているとき、
前記背景画像が適当でないと判断すると、前記第1の移
動物体抽出手段を選択するよう前記選択手段を制御する
第1の制御手段と、この第1の制御手段で選択された前
記第1の移動物体抽出手段で移動物体が抽出されなくな
ったことを検出すると、そのとき取り込んだ画像に前記
背景画像を更新するとともに、前記第2の移動物体抽出
手段を選択するよう前記選択手段を制御する第2の制御
手段とを具備している。
Further, the image monitoring apparatus of the present invention comprises an image pickup means for picking up an image in the monitoring area, and a conversion means for continuously fetching the images picked up by the image pickup means at predetermined time intervals and digitizing them. First moving object extracting means for extracting a moving object in the monitoring area by successively capturing images digitized by the converting means and performing a predetermined calculation process between the captured plurality of images. When,
The background image in the monitoring area digitized by the converting means and the moving object image including the background image are respectively captured, and a predetermined calculation process is performed between the captured images, whereby the monitoring area Second moving object extracting means for extracting a moving object in, the selecting means for selecting one of the first moving object extracting means and the second moving object extracting means, and the selecting means for selecting the moving object. When the second moving object extraction means is selected,
If it is determined that the background image is not suitable, the first control means for controlling the selecting means to select the first moving object extracting means, and the first movement selected by the first controlling means. When the object extracting unit detects that the moving object is no longer extracted, the background image is updated to the image captured at that time, and the selecting unit is controlled to select the second moving object extracting unit. And the control means.

【0009】また、本発明の画像監視装置は、監視領域
内の画像を撮像する撮像手段と、この撮像手段で撮像さ
れた画像を所定の時間間隔で連続的に取り込んでデジタ
ル化する変換手段と、この変換手段でデジタル化された
画像を連続的に取り込み、この取り込んだ複数の画像間
で所定の演算処理を行うことにより、前記監視領域内に
おける移動物体を抽出する第1の移動物体抽出手段と、
前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、前記第1の移動
物体抽出手段および前記第2の移動物体抽出手段で移動
物体が、所定時間以上連続して抽出されていないことを
検出する検出手段と、本装置の起動時には前記第1の移
動物体抽出手段を選択し、この選択した第1の移動物体
抽出手段で移動物体が所定時間以上連続して抽出されな
いことが前記検出手段で検出されると、そのとき取り込
んだ画像に前記背景画像を更新するとともに、前記第2
の移動物体抽出手段を選択する第1の制御手段と、この
第1の制御手段で選択された前記第2の移動物体抽出手
段で移動物体が所定時間以上連続して抽出されないこと
が前記検出手段により検出されると、そのとき取り込ん
だ画像に前記背景画像を更新する第2の制御手段とを具
備している。
Further, the image monitoring apparatus of the present invention comprises an image pickup means for picking up an image in the monitoring area, and a conversion means for continuously fetching the images picked up by the image pickup means at predetermined time intervals and digitizing them. First moving object extracting means for extracting a moving object in the monitoring area by successively capturing images digitized by the converting means and performing a predetermined calculation process between the captured plurality of images. When,
The background image in the monitoring area digitized by the converting means and the moving object image including the background image are respectively captured, and a predetermined calculation process is performed between the captured images, whereby the monitoring area Second moving object extracting means for extracting the moving object in the above, and the first moving object extracting means and the second moving object extracting means detect that the moving object is not continuously extracted for a predetermined time or longer. And the first moving object extracting means when the apparatus is started, and the moving object is not continuously extracted for a predetermined time or more by the selected first moving object extracting means. When detected, the background image is updated to the image captured at that time, and the second image is updated.
The detecting means means that the moving object is not continuously extracted for a predetermined time or longer by the first control means for selecting the moving object extracting means and the second moving object extracting means selected by the first controlling means. And a second control means for updating the background image with the image captured at that time.

【0010】また、本発明の画像監視装置は、監視領域
内の画像を撮像する撮像手段と、この撮像手段で撮像さ
れた画像を所定の時間間隔で連続的に取り込んでデジタ
ル化する変換手段と、この変換手段でデジタル化された
画像を連続的に取り込み、この取り込んだ複数の画像間
で所定の演算処理を行うことにより、前記監視領域内に
おける移動物体を抽出する第1の移動物体抽出手段と、
前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、前記第1の移動
物体抽出手段および前記第2の移動物体抽出手段のう
ち、いずれか一方を選択する選択手段と、この選択手段
で選択された前記第1または第2の移動物体抽出手段で
抽出された移動物体を記憶する記憶手段とを具備してい
る。
Further, the image monitoring apparatus of the present invention comprises an image pickup means for picking up an image in the monitoring area, and a conversion means for continuously taking in the images picked up by the image pickup means at predetermined time intervals and digitizing them. First moving object extracting means for extracting a moving object in the monitoring area by successively capturing images digitized by the converting means and performing a predetermined calculation process between the captured plurality of images. When,
The background image in the monitoring area digitized by the converting means and the moving object image including the background image are respectively captured, and a predetermined calculation process is performed between the captured images, whereby the monitoring area Second moving object extracting means for extracting a moving object in, the selecting means for selecting one of the first moving object extracting means and the second moving object extracting means, and the selecting means. Storage means for storing the moving object extracted by the first or second moving object extracting means.

【0011】[0011]

【作用】本装置の起動時は比較的短い時間間隔で連続的
に取込まれた画像の差分(時系列差分)によって移動物
体を検出し、時系列差分で移動物体を検出しなくなった
時点で、背景差分による移動物体の検出に切換えること
により、本装置の起動時に移動物体があって、背景画像
に移動物体が含まれることによる移動物体の誤検出を回
避できる。
When the apparatus is activated, the moving object is detected by the difference (time-series difference) between images continuously captured at relatively short time intervals, and when the moving object is no longer detected by the time-series difference. By switching to detection of the moving object based on the background difference, it is possible to avoid erroneous detection of the moving object due to the presence of the moving object when the apparatus is started and the background image includes the moving object.

【0012】また、背景差分による移動物体の検出中に
日照条件等の変化があった場合、時系列差分による移動
物体の検出に切換え、時系列差分で移動物体を検出しな
くなった時点で背景差分による移動物体の検出に切換え
ることにより、日照条件等の環境の変化があった場合
に、環境変化後の移動物体の誤検出を回避できる。
Further, when there is a change in the sunshine condition or the like during the detection of the moving object by the background difference, the mode is switched to the detection of the moving object by the time series difference, and the background difference is detected when the moving object is no longer detected by the time series difference. By switching to the detection of the moving object by the method, erroneous detection of the moving object after the environmental change can be avoided when there is a change in the environment such as the sunshine condition.

【0013】[0013]

【実施例】以下、本発明の一実施例について図面を参照
して説明する。図2は、本発明の一実施例に係る画像監
視装置を示したものである。すなわち、撮像手段として
の例えばITVカメラ1は監視領域6内の画像を撮像
し、電気信号に変換する。このITVカメラ1で撮像さ
れた画像信号は、伝送路2によって処理装置3および表
示装置4に送られる。表示装置4は、ITVカメラ1で
撮像された画像を表示し、処理装置3は、ITVカメラ
1で撮像された画像を連続的に取り込み、移動物体検出
のための画像処理や判断等を行う。その結果、移動物体
を検出すると、表示装置4の画面上に移動物体検出の表
示を行ったり、警報装置5によりアラーム音を発したり
するようになっている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 2 shows an image monitoring apparatus according to an embodiment of the present invention. That is, for example, the ITV camera 1 as an image capturing unit captures an image in the monitoring area 6 and converts it into an electric signal. The image signal captured by the ITV camera 1 is sent to the processing device 3 and the display device 4 via the transmission line 2. The display device 4 displays the images captured by the ITV camera 1, and the processing device 3 continuously captures the images captured by the ITV camera 1 and performs image processing and determination for detecting a moving object. As a result, when a moving object is detected, moving object detection is displayed on the screen of the display device 4, and an alarm sound is emitted by the alarm device 5.

【0014】図1は、上記した画像監視装置の要部を概
略的に示すものである。尚、図2と同一部分には同一符
号を付して説明する。図において、ITVカメラ1から
の画像信号は、一定時間間隔でA/D変換器10でデジ
タル信号に変換され、画像データとして取込み画像メモ
リ11に取り込まれる。この一定時間間隔で連続的に取
り込まれた画像データは、変化領域抽出部12に送られ
るとともに、変化領域抽出部16にも送られる。
FIG. 1 schematically shows a main part of the above-mentioned image monitoring apparatus. The same parts as those in FIG. 2 will be described with the same reference numerals. In the figure, the image signal from the ITV camera 1 is converted into a digital signal by the A / D converter 10 at regular time intervals, and is captured in the captured image memory 11 as image data. The image data continuously captured at the constant time intervals is sent to the changing area extracting unit 12 and also to the changing area extracting unit 16.

【0015】変化領域抽出部12では、取り込まれた順
に各画像データ間で時系列差分をとり画像の変化領域が
抽出される。すなわち、図3、図4に示すように、時刻
t=ti-1 に取り込まれた画像データ(図3a参照)
と、時刻t=ti にに取り込まれた画像データ(図3b
参照)とを、画素単位で輝度等の差分を計算し、得られ
た差分画像(図4a参照)を、ある一定値(しきい値)
で2値化することによって変化領域30を2値化画像
(図4b参照)として抽出する。
The change area extraction unit 12 extracts the change area of the image by taking a time-series difference between the respective image data in the order in which they are taken. That is, as shown in FIGS. 3 and 4, image data captured at time t = t i-1 (see FIG. 3a)
And image data captured at time t = t i (FIG. 3b).
And the difference image (see FIG. 4a) is calculated for each pixel, and the obtained difference image (see FIG. 4a) is set to a certain value (threshold value).
The change region 30 is extracted as a binarized image (see FIG. 4b) by binarizing with.

【0016】図5,図6は、この様子を画素単位の輝度
値で示したものである。図5(a)は、時刻t=ti-1
に取り込まれた画像データを画素単位に輝度値で表した
もの、図5(b)は、時刻t=ti にに取り込まれた画
像データを画素単位に輝度値で表したもので、これら図
5(a)と図5(b)を画素単位で輝度等の差分を計算
して差分データ(図6a参照)を生成し、この差分デー
タが所定のしきい値以上の画素を「1」、所定のしきい
値以下の画素を「0」として2値化し、この結果、変化
領域の画素が「1」として検出される差分2値化データ
(図6b参照)が得られる。
FIG. 5 and FIG. 6 show this state by the brightness value of each pixel. In FIG. 5A, time t = t i-1.
FIG. 5B shows the image data captured at time t = t i by the brightness value in pixel units. 5 (a) and FIG. 5 (b), a difference such as luminance is calculated in pixel units to generate difference data (see FIG. 6a), and a pixel whose difference data is equal to or more than a predetermined threshold value is “1”, Pixels below a predetermined threshold are binarized as "0", and as a result, differential binarized data (see FIG. 6b) in which the pixels in the change region are detected as "1" are obtained.

【0017】移動物体抽出部13は、変化領域抽出部1
2で抽出された変化領域に外接する矩形を求めて、移動
物体を抽出する。その例を図7、図8、図9を参照して
説明する。この例は、射影を用いて移動物体を抽出する
場合である。まず、2値化画像として抽出された変化領
域30をx軸(横軸)に射影をとる(図7参照)。次
に、この射影値のある一定値(画素数のしきい値)より
も大きなところについて、y軸(縦軸)に射影をとる
(図8参照)。次に、この射影値の一定値(画素数のし
きい値)以上の領域について、x、y軸の変化領域を繁
げると、変化領域を取り囲む矩形が求められ、移動物体
31が得られる(図9参照)。
The moving object extracting unit 13 is a changing area extracting unit 1.
A rectangle circumscribing the change area extracted in 2 is obtained, and a moving object is extracted. An example thereof will be described with reference to FIGS. 7, 8 and 9. In this example, a moving object is extracted using projection. First, the change area 30 extracted as a binarized image is projected on the x axis (horizontal axis) (see FIG. 7). Next, a projection is taken on the y-axis (vertical axis) at a position where the projection value is larger than a certain fixed value (threshold value of the number of pixels) (see FIG. 8). Next, if the change area of the x and y axes is expanded for the area having a certain projection value (threshold value of the number of pixels) or more, a rectangle surrounding the change area is obtained, and the moving object 31 is obtained. (See Figure 9).

【0018】尚、ラベリングを用いた移動物体の抽出も
可能であり、その例を図10、図11、図12を参照し
て説明する。これは、2値化画像として抽出された変化
領域30の値が「1」である閉領域(図10参照)にシ
リアル番号を与え(ラベリング)、それぞれの部分領域
の面積や距離などを求めてまとまった領域を抽出し、こ
の領域内で形状や値が「1」である面積などを計算し
て、変化領域を取り囲む矩形が得られる(図11参
照)。このようにして求められた矩形の大きさが、ある
一定値(画素数のしきい値)よりも大きいならば、移動
物体31を抽出したことになる(図12参照)。
It is also possible to extract a moving object using labeling, an example of which will be described with reference to FIGS. 10, 11 and 12. This is done by assigning a serial number (labeling) to a closed area (see FIG. 10) in which the value of the change area 30 extracted as a binarized image is “1” and obtaining the area and distance of each partial area. A grouped area is extracted, and a shape, an area having a value of “1”, and the like are calculated in the area to obtain a rectangle surrounding the changed area (see FIG. 11). If the size of the rectangle thus obtained is larger than a certain fixed value (a threshold value of the number of pixels), it means that the moving object 31 is extracted (see FIG. 12).

【0019】背景更新制御部14は、あらかじめ設定さ
れた背景更新タイミングに従って、A/D変換器10か
ら送られてきた画像データを背景画像データとして、背
景画像メモリ15に取り込む制御を行っている。ただ
し、移動物体抽出部13から移動物体が抽出されたこと
を示す信号を受け取った場合は、背景更新の制御は行わ
ない。
The background update control unit 14 controls the image data sent from the A / D converter 10 as background image data into the background image memory 15 in accordance with the preset background update timing. However, when the signal indicating that the moving object is extracted is received from the moving object extraction unit 13, the background update control is not performed.

【0020】背景画像メモリ15は、背景更新制御部1
4の制御に従って、A/D変換器10から送られてきた
画像データを、背景画像データとして取り込む。変化領
域抽出部16は、背景画像メモリ15に取り込まれた背
景画像データと、取込み画像メモリ11に所定時間おい
て新たに取り込まれた画像データとの間で背景差分をと
り、画像の変化領域を抽出する。すなわち、図13、図
14に示すように、背景画像メモリ15に入っている背
景画像(図13a)と、時刻t=ti に取込み画像メモ
リ11に取り込まれた画像データ(図13b)とを、画
素単位で輝度等の差分を計算し、得られた差分画像(図
14a)を、ある一定値(しきい値)で2値化すること
によって変化領域30を差分2値化画像(図14b)と
して抽出する。
The background image memory 15 includes a background update control unit 1
Under the control of No. 4, the image data sent from the A / D converter 10 is taken in as background image data. The changed area extraction unit 16 obtains a background difference between the background image data captured in the background image memory 15 and the image data newly captured in the captured image memory 11 for a predetermined time to determine the changed area of the image. Extract. That is, as shown in FIGS. 13 and 14, a background image (FIG. 13a) stored in the background image memory 15 and image data (FIG. 13b) captured in the captured image memory 11 at time t = t i are displayed. , The difference image such as the brightness is calculated for each pixel, and the obtained difference image (FIG. 14A) is binarized by a certain constant value (threshold value) to change the region 30 into a difference binary image (FIG. 14B). ).

【0021】移動物体抽出部17は、変化領域抽出部1
6で抽出された変化領域に外接する矩形を求めて、移動
物体を抽出する。その抽出方法は、前述した移動物体抽
出部13と同様であるので、説明は省略する。
The moving object extraction unit 17 includes a changed area extraction unit 1
A rectangle circumscribing the change area extracted in 6 is obtained, and a moving object is extracted. The extraction method is the same as that of the moving object extraction unit 13 described above, and thus the description thereof is omitted.

【0022】背景確認部18は、変化領域抽出部16で
背景差分により抽出された変化領域の情報と、移動物体
抽出部13で時系列差分により抽出された移動物体の情
報、移動物体抽出部17で背景差分により抽出された移
動物体の情報から、日照条件等の変化の検出や、監視領
域に侵入して途中で停止した物体(停止物体)の検出等
を行う。
The background confirmation unit 18 includes information on the changing area extracted by the background difference in the changing area extracting unit 16, information on the moving object extracted by the moving object extracting unit 13 by the time series difference, and moving object extracting unit 17. The detection of a change in sunshine conditions and the like, the detection of an object that has entered the monitoring area and stopped halfway (stopped object), etc. are performed from the information of the moving object extracted by the background difference.

【0023】すなわち、日照条件が変化すると、取り込
まれた画像の輝度値が全体的に上下するので、背景差分
を行うと、画面全体に変化領域が現れる。したがって、
背景差分による変化領域抽出部16で変化領域の画素数
を計数し、この計数値が所定値を越えたならば、日照条
件の変化があったとみなす。また、時系列差分による移
動物体抽出部13が移動物体を抽出しないとき、背景差
分による移動物体抽出部17で移動物体が抽出されてい
るならば、その物体を停止物体とみなし、背景確認部1
8内の図示しない停止物体記憶領域に、停止物体の位置
と大きさを記憶する。
That is, when the sunshine condition changes, the brightness value of the captured image generally rises and falls. Therefore, when background subtraction is performed, a changed area appears on the entire screen. Therefore,
The number of pixels in the change area is counted by the change area extraction unit 16 based on the background difference, and if the count value exceeds a predetermined value, it is considered that the sunshine condition has changed. If the moving object extracting unit 13 based on the time series difference does not extract the moving object and the moving object extracting unit 17 based on the background difference extracts the moving object, the object is regarded as a stationary object, and the background checking unit 1
The position and size of the stationary object are stored in a stationary object storage area (not shown) in FIG.

【0024】移動物体選択部19は、背景確認部18か
ら日照条件等の変化の検出または停止物体の抽出がされ
たことを示す信号が送られてきた時と、本装置の起動時
に、移動物体抽出部13で抽出された移動物体を選択
し、移動物体抽出部13で移動物体が抽出されなくなっ
たことを検出すると、移動物体抽出部17で抽出された
移動物体を選択し、この選択された移動物体を本来検出
すべき移動物体を検出したとして、移動物体記憶部20
に記憶するとともに、警報装置5を始動させる。
The moving object selecting section 19 receives a signal from the background checking section 18 indicating that a change in sunshine conditions or the like has been detected or a stationary object has been extracted, and when the apparatus is activated, When the moving object extracted by the extracting unit 13 is selected and the moving object extracting unit 13 detects that the moving object is no longer extracted, the moving object extracted by the moving object extracting unit 17 is selected, and the selected moving object is selected. The moving object storage unit 20 determines that a moving object that should originally be detected is detected.
And the alarm device 5 is started.

【0025】表示制御部21は、取込み画像メモリ11
に取り込まれた画像を表示装置4に表示する制御を行っ
ていて、移動物体選択部19から本来検出すべき移動物
体が検出されたことを示す信号を受け取ると、取込み画
像メモリ11に取り込まれた画像を表示装置4に表示す
るとともに、移動物体の検出を知らせる図形や文字等の
表示を行う。
The display control unit 21 uses the captured image memory 11
When a signal indicating that a moving object to be originally detected is detected from the moving object selection unit 19 while controlling the display device 4 to display the image captured by the captured image memory 11, the captured image is stored in the captured image memory 11. The image is displayed on the display device 4, and a figure, a character or the like for notifying the detection of the moving object is displayed.

【0026】ここで、背景更新制御部14での背景画像
の更新の具体例を図15,図16、図17を参照して説
明する。本装置の起動時(t=t0 )の入力画像(図1
5a参照)は、画像中に移動物体30が含まれている。
本装置の起動後、しばらくしてから(t=ti )、背景
更新タイミングにあわせて入力された画像(図15b参
照)には、移動物体30が監視領域からいなくなった場
合、t=ti に入力した画像を背景画面として背景画面
メモリ15に取り込む。t=ti に背景画像を取り込ん
だ後、t=tj-1 の背景更新タイミングにも背景画面の
更新が行われ、t=tj の背景更新タイミングに入力さ
れた画像(図16b参照)に再び移動物体30が含まれ
ていた。そこで、t=tj-1 に更新された背景画像(図
16a参照)は、t=tj では更新されない。その後、
t=tk-1 の背景更新タイミングに入力した画像(図1
7a参照)に移動物体30が含まれていたので、t=t
k-1 では、背景画面を更新しない。次のt=tk の背景
更新タイミングで入力した画像(図17b参照)には移
動物体30が含まれていなかったので、t= tに入
力した画像を背景画面として背景画面メモリ15に取り
込む。
A specific example of updating the background image by the background update control unit 14 will be described with reference to FIGS. 15, 16 and 17. The input image (FIG. 1) at the time of starting the apparatus (t = t 0 ).
5a), the moving object 30 is included in the image.
After a while (t = t i ) after activation of the present apparatus, if the moving object 30 disappears from the monitoring area in the image (see FIG. 15b) input according to the background update timing, t = t. The image input to i is captured as a background screen in the background screen memory 15. After capturing the background image at t = t i , the background screen is updated at the background update timing of t = t j−1 , and the image input at the background update timing of t = t j (see FIG. 16b). Again contained the moving object 30. Therefore, the background image updated at t = t j-1 (see FIG. 16a) is not updated at t = t j . afterwards,
The image input at the background update timing of t = t k-1 (see FIG.
7a), the moving object 30 is included, so t = t
With k-1 , the background screen is not updated. Since the moving object 30 is not included in the image input at the next background update timing of t = t k (see FIG. 17b), the image input at t = t k is taken into the background screen memory 15 as the background screen. .

【0027】次に、図18、19に示すフローチャート
を用いて、移動物体の検出処理について詳細に説明す
る。以下に説明する検出処理では、移動物体抽出部17
で抽出された移動物体を選択するときにセットするフラ
グを移動物体選択部19に設定し、これを背景フラグと
呼ぶ。この背景フラグは、移動物体抽出部13で抽出さ
れた移動物体により移動物体の検出を行っている場合
に、移動物体がM回連続して抽出されなかったら、フラ
グをセットするものである。この時、連続して移動物体
が抽出されなかった回数は、たとえば、移動物体選択部
19に設けられたソフトウェアのカウンタNによりカウ
ントされるようになっている。
Next, the processing for detecting a moving object will be described in detail with reference to the flowcharts shown in FIGS. In the detection processing described below, the moving object extraction unit 17
A flag to be set when selecting the moving object extracted in step S1 is set in the moving object selection unit 19 and is called a background flag. When the moving object is detected by the moving object extracted by the moving object extracting unit 13, the background flag is set when the moving object is not extracted M times consecutively. At this time, the number of times the moving object is not continuously extracted is counted by, for example, the counter N of the software provided in the moving object selection unit 19.

【0028】また、移動物体抽出部17で抽出された移
動物体により移動物体の検出を行っている場合に、移動
物体がK回連続して抽出されなったら、背景画像メモリ
15に背景画像を取り込むこととする。この時、連続し
て移動物体が抽出されなかった回数は、たとえば、背景
更新制御部14に設けられたソフトウェアのカウンタJ
によりカウントされるようになっている。
Further, when the moving object is detected by the moving object extracted by the moving object extraction unit 17, if the moving object is not extracted K times consecutively, the background image is loaded into the background image memory 15. I will. At this time, the number of times the moving object is not continuously extracted is, for example, the counter J of the software provided in the background update control unit 14.
It is supposed to be counted by.

【0029】まず、本装置が起動されると、M、Kの値
を設定し、背景フラグおよびカウンタN,Jをリセット
する(ステップS1)。次に、画像をITVカメラ1か
ら取り込み、A/D変換器10でデジタル信号に変換
し、初期画像として取込み画像メモリ11に取り込むと
ともに、背景更新制御部14は背景画像の初期画像を背
景画像メモリ15に取り込む(ステップS2)。
First, when the apparatus is started, the values of M and K are set, and the background flag and the counters N and J are reset (step S1). Next, the image is taken from the ITV camera 1, converted into a digital signal by the A / D converter 10, and taken into the taken-in image memory 11 as an initial image, and the background update control unit 14 causes the initial image of the background image to be stored in the background image memory. 15 (step S2).

【0030】そして、変化領域抽出部12では、取込み
画像メモリ11に取り込まれた順に各画像データ間で時
系列差分をとり、画像の変化領域が抽出される。また同
時に、変化領域抽出部16では、背景画像メモリ15に
取り込まれた背景画像データと、取込み画像メモリ11
に所定時間おいて新たに取り込まれた画像データとの間
で背景差分をとり、画像の変化領域を抽出する。移動物
体抽出部13では、変化領域抽出部12で抽出された変
化領域に外接する矩形を求めて移動物体の抽出を行う
(ステップS3)。また同時に、移動物体抽出部17に
おいても、変化領域抽出部16で抽出された変化領域に
外接する矩形を求めて移動物体の抽出を行う(ステップ
S4)。
Then, the changing area extracting unit 12 extracts a changing area of the image by obtaining a time-series difference between the respective image data in the order of being taken into the taken-in image memory 11. At the same time, in the changed area extraction unit 16, the background image data captured in the background image memory 15 and the captured image memory 11 are stored.
After a predetermined time, the background difference between the newly acquired image data and the newly acquired image data is calculated, and the changed area of the image is extracted. The moving object extracting unit 13 extracts a moving object by obtaining a rectangle circumscribing the changing region extracted by the changing region extracting unit 12 (step S3). At the same time, the moving object extracting unit 17 also extracts a moving object by obtaining a rectangle circumscribing the changing region extracted by the changing region extracting unit 16 (step S4).

【0031】次に、ステップS5に進み、背景フラグが
セットされているか否かをチェックし、背景フラグがリ
セットされているときは、移動物体の検出を移動物体抽
出部13で抽出された移動物体により行われているの
で、ステップS6に進み、移動物体抽出部13で移動物
体が抽出されているか否かをチェックする。このチェッ
クの結果、移動物体が抽出されている場合は、ステップ
S7に進み、検出された移動物体を移動物体記憶部20
に記憶し、さらに、ステップS8に進み、カウンタNを
リセットする。
Next, in step S5, it is checked whether or not the background flag is set. If the background flag is reset, the moving object is detected by the moving object extraction unit 13. Therefore, the process proceeds to step S6, and it is checked whether or not the moving object is extracted by the moving object extraction unit 13. If a moving object is extracted as a result of this check, the process proceeds to step S7, and the detected moving object is stored in the moving object storage unit 20.
The counter N is reset in step S8.

【0032】ステップS6において、時系列差分により
変化物体が抽出されなかった場合、ステップS9に進
み、カウンタNをインクリメントし、さらに、ステップ
S10で、カウンタNの値が設定値Mよりも小さいか否
かをチェックる。このチェックの結果、カウンタNの値
が設定値Mよりも小さいならば、ステップS2〜S6を
繰り返す。
In step S6, if the changing object is not extracted due to the time series difference, the process proceeds to step S9, the counter N is incremented, and further, in step S10, it is determined whether or not the value of the counter N is smaller than the set value M. Check that. As a result of this check, if the value of the counter N is smaller than the set value M, steps S2 to S6 are repeated.

【0033】そして、再び移動物体が抽出されなかった
ら、カウンタNをインクリメントするが(ステップS
9)、移動物体が抽出されると、カウンタNをリセット
するので(ステップS8)、移動物体が連続してM回抽
出されなくなるまで、移動物体の検出を時系列差分によ
り抽出された移動物体により行う。
If the moving object is not extracted again, the counter N is incremented (step S
9) Since the counter N is reset when the moving object is extracted (step S8), the moving object is detected by the moving object extracted by the time-series difference until the moving object is not extracted M times in succession. To do.

【0034】ステップS10で、カウンタNの値が設定
値Mと等しくなり、移動物体が連続してM回抽出されな
くなると、取り込んだ画像を背景画像として、背景画像
メモリ15に取り込み(ステップS11)、カウンタN
をリセットし(ステップS12)、背景フラグをセット
する(ステップS13)。
When the value of the counter N becomes equal to the set value M in step S10 and the moving object is no longer extracted M times in succession, the captured image is captured as the background image in the background image memory 15 (step S11). , Counter N
Is reset (step S12) and the background flag is set (step S13).

【0035】以後、この背景フラグがセットされている
間、移動物体の検出を背景差分により抽出された移動物
体により行う。すなわち、ステップS5のチェックの結
果、移動物体が抽出されているか否かをチェックする。
このチェックの結果、背景フラグがセットしている場
合、ステップS14に進み、移動物体抽出部17で移動
物体が抽出されなかった場合、カウンタJをインクリメ
ントし(ステップS15)、カウンタJの値が設定値K
よりも小さいならば(ステップS16)、ステップS2
〜ステップS5、ステップS14を繰り返す。そして、
再び移動物体が抽出されなかったら、カウンタJをイン
クリメントするが(ステップS15)、移動物体が抽出
されると、カウンタJをリセットするので(ステップS
19)、移動物体が連続してK回抽出されなくなるまで
背景画像の更新が行われない。移動物体が連続してK回
抽出されなくなると(ステップS16)、取り込んだ画
像を背景画像として、背景画像メモリ15に取り込み、
背景画像の更新を行い(ステップS17)、カウンタJ
をリセットする(ステップS18)。
After that, while the background flag is set, the moving object is detected by the moving object extracted by the background difference. That is, as a result of the check in step S5, it is checked whether or not a moving object is extracted.
As a result of this check, if the background flag is set, the process proceeds to step S14. If the moving object extraction unit 17 does not extract the moving object, the counter J is incremented (step S15) and the value of the counter J is set. Value K
If smaller than (step S16), step S2
~ Step S5 and step S14 are repeated. And
When the moving object is not extracted again, the counter J is incremented (step S15), but when the moving object is extracted, the counter J is reset (step S15).
19), the background image is not updated until the moving object is no longer extracted K times in succession. When the moving object is no longer extracted K times consecutively (step S16), the captured image is captured as the background image in the background image memory 15,
The background image is updated (step S17), and the counter J
Is reset (step S18).

【0036】次に、背景差分により移動物体が抽出され
た場合(ステップS14)、まずカウンタJをリセット
する(ステップS19)。次に、日照条件の変化を検出
すると(ステップS20)、背景フラグをリセットして
(ステップS26)、以後、再び、背景フラグがセット
されるまで、移動物体の検出を時系列差分により抽出さ
れた移動物体により行う(ステップS2〜S13)。
Next, when a moving object is extracted by the background difference (step S14), the counter J is first reset (step S19). Next, when a change in the sunshine condition is detected (step S20), the background flag is reset (step S26), and thereafter, the detection of the moving object is extracted by the time series difference until the background flag is set again. It is performed by a moving object (steps S2 to S13).

【0037】ステップS20で日照条件の変化が検出さ
れないとステップS21へ進み、ステップS21〜S2
4で、停止物体に対する処理を行う。すなわち、停止物
体は、背景差分により移動物体が抽出され、かつ、時系
列差分により移動物体が抽出されなかったとき、停止物
体が検出されたとみなされるので、初めて停止物体が検
出された場合は、背景確認部18内の図示しない停止物
体記憶領域に、検出された停止物体の位置と大きさを記
憶する(ステップS23〜S24)。
If no change in the sunshine conditions is detected in step S20, the process proceeds to step S21 and steps S21 to S2.
At 4, the process for the stationary object is performed. That is, the stationary object is considered to have been detected when the moving object is extracted by the background difference and when the moving object is not extracted by the time-series difference, so when the stationary object is detected for the first time, The detected position and size of the stopped object are stored in a not-shown stopped object storage area in the background confirmation unit 18 (steps S23 to S24).

【0038】その後、背景差分により移動物体が抽出さ
れると、その移動物体が停止物体記憶領域に記憶されて
いる停止物体と同一であるか否かをチェックし(ステッ
プS21)、同一であると停止物体記憶領域をクリアし
(ステップS22)、さらに、背景フラグをリセットし
て(ステップS26)、以後、再び背景フラグがセット
されるまで、移動物体の検出を時系列差分により抽出さ
れた移動物体により行う(ステップS2〜S13)。検
出された移動物体が停止物体記憶領域に記憶されている
停止物体と同一でないと、その移動物体は停止物体であ
るか否かをチェックし(ステップS23)、停止物体で
あると、停止物体記憶領域に検出された停止物体の位置
と大きさを記憶し(ステップS24)、移動物体記憶部
20に記憶する(ステップS25)。ステップ23のチ
ェックの結果、抽出された移動物体が停止物体でない
と、そのままスッテップS25に進み、抽出された移動
物体を移動物体記憶部20に記憶する。
After that, when the moving object is extracted by the background difference, it is checked whether or not the moving object is the same as the stopped object stored in the stopped object storage area (step S21). The stopped object storage area is cleared (step S22), the background flag is reset (step S26), and thereafter, until the background flag is set again, the detection of the moving object is detected by the time series difference. (Steps S2 to S13). If the detected moving object is not the same as the stopped object stored in the stopped object storage area, it is checked whether or not the moving object is the stopped object (step S23). The position and size of the stopped object detected in the area are stored (step S24) and stored in the moving object storage unit 20 (step S25). If the result of the check in step 23 is that the extracted moving object is not a stopped object, the process proceeds to step S25 as it is, and the extracted moving object is stored in the moving object storage unit 20.

【0039】図20は、本装置の起動時と日照条件等の
変化の検出時における、移動物体の検出結果の切換えタ
イミングおよび背景画面の更新タイミングを示してい
る。まず、時刻t において本装置が起動されると、
時系列差分による移動物体の検出結果が選択される。そ
して、移動物体が検出されなくなった時点(時刻t1
で、時系列差分による移動物体の検出結果から、背景差
分による移動物体の検出結果に切換えると同時に、時刻
1 に取り込んだ画像を背景画像とする。
FIG. 20 shows the switching timing of the detection result of the moving object and the updating timing of the background screen when the apparatus is started and when a change in the sunshine condition or the like is detected. First, when the apparatus is activated at time t 0 ,
The detection result of the moving object based on the time series difference is selected. Then, when the moving object is no longer detected (time t 1 ).
Then, the detection result of the moving object based on the time-series difference is switched to the detection result of the moving object based on the background difference, and at the same time, the image captured at time t 1 is used as the background image.

【0040】時刻tm の画像取込みタイミングでは、移
動物体が検出されないので、時刻tm に取り込んだ画像
を背景画像とし、時刻tm+2 においても、移動物体が検
出されないので、時刻tm+2 に取り込んだ画像を背景画
像とする。
[0040] In the image capture timing of time t m is the moving object is not detected, the image captured at time t m and a background image, even at time t m + 2, the moving object is not detected, the time t m + The image captured in 2 is used as the background image.

【0041】時刻tn に背景確認部18が日照条件の変
化を検出すると、背景差分による移動物体の検出結果か
ら、時系列差分による移動物体の検出結果に切換える。
このとき、背景画像は、移動物体および日照条件の変化
が検出されているため、更新されない。
When the background confirmation section 18 detects a change in the sunshine condition at time t n , the detection result of the moving object based on the background difference is switched to the detection result of the moving object based on the time series difference.
At this time, the background image is not updated because the moving object and the change in the sunshine condition are detected.

【0042】時刻tn+2 で移動物体が検出がされなくな
ると、時系列差分による移動物体の検出結果から、背景
差分による移動物体の抽出結果に切換えると同時に、時
刻tn+2 に取り込んだ画像を背景画像とする。
When the moving object is no longer detected at time t n + 2 , the detection result of the moving object based on the time-series difference is switched to the extraction result of the moving object based on the background difference, and at the same time, it is captured at time t n + 2 . Let the image be the background image.

【0043】以上説明したように、上記実施例によれ
ば、本装置の起動時は時系列差分によって移動物体を検
出し、時系列差分で移動物体を検出しなくなった時点
で、背景差分による移動物体の検出に切換え、背景画像
を更新することにより、本装置の起動時に移動物体があ
って、背景画像に移動物体が含まれることによる移動物
体の誤検出を回避できる。
As described above, according to the above embodiment, the moving object is detected by the time-series difference when the apparatus is activated, and the moving object is detected by the background difference when the moving object is no longer detected by the time-series difference. By switching to detection of an object and updating the background image, it is possible to avoid erroneous detection of the moving object due to the presence of the moving object when the apparatus is started and the background image includes the moving object.

【0044】また、背景差分により移動物体を検出した
ら、その検出した移動物体から日照条件の変化や停止物
体の検出があったかどうかを判定して、時系列差分によ
る移動物体の検出に切換え、時系列差分で移動物体を検
出しなくなった時点で背景差分による移動物体の検出に
切換えることにより、日照条件等の変化があった場合
に、日照変化後の移動物体の誤検出を回避できる。
Further, when a moving object is detected by the background difference, it is judged whether or not there is a change in the sunshine condition or a stationary object is detected from the detected moving object, and the mode is switched to the detection of the moving object by the time series difference. By switching to the detection of the moving object based on the background difference when the moving object is not detected by the difference, erroneous detection of the moving object after the change of the sunshine can be avoided when the sunshine condition or the like changes.

【0045】なお、前記実施例における移動物体の検出
処理方法は、常時、時系列差分による移動物体の抽出処
理と、背景差分による移動物体の抽出処理とを同時に行
っていて、どちらか一方の抽出処理を選択していたが、
本発明はこれに限定されるものでなく、時系列差分によ
る移動物体の抽出処理または背景差分による移動物体の
抽出処理のどちらか一方を選択して、選択した抽出処理
のみを動作させるようにしてもよいことは説明するまで
もないことである。
In the moving object detection processing method in the above embodiment, the moving object extraction processing based on the time series difference and the moving object extraction processing based on the background difference are simultaneously performed, and either one of the extraction processing is performed. I had selected processing,
The present invention is not limited to this, and either one of the moving object extraction processing by the time series difference or the moving object extraction processing by the background difference is selected, and only the selected extraction processing is operated. There is no need to explain what is good.

【0046】[0046]

【発明の効果】以上詳述したように本発明によれば、日
照条件等の環境の変化があった時や本装置の起動時に、
移動物体の誤検出を回避することのできる画像監視装置
を提供できる。
As described in detail above, according to the present invention, when there is a change in environment such as sunshine conditions or when the apparatus is started,
An image monitoring device capable of avoiding erroneous detection of a moving object can be provided.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例に係る画像監視装置の要部の
構成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of a main part of an image monitoring apparatus according to an embodiment of the present invention.

【図2】本発明の一実施例に係る画像監視装置を概略的
に示す図。
FIG. 2 is a diagram schematically showing an image monitoring device according to an embodiment of the present invention.

【図3】時系列差分により変化領域を抽出する方法を説
明する図。
FIG. 3 is a diagram illustrating a method of extracting a change area based on a time series difference.

【図4】時系列差分により変化領域を抽出する方法を説
明する図。
FIG. 4 is a diagram illustrating a method of extracting a change region based on a time series difference.

【図5】時系列差分により変化領域を抽出する方法を説
明する図。
FIG. 5 is a diagram illustrating a method of extracting a change area based on a time series difference.

【図6】時系列差分により変化領域を抽出する方法を説
明する図。
FIG. 6 is a diagram illustrating a method of extracting a change area based on a time series difference.

【図7】移動物体を抽出する方法を説明する図。FIG. 7 is a diagram illustrating a method of extracting a moving object.

【図8】移動物体を抽出する方法を説明する図。FIG. 8 is a diagram illustrating a method of extracting a moving object.

【図9】移動物体を抽出する方法を説明する図。FIG. 9 is a diagram illustrating a method of extracting a moving object.

【図10】移動物体を抽出する方法を説明する図。FIG. 10 is a diagram illustrating a method of extracting a moving object.

【図11】移動物体を抽出する方法を説明する図。FIG. 11 is a diagram illustrating a method of extracting a moving object.

【図12】移動物体を抽出する方法を説明する図。FIG. 12 is a diagram illustrating a method of extracting a moving object.

【図13】背景差分により変化領域を抽出する方法を説
明する図。
FIG. 13 is a diagram illustrating a method of extracting a change area based on a background difference.

【図14】背景差分により変化領域を抽出する方法を説
明する図。
FIG. 14 is a diagram illustrating a method of extracting a change area based on a background difference.

【図15】背景画像の更新方法を説明する図。FIG. 15 is a diagram illustrating a method of updating a background image.

【図16】背景画像の更新方法を説明する図。FIG. 16 is a diagram illustrating a background image updating method.

【図17】背景画像の更新方法を説明する図。FIG. 17 is a diagram illustrating a background image updating method.

【図18】移動物体の検出処理を説明するためのフロー
チャート。
FIG. 18 is a flowchart illustrating a moving object detection process.

【図19】移動物体の検出処理を説明するためのフロー
チャート。
FIG. 19 is a flowchart illustrating a moving object detection process.

【図20】移動物体の検出結果の切換えタイミングおよ
び背景画面の更新タイミングを示すタイミングチャー
ト。
FIG. 20 is a timing chart showing the switching timing of the detection result of the moving object and the update timing of the background screen.

【符号の説明】[Explanation of symbols]

1…ITVカメラ(撮像手段)、2…伝送路、3…処理
装置、4…表示装置、5…警報装置、6…監視領域、1
0…A/D変換器、11…画像メモリ、12…変化領域
抽出部(時系列差分)、13…移動物体抽出部(時系列
差分)、14…背景更新制御部、15…背景画像メモ
リ、16…変化領域抽出部(背景差分)、17…移動物
体抽出部(背景差分)、18…背景確認部、19…移動
物体選択部、20…移動物体記憶部、21…表示制御
部、30…変化領域、31…移動物体。
1 ... ITV camera (imaging means), 2 ... Transmission path, 3 ... Processing device, 4 ... Display device, 5 ... Alarm device, 6 ... Monitoring area, 1
0 ... A / D converter, 11 ... Image memory, 12 ... Change area extraction section (time series difference), 13 ... Moving object extraction section (time series difference), 14 ... Background update control section, 15 ... Background image memory, 16 ... Change area extraction part (background difference), 17 ... Moving object extraction part (background difference), 18 ... Background confirmation part, 19 ... Moving object selection part, 20 ... Moving object storage part, 21 ... Display control part, 30 ... Change area, 31 ... Moving object.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 7/20 G08B 25/00 510 M 7323−5G ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location G06T 7/20 G08B 25/00 510 M 7323-5G

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 監視領域内の画像を撮像する撮像手段
と、 この撮像手段で撮像された画像を所定の時間間隔で連続
的に取り込んでデジタル化する変換手段と、 この変換手段でデジタル化された画像を連続的に取り込
み、この取り込んだ複数の画像間で所定の演算処理を行
うことにより、前記監視領域内における移動物体を抽出
する第1の移動物体抽出手段と、 前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、 本装置の起動時には、前記第1の移動物体抽出手段を選
択し、この選択した第1の移動物体抽出手段で移動物体
が抽出されなくなったことを検出すると、そのとき取り
込んだ画像に前記背景画像を更新するとともに、前記第
2の移動物体抽出手段を選択する第1の制御手段と、 この第1の制御手段で選択された前記第2の移動物体抽
出手段で移動物体が抽出されなくなったことを検出する
と、そのとき取り込んだ画像に前記背景画像を更新する
第2の制御手段と、 を具備したことを特徴とする画像監視装置。
1. An image pickup means for picking up an image in a monitoring area, a conversion means for continuously picking up an image picked up by the image pickup means at a predetermined time interval, and digitizing the image, and a digitalizing means for the converting means. First moving object extracting means for extracting a moving object in the monitoring area by performing a predetermined arithmetic processing between the plurality of acquired images, and digitizing by the converting means. The captured background image in the monitoring area and the moving object image including the background image are respectively captured, and a predetermined arithmetic process is performed between the captured images to extract the moving object in the monitoring area. The second moving object extracting means and the first moving object extracting means are selected when the apparatus is activated, and the moving object is extracted by the selected first moving object extracting means. When it is detected that it is no longer present, the background image is updated to the image captured at that time, and the first control means for selecting the second moving object extraction means and the first control means are selected. When the second moving object extracting unit detects that the moving object is no longer extracted, the second moving image extracting unit updates the background image with the image captured at that time. apparatus.
【請求項2】 監視領域内の画像を撮像する撮像手段
と、 この撮像手段で撮像された画像を所定の時間間隔で連続
的に取り込んでデジタル化する変換手段と、 この変換手段でデジタル化された画像を連続的に取り込
み、この取り込んだ複数の画像間で所定の演算処理を行
うことにより、前記監視領域内における移動物体を抽出
する第1の移動物体抽出手段と、 前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、 前記第1の移動物体抽出手段および前記第2の移動物体
抽出手段のうち、いずれか一方を選択する選択手段と、 この選択手段で前記第2の移動物体抽出手段が選択され
ているとき、前記背景画像が適当でないと判断すると、
前記第1の移動物体抽出手段を選択するよう前記選択手
段を制御する第1の制御手段と、 この第1の制御手段で選択された前記第1の移動物体抽
出手段で移動物体が抽出されなくなったことを検出する
と、そのとき取り込んだ画像に前記背景画像を更新する
とともに、前記第2の移動物体抽出手段を選択するよう
前記選択手段を制御する第2の制御手段と、 を具備したことを特徴とする画像監視装置。
2. An image pickup means for picking up an image in the monitoring area, a converting means for continuously taking in an image picked up by the image pickup means at a predetermined time interval and digitizing the image, and a digitalizing means for the converting means. First moving object extracting means for extracting a moving object in the monitoring area by performing a predetermined arithmetic processing between the plurality of acquired images, and digitizing by the converting means. The captured background image in the monitoring area and the moving object image including the background image are respectively captured, and a predetermined arithmetic process is performed between the captured images to extract the moving object in the monitoring area. A second moving object extracting means; a selecting means for selecting one of the first moving object extracting means and the second moving object extracting means; When the second mobile object extraction means is selected in the unit, when the background image is determined not to be appropriate,
A first control unit that controls the selection unit to select the first moving object extraction unit, and a moving object is not extracted by the first moving object extraction unit selected by the first control unit. And a second control means for controlling the selecting means so as to select the second moving object extracting means while updating the background image to the image captured at that time. Characteristic image monitoring device.
【請求項3】 監視領域内の画像を撮像する撮像手段
と、 この撮像手段で撮像された画像を所定の時間間隔で連続
的に取り込んでデジタル化する変換手段と、 この変換手段でデジタル化された画像を連続的に取り込
み、この取り込んだ複数の画像間で所定の演算処理を行
うことにより、前記監視領域内における移動物体を抽出
する第1の移動物体抽出手段と、 前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、 前記第1の移動物体抽出手段および前記第2の移動物体
抽出手段で移動物体が、所定時間以上連続して抽出され
ていないことを検出する検出手段と、 本装置の起動時には前記第1の移動物体抽出手段を選択
し、この選択した第1の移動物体抽出手段で移動物体が
所定時間以上連続して抽出されないことが前記検出手段
で検出されると、そのとき取り込んだ画像に前記背景画
像を更新するとともに、前記第2の移動物体抽出手段を
選択する第1の制御手段と、 この第1の制御手段で選択された前記第2の移動物体抽
出手段で移動物体が所定時間以上連続して抽出されない
ことが前記検出手段により検出されると、そのとき取り
込んだ画像に前記背景画像を更新する第2の制御手段
と、 を具備したことを特徴とする画像監視装置。
3. An image pickup means for picking up an image in the monitoring area, a converting means for continuously taking in an image picked up by the image pickup means at a predetermined time interval and digitizing the image, and a digitalizing means for the converting means. First moving object extracting means for extracting a moving object in the monitoring area by performing a predetermined arithmetic processing between the plurality of acquired images, and digitizing by the converting means. The captured background image in the monitoring area and the moving object image including the background image are respectively captured, and a predetermined arithmetic process is performed between the captured images to extract the moving object in the monitoring area. The moving object has not been continuously extracted for a predetermined time or longer by the second moving object extraction means and the first moving object extraction means and the second moving object extraction means. The first moving object extracting means is selected when the apparatus is activated, and the moving object is not continuously extracted for a predetermined time or longer by the selected first moving object extracting means. When detected by the detection means, the background image is updated to the image captured at that time, and the first control means for selecting the second moving object extraction means and the first control means are selected. Second control means for updating the background image to the image captured at that time when the detection means detects that the moving object is not continuously extracted for a predetermined time or longer by the second moving object extraction means, An image monitoring apparatus comprising:
【請求項4】 監視領域内の画像を撮像する撮像手段
と、 この撮像手段で撮像された画像を所定の時間間隔で連続
的に取り込んでデジタル化する変換手段と、 この変換手段でデジタル化された画像を連続的に取り込
み、この取り込んだ複数の画像間で所定の演算処理を行
うことにより、前記監視領域内における移動物体を抽出
する第1の移動物体抽出手段と、 前記変換手段でデジタル化された前記監視領域内の背景
画像、および、その背景画像を含む移動物体画像をそれ
ぞれ取り込み、この取り込んだ両画像間で所定の演算処
理を行うことにより、前記監視領域内における移動物体
を抽出する第2の移動物体抽出手段と、 前記第1の移動物体抽出手段および前記第2の移動物体
抽出手段のうち、いずれか一方を選択する選択手段と、 この選択手段で選択された前記第1または第2の移動物
体抽出手段で抽出された移動物体を記憶する記憶手段
と、 を具備したことを特徴とする画像監視装置。
4. An image pickup means for picking up an image in a monitoring area, a converting means for continuously taking in an image picked up by the image pickup means at a predetermined time interval and digitizing the image, and a digitalizing means for the converting means. First moving object extracting means for extracting a moving object in the monitoring area by performing a predetermined arithmetic processing between the plurality of acquired images, and digitizing by the converting means. The captured background image in the monitoring area and the moving object image including the background image are respectively captured, and a predetermined arithmetic process is performed between the captured images to extract the moving object in the monitoring area. A second moving object extracting means; a selecting means for selecting one of the first moving object extracting means and the second moving object extracting means; Image monitoring apparatus characterized by comprising storage means for storing the moving object extracted by the first or second moving object extraction means is selected by the means.
JP5223167A 1993-09-08 1993-09-08 Image monitoring device Pending JPH0779429A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5223167A JPH0779429A (en) 1993-09-08 1993-09-08 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5223167A JPH0779429A (en) 1993-09-08 1993-09-08 Image monitoring device

Publications (1)

Publication Number Publication Date
JPH0779429A true JPH0779429A (en) 1995-03-20

Family

ID=16793855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5223167A Pending JPH0779429A (en) 1993-09-08 1993-09-08 Image monitoring device

Country Status (1)

Country Link
JP (1) JPH0779429A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092368A (en) * 1998-09-09 2000-03-31 Canon Inc Camera control device and computer-readable storage medium
KR100259737B1 (en) * 1995-05-17 2000-06-15 소가 마사히로 Method and apparatus for detecting an object located within the field of view of an image pickup device
US7035430B2 (en) 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US7215827B2 (en) 2002-03-15 2007-05-08 Hitachi Kokusai Electric Inc. Object detection method using an image-pickup device with easy detection masking region setting and object detection apparatus using the method
JP2007180933A (en) * 2005-12-28 2007-07-12 Secom Co Ltd Image sensor
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
JP2008182456A (en) * 2007-01-24 2008-08-07 Sony Corp Surveillance device, detection setting method, and surveillance camera system
JP2009253537A (en) * 2008-04-03 2009-10-29 Canon Inc Imaging apparatus
JP2012173987A (en) * 2011-02-22 2012-09-10 Dainippon Printing Co Ltd Sunshine change area detection device and traveling object detection device
JP2013257785A (en) * 2012-06-13 2013-12-26 Jvc Kenwood Corp Object detection device, object detection method and program
JP2015028753A (en) * 2013-06-28 2015-02-12 株式会社Jvcケンウッド Image processing apparatus and image processing method
CN105957285A (en) * 2016-07-07 2016-09-21 中国地质大学(武汉) Image monitoring and alarm method
WO2020066699A1 (en) * 2018-09-28 2020-04-02 日本電信電話株式会社 Information integration method, information integration device, and information integration program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100259737B1 (en) * 1995-05-17 2000-06-15 소가 마사히로 Method and apparatus for detecting an object located within the field of view of an image pickup device
US6088468A (en) * 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JP2000092368A (en) * 1998-09-09 2000-03-31 Canon Inc Camera control device and computer-readable storage medium
US7035430B2 (en) 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US7215827B2 (en) 2002-03-15 2007-05-08 Hitachi Kokusai Electric Inc. Object detection method using an image-pickup device with easy detection masking region setting and object detection apparatus using the method
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
CN100393122C (en) * 2002-08-13 2008-06-04 株式会社日立国际电气 Object detection method and object detection device capable of changing object detection conditions
JP2007180933A (en) * 2005-12-28 2007-07-12 Secom Co Ltd Image sensor
JP2008182456A (en) * 2007-01-24 2008-08-07 Sony Corp Surveillance device, detection setting method, and surveillance camera system
JP2009253537A (en) * 2008-04-03 2009-10-29 Canon Inc Imaging apparatus
JP2012173987A (en) * 2011-02-22 2012-09-10 Dainippon Printing Co Ltd Sunshine change area detection device and traveling object detection device
JP2013257785A (en) * 2012-06-13 2013-12-26 Jvc Kenwood Corp Object detection device, object detection method and program
JP2015028753A (en) * 2013-06-28 2015-02-12 株式会社Jvcケンウッド Image processing apparatus and image processing method
CN105957285A (en) * 2016-07-07 2016-09-21 中国地质大学(武汉) Image monitoring and alarm method
WO2020066699A1 (en) * 2018-09-28 2020-04-02 日本電信電話株式会社 Information integration method, information integration device, and information integration program
JP2020057046A (en) * 2018-09-28 2020-04-09 日本電信電話株式会社 Information integration method, information integration device, and information integration program

Similar Documents

Publication Publication Date Title
JP2001186511A (en) Monitoring device, recording medium on which monitoring program is recorded
JPH0779429A (en) Image monitoring device
JP2001333422A (en) Monitoring device
JP3377659B2 (en) Object detection device and object detection method
JP5264457B2 (en) Object detection device
JPH09233461A (en) Infrared fire monitoring equipment
JPH10289321A (en) Image monitoring device
JP2987353B2 (en) Video surveillance method
JP2013186635A (en) Object detection device, object detection method and program
JP2002027449A (en) Moving object identification method and moving object identification device
JPH0793558A (en) Image monitoring device
JPH0514891A (en) Image monitoring device
JP2008243009A (en) Suspicious object monitoring device
JP2008244812A (en) Suspicious object monitoring device
JP2000341679A (en) Image recognition device and monitoring device
JP4687850B2 (en) Surveillance camera system
JPH05183901A (en) Moving body monitor device
JPH057363A (en) Picture monitoring device
JPH09116892A (en) Video surveillance equipment
JP3792460B2 (en) Intruder detection image processing system
JP3185402B2 (en) Image processing intruder detection device
JP2503613B2 (en) Abnormality monitoring device
JPH04196993A (en) Image monitor device
JPH04311186A (en) Image monitoring device
JPH06223187A (en) Image type human body detecting device