JPH0973541A - Object detection device and object detection method - Google Patents
Object detection device and object detection methodInfo
- Publication number
- JPH0973541A JPH0973541A JP23030195A JP23030195A JPH0973541A JP H0973541 A JPH0973541 A JP H0973541A JP 23030195 A JP23030195 A JP 23030195A JP 23030195 A JP23030195 A JP 23030195A JP H0973541 A JPH0973541 A JP H0973541A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference background
- background image
- television camera
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
(57)【要約】
【課題】 照明変動などの環境変化が頻繁に起こる環境
のもとでも常に確実に物体が検出できるようにした、信
頼性の高い物体検出装置及び物体検出方法を提供するこ
と。
【解決手段】 画像入力ステップ１０１と、画像記憶ス
テップ１０２と、所定フレーム数の記憶が終了したか判
断する判断処理ステップ１０３と、所定フレーム数の記
憶を終了した場合に記憶されている画像について画素毎
にメディアンを計算するメディアン計算ステップ１０４
と、メディアン計算ステップ１０４の結果を新しい基準
背景画像として更新する基準背景画像更新ステップ１０
５とを設けたもの。メディアン計算により基準背景画像
を作成しているので、必要な入力フレームの数を少なく
しても正確な基準背景画像を得ることができ、確実に物
体を検出できる。
(57) Abstract: To provide a highly reliable object detection device and object detection method capable of always reliably detecting an object even in an environment in which environmental changes such as lighting fluctuations frequently occur. . An image input step 101, an image storage step 102, a determination processing step 103 for determining whether storage of a predetermined number of frames is completed, and a pixel for an image stored when storage of a predetermined number of frames is completed. Median calculation step 104 for calculating the median for each
And a reference background image updating step 10 for updating the result of the median calculation step 104 as a new reference background image.
With 5 and. Since the reference background image is created by the median calculation, an accurate reference background image can be obtained even if the number of necessary input frames is reduced, and the object can be reliably detected.
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、テレビジョンカメ
ラを用いた監視装置に係り、テレビジョンカメラの撮像
視野内に進入した物体を、該テレビジョンカメラの映像
信号の中から自動的に検出するようにした物体検出装置
及び物体検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a surveillance device using a television camera, and automatically detects an object that has entered the field of view of the television camera from the video signal of the television camera. And an object detecting method.
【０００２】[0002]
【従来の技術】テレビジョンカメラを用いた映像監視装
置は、従来から広く一般的に用いられているが、近年、
このような監視システムにおいて、その監視視野内に入
り込んでくる人間や自動車など移動物体の検出を、画像
モニタ面での有人監視によるのではなく、画像信号から
自動的に検出し、所定の報知や警報処置が得られるよう
にしたシステムが要求されるようになってきている。2. Description of the Related Art Video surveillance devices using television cameras have been widely and conventionally used.
In such a monitoring system, the detection of a moving object such as a person or an automobile coming into the monitoring field of view is not detected by manned monitoring on the image monitor surface but is automatically detected from the image signal and a predetermined notification or There is a growing demand for systems capable of providing alarm measures.
【０００３】しかして、このようなシステムを実現する
ためには、一視野分の画像信号の中から、検出すべき物
体の画像信号だけを識別し検出する必要があるが、ここ
で、このような画像信号の処理により物体を検出する方
式の従来技術としては、入力された画像信号と、基準背
景画像、すなわち検出すべき物体が写っていない画像信
号とを比較し、画素毎に輝度値の差分を求め、その差分
値の大きい領域を物体として検出する、いわゆる差分法
と呼ばれる方式が知られている。In order to realize such a system, it is necessary to identify and detect only the image signal of the object to be detected from the image signals of one visual field. As a conventional technique of a method of detecting an object by processing an image signal, an input image signal is compared with a reference background image, that is, an image signal in which an object to be detected is not captured, and a luminance value of each pixel is calculated. A so-called difference method is known in which a difference is obtained and an area having a large difference value is detected as an object.
【０００４】ところで、この差分法では、基準となる画
像が必要であるため、予め基準背景画像を作成する必要
があるが、このような基準背景画像の作成法の従来例と
しては、物体が写っていないときの画像信号(通常は１
フレーム分の画像信号)を、オペレータが選択して基準
背景画像として更新する方式や、所定のフレーム数の画
像を、画素毎に平均化を行って基準背景画像として更新
する方式がなどが知られている。By the way, in this difference method, since a reference image is required, it is necessary to create a reference background image in advance. As a conventional example of the method of creating such a reference background image, an object is photographed. Image signal when not (usually 1
A method is known in which an operator selects (frame image signals) to update as a reference background image, or a method in which images of a predetermined number of frames are averaged pixel by pixel and updated as a reference background image. ing.
【０００５】しかしながら、まず、前者の方式では、人
間の判断によって瞬間的な画像を選択しているため、そ
の画像信号中にたまたまノイズが混入していた場合、そ
のノイズまで背景画像として保存してしまうため、正確
な背景画像を得にくいという問題があり、しかも、この
ようなノイズの混入は、伝送系でのノイズ環境などから
見て、実際にはそう珍しいことではないため、実用上、
大きな障害となっている。However, first, in the former method, since an instantaneous image is selected by human judgment, if noise happens to be mixed in the image signal, that noise is also saved as a background image. Therefore, there is a problem that it is difficult to obtain an accurate background image, and in addition, such mixing of noise is not really unusual in terms of the noise environment in the transmission system, so in practice,
It is a major obstacle.
【０００６】次に、後者の方式では、正確な背景画像を
得るためには、平均化に用いる画像信号のフレーム数
を、例えば１５００枚などのかなり大きな枚数にする必
要があり、この結果、基準背景画像作成に用いる画像を
入力した時刻と、物体検出処理のために差分処理を実行
する時刻とに大きな時間的な差(約５０秒)が生じてしま
い、このため、例えば夕暮れ時などで撮像視野が徐々に
暗くなる場合や、或いは明け方などで撮像視野が徐々に
明るくなる場合には、上記の時間的な差により、現在の
背景として物体の検出に使えるような正確な基準背景画
像を作成することができなくなってしまうという問題が
あった。Next, in the latter method, in order to obtain an accurate background image, the number of frames of the image signal used for averaging needs to be a considerably large number such as 1500, and as a result, the standard There is a large time difference (about 50 seconds) between the time when the image used to create the background image is input and the time when the difference process is executed for the object detection process. Therefore, for example, the image is captured at dusk. If the field of view gradually becomes darker or if the field of view becomes brighter due to dawn, etc., an accurate reference background image that can be used for object detection as the current background is created due to the above time difference. There was a problem that I could not do it.
【０００７】一方、予め作成した基準背景画像を必要と
せずに、差分処理により移動物体を検出する方式の例と
しては、例えば１９９４年７月発行、“O plus E”No.1
78,pp.122-136、に記載の、上田による『画像処理技術
を用いたインテリジェント映像ハンドリング』と題する
論文がある。この論文による移動体の検出方式は、時間
的に連続した３枚の画像から物体の検出を行うようにし
たもので、図５に示すように、まず、時間的に連続した
画像５０１、５０２、５０３を入力し、画像５０１と画
像５０２の輝度差分と、画像５０２と画像５０３の輝度
差分をそれぞれ計算し、二値化してから膨張・収縮演算
を行って二値化画像５０４及び二値化画像５０５を得、
次に、これらの二値化画像５０４と５０５のＡＮＤ処理
により各画像の共通部分を求め、物体の検出画像５０６
を得るようにしたものである。On the other hand, as an example of a method of detecting a moving object by difference processing without requiring a reference background image created in advance, for example, issued in July 1994, "O plus E" No. 1
78, pp.122-136, entitled "Intelligent Video Handling Using Image Processing Technology" by Ueda. The detection method of a moving object according to this paper is such that an object is detected from three temporally consecutive images. As shown in FIG. 5, first, temporally consecutive images 501, 502, 503 is input, the brightness difference between the image 501 and the image 502 and the brightness difference between the image 502 and the image 503 are respectively calculated, binarized, and then expanded / contracted to perform a binarized image 504 and a binarized image. Got 505,
Next, a common part of each image is obtained by AND processing of these binarized images 504 and 505, and the detected image 506 of the object is obtained.
Is obtained.
【０００８】つまり、この方式では、時間的に前後した
画像間でも背景部分は変化せず、移動物体だけが変化す
ることを利用し、二値化画像５０４及び５０５を求める
ステップで、画像５０１と５０２、画像５０２と５０３
の輝度値が近い部分を除くことにより背景部分を消去
し、移動物体だけの検出が得られるようにしたものであ
る。しかしながら、この方式でも、３枚の画像のうち２
枚の画像間で被写体照度に変化が生じていた場合には、
輝度値の差分による背景部分の除去が得られなくなるの
で、移動物体の正確な検出ができない場合があり、ま
た、この方式では、図６の画像６０１、６０２、６０３
に示すような、２以上の移動物体が接近して撮像視野内
に存在した場合には、複数の移動物体の像が重畳された
結果、二値化画像は６０４及び６０５で示すようにな
り、検出画像は６０６のようになってしまって、正確な
物体検出が行えない場合がある。In other words, in this method, the background portion does not change between images temporally before and after, and only the moving object changes. This is utilized in the step of obtaining the binarized images 504 and 505. 502, images 502 and 503
The background part is erased by removing the part having a close luminance value so that only the moving object can be detected. However, even with this method, 2 out of 3 images
If there is a change in the illuminance of the subject between the images,
Since it is not possible to remove the background portion due to the difference in luminance value, it may not be possible to accurately detect a moving object. In this method, the images 601, 602, 603 of FIG.
When two or more moving objects are close to each other and are present in the imaging field of view, as a result of superimposing the images of the plurality of moving objects, the binarized images are as indicated by 604 and 605. The detected image may look like 606, which may prevent accurate object detection.
【０００９】[0009]
【発明が解決しようとする課題】従来より広く用いられ
ている差分法は、前記したように基準となる背景画像を
必要とするが、移動物体が存在していない瞬間の画像を
基準背景画像とする方式ではノイズに弱いという問題が
あり、画素毎に加算平均を用いる方式では基準背景画像
作成に多くの画像フレーム数を必要とするため、物体検
出処理ステップで時間的な問題が生じる可能性がある。
また、前記の背景画像を必要としないように改善した方
式でも、被写体照度の変化による影響を受け、且つ、２
以上の移動物体が近接して存在した場面では、正確な物
体検出ができないという問題がある。The difference method which has been widely used in the past requires a background image as a reference as described above, but an image at the moment when no moving object exists is used as a reference background image. Method has a problem of being vulnerable to noise, and the method of using the averaging method for each pixel requires a large number of image frames to create the reference background image, which may cause a time problem in the object detection processing step. is there.
In addition, even with the method improved so that the background image is not required, the influence of the change in the illuminance of the subject is reduced, and
In the scene where the above moving objects are present close to each other, there is a problem that an accurate object cannot be detected.
【００１０】本発明の目的は、これら従来技術が有する
問題点を解決し、特に屋外など、照明変動などの環境変
化が頻繁に起こる環境のもとでも常に確実に物体が検出
できるようにした、信頼性の高い物体検出装置及び物体
検出方法を提供することにある。An object of the present invention is to solve the problems of these prior arts, and to make it possible to always reliably detect an object even in an environment where frequent environmental changes such as lighting fluctuations occur, such as outdoors. An object of the present invention is to provide a highly reliable object detection device and object detection method.
【００１１】[0011]
【課題を解決するための手段】上記目的は、テレビジョ
ンカメラの撮像視野内に進入した物体を、画像信号の中
から自動的に検出する方式の物体検出装置において、上
記テレビジョンカメラからフレーム単位で得られる画像
信号を順次入力して記憶する手段と、記憶したフレーム
が所定数に達する毎に、記憶した複数フレーム分の画像
信号に基づいて各画素毎に輝度のメディアン値を計算す
るメディアン計算手段と、これらメディアン値を各画素
の輝度値とする画像信号による画像を新たな基準背景画
像として更新記憶する基準背景画像更新手段とを設け、
該更新された基準背景画像を用いて上記物体を検出する
ように構成することにより達成される。SUMMARY OF THE INVENTION The above object is to provide an object detecting apparatus of a type that automatically detects an object that has entered the imaging field of view of a television camera from an image signal. A means for sequentially inputting and storing the image signals obtained in step (3), and a median calculation for calculating the brightness median value for each pixel based on the stored image signals for a plurality of frames each time the number of stored frames reaches a predetermined number. Means and a reference background image updating means for updating and storing an image based on an image signal having these median values as luminance values of respective pixels as a new reference background image,
This is achieved by configuring the object to be detected using the updated reference background image.
【００１２】同様に、上記目的は、テレビジョンカメラ
の撮像視野内に進入した物体を、上記テレビジョンカメ
ラから得られる画像信号の中で基準背景画像と比較する
ことにより自動的に検出する方式の物体検出方法におい
て、上記テレビジョンカメラから得られる画像信号をフ
レーム単位で順次記憶する画像記憶ステップと、記憶し
たフレームが所定数に達する毎に、該記憶した所定数フ
レームの画像信号に基づいて、各フレームの各画素毎に
輝度のメディアン値を計算するメディアン計算ステップ
と、上記メディアン値を各画素の輝度値とする１フレー
ム分の画像により上記基準背景画像を更新する基準背景
画像更新ステップとを備え、上記物体の検出に使用する
基準背景画像が逐次更新されて行くようにして達成され
る。[0012] Similarly, the above-mentioned object is a method of automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. In the object detection method, an image storage step of sequentially storing the image signal obtained from the television camera in frame units, and every time the stored frame reaches a predetermined number, based on the image signals of the stored predetermined number of frames, A median calculating step of calculating a median value of luminance for each pixel of each frame, and a reference background image updating step of updating the reference background image with an image for one frame in which the median value is the luminance value of each pixel. This is achieved by providing the reference background image used for detecting the object, which is sequentially updated.
【００１３】[0013]
【発明の実施の形態】本発明の一実施例では、図１に示
すように、画像入力ステップ１０１と、画像記憶ステッ
プ１０２と、所定フレーム数の記憶が終了したか判断す
る判断処理ステップ１０３と、所定フレーム数の記憶を
終了した場合に記憶されている画像について画素毎にメ
ディアンを計算するメディアン計算ステップ１０４と、
メディアン計算ステップ１０４の結果を新しい基準背景
画像として更新する基準背景画像更新ステップ１０５が
設けられる。BEST MODE FOR CARRYING OUT THE INVENTION In one embodiment of the present invention, as shown in FIG. 1, an image input step 101, an image storage step 102, and a determination processing step 103 for determining whether or not a predetermined number of frames have been stored. A median calculation step 104 for calculating a median for each pixel of the stored image when the storage of a predetermined number of frames is completed,
A reference background image update step 105 is provided for updating the result of the median calculation step 104 as a new reference background image.
【００１４】すなわち、図１において、テレビジョンカ
メラから画像入力ステップ１０１により画像が取り込ま
れると、この取り込まれた画像は画像記憶ステップ１０
２により記憶される。その後、判断ステップ１０３で、
記憶されたフレーム数が所定の数Ｎになったと判断され
た場合、まずメディアン計算ステップ１０４が実行さ
れ、ここで、記憶した複数フレーム分の画像信号に基づ
いて各画素毎に輝度のメディアン値が計算され、次いで
基準背景画像更新ステップ１０５が実行され、ここで、
これらメディアン値を各画素の輝度値とする画像信号に
よる画像を新たな基準背景画像として更新記憶するので
ある。That is, in FIG. 1, when an image is captured from the television camera in the image input step 101, the captured image is stored in the image storage step 10.
2 is stored. Then, in decision step 103,
When it is determined that the number of stored frames has reached the predetermined number N, first, the median calculation step 104 is executed, in which the median value of the luminance is calculated for each pixel based on the stored image signals for a plurality of frames. Calculated, and then the reference background image update step 105 is performed, where
The image based on the image signal having the median value as the brightness value of each pixel is updated and stored as a new reference background image.
【００１５】そして、この結果、この実施例によれば、
フレーム数Ｎとして、あまり大きな値、例えばＮ＝３０
０を設定しなくても、充分に正確な基準背景画像を確実
に得ることができるのであるが、その理由について、以
下に説明する。いま、Ｎフレーム分記憶されている画像
の中の或る画素(ｘ，ｙ)に注目し、記憶したフレームの
番号順に並べてみると、その画素の輝度値変化は、例え
ば図４(a)に示すようになる。ここで、(ｘ，ｙ)はフレ
ーム内での画素の位置(座標)を表わし、従って、例えば
３２０×２４０の画素からなる画像データでは、ｘ＝１
〜３２０、ｙ＝１〜２４０となる。As a result, according to this embodiment,
The number of frames N is too large, for example, N = 30.
Even if 0 is not set, a sufficiently accurate reference background image can be surely obtained. The reason will be described below. Now, paying attention to a certain pixel (x, y) in the image stored for N frames and arranging them in the order of the numbers of the stored frames, the change in the luminance value of that pixel is shown in, for example, FIG. As shown. Here, (x, y) represents the position (coordinates) of the pixel within the frame, and therefore, for example, in image data composed of 320 × 240 pixels, x = 1
˜320, y = 1 to 240.
【００１６】次に、これら同一位置の画素(ｘ，ｙ)につ
いて、輝度のメディアン値が計算されるのであるが、こ
の“メディアン値を計算する”ということの意味は、複
数の順番に並んで与えられるデータを、その順番とは関
係なく、それらのデータの大きさに従って、小さい方か
ら大きい方に向かって順番(昇順)に、或いは、大きい方
から小さい方に向かって順番に(降順)に、並べ替えるこ
とである。Next, for the pixels (x, y) at the same position, the median value of luminance is calculated. The meaning of "calculate the median value" is that they are arranged in a plurality of orders. Regardless of the order, the given data is ordered from smallest to largest (ascending order) or from largest to smallest (descending order) according to their size. , To sort.
【００１７】そこで、図４(a)に示す画素の輝度値のメ
ディアンを計算した結果は、図４(b)の特性Ａに示すよ
うな分布を示し、画素(ｘ，ｙ)のメディアン値はＮ／２
番目の輝度値Ｍ、つまり、メディアン値Ｍとなる。そし
て、Ｎフレームに渡って画像に変化が無かったときに
は、各フレームの同じ画素の輝度値はメディアン値Ｍに
等しくなり、この場合には、特性Ａは水平の直線にな
る。Therefore, the result of calculating the median of the luminance value of the pixel shown in FIG. 4A shows a distribution as shown in the characteristic A of FIG. 4B, and the median value of the pixel (x, y) is N / 2
The th luminance value M, that is, the median value M. Then, when there is no change in the image over N frames, the luminance value of the same pixel in each frame becomes equal to the median value M, and in this case, the characteristic A becomes a horizontal straight line.
【００１８】次に、いま、記憶したＮフレームの画像の
中のＬフレーム(１＜Ｌ＜Ｎ)の画像に、背景には無かっ
た物体が写っていたり、ノイズが混入していたとする
と、その物体の画像を構成する画素やノイズによる画素
は、変化が無かったときの画像の画素と異なる輝度値、
すなわち異なったメディアン値Ｍを持つが、輝度値順に
並べ替えたことにより、そのフレーム数ＬがＮ／２以下
のときには、その画素の位置は、図４(b)の特性Ａの上
で、中心位置(Ｎ／２)から離れた両端の位置になる。Next, assuming that the L frame (1 <L <N) image in the stored N frame images contains an object which is not in the background or noise is mixed, Pixels that make up the image of the object and pixels due to noise have different brightness values from the pixels of the image when there is no change,
That is, although the median values M are different, when the number of frames L is N / 2 or less by rearranging in order of luminance value, the position of the pixel is centered on the characteristic A of FIG. 4 (b). The positions are at both ends apart from the position (N / 2).
【００１９】ここで、物体やノイズの画像を構成する画
素の輝度値が、変化が無かったときの画像の画素の輝度
値よりも小さいときは、中心位置(Ｎ／２)から左側(１
側)になり、反対に大きいときは、右側(Ｎ側)になる。
そして、物体やノイズが写っているフレームの数Ｌが増
加するにつれて、中心位置(Ｎ／２)に近い位置に現われ
る画素が増えて行くことになるが、フレーム数ＬがＮ／
２以下の間は、メディアン値Ｍに対してはほとんど影響
しない。Here, when the brightness value of the pixels forming the image of the object or noise is smaller than the brightness value of the pixels of the image when there is no change, the center position (N / 2) to the left (1
Side), and on the contrary, when it is large, it is the right side (N side).
Then, as the number L of frames in which an object or noise appears increases, the number of pixels that appear near the center position (N / 2) increases, but the number L of frames is N /
When it is 2 or less, the median value M is hardly influenced.
【００２０】すなわち、ここで、物体やノイズが存在し
たことによる影響が、メディアン値Ｍ付近の中心位置
(Ｎ／２)領域に現れるのは、少なくとも記憶したフレー
ム数Ｎの半分以上のフレーム期間、物体やノイズによる
画素が同じ位置にとどまっていた場合だけとなる。That is, here, the influence of the presence of an object or noise is the center position near the median value M.
The pixel appears in the (N / 2) area only when the pixels due to the object or noise remain at the same position for at least half the frame period of the stored frame number N or more.
【００２１】ところが、物体やノイズは、通常、速やか
に移動するので、それらが存在するフレーム数は、それ
ほど多くはならない。従って、メディアン計算をするこ
とにより、フレーム数Ｎをそれほど多くとらなくても、
物体やノイズの影響を受け難くでき、充分に正確な基準
背景画像を得ることができるのである。However, since objects and noises usually move quickly, the number of frames in which they exist does not increase so much. Therefore, even if the number of frames N is not so large by performing the median calculation,
It is possible to obtain a sufficiently accurate reference background image by making it difficult to be influenced by an object or noise.
【００２２】次に、本発明の他の一実施例では、図２に
示すように、画像入力ステップ２０１の処理の後に、物
体検出処理ステップ２０２と判断処理ステップ２０３を
付加し、これらにより物体の有無を判断した後、物体が
存在しなかったと判断されたときの画像についてだけ、
図１の実施例と同じ処理が実行されるようにしたもので
ある。Next, in another embodiment of the present invention, as shown in FIG. 2, an object detection processing step 202 and a judgment processing step 203 are added after the processing of the image input step 201, and the object detection processing step 202 and the judgment processing step 203 are added. Only the image when it is judged that the object did not exist after judging the existence,
The same processing as in the embodiment of FIG. 1 is executed.
【００２３】すなわち、図２において、画像入力ステッ
プ２０１の後に物体検出処理２０２及び物体の判断処理
ステップ２０３を付加する。そして、物体の判断処理ス
テップ２０３で物体が存在しないと判断された画像を画
像記憶ステップ２０４において記憶し、次に記憶された
フレーム数が所定の数になった場合、メディアン計算ス
テップ２０６及び基準背景画像更新ステップ２０７が実
行される。That is, in FIG. 2, an object detection process 202 and an object determination process step 203 are added after the image input step 201. Then, in the image storage step 204, the image in which the object is determined not to exist in the object determination processing step 203 is stored, and when the number of frames stored next reaches a predetermined number, the median calculation step 206 and the reference background are performed. The image update step 207 is executed.
【００２４】従って、この実施例では、基準背景画像の
更新処理に用いる画像が、物体が存在しないことが保証
されている画像となっているため、メディアン計算に必
要なフレーム数Ｎを、例えばＮ＝６程度と、図１の実施
例に比して、大幅に少なくすることができる。Therefore, in this embodiment, since the image used for the updating process of the reference background image is an image in which it is guaranteed that no object exists, the number of frames N required for median calculation is, for example, N. = 6, which is significantly smaller than that in the embodiment of FIG.
【００２５】次に、本発明の更に別の一実施例では、図
３に示すように、図１及び図２の実施例による処理を並
列に実行させるようにし、２系統の基準背景画像更新ス
テップ３０６、３１１により、常に最新の基準背景画像
が得られるようにしたものである。すなわち、図３に示
すように、画像入力ステップ３０１と、物体検出処理３
０２の後、図１の実施例と、図２の実施例で示される方
式を並列処理するようになっている。Next, in a still further embodiment of the present invention, as shown in FIG. 3, the processes according to the embodiments of FIGS. 1 and 2 are executed in parallel, and two systems of reference background image updating steps are performed. By using 306 and 311, the latest reference background image can always be obtained. That is, as shown in FIG. 3, the image input step 301 and the object detection processing 3
After 02, the methods shown in the embodiment of FIG. 1 and the embodiment of FIG. 2 are processed in parallel.
【００２６】図１に示される実施例においては、記憶す
るフレームの数が約３００と、図２の実施例に比してか
なり多いため、基準背景画像の更新間隔が、これもかな
り空いてしまう。従って、基準背景画像の新鮮さについ
ては、いささか不満がなくもない。In the embodiment shown in FIG. 1, the number of frames to be stored is about 300, which is considerably larger than that in the embodiment shown in FIG. 2, so that the update interval of the reference background image also becomes considerably large. . Therefore, there is some dissatisfaction with the freshness of the reference background image.
【００２７】一方、図２に示されている実施例では、物
体存在の判断処理ステップ２０３で物体ありと判断され
ている間は、基準背景画像更新ステップ２０７が実行さ
れないので、フレーム数が少なくて済むという折角の利
点が活かせなくなってしまう可能性がある。しかして、
図３の実施例によれば、図１及び図２の実施例の双方の
利点が得られる上、それぞれ特性の異なる最新の基準背
景画像を用いることができるので、基準背景画像の正確
性を一層向上させることができる。On the other hand, in the embodiment shown in FIG. 2, the reference background image updating step 207 is not executed while the object existence is judged in the object existence judging step 203, so that the number of frames is small. There is a possibility that the real advantage of doing so may not be utilized. Then
According to the embodiment of FIG. 3, the advantages of both the embodiments of FIGS. 1 and 2 are obtained, and the latest reference background images having different characteristics can be used, so that the accuracy of the reference background image is further improved. Can be improved.
【００２８】以下、踏切内に進入した歩行者や、自動車
などの物体を検出する映像監視装置に本発明を適用した
実施例により、本発明による物体検出装置について詳細
に説明すると、以下の実施例は、いずれも、監視区域と
なる踏切全体を撮像できる位置にテレビジョンカメラを
設置し、それにより得られる画像信号から、本発明の方
式により基準背景画像を作成し、それを物体検出処理に
用いたものである。An object detecting device according to the present invention will be described in detail below with reference to an embodiment in which the present invention is applied to an image monitoring device for detecting an object such as a pedestrian or an automobile that has entered a railroad crossing. In each case, a television camera is installed at a position where the entire railroad crossing serving as a surveillance area can be imaged, a reference background image is created from the image signal obtained by the method of the present invention, and it is used for object detection processing. It was what I had.
【００２９】まず、図７は、本発明の実施例が適用され
た映像監視装置の一例で、テレビジョンカメラ７０１で
監視区域(監視視野)を撮像して得た画像信号は、入力Ｉ
／Ｆ７０２を介して画像メモリ７０３に蓄積(記憶)され
る。一方、ＣＰＵ７０５は、プログラムメモリ７０６に
格納されているプログラムに従って画像メモリ７０３内
のデータを読み、このデータによりワークメモリ７０４
内で画像信号を解析し、基準背景画像作成や物体検出処
理を実行し、その結果に応じて、出力Ｉ／Ｆ７０７を介
して警報ランプ７１０を点灯させたり、画像出力Ｉ／Ｆ
７０８を介してモニタ７１１に画像を表示させたりする
ようになっている。First, FIG. 7 shows an example of a video surveillance apparatus to which the embodiment of the present invention is applied. An image signal obtained by imaging a surveillance area (surveillance field of view) by the television camera 701 is input I
It is stored (stored) in the image memory 703 via / F702. On the other hand, the CPU 705 reads the data in the image memory 703 according to the program stored in the program memory 706, and based on this data, the work memory 704.
The image signal is analyzed inside, the reference background image creation and the object detection processing are executed, and the alarm lamp 710 is turned on or the image output I / F is output via the output I / F 707 according to the result.
An image is displayed on the monitor 711 via 708.
【００３０】図８は、ＣＰＵ７０５による基準背景画像
作成から物体検出処理までの一連の処理を示したもの
で、図１に示した方式による実施例である。この図８の
処理が実行されると、まず画像入力ステップ８０１で
は、テレビジョンカメラ７０１で撮像された画像信号
が、３２０×２４０画素の画像データとして取り込ま
れ、次いで、その画像データを画像記憶ステップ８０２
で画像メモリ７０３に記憶する。判断処理８０３では、
記憶したフレーム数が予め定めてある所定値Ｎ1(例えば
Ｎ1＝３００＝Ｎ)になったらメディアン計算ステップ８
０４に、所定値Ｎ1 未満だったら物体検出ステップ８０
６に分岐する。FIG. 8 shows a series of processes from the reference background image creation to the object detection process by the CPU 705, which is an embodiment of the system shown in FIG. When the process of FIG. 8 is executed, first, in an image input step 801, an image signal captured by the television camera 701 is captured as image data of 320 × 240 pixels, and then the image data is stored in an image storage step. 802
And is stored in the image memory 703. In the judgment processing 803,
When the number of stored frames reaches a predetermined value N 1 (for example, N 1 = 300 = N), the median calculation step 8
If it is less than the predetermined value N 1 in 04, the object detection step 80
Branch to 6.
【００３１】メディアン計算ステップ８０４は、記憶し
たＮフレームの画像に対し、画素毎に、図４に示すよう
にして並べ替えを行い、次の(数１)式によりメディアン
値Ｍを計算する。In the median calculation step 804, the stored N frame images are rearranged pixel by pixel as shown in FIG. 4, and the median value M is calculated by the following equation (1).
【００３２】[0032]
【数１】 [Equation 1]
【００３３】ここで、med{ }がメディアンを表わして
おり、この(数１)式の場合は、Ｎフレームの画像につい
て、それぞれの同じ画素を輝度値順に並べ、その１／Ｎ
番目の値(中間の値)の画素を取り出し、これを各画素毎
に実行し、基準背景画像となる１フレーム分のデータｒ
(ｘ，ｙ)とすることを表わしており、これにより、新し
い基準背景画像を得るのである。従って、更新される基
準背景画像＝画像データｒ(ｘ，ｙ)となる。Here, med {} represents a median, and in the case of this (Equation 1), the same pixels are arranged in the order of luminance value for an image of N frames, and 1 / N thereof is calculated.
The pixel of the second value (intermediate value) is taken out, this is executed for each pixel, and the data r for one frame which becomes the reference background image
(x, y), which provides a new reference background image. Therefore, the updated reference background image = image data r (x, y).
【００３４】基準背景画像更新ステップ８０５では、メ
ディアン計算ステップ８０４の結果を画像メモリ７０３
に割り当てた基準背景画像の記憶領域に記憶する。次
に、物体検出処理ステップ８０６では、ステップ８０１
で取り込まれた画像データと、画像メモリ７０３の記憶
領域に記憶されている基準背景画像との差分を計算し、
その差分値の大きいデータ部分を物体として検出する。In the reference background image update step 805, the result of the median calculation step 804 is stored in the image memory 703.
It is stored in the storage area of the reference background image assigned to. Next, in the object detection processing step 806, step 801
The difference between the image data captured in step S1 and the reference background image stored in the storage area of the image memory 703 is calculated,
A data portion having a large difference value is detected as an object.
【００３５】すなわち、まず、図１１の(a)に示すよう
な基準背景画像と、同図(b)に示すような検出すべき物
体が写っている画像とを比較し、画素毎に輝度値の差分
を計算すると、同図(c)に示すようになる。そして、そ
の差分値に対して所定の閾値を設定して二値化すると、
同図(d)に示す画像が抽出される。一方、物体が存在し
ないときには、抽出画像としては現われないので、物体
の検出が可能になるのである。That is, first, a reference background image as shown in FIG. 11A and an image showing an object to be detected as shown in FIG. The difference is calculated as shown in FIG. Then, when a predetermined threshold value is set for the difference value and binarized,
The image shown in FIG. 7D is extracted. On the other hand, when the object does not exist, it does not appear as an extracted image, so that the object can be detected.
【００３６】ステップ８０７では、物体検出処理ステッ
プ８０６の結果から物体の有無を判別し、物体が存在す
る場合は警報発報ステップ８０８に分岐し、物体が存在
しない場合は画像入力ステップ８０１に分岐するのであ
る。In step 807, the presence / absence of an object is discriminated from the result of the object detection processing step 806. If an object exists, the process branches to an alarm issuing step 808. If no object exists, the process branches to an image input step 801. Of.
【００３７】次に、図９は、図２で説明した方式による
実施例である。なお、図中における括弧内の数字は、他
の図における同じ処理内容のステップを表す。図９の実
施例において、そのステップ９０１からステップ９０５
は、図８におけるステップ８０１からステップ８０５と
同様の処理である。この後、画像入力ステップ９０６で
は、ステップ９０１と同様に、テレビジョンカメラ７０
１で撮像された画像信号が、３２０×２４０画素の画像
データとして画像メモリ７０３に取り込まれる。物体検
出処理９０７では、ステップ９１２で基準背景画像が作
成されていればその基準背景画像を用い、作成されてい
なかったときには、ステップ９０５で作成された基準背
景画像を用いて物体検出処理を行う。Next, FIG. 9 shows an embodiment based on the method described in FIG. The numbers in parentheses in the figures represent steps with the same processing content in other figures. In the embodiment of FIG. 9, the steps 901 to 905 are performed.
Is a process similar to steps 801 to 805 in FIG. After that, in the image input step 906, as in step 901, the television camera 70
The image signal captured in 1 is captured in the image memory 703 as image data of 320 × 240 pixels. In the object detection processing 907, if the reference background image is created in step 912, the reference background image is used. If not, the object detection processing is executed using the reference background image created in step 905.
【００３８】分岐処理９０８では、物体検出処理９０７
の結果、物体が存在しない場合には画像記憶ステップ９
０９に、存在した場合には警報発報ステップ９１３に分
岐する。そして、物体が存在しないと判断された場合、
画像記憶ステップ９０９では、画像入力ステップ９０６
において得られた画像を記憶する。判断処理９１０で
は、記憶したフレーム数が予め定めてある所定値Ｎ2(例
えばＮ2＝６)になったらメディアン計算ステップ９１１
に、所定値Ｎ2未満だったら画像入力ステップ９０６
に、それぞれ分岐する。In the branch processing 908, the object detection processing 907.
As a result, if there is no object, the image storing step 9
09, and if it exists, the process branches to the alarm issuing step 913. And if it is determined that the object does not exist,
In the image storage step 909, the image input step 906
The image obtained in is stored. In the judgment processing 910, when the stored number of frames reaches a predetermined value N 2 (for example, N 2 = 6), a median calculation step 911.
If it is less than the predetermined value N 2 , the image input step 906
, Respectively.
【００３９】メディアン計算ステップ９１１は、記憶し
た所定値Ｎ2フレームの画像に対し、画素毎に図４のよ
うな並べ替えを行い、上記(数１)式によりメディアン値
を計算する。そして、このメディアン計算ステップ９１
１の結果を、基準背景画像更新ステップ９１２で画像メ
モリ７０３に割り当てた基準背景画像の記憶領域に記憶
するのである。In the median calculation step 911, the stored image of the predetermined value N 2 frame is rearranged for each pixel as shown in FIG. 4, and the median value is calculated by the above equation (1). And this median calculation step 91
The result of No. 1 is stored in the reference background image storage area allocated to the image memory 703 in the reference background image updating step 912.
【００４０】さらに図１０は、図３で説明した方式によ
る実施例である。まず、ステップ１００１からステップ
１００５は、図８のステップ８０１からステップ８０５
までと同様の処理である。続いて、ステップ８０１と同
じ画像入力ステップ１００６と、ステップ８０６と同じ
物体検出処理１００７が実行される。そして、その後、
図１の方式による処理と同じ第一系統の処理と、図２の
方式による処理と同じ第二系統の処理とが並列に処理が
実行される。Further, FIG. 10 shows an embodiment according to the system described in FIG. First, steps 1001 to 1005 are steps 801 to 805 in FIG.
The process is the same as above. Subsequently, the same image input step 1006 as step 801 and the same object detection processing 1007 as step 806 are executed. And then
The first system process, which is the same as the process of FIG. 1, and the second system process, which is the same as the process of FIG. 2, are executed in parallel.
【００４１】まず、第一系統の処理であるステップ１０
０８からステップ１０１１までの処理は、図８で示され
るステップ８０２から８０５の処理と同じ処理であり、
次に第二系統の処理であるステップ１０１２からステッ
プ１０１７までの処理は、図９で示されるステップ９０
８から９１３と同じ処理である。First, step 10 which is the processing of the first system.
The process from 08 to step 1011 is the same as the process from step 802 to 805 shown in FIG.
Next, the processing from step 1012 to step 1017 which is the processing of the second system is performed at step 90 shown in FIG.
The process is the same as 8 to 913.
【００４２】次に、これら実施例による検出結果につい
て、図１２により説明する。図１２において、図示の画
像１１０１は、テレビジョンカメラ７０１により撮像さ
れ、画像入力ステップ８０１で取り込まれた画像データ
の一例である。このような入力画像に対して、まず、図
８の実施例によれば、画像中のトラックが約５秒以上、
同じ場所に止まっていなければ、図１２の画像１１０２
に示すように、物体(トラック)の写っていない正確な基
準背景画像を確実に得ることができる。Next, the detection results of these examples will be described with reference to FIG. In FIG. 12, an illustrated image 1101 is an example of image data captured by the television camera 701 and captured in the image input step 801. For such an input image, first, according to the embodiment of FIG. 8, the track in the image is about 5 seconds or more,
If not stopped at the same place, the image 1102 in FIG.
As shown in, it is possible to reliably obtain an accurate reference background image in which the object (track) is not reflected.
【００４３】また、図９及び図１０の実施例では、３フ
レーム以上、物体無しと誤検出しなければ、同じく、図
１２の画像１１０２に示すように、物体(トラック)の写
っていない正確な基準背景画像を得ることができる。従
って、上記実施例によれば、基準背景画像の作成に必要
なフレーム数を少なくしても、正確な基準背景画像を確
実に得ることができるので、特に屋外など、照明変動な
どの環境変化が頻繁に起こる環境のもとでも、時間遅れ
の少ない最新の基準背景画像による物体の検出が可能に
なり、信頼性の高い監視システムを容易に得ることがで
きる。Further, in the embodiment of FIGS. 9 and 10, unless it is erroneously detected that there is no object for 3 frames or more, similarly, as shown in the image 1102 of FIG. A reference background image can be obtained. Therefore, according to the above-described embodiment, even if the number of frames required to create the reference background image is reduced, an accurate reference background image can be reliably obtained. Even in an environment that frequently occurs, it is possible to detect an object with the latest reference background image with a small time delay, and it is possible to easily obtain a highly reliable surveillance system.
【００４４】なお、本発明は、上記の適用例に限らず、
プラント設備や、立入禁止区域への侵入者の監視システ
ムなどにも適用可能である。The present invention is not limited to the above application example,
It can also be applied to plant equipment and surveillance systems for intruders in restricted areas.
【００４５】[0045]
【発明の効果】本発明によれば、メディアン計算による
基準背景画像作成法を用いたので、従来の基準背景画像
作成技術が有する問題点に充分に対処でき、ノイズに対
して耐性があり、且つ、画像の平均化を行って背景画像
を得る方式よりも必要とする画像フレーム数を少なくで
きるので、最新の基準背景画像による信頼性の高い監視
システムを容易に提供することができる。According to the present invention, since the standard background image creating method based on the median calculation is used, the problems of the conventional standard background image creating technique can be sufficiently dealt with, and it is resistant to noise, and Since the required number of image frames can be reduced as compared with the method of averaging the images to obtain the background image, it is possible to easily provide a highly reliable monitoring system using the latest reference background image.
【図１】本発明による物体検出装置の第１の実施例の動
作原理を説明するためのフローチャートである。FIG. 1 is a flowchart for explaining the operation principle of a first embodiment of an object detection device according to the present invention.
【図２】本発明の第２の実施例の動作原理を説明するた
めのフローチャートである。FIG. 2 is a flow chart for explaining the operation principle of the second embodiment of the present invention.
【図３】本発明の第３の実施例の動作原理を説明するた
めのフローチャートである。FIG. 3 is a flow chart for explaining the operating principle of the third embodiment of the present invention.
【図４】画素輝度値のメディアン計算による効果を理解
させるための説明図である。FIG. 4 is an explanatory diagram for understanding the effect of median calculation of pixel luminance values.
【図５】差分法を用いた従来技術による物体検出動作の
説明図である。FIG. 5 is an explanatory diagram of an object detection operation according to a conventional technique using a difference method.
【図６】差分法を用いた従来技術による物体検出装置の
問題点を示す説明図である。FIG. 6 is an explanatory diagram showing a problem of the object detection device according to the related art using the difference method.
【図７】本発明の実施例が適用された映像監視装置の一
例を示す構成図である。FIG. 7 is a configuration diagram showing an example of a video surveillance device to which an embodiment of the present invention is applied.
【図８】本発明を踏切での進入物体検出に適用した場合
の一実施例の動作を示すフローチャートである。FIG. 8 is a flowchart showing an operation of an embodiment when the present invention is applied to detection of an entering object at a railroad crossing.
【図９】本発明の他の一実施例による物体検出動作を説
明するフローチャートである。FIG. 9 is a flowchart illustrating an object detecting operation according to another embodiment of the present invention.
【図１０】本発明の更に別の一実施例による物体検出動
作を説明するフローチャートである。FIG. 10 is a flowchart illustrating an object detecting operation according to still another embodiment of the present invention.
【図１１】本発明の一実施例における差分法による物体
検出動作の説明図である。FIG. 11 is an explanatory diagram of an object detection operation by a difference method according to an embodiment of the present invention.
【図１２】本発明の実施例による物体検出動作の説明図
である。FIG. 12 is an explanatory diagram of an object detecting operation according to the embodiment of the present invention.
７０１ テレビジョンカメラ(映像入力装置) ７０２ 入力用Ｉ／Ｆ ７０３ 画像用メモリ ７０４ ワークメモリ ７０５ ＣＰＵ ７０６ プログラムメモリ ７０７ 出力用Ｉ／Ｆ ７０８ 画像出力用Ｉ／Ｆ ７０９ データバス ７１０ 警告ランプ ７１１ 警告表示用モニタ 701 Television camera (video input device) 702 Input I / F 703 Image memory 704 Work memory 705 CPU 706 Program memory 707 Output I / F 708 Image output I / F 709 Data bus 710 Warning lamp 711 Warning display monitor
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｇ０１Ｖ 8/10 Ｇ０１Ｖ 9/04 Ｓ ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification code Agency reference number FI Technical indication // G01V 8/10 G01V 9/04 S
Claims (6)
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出装置において、 上記テレビジョンカメラから得られる画像信号をフレー
ム単位で順次記憶する画像記憶手段と、 記憶したフレームが所定数に達する毎に、該記憶した所
定数フレームの画像信号に基づいて、各フレームの各画
素毎に輝度のメディアン値を計算するメディアン計算手
段と、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する基準背景画像
更新手段とを設け、 上記物体の検出に使用する基準背景画像が逐次更新され
て行くように構成したことを特徴とする物体検出装置。1. An object detection apparatus of a system for automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. An image storage unit that sequentially stores image signals obtained from the television camera in frame units, and each time each stored frame reaches a predetermined number, based on the stored image signals of a predetermined number of frames, each pixel of each frame A median calculating unit that calculates a median value of brightness for each of the objects, and a reference background image updating unit that updates the reference background image with an image for one frame in which the median value is the brightness value of each pixel are provided, An object detecting apparatus, characterized in that a reference background image used for detection is sequentially updated.
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出装置において、 上記テレビジョンカメラから得られる画像信号を基準背
景画像と比較して上記物体を検出する物体検出手段と、 該物体検出手段により物体が検出できなかったときだ
け、上記テレビジョンカメラから得られる画像信号を取
り込み、フレーム単位で順次記憶する画像記憶手段と、 記憶したフレームが所定数に達する毎に、該記憶した所
定数フレームの画像信号に基づいて、各フレームの各画
素毎に輝度のメディアン値を計算するメディアン計算手
段と、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する基準背景画像
更新手段とを設け、 上記物体の検出に使用する基準背景画像が逐次更新され
て行くように構成したことを特徴とする物体検出装置。2. An object detection device of a system for automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. Object detecting means for detecting the object by comparing an image signal obtained from the television camera with a reference background image, and an image signal obtained from the television camera only when the object cannot be detected by the object detecting means. Image storage means for capturing and sequentially storing each frame, and every time the number of stored frames reaches a predetermined number, based on the stored image signals of the predetermined number of frames, a median value of luminance is calculated for each pixel of each frame. The median calculating means for calculating, and the reference background by the image for one frame in which the median value is the brightness value of each pixel Provided with a reference background image updating means for updating an image, an object detection apparatus, characterized in that configured such that the reference background image to be used for the detection of the object is successively updated.
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出装置において、 上記テレビジョンカメラから得られる画像信号をフレー
ム単位で順次記憶する第１の画像記憶手段と、 該第１の画像記憶手段により記憶したフレームが第１の
所定数に達する毎に、該記憶した所定数フレームの画像
信号に基づいて、各フレームの各画素毎に輝度のメディ
アン値を計算する第１のメディアン計算手段と、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する第１の基準背
景画像更新手段と、 上記テレビジョンカメラから得られる画像信号を基準背
景画像と比較して上記物体を検出する物体検出手段と、 該物体検出手段により物体が検出できなかったときだ
け、上記テレビジョンカメラから得られる画像信号を取
り込み、フレーム単位で順次記憶する第２の画像記憶手
段と、 該第２の画像記憶手段により記憶したフレームが第２の
所定数に達する毎に、該記憶した所定数フレームの画像
信号に基づいて、各フレームの各画素毎に輝度のメディ
アン値を計算するメディアン計算手段と、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する第２の基準背
景画像更新手段とを設け、 上記物体の検出に使用する基準背景画像が上記第１と第
２の基準背景画像更新手段により逐次更新されて行くよ
うに構成したことを特徴とする物体検出装置。3. An object detection device of a system for automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. First image storage means for sequentially storing image signals obtained from the television camera in frame units, and the stored predetermined number each time the number of frames stored by the first image storage means reaches a first predetermined number. First median calculating means for calculating a median value of luminance for each pixel of each frame based on an image signal of several frames, and an image for one frame in which the median value is a luminance value of each pixel is used as the reference. First reference background image updating means for updating a background image, and the object by comparing an image signal obtained from the television camera with a reference background image. An object detecting means for detecting; a second image storing means for capturing an image signal obtained from the television camera only when the object cannot be detected by the object detecting means and sequentially storing the image signal in frame units; Each time the number of frames stored by the image storage means reaches a second predetermined number, a median calculation means for calculating a median value of luminance for each pixel of each frame based on the stored image signals of the predetermined number of frames; Second reference background image updating means for updating the reference background image with an image for one frame in which the median value is the brightness value of each pixel, and the reference background image used for detecting the object is the first background image. An object detecting device characterized in that the object detecting device is configured to be sequentially updated by the first and second reference background image updating means.
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出方法において、 上記テレビジョンカメラから得られる画像信号をフレー
ム単位で順次記憶する画像記憶ステップと、 記憶したフレームが所定数に達する毎に、該記憶した所
定数フレームの画像信号に基づいて、各フレームの各画
素毎に輝度のメディアン値を計算するメディアン計算ス
テップと、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する基準背景画像
更新ステップとを備え、 上記物体の検出に使用する基準背景画像が逐次更新され
て行くように構成したことを特徴とする物体検出方法。4. An object detection method of a method of automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. An image storing step of sequentially storing image signals obtained from the television camera in units of frames, and each time the stored number of frames reaches a predetermined number, each pixel of each frame is based on the stored image signals of the predetermined number of frames. A median calculating step of calculating a median value of luminance for each of the objects; and a reference background image updating step of updating the reference background image with an image for one frame in which the median value is a luminance value of each pixel. An object detection method characterized in that a reference background image used for detection is configured to be sequentially updated.
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出方法において、 上記テレビジョンカメラから得られる画像信号を基準背
景画像と比較して上記物体を検出する物体検出ステップ
と、 該物体検出手段により物体が検出できなかったときだ
け、上記テレビジョンカメラから得られる画像信号を取
り込み、フレーム単位で順次記憶する画像記憶ステップ
と、 記憶したフレームが所定数に達する毎に、該記憶した所
定数フレームの画像信号に基づいて、各フレームの各画
素毎に輝度のメディアン値を計算するメディアン計算ス
テップと、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する基準背景画像
更新ステップとを備え、 上記物体の検出に使用する基準背景画像が逐次更新され
て行くように構成したことを特徴とする物体検出方法。5. An object detection method of a method of automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera. An object detecting step of detecting the object by comparing an image signal obtained from the television camera with a reference background image, and an image signal obtained from the television camera only when the object cannot be detected by the object detecting means. An image storing step of sequentially capturing and storing each frame, and every time the number of stored frames reaches a predetermined number, a brightness median value is calculated for each pixel of each frame based on the stored image signals of the predetermined number of frames. By the median calculation step to calculate and the image for one frame with the above median value as the brightness value of each pixel And a reference background image update step of updating the serial reference background image, the object detecting method characterized by configured such that the reference background image to be used for the detection of the object is successively updated.
した物体を、上記テレビジョンカメラから得られる画像
信号の中で基準背景画像と比較することにより自動的に
検出する方式の物体検出方法において、 上記テレビジョンカメラから得られる画像信号をフレー
ム単位で順次記憶する第１の画像記憶ステップと、 該第１の画像記憶手段により記憶したフレームが第１の
所定数に達する毎に、該記憶した所定数フレームの画像
信号に基づいて、各フレームの各画素毎に輝度のメディ
アン値を計算する第１のメディアン計算ステップと、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する第１の基準背
景画像更新ステップと、 上記テレビジョンカメラから得られる画像信号を基準背
景画像と比較して上記物体を検出する物体検出ステップ
と、 該物体検出手段により物体が検出できなかったときだ
け、上記テレビジョンカメラから得られる画像信号を取
り込み、フレーム単位で順次記憶する第２の画像記憶ス
テップと、 該第２の画像記憶手段により記憶したフレームが第２の
所定数に達する毎に、該記憶した所定数フレームの画像
信号に基づいて、各フレームの各画素毎に輝度のメディ
アン値を計算するメディアン計算ステップと、 上記メディアン値を各画素の輝度値とする１フレーム分
の画像により上記基準背景画像を更新する第２の基準背
景画像更新ステップとを備え、 上記物体の検出に使用する基準背景画像が上記第１と第
２の基準背景画像更新手段により逐次更新されて行くよ
うに構成したことを特徴とする物体検出方法。6. An object detection method of a method of automatically detecting an object that has entered the imaging field of view of a television camera by comparing it with a reference background image in an image signal obtained from the television camera, A first image storing step of sequentially storing image signals obtained from the television camera on a frame-by-frame basis; and each time the number of frames stored by the first image storing means reaches a first predetermined number, the stored predetermined number is stored. A first median calculation step for calculating a median value of luminance for each pixel of each frame based on an image signal of several frames, and an image for one frame in which the median value is a luminance value of each pixel is used as the reference. A first reference background image updating step of updating the background image, and comparing the image signal obtained from the television camera with the reference background image And an object detecting step of detecting the object, and a second image storing step of capturing an image signal obtained from the television camera only when the object cannot be detected by the object detecting means and sequentially storing the image signal in frame units. Every time the number of frames stored by the second image storage means reaches a second predetermined number, a median value of luminance is calculated for each pixel of each frame based on the stored image signals of the predetermined number of frames. A median calculation step; and a second reference background image updating step for updating the reference background image with an image for one frame in which the median value is the brightness value of each pixel, and the reference background used for detecting the object. An object detecting method characterized in that an image is sequentially updated by the first and second reference background image updating means.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23030195A JP3377659B2 (en) | 1995-09-07 | 1995-09-07 | Object detection device and object detection method |
| US08/646,018 US6088468A (en) | 1995-05-17 | 1996-05-07 | Method and apparatus for sensing object located within visual field of imaging device |
| DE69622476T DE69622476T2 (en) | 1995-05-17 | 1996-05-13 | Method and device for object recognition within the visual field of an imaging device |
| EP96303303A EP0749098B1 (en) | 1995-05-17 | 1996-05-13 | Method and apparatus for sensing object located within visual field of imaging device |
| KR1019960016320A KR100259737B1 (en) | 1995-05-17 | 1996-05-16 | Method and apparatus for detecting an object located within the field of view of an image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23030195A JP3377659B2 (en) | 1995-09-07 | 1995-09-07 | Object detection device and object detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0973541A true JPH0973541A (en) | 1997-03-18 |
| JP3377659B2 JP3377659B2 (en) | 2003-02-17 |
Family
ID=16905691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23030195A Expired - Fee Related JP3377659B2 (en) | 1995-05-17 | 1995-09-07 | Object detection device and object detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3377659B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004514975A (en) * | 2000-11-24 | 2004-05-20 | クレバー エスワイエス インコーポレイテッド | System and method for object identification and behavior characterization using video analysis |
| US7269516B2 (en) | 2001-05-15 | 2007-09-11 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
| JP2009194530A (en) * | 2008-02-13 | 2009-08-27 | Casio Comput Co Ltd | Imaging apparatus, strobe image generation method, and program |
| US7643655B2 (en) | 2000-11-24 | 2010-01-05 | Clever Sys, Inc. | System and method for animal seizure detection and classification using video analysis |
| JP2010067125A (en) * | 2008-09-12 | 2010-03-25 | Casio Comput Co Ltd | Image processing apparatus, method for processing image, and program |
| JP2010066866A (en) * | 2008-09-09 | 2010-03-25 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US8634635B2 (en) | 2008-10-30 | 2014-01-21 | Clever Sys, Inc. | System and method for stereo-view multiple animal behavior characterization |
| WO2014050117A1 (en) * | 2012-09-27 | 2014-04-03 | パナソニック株式会社 | Image processing device and image processing method |
| JP2015069381A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicle exterior environment recognition device |
| JP2017142708A (en) * | 2016-02-12 | 2017-08-17 | 国立大学法人広島大学 | Image processing apparatus, image processing method, and monitoring system |
| JP2018078454A (en) * | 2016-11-09 | 2018-05-17 | 日本電信電話株式会社 | Image generation method, image difference detection method, image generation device, and image generation program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4618058B2 (en) * | 2005-09-01 | 2011-01-26 | 株式会社日立製作所 | Background image generation method and apparatus, and image monitoring system |
-
1995
- 1995-09-07 JP JP23030195A patent/JP3377659B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209588B2 (en) | 2000-11-24 | 2007-04-24 | Clever Sys, Inc. | Unified system and method for animal behavior characterization in home cages using video analysis |
| US8514236B2 (en) | 2000-11-24 | 2013-08-20 | Cleversys, Inc. | System and method for animal gait characterization from bottom view using video analysis |
| US7643655B2 (en) | 2000-11-24 | 2010-01-05 | Clever Sys, Inc. | System and method for animal seizure detection and classification using video analysis |
| JP2004514975A (en) * | 2000-11-24 | 2004-05-20 | クレバー エスワイエス インコーポレイテッド | System and method for object identification and behavior characterization using video analysis |
| US7817824B2 (en) | 2000-11-24 | 2010-10-19 | Clever Sys, Inc. | Unified system and method for animal behavior characterization from top view using video analysis |
| US7882135B2 (en) | 2001-05-15 | 2011-02-01 | Psychogenics, Inc. | Method for predicting treatment classes using behavior informatics |
| US7269516B2 (en) | 2001-05-15 | 2007-09-11 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
| US7580798B2 (en) | 2001-05-15 | 2009-08-25 | Psychogenics, Inc. | Method for predicting treatment classes using animal behavior informatics |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US7995102B2 (en) | 2008-02-13 | 2011-08-09 | Casio Computer Co., Ltd. | Imaging apparatus for generating stroboscopic image |
| JP2009194530A (en) * | 2008-02-13 | 2009-08-27 | Casio Comput Co Ltd | Imaging apparatus, strobe image generation method, and program |
| JP2010066866A (en) * | 2008-09-09 | 2010-03-25 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
| JP2010067125A (en) * | 2008-09-12 | 2010-03-25 | Casio Comput Co Ltd | Image processing apparatus, method for processing image, and program |
| US8634635B2 (en) | 2008-10-30 | 2014-01-21 | Clever Sys, Inc. | System and method for stereo-view multiple animal behavior characterization |
| WO2014050117A1 (en) * | 2012-09-27 | 2014-04-03 | パナソニック株式会社 | Image processing device and image processing method |
| JPWO2014050117A1 (en) * | 2012-09-27 | 2016-08-22 | パナソニックＩｐマネジメント株式会社 | Image processing apparatus and image processing method |
| US9672605B2 (en) | 2012-09-27 | 2017-06-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and image processing method |
| JP2015069381A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicle exterior environment recognition device |
| JP2017142708A (en) * | 2016-02-12 | 2017-08-17 | 国立大学法人広島大学 | Image processing apparatus, image processing method, and monitoring system |
| JP2018078454A (en) * | 2016-11-09 | 2018-05-17 | 日本電信電話株式会社 | Image generation method, image difference detection method, image generation device, and image generation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3377659B2 (en) | 2003-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3279479B2 (en) | Video monitoring method and device | |
| JP3123587B2 (en) | Moving object region extraction method using background subtraction | |
| JP3377659B2 (en) | Object detection device and object detection method | |
| JP2002304677A (en) | Intruder detection method and device | |
| JP3134845B2 (en) | Apparatus and method for extracting object in moving image | |
| JPH0779429A (en) | Image monitoring device | |
| JP3294468B2 (en) | Object detection method in video monitoring device | |
| JPH10289321A (en) | Image monitoring device | |
| JPH07249128A (en) | Vehicle image processing device | |
| JPH06308256A (en) | Cloudy fog detecting method | |
| JPH0514891A (en) | Image monitoring device | |
| JP3567114B2 (en) | Image monitoring apparatus and image monitoring method | |
| JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
| JP2001126192A (en) | Method for judging parked or vacancy state in parking space of parking lot | |
| JPH05300516A (en) | Animation processor | |
| JP2011061651A (en) | Suspicious object detection system | |
| JPH05183901A (en) | Moving body monitor device | |
| JP2003319385A (en) | Method and apparatus for detecting object | |
| JP4922642B2 (en) | Vehicle detection device and vehicle detection method | |
| KR100284596B1 (en) | How to measure waiting length at intersection | |
| JP3659609B2 (en) | Object detection method and object detection apparatus | |
| JP3490196B2 (en) | Image processing apparatus and method | |
| JP2001126183A (en) | Device for detecting traffic flow | |
| JP3091356B2 (en) | Moving object detection method and apparatus | |
| JP2002262282A (en) | Image monitoring method and image monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071206 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |