JPH06327005A - 動き物体検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 背景画像を必要とせずに、アンカバード・バ
ックグラウンドを生じないで、動き物体を検出する。 【構成】 フレーム遅延回路２および３が直列に接続さ
れ、時間的に連続する３フレームにそれぞれ含まれ、空
間的に同一位置の画素データが取り出される。第（ｎ−
１）フレームのデータから第ｎフレームのデータが減算
回路３で減算され、差分信号が絶対値化回路６を介して
比較回路７に供給される。比較回路７は、差分信号の絶
対値がしきい値ＴＨより大きい時に `１' の出力を発生
する。第（ｎ−２）フレームと第（ｎ−１）フレームと
に関して同様の処理がされ、比較回路９から出力が発生
する。スイッチ回路Ｓ１は、判定回路１０により制御さ
れ、その結果、比較回路７および９の出力信号がともに
`１' の時に、フレーム遅延回路２の出力信号を選択
し、これらの一方でも `０' の時に `０' レベルの信号
を選択する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信号
のフレーム間差分信号または、フレーム間ベクトル信号
を用いて動き物体を検出する動き物体検出装置に関す
る。

【０００２】

【従来の技術】ディジタル画像信号から、動き物体を検
出するための手法として最も古典的な手法は、連続する
２フレーム間の差分信号を用いるものである。これは、
２フレーム間の同一位置の画素データの差分信号をしき
い値処理することにより、差分の大きいものは動き画
素、差分の小さいものは静止画素とそれぞれ判定するも
のである。

【０００３】また、背景画像と呼ばれる、動き物体が何
ら含まれない画像をなんらかの手法で用意し、その背景
画像と現フレーム画像との差分信号をしきい値処理する
ことにより、動き物体を検出する、という手法も提案さ
れている。

【０００４】

【発明が解決しようとする課題】しかしながら、連続す
る２フレーム間の差分信号を用いる手法には、真の動き
画素以外に、アンカバード・バックグラウンドと呼ばれ
る動き物体の影から現れる背景が動き画素として誤って
検出される、という問題点がある。

【０００５】これを、図２を用いて説明する。静止背景
の手前を１つのボールが動いている画像で、図２ａは、
第ｎフレームにおける画像データ、図２ｂは、第（ｎ−
１）フレームにおける画像データとする。連続する２フ
レーム間の差分信号、すなわち、第（ｎ−１）フレーム
のデータから第ｎフレームのデータを減算することで得
られる差分信号を用いて、動き検出を行う手法による
と、その結果は、図２ｃの様になり、真の動き物体以外
に、アンカバード・バックグラウンドが動き物体として
誤って検出されていることが分かる。

【０００６】一方、動き物体の検出の対象とする画像中
の背景画像を用意し、この背景画像と現フレーム画像の
差分信号を用いる手法には、アンカバード・バックグラ
ウンドの問題が生じない。しかしながら、アプリケーシ
ョンによっては予め背景画像の作成を行うことが難しい
場合も存在する。また、背景画像は、照明変化、影によ
る影響の除去等の為に順次更新する必要があるが、実際
にはこの更新を理想的に行うことは難しい。たとえば、
照明変化、影による輝度変化ののちに、画像が静止状態
に戻った後にも、背景画像が完全な状態に更新されるま
でにはしばらくの時間がかかる。したがって、この完全
な状態に更新されるまでの間は、判定精度が劣化する。
さらに、背景画像と現フレーム画像の差分信号を用いる
手法には、背景画像と動き物体のレベルが等しいときに
は動きと検出されない、という問題点もある。

【０００７】したがって、この発明の目的は、背景画像
を用いずに、アンカバード・バックグラウンドの問題が
発生しないような、動き物体検出装置を提供することに
ある。

【０００８】

【課題を解決するための手段】請求項１に記載の発明
は、ディジタル画像信号のフレーム間差分信号を用いて
動き物体を検出する動き物体検出装置において、第（ｎ
−２ｍ）フレーム画像と第（ｎ−ｍ）フレーム画像の第
１のフレーム間差分信号を検出するための回路と、第
（ｎ−ｍ）フレーム画像と第ｎフレーム画像の第２のフ
レーム間差分信号を検出するための回路と、第１および
第２の差分信号を用いて、第（ｎ−ｍ）フレームにおけ
る動き物体検出を行うための回路とからなることを特徴
とする動き物体検出装置である。

【０００９】請求項２に記載の発明は、ディジタル画像
信号のフレーム間ベクトル信号を用いて動き物体を検出
する動き物体検出装置において、第（ｎ−２ｍ）フレー
ム画像と第（ｎ−ｍ）フレーム画像の第１のフレーム間
ベクトル信号を検出するための回路と、第（ｎ−ｍ）フ
レーム画像と第ｎフレーム画像の第２のフレーム間ベク
トル信号を検出するための回路と、第１および第２のベ
クトル信号を用いて、第（ｎ−ｍ）フレームにおける動
き物体検出を行うための回路とからなることを特徴とす
る動き物体検出装置である。

【００１０】

【作用】連続する３フレームの画像信号を用いて、動き
検出を行う。ディジタル画像信号の各画素において、ｍ
＝１とすると、第（ｎ−２）フレーム画像と第（ｎ−
１）フレーム画像のフレーム間差分信号と、第（ｎ−
１）フレーム画像と第ｎフレーム画像のフレーム間差分
信号の両方とも大きい場合のみ、その画素を動き画素と
判定する。いずれかの差分信号のみ大きいときは、アン
カバード・バックグラウンドが出現した場合なので、そ
の画素を静止画素と判定する。以上のように、連続する
３フレームの画像信号、すなわちフレーム間差分信号を
用いて動き検出を行う手法によって、アンカバード・バ
ックグラウンドの問題を回避することができる。

【００１１】また、連続する３フレームの画像信号を用
いて、動き検出を行う他の手法として、データ画像信号
の各画素において、注目画素を中心とする小領域につい
て、第（ｎ−２）フレーム画像と第（ｎ−１）フレーム
画像の動きベクトル信号と、第（ｎ−１）フレーム画像
と第ｎフレーム画像の動きベクトル信号を算出し、算出
された動きベクトル信号が両方とも（０，０）でない場
合のみ、その画素を動き画素と判定する。

【００１２】算出された動きベクトル信号が両方とも
（０，０）のとき、またはいずれか一方の動きベクトル
が（０，０）のでないときは、アンカバード・バックグ
ラウンドが出現した場合なので、その画素を静止画素と
判定する。以上のように連続する３フレームの画像信
号、すなわちフレーム間ベクトル信号を用いて動き検出
を行う手法によって、アンカバード・バックグラウンド
の問題を回避することができる。また、フレーム間差分
信号を判定基準にした手法で発生しやすい、照明変化や
影による誤判定をも、フレーム間ベクトル信号を判定基
準にした手法で大幅に軽減することができる。

【００１３】

【実施例】（１）第１の実施例 以下、この発明による動き検出装置の第１の実施例につ
いて説明する。この第１の実施例は、フレーム間差分信
号を用いた動き検出装置の全体的な構成を示す。図１に
おいて、１がディジタル画像信号が供給される入力端子
である。ディジタル画像信号は、フレーム遅延回路２に
供給される。フレーム遅延回路２は、ディジタル画像信
号を１フレーム分遅延させる。フレーム遅延回路２の出
力信号、および入力端子１からのディジタル画像信号が
減算回路３へ供給される。

【００１４】減算回路３では、フレーム遅延回路２の出
力信号、すなわち（ｎ−１）フレームの画像信号から入
力端子１からのディジタル画像信号、すなわちｎフレー
ムの画像信号の減算処理がなされる。この減算処理は、
空間的に同一位置の二つの画素のレベルについてなされ
る。減算回路３の出力信号が絶対値化回路６へ供給され
る。

【００１５】絶対値化回路６では、データの絶対値化が
行われる。絶対値化回路６の出力信号が比較回路７へ供
給され、予め設定された、しきい値ＴＨと比較される。
絶対値化回路６の出力信号が、しきい値ＴＨより大きい
場合、比較回路７は `１' を出力し、そうでない場合、
比較回路７は `０' を出力する。比較回路７の出力信号
が判定回路１０へ供給される。

【００１６】図３を用いて、上述の回路動作について説
明を行う。図３ａに示す画像がｎフレームの画像信号、
すなわち、入力端子１から減算回路３へ供給されるディ
ジタル画像信号であるとする。一方、図３ｂに示す画像
が（ｎ−１）フレーム画像信号、すなわち、フレーム遅
延回路２から減算回路３へ供給されるディジタル画像信
号であるとする。減算回路３による減算、絶対値化回路
６による絶対値化、比較回路７による比較処理がそれぞ
れ行われ、比較回路７の出力信号として、図３ｃに示す
画像信号が得られる。すなわち、差分信号の絶対値がし
きい値ＴＨより大きい時に、 `１' となり、そうでない
場合に `０' となる画像信号が得られる。

【００１７】フレーム遅延回路２の出力は、フレーム遅
延回路４へも供給される。フレーム遅延回路４は、ディ
ジタル画像信号を１フレーム分遅延させる。フレーム遅
延回路４の出力信号、およびフレーム遅延回路２の出力
信号が減算回路５へ供給される。

【００１８】減算回路５では、フレーム遅延回路４の出
力信号、すなわち（ｎ−２）フレームの画像信号からフ
レーム遅延回路２の出力信号、すなわち（ｎ−１）フレ
ームの画像信号の減算処理がなされる。減算回路５の出
力信号は、絶対値化回路８へ供給される。

【００１９】絶対値化回路８では、データの絶対値化が
行われる。絶対値化回路８の出力信号は、比較回路９へ
供給され、あらかじめ設定された、しきい値ＴＨと比較
される。絶対値化回路８の出力信号がしきい値ＴＨより
大きい場合、比較回路９が `１' を出力し、そうでない
場合、比較回路９が `０' を出力する。比較回路９の出
力が判定回路１０へ供給される。

【００２０】図４を用いて、上述の回路動作について説
明を行う。図４ａに示す画像が、（ｎ−１）フレームの
画像信号、すなわち、フレーム遅延回路２から減算回路
５に供給されるディジタル画像信号であるとする。一
方、図４ｂに示す画像が、（ｎ−２）フレームの画像信
号、すなわち、フレーム遅延回路４から減算回路５に供
給されるディジタル画像信号であるとする。減算回路５
により減算、絶対値化回路８により絶対値化、比較回路
９により比較処理がそれぞれ行われ、比較回路９の出力
信号として、図４ｃに示す画像信号が得られる。すなわ
ち、差分信号の絶対値がしきい値ＴＨより大きい時に、
`１' となり、そうでない場合に `０' となる画像信号
が得られる。

【００２１】判定回路１０は、比較回路７、および比較
回路９の出力信号が共に `１' であったときに `１' を
出力し、そうでないときには、 `０' を出力する。すな
わち判定回路１０は、ＡＮＤゲートである。

【００２２】フレーム遅延回路２の出力信号、すなわち
（ｎ−１）フレームの画像信号は、スイッチ回路Ｓ１の
一つの入力端子へも供給される。スイッチ回路Ｓ１の他
の入力端子には、接地１１からの `０' レベルの信号が
供給される。

【００２３】スイッチ回路Ｓ１は、判定回路１０の出力
信号で制御され、ここから最終的な出力信号が取り出さ
れる。スイッチ回路Ｓ１は、判定回路１０の出力信号が
`１' のとき、フレーム遅延回路２の出力信号、すなわ
ち（ｎ−１）フレームの画像信号を最終出力信号として
出力し、判定回路１０の出力信号が `０' のとき、接地
１１からの信号（ `０' レベルの信号）を最終出力信号
として出力する。スイッチ回路Ｓ１の出力信号は、出力
端子１２に取り出される。

【００２４】ここで、図５を用いて上述の回路動作につ
いて説明を行う。前述のように図５ａに示す画像は、比
較回路７の出力信号（図３ｃ）であり、図５ｂに示す画
像が、比較回路９の出力信号（図４ｃ）である。判定回
路１０により、比較回路７の出力信号と比較回路９の出
力信号のＡＮＤゲート処理を行う。判定回路１０から出
力される結果で（ｎ−１）フレーム画像と `０' レベル
信号をスイッチング処理することで、図５ｃに示す最終
出力画像が得られる。

【００２５】（２）第２の実施例 次に、この発明の第２の実施例について説明する。この
第２の実施例は、フレーム間ベクトルを用いた動き検出
装置の全体的な構成を示す。図６において、２１は、デ
ィジタル画像信号が供給される入力端子である。ディジ
タル画像信号は、フレーム遅延回路２２へ供給される。
フレーム遅延回路２２は、ディジタル画像信号を１フレ
ーム分遅延させる。入力端子２１からのディジタル画像
信号は、領域切出し回路２３ａへ供給され、フレーム遅
延回路２２の出力信号は、領域切出し回路２３ｂへ供給
される。

【００２６】領域切出し回路２３ａは、入力端子２１か
ら供給されたディジタル画像信号、すなわちｎフレーム
の画像信号から、図７に示すように、●で示す注目画素
を中心とした領域の抽出を行う。ここでは、注目画素を
中心とした（５×５）ブロックの画素の抽出を行うもの
とする。また、領域切出し回路２３ｂは、領域切出し回
路２３ａと同様に、フレーム遅延回路２２から供給され
たディジタル画像信号、すなわち（ｎ−１）フレームの
画像信号から（５×５）ブロックの画素の抽出を行う。
領域切出し回路２３ａの出力信号と、領域切出し回路２
３ｂの出力信号、すなわちｎフレームの画像信号と（ｎ
−１）フレームの画像信号は、動きベクトル算出回路２
６へ供給される。

【００２７】動きベクトル算出回路２６は、注目画素を
中心としたブロックにおける所謂、画素単位の動きベク
トルの算出を行うためのものである。（ｘ，ｙ）で表さ
れる動きベクトルは、水平方向の動きベクトルｘと、垂
直方向の動きベクトルｙとから構成される。動きベクト
ル算出回路２６では、ブロックマッチング法を用いて領
域切出し回路２３ａにより抽出されたｎフレームの注目
画素を中心としたブロックと、領域切出し回路２３ｂに
より抽出された（ｎ−１）フレームの注目画素を中心と
したブロックとの間で、フレーム間ベクトルを算出す
る。動きベクトル算出回路２６において、ベクトル検出
範囲は、一例として水平方向、垂直方向ともに±１０画
素とする。

【００２８】なお、ここではフレーム間ベクトルの算出
において、ブロックマッチング法を用いる、と記したが
実際には動きベクトルの算出方法は特に問わず、勾配法
や位相相関法等を用いても良い。動きベクトル算出回路
２６は、算出された動きベクトルが（０，０）の場合、
`０' を出力し、（０，０）とは異なる結果が算出され
た場合、 `１' を出力する。動きベクトル算出回路２６
の出力は判定回路２８へ供給される。

【００２９】一方、フレーム遅延回路２２の出力は、フ
レーム遅延回路２４へも供給される。フレーム遅延回路
２４では、ディジタル画像信号を１フレーム分遅延させ
る。フレーム遅延回路２２の出力信号は、領域切出し回
路２５ａへ供給され、フレーム遅延回路２４の出力信号
は、領域切出し回路２５ｂへ供給される。

【００３０】領域切出し回路２５ａおよび２５ｂは、領
域切出し回路２３ａおよび２３ｂと同様の働きをするも
のであり、フレーム遅延回路２２の出力信号、すなわち
（ｎ−１）フレームの画像信号から注目画素を中心とし
た領域の抽出を行う。ここでは、領域切出し回路２３と
同様に、注目画素を中心とした（５×５）ブロックの画
素の抽出を行うものとする。領域切出し回路２５ａの出
力信号と、領域切出し回路２５ｂの出力信号、すなわち
（ｎ−１）フレームの画像信号と（ｎ−２）フレームの
画像信号は、動きベクトル算出回路２７へ供給される。

【００３１】動きベクトル算出回路２７は、動きベクト
ル算出回路２６と同様の働きをするものであり、領域切
出し回路２５ａにより抽出された（ｎ−１）フレームの
注目画素を中心としたブロックと、領域切出し回路２５
ｂにより抽出された（ｎ−２）フレームの注目画素を中
心としたブロックとの間で、フレーム間ベクトルを算出
する。動きベクトル算出回路２７は、算出された動きベ
クトルが（０，０）の場合、 `０' を出力し、（０，
０）とは異なる結果が算出された場合、 `１' を出力す
る。動きベクトル算出回路２７の出力は、動きベクトル
算出回路２６の出力と同様、判定回路２８へ供給され
る。

【００３２】動きベクトル算出回路２６の出力信号、お
よび動きベクトル算出回路２７の出力信号から共に `
１' が判定回路２８へ供給された場合、判定回路２８
は、 `１' を出力し、そうでないときには、判定回路２
８は、 `０' を出力する。すなわち、判定回路２８は、
ＡＮＤゲートである。

【００３３】フレーム遅延回路２２の出力信号、すなわ
ち（ｎ−１）フレームの画像信号は、スイッチ回路Ｓ２
の１つの入力端子へも供給される。スイッチ回路Ｓ２の
他の入力端子には、接地２９から `０' レベルの信号が
供給される。

【００３４】スイッチ回路Ｓ２は、判定回路２８の出力
信号で制御され、ここから最終的な出力信号が取り出さ
れる。スイッチ回路Ｓ２は、判定回路２８の出力信号が
`１' のとき、フレーム遅延回路２２の出力信号、すな
わち（ｎ−１）フレームの画像信号を最終出力信号とし
て出力し、判定回路２８の出力信号が `０' のとき、接
地２９からの信号（ `０' レベルの信号）を最終出力信
号として出力する。スイッチ回路Ｓ２の出力信号は、出
力端子３０に取り出される。

【００３５】なお、上述の第２の実施例においては、領
域切出し回路により注目画素を中心とするブロックを抽
出し、それに対する動きベクトル（１画素精度）を算出
したが、通常のブロック符号化におけるブロック化回路
の様に画面をブロックに分割し、夫々のブロック同士の
間で動きベクトルを算出することにより、動き判定を行
っても良い。この手法において、動き判定の精度は、分
割されたブロックの大きさとなるため、多少精度は、劣
化するが、計算量を大幅に削減することができる。

【００３６】以上のように第２の実施例においては、第
１の実施例に記したフレーム間差分を用いた判定の代わ
りに、フレーム間ベクトルを用いた判定を行っている。

【００３７】ここで、第１の実施例と第２の実施例を比
較すると、照明判定において、一般的に画面全体の輝度
が変化するので、第１の実施例のフレーム間差分を用い
た動き／静止判定では、動きが発生していなくても輝度
値の変化により動きと判定されやすい状態となる。しか
しながら、第２の実施例のフレーム間ベクトルを用いた
場合には、輝度値は変化するものの基本的に輝度値は、
一様にオフセットを除去する変化なので、動きベクトル
を求めた場合、動きがない場合、（０，０）ベクトルと
して算出される。したがって、フレーム間差分のみでは
なく、フレーム間ベクトルが（０，０）であるか否かの
判定により動き／静止判定を行うことで、照明変化に強
い動き物体検出装置を実現することができる。

【００３８】一方、影による輝度値の変化が発生した場
合、照明変化の場合とは異なり、画面全体の一様な輝度
値の変化となることは少ない。しかしながら、局所的な
領域で観察した場合、その局所的な領域中においては、
おおむね一様な輝度値の変化と見なすことが出来、フレ
ーム間ベクトルの算出のためのブロックを小さくした場
合、上述の照明変化の場合と同様にフレーム間ベクトル
が（０，０）であるか否かの判定により動き／静止判定
を行うことで、影による輝度値の変化に強い動き物体検
出装置を実現することが出来る。

【００３９】しかしながら、通常の２フレーム間の動き
ベクトルのみによって、判定を施す場合、２フレーム間
のフレーム差分によって、判定を施す場合と同様に、ア
ンカバード・バックグラウンドの問題を回避することは
出来ない。そこで、この発明の手法においては、連続す
る３フレームを用いて、フレーム間差分およびフレーム
間ベクトルによる動き／静止判定を行い、照明変化、影
等による輝度値の変化にも強く、しかもアンカバード・
バックグラウンドが発生しないような動き物体検出方法
を実現している。

【００４０】

【発明の効果】第１の実施例の発明によると、背景画像
を必要としないので、照明変化、影による影響が少な
い。特に、フレーム間隔以上のフレーム間差分を用いな
いので、照明変化、影による影響が時間的に尾を引くこ
とがない。また、連続する２フレーム間差分を用いた動
き検出のようなアンカバード・バックグラウンドが発生
しない利点がある。

【００４１】また、第２の実施例の発明によると、動き
／静止の判定に従来のフレーム間差分でなくフレーム間
ベクトルが（０，０）であるか否か、を用いているので
照明変化、影による誤判定を大幅に軽減できる。また、
連続する３フレーム間のデータを用いての判定を行って
いるので、通常の２フレーム間のデータを用いた動き検
出のようなアンカバード・バックグラウンドが発生しな
い利点がある。

【図面の簡単な説明】

【図１】第１の実施例の発明によるブロック図の一例で
ある。

【図２】連続する２フレームのフレーム間差分を用いた
従来の動き検出方式の動作を説明するための図である。

【図３】この発明による動き検出方式の動作を説明する
ための図である。

【図４】この発明による動き検出方式の動作を説明する
ための図である。

【図５】この発明による動き検出方式の動作を説明する
ための図である。

【図６】第２の実施例の発明によるブロック図の一例で
ある。

【図７】この発明の動き検出方式の画素を説明するため
の略線図である。

【符号の説明】

２，４ フレーム遅延回路 ３，５ 減算回路 ７，９ 比較回路 １０ 判定回路

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ディジタル画像信号のフレーム間差分信
   号を用いて動き物体を検出する動き物体検出装置におい
   て、 第（ｎ−２ｍ）フレーム画像と第（ｎ−ｍ）フレーム画
   像の第１のフレーム間差分信号を検出するための手段
   と、 第（ｎ−ｍ）フレーム画像と第ｎフレーム画像の第２の
   フレーム間差分信号を検出するための手段と、 上記の第１および第２の差分信号を用いて、第（ｎ−
   ｍ）フレームにおける動き物体検出を行うための手段と
   からなることを特徴とする動き物体検出装置。
2. 【請求項２】 ディジタル画像信号のフレーム間ベクト
   ル信号を用いて動き物体を検出する動き物体検出装置に
   おいて、 第（ｎ−２ｍ）フレーム画像と第（ｎ−ｍ）フレーム画
   像の第１のフレーム間ベクトル信号を検出するための手
   段と、 第（ｎ−ｍ）フレーム画像と第ｎフレーム画像の第２の
   フレーム間ベクトル信号を検出するための手段と、 上記の第１および第２のベクトル信号を用いて、第（ｎ
   −ｍ）フレームにおける動き物体検出を行うための手段
   とからなることを特徴とする動き物体検出装置。
3. 【請求項３】 請求項１または請求項２に記載の動き物
   体検出装置において、 ｍ＝１であることを特徴とする動き物体検出装置。
4. 【請求項４】 請求項１に記載の動き物体検出装置にお
   いて、 第１および第２の差分信号が共にしきい値より大きい画
   素を動きとして検出することを特徴とする動き物体検出
   装置。
5. 【請求項５】 請求項１に記載の動き物体検出装置にお
   いて、 第１および第２の差分信号が共にしきい値より大きい時
   に、入力ディジタル画像信号を選択し、そうでない時に
   所定の固定値を選択する手段を含むことを特徴とする動
   き物体検出装置。
6. 【請求項６】 請求項２に記載の動き物体検出装置にお
   いて、 第１および第２のベクトル信号が共にゼロより大きい画
   素を動きとして検出することを特徴とする動き物体検出
   装置。
7. 【請求項７】 請求項２に記載の動き物体検出装置にお
   いて、 第１および第２のベクトル信号が共にゼロより大きい時
   に、入力ディジタル画像信号を選択し、そうでない時に
   所定の固定値を選択する手段を含むことを特徴とする動
   き物体検出装置。