JPH05225341A

JPH05225341A - 移動物体検出装置

Info

Publication number: JPH05225341A
Application number: JP4026452A
Authority: JP
Inventors: Toshiyuki Kawahara; 俊之河原; Makoto Fujimoto; 眞藤本; Hiroshi Ekusa; 洋江草
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-02-13
Filing date: 1992-02-13
Publication date: 1993-09-03

Abstract

(57)【要約】【目的】急激な照明変化や動作中の静止物体の隠現に
よる誤検出の少ない移動物体検出装置を提供する。【構成】差分手段１０５で、入力画像と背景生成手段
１０２により生成された背景画像との差分をとり、移動
物体を検出する。係数決定手段１０３により、差分手段
１０５の結果が所定値以上の画素と所定値以下の画素と
で、背景生成手段１０２における入力画像と背景画像と
の加算の割合を変えることにより、入力画像と背景画像
との混合比を変えて背景画像を生成する。また、静止判
断手段１１０、背景変化判断手段１１２により移動物体
の静止や、背景の急激な変化を検出して係数決定手段１
０３における係数を変える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連続して入力される動
画像の中から移動物体を検出する移動物体検出装置に関
するものである。

【０００２】

【従来の技術】動画像から移動物体を検出する手法とし
て、入力画像と、一定期間（例えば１フレーム期間）だ
け前に入力された画像との差分をとることにより変化分
を抽出する手法や、あらかじめ移動物体を含まない背景
画像を装置内に記憶しておき、連続して入力される入力
画像との差分をとることにより移動物体を抽出するとい
う手法がある。

【０００３】しかしながら、入力画像と、前に入力され
た画像との差分をとる手法では、時間微分による変化分
のみを抽出するため、その値のみから移動体の像を検出
することは困難である。例えば、一様に黒い背景の前で
無地の白い円形の領域が移動した場合を考えると、進行
方向の前部と後部い２つの３日月形の領域が得られる
が、この情報から円形の領域を抽出することは困難であ
る。

【０００４】また、あらかじめ記憶しておいた移動物体
を含まない背景画像と入力画像との差分をとることによ
る移動物体検出手法では、カメラが静止している場合や
背景が変化しない場合には問題ないが、カメラが移動・
パンニングする場合や、屋外などで太陽が雲に隠れるな
どのために照明変化が起こる場合には、背景画像は刻々
変化するため正しい結果が得られなくなる。この様な場
合に対処するために、入力画像から背景画像を合成する
手法が提案されており、例えば特開平１−１８４４８３
号公報では、入力画像とその時の背景画像との差分があ
るしきい値以上の画素点（以下動き画素と呼ぶ）を移動
物体を表す動き画素と判断し、それ以外の背景と判断さ
れる領域についてのみ背景画像を更新するという、背景
画像合成手法について述べられている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような手法では、背景が緩やかに変化する場合はよい
が、例えば照明灯の点灯などの急激な変化が起こると誤
動作してしまうし、また、静止物体が動作中に置かれた
り、動作開始時に存在していた静止物体を途中で撤去し
たりすると、これらは求める移動体ではないにもかかわ
らず検出され続けるという課題を有していた。

【０００６】本発明はかかる点に鑑み、急激な照明変化
や動作中の静止物体の隠現による誤検出の少ない移動物
体検出装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】画像入力手段と、背景と
なる画像を記憶する背景画像記憶手段と、画像入力手段
より得られた入力画像と背景画像記憶手段に記憶された
背景画像とを画素ごとに所定の割合で加算して新たな背
景画像を得る背景画像生成手段と、背景画像記憶手段と
入力画像との差をとる差分手段と、差分手段の結果によ
り背景生成手段における入力画像と背景画像との加算の
割合を決定する係数決定手段とを備えた移動物体検出装
置を構成する。

【０００８】また、画像入力手段と、背景となる画像を
記憶する背景画像記憶手段と、画像入力手段より得られ
た入力画像と背景画像記憶手段に記憶された背景画像と
を画素ごとに所定の割合で加算して新たな背景画像を得
る背景画像生成手段と、背景画像記憶手段と入力画像と
の差をとる第１の差分手段と、入力画像を記憶する画像
記憶手段と、入力画像と画像記憶手段に記憶された画像
との差分をとる第２の差分手段と、第２の差分手段の結
果により背景生成手段における入力画像と背景画像との
加算の割合を決定する係数決定手段とを備えた移動物体
検出装置を構成する。

【０００９】さらに、画像入力手段と、背景画像または
入力画像を記憶する画像記憶部と、画像入力手段より得
られた入力画像と記憶部に記憶された画像との差分を計
算する差分手段と、残像を記憶する残像記憶手段と、差
分手段による差分結果と残像記憶手段に記憶された残像
画像とを画素ごとに所定の割合で加算して新たな残像画
像を得る残像生成手段とを備えた移動物体検出装置を構
成する。

【００１０】

【作用】本発明は前記した構成により、入力画像と背景
画像との差分値が所定値以上の画素と所定値以下の画素
とで背景生成手段における入力画像と背景画像との加算
の割合を変えることにより、入力画像と背景画像との混
合比を変えて背景画像を生成する。

【００１１】また、入力画像と一定期間前の入力画像と
の差分値が所定値以上の画素と所定値以下の画素とで背
景生成手段における入力画像と背景画像との加算の割合
を変えることにより、入力画像と背景画像との混合比を
変えて背景画像を生成する。

【００１２】

【実施例】図１は本発明の第１の実施例における移動物
体検出装置のブロック図を示すものである。図１におい
て、１０１は画像入力部、１０２は背景生成部、１０３
は背景生成部における係数を決定するための係数決定
部、１０４は背景生成部１０２により生成された背景画
像を記憶する背景記憶部、１０５は画像入力部１０１か
らの入力画像と背景記憶部１０４からの背景画像との差
を計算する差分部、１０６は差分部５により得られた結
果の残像を生成する残像生成部、１０７はそれを記憶す
る残像記憶部、１０８は画像表示部である。また、１０
９は差分部１０５により得られた結果を加算記憶する加
算記憶部、１１０はその結果から静止物体の存在を判断
する静止判断部、１１１は差分部１０５の結果の総画素
数を計数する画素数計数部、１１２はその結果から背景
の急激な変化を判断する背景変化判断部である。以上の
ように構成された第１の実施例の移動物体検出装置につ
いて、以下その動作を説明する。

【００１３】画像入力部１０１では、例えばカメラから
の入力映像信号をディジタルデータに変換し、背景生成
部１０２と差分部１０５に供給する。背景生成部１０２
では、各位置の画像信号に対して、入力信号（図中の
Ｘ）と背景記憶部１０４の内容（図中のＹ）とから出力
（図中のＺ）として、Ｚ＝ａ×Ｘ＋（１−ａ）×Ｙ (1) （ａは係数決定部１０３により決定される値）を計算
し、背景記憶部１０４の対応する位置に記憶する。即
ち、背景記憶部の内容が式（１）により更新されること
になる。例えば、ａ＝０の場合は、式（１）はＺ＝Ｙと
なり、背景記憶部１０４の内容は全く変化しない。逆に
ａ＝１の場合には、式（１）はＺ＝Ｘとなるので、背景
記憶部１０４の内容は常に入力画像に書き換えられる。

【００１４】差分部１０５では、画像入力部１０１から
の入力画像と背景記憶部１０４からの背景画像との各画
素の差の絶対値を求め、その結果が所定の値以上であれ
ば１、そうでなければ０を出力する。差分部１０５の出
力は係数数決定部１０３、残像生成部１０６、加算記憶
部１０９、画素数計数部１１１に供給される。

【００１５】係数数決定部１０３では、差分部１０５の
結果が１である（差分値が所定値より大きい）場合と０
である（差分値が所定値より小さい）場合とで背景生成
部１０２における係数ａを変化させる。差分部１０５の
結果が１の画素ではａを小さく（例えばａ＝０．１２
５）し、０の画素ではａを大きく（例えばａ＝０．７
５）する。この場合の動作について図３を用いて説明す
る。

【００１６】入力画像として図３（ａ）のように一様に
黒い（輝度値０）背景の前で明るい無地の円形の領域
（輝度値２５６）が移動する場合を考える。背景記憶部
１０４に記憶されている背景画像を（ｂ）のように全面
が一様に黒い（輝度値０）背景であるとすると、差分部
１０５内での差分値（入力画像と背景画像との差の絶対
値）は（ｃ）のようになり、所定値（例えば１２８）よ
り大きい画素が検出結果（ｄ）として出力される。この
ときに背景生成部１０２では（ａ）と（ｂ）より背景画
像（ｅ）が生成される。そして、次の入力画像（ｆ）が
入力されると、背景画像（ｇ）との差分の結果により、
差分値（ｈ）および検出結果（ｉ）が得られ、生成され
る背景は（ｊ）のようになる。同様にして、順次画像
（ｋ），（ｐ）が入力され検出結果（ｎ），（ｓ）が得
られ、背景画像としては（ｏ），（ｔ）が生成される。
このように、動き画素と判断された部分は背景画像の重
みを大きく、動き画素でないと判断された部分は入力画
像の重みを大きくして累積加算を行うことにより背景画
像を得ることにより移動物体を抽出することができる。

【００１７】また、動作開始時に移動物体が背景として
記憶されていた場合について図４を用いて説明する。例
えば、動作開始時には静止していた物体が移動を開始し
た場合などにこのような状況が起こる。入力画像（ａ）
が入力された時に背景記憶部１０４に記憶されている背
景画像を（ｂ）とすると、差分部１０５内での差分（入
力画像と背景画像との差の絶対値）は（ｃ）のようにな
り、所定値（例えば１２８）より大きい画素が検出結果
（ｄ）のように出力される。このときに背景生成部１０
２では（ａ）と（ｂ）より背景画像（ｅ）が生成され
る。そして、次の入力画像（ｆ）が入力されると、背景
画像（ｇ）との差分の結果により、差分値（ｈ）および
検出結果（ｉ）が得られ、生成される背景は（ｊ）のよ
うになる。同様にして、順次画像（ｋ），（ｐ）が入力
され検出結果（ｎ），（ｓ）が得られ、背景画像として
は（ｏ），（ｔ）が生成される。このように、動作開始
時に移動物体が背景として記憶されていた場合には、検
出結果として最初移動物体が存在していた位置が動き領
域として検出されるが、その差分値は時間経過とともに
小さくなってゆくことがわかる。これは、動き領域とし
て検出された部分についても入力信号の混合比を下げて
背景の更新を行っているためである。即ち最初に静止し
ていて移動を開始した物体についても所定の時間経過と
ともに誤検出がなくなる。

【００１８】残像生成部１０６では、残像記憶部１０７
の内容と差分部１０５の結果との荷重平均をとり残像記
憶部１０７に記憶する。この場合の計算方法も背景生成
部１０２の場合と同様に、差分部１０５の結果をＸと
し、残像記憶部１０７の内容をＹ、残像生成部１０６の
出力をＺとして、式（１）で示されるような計算を行
う。このように検出結果の残像を記憶して表示すること
により、簡単な構成で軌跡を得ることができ、また、結
果画像を積分しているため雑音の除去効果も得ることが
できる。残像生成部１０７における係数については、例
えばａ＝０．７のように固定の値でもよいし、残像表示
時間の設定値として、使用者が設定可能な構成にしても
よい。

【００１９】次に加算記憶部１０９の動作を説明する。
加算記憶部１０９では、差分部１０５からの結果が１の
画素については加算してゆき、差分部１０５からの結果
が０になった画素については加算記憶部１０９の内容を
０にする。即ち、加算記憶部１０９では差分部１０５の
結果が連続して１になっている回数が記憶されることに
なる。ここで、加算記憶部１０９の構成例を図２に示
す。加算部２０１は、入力信号Ｓと記憶部２０３の対応
する位置の内容とを加算し、切り替え部２０２に出力す
る。切り替え部２０２は、入力信号Ｓが０の場合は入力
信号Ｓを選択出力し、入力信号Ｓが１の場合には、加算
部２０１の結果を出力する。そして、切り替え部２０２
の出力を記憶部２０３の対応する位置に記憶する。この
ようにして、入力信号が１の場合は記憶部２０３の対応
する位置の内容が１だけ加算され、入力信号が０の場合
には記憶部２０３の対応する位置の内容が０にリセット
される。

【００２０】このようにして、加算記憶部１０９では差
分部１０５の結果が連続して１になっている回数が記憶
されるので、その内容により長時間同じ場所で検出され
ているものを検出することができる。静止判断部１１０
では、加算記憶部１０９の内容が所定値以上になった部
分を検出して係数決定部１０３に出力する。係数決定部
１０３では、静止判断部１１０により静止と判断された
画素については、入力画像の重みを大きく（例えばａ＝
０．９）する。これにより、所定の時間以上の間静止し
ている物体が誤検出される期間をさらに短縮することが
できる。

【００２１】画素数計数部１１１では、差分部１０５の
結果が１である画素（動き画素と判断された画素）の数
を計数する。背景変化判断部１１２では、画素数計数部
１１１の結果が所定値より大きくなった場合や、増加率
が所定値以上になった場合を検出して、係数決定部１０
３に出力する。係数決定部１０３では、背景変化判断部
１１２により背景の急激な変化と判断された部分につい
ては、例えばａ＝１として、背景画像を更新する。

【００２２】以上のように本実施例によれば、背景画像
との差分値が所定値以上の画素と所定値以下の画素とで
背景生成部の係数を変えることにより、入力画像と背景
画像との混合比を変えて背景画像を生成するようにした
ので高精度な背景生成を行うことができる。また、所定
期間以上同一で入力画像と背景との差があった場合には
それを検出して背景生成部の背景混合率を上げることに
より、静止物体による誤動作をなくすことができる。さ
らに、入力画像と背景の差が大きくなりすぎた場合や急
激に増加した場合を検出してその部分の背景画像を入力
画像で置き換えるようにしたので、急激な背景変化に対
しても速やかに誤検出部分をなくすることができる。

【００２３】図５は本発明の第２の実施例における移動
物体検出装置のブロック図を示すものである。図３にお
いて、図１と同じでよいものには同一番号を付してあ
る。５０２は一定時間前の画像を記憶しておく画像記憶
部、５０３は入力画像と画像記憶部５０２に記憶されて
いる画像との差の絶対値を計算する差分部、５０４は差
分部５０３の結果の画素数を計数する画素数計数部、５
０５はその結果から背景の急激な変化を判断する背景変
化判断部である。以上のように構成された第２の実施例
の移動物体検出装置について、以下その動作を説明す
る。

【００２４】画像入力部１０１の出力は、背景生成部１
０２と差分部１０５の他に、画像記憶部５０２と差分部
５０３にも供給される。画像記憶部５０２では一定期間
（例えば１フレーム期間）前に入力された画像を１画面
分記憶しておき、一定期間前の画像として入力画像に対
応した位置の画素を読み出し、差分部５０３に出力す
る。差分部５０３では、入力画像と画像記憶部５０２か
らの過去の画像との差の絶対値を求め、所定値（例えば
１２８）以上の画素については１、そうでない画素につ
いては０を差分結果として出力する。即ち、入力画像と
一定期間前の画像との時間微分をとりその差が大きい部
分を動き画素として出力する。差分部５０３の結果は、
係数決定部５０１と画素数計数部５０４に与えられる。
係数決定部では、差分部５０４の結果が１である部分は
動き領域であるため、背景の混合比を大きく（例えばａ
＝０．１２５）設定し、そうでない部分については、入
力画像の混合比を大きく（例えばａ＝０．７５）設定す
る。また、画素数計数部５０４では、差分部５０３で検
出された動き画素（結果が１の画素）を計数し、背景変
化判断部５０５では画素数計数部５０４の結果が所定値
より大きくなった場合や、増加率が所定値以上になった
場合を検出して、係数決定部５０１に出力する。係数決
定部５０１では、背景変化判断部５０５により背景の急
激な変化と判断された部分については、例えばａ＝１と
して、背景画像を更新する。

【００２５】ここで、入力画像として一様に黒い背景の
前で明るい無地の円形の領域が移動する場合を例にとっ
て、図６を用いて動作を説明する。入力画像（ａ）が入
力された時に背景記憶部１０４に記憶されている背景画
像を（ｂ）とすると、差分部１０５による差の絶対値が
１２８以上の領域は（ｃ）のようになり、差分部５０３
による差の絶対値が１２８以上の領域は（ｄ）のように
なる。このときに背景生成部１０２では（ａ）と（ｂ）
より背景画像（ｅ）が生成される。そして、次の入力画
像（ｆ）が入力されると、背景画像（ｇ）との差分の結
果により、背景との差分結果（ｈ）および前の画像との
差分結果（ｉ）が得られ、生成される背景は（ｊ）のよ
うになる。同様にして、順次画像（ｋ），（ｐ）が入力
され検出結果（ｍ），（ｒ）が得られ、背景画像として
は（ｏ），（ｔ）が生成される。

【００２６】以上のように本実施例によれば、入力画像
の時間微分の値が所定値以上の画素と所定値以下の画素
とで背景生成部の係数を変えることにより、入力画像と
背景画像との混合比を変えて背景画像を生成するように
したので高精度な背景生成を行うことができ、動作開始
時に移動物体が背景として記憶されていた場合について
も誤検出が速やかに回復する。また、入力画像の時間微
分の値が大きくなりすぎた場合や急激に増加した場合を
検出してその部分の背景画像を入力画像で置き換えるよ
うにしたので、急激な背景変化に対しても速やかに誤検
出部分をなくすることができる。

【００２７】なお、第２の実施例において、一定期間ご
とに画像を画像記憶部５０２に記憶させるようにした
が、この期間については、固定値である必要はなく状況
に応じて変化させてもよい。

【００２８】また、第１及び第２の実施例において、差
分部のしきい値や、背景変化判断部の画素数のしきい値
および画素数増加率のしきい値を固定の値としたが状況
に応じて変化させてもよい。

【００２９】

【発明の効果】以上説明したように、本発明によれば、
急激な照明変化や動作中の静止物体の隠現による誤検出
を少なくすることができ、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施例の移動物体検出装置のブ
ロック図

【図２】図１における加算記憶部の構成の一例を示すブ
ロック図

【図３】図１の動作を説明するための説明図

【図４】図１の動作を説明するための説明図

【図５】本発明の第２の実施例の移動物体検出装置のブ
ロック図

【図６】図５の動作を説明するための説明図

【符号の説明】

１０１画像入力部１０２背景生成部１０３，５０１係数決定部１０４背景記憶部１０５，５０３差分部１０６残像生成部１０７残像記憶部１０８画像表示部１０９加算記憶部１１０静止判断部１１１，５０４画素数計数部１１２，５０５背景変化判断部５０２画像記憶部

Claims

【特許請求の範囲】

【請求項１】画像入力手段と、背景となる画像を記憶す
る背景画像記憶手段と、前記画像入力手段より得られた
入力画像と前記背景画像記憶手段に記憶された背景画像
とを画素ごとに所定の割合で加算して新たな背景画像を
得る背景画像生成手段と、前期背景画像記憶手段と前記
入力画像との差をとる差分手段と、前記差分手段の結果
により前記背景生成手段における前記入力画像と前記背
景画像との加算の割合を決定する係数決定手段とを備え
たことを特徴とする移動物体検出装置。
【請求項２】差分手段の結果が所定の値より大きい画素
の数を計数し、その数が所定の値より大きいかまたは増
加率が所定の値より大きいことを検出する背景変化検出
手段を備え、前記背景変化検出手段により係数決定手段
の係数を変化させることを特徴とする請求項１記載の移
動物体検出装置。
【請求項３】差分手段の結果が所定の値より大きい画素
が、所定の時間より長い間連続して同一の位置に存在す
るのを検出する静止検出手段を備え、前記静止検出手段
の結果により係数決定手段の係数を変化させることを特
徴とする請求項１または２記載の移動物体検出装置。
【請求項４】画像入力手段と、背景となる画像を記憶す
る背景画像記憶手段と、前記画像入力手段より得られた
入力画像と前記背景画像記憶手段に記憶された背景画像
とを画素ごとに所定の割合で加算して新たな背景画像を
得る背景画像生成手段と、前期背景画像記憶手段と前記
入力画像との差をとる第１の差分手段と、前記入力画像
を記憶する画像記憶手段と、前記入力画像と前記画像記
憶手段に記憶された画像との差分をとる第２の差分手段
と、前記第２の差分手段の結果により前記背景生成手段
における前記入力画像と前記背景画像との加算の割合を
決定する係数決定手段とを備えたことを特徴とする移動
物体検出装置。
【請求項５】第２の差分手段の結果が所定の値より大き
い画素の数を計数し、その数が所定の値より大きいかま
たは増加率が所定の値より大きいことを検出する背景変
化検出手段を備え、前記背景変化検出手段により係数決
定手段の係数を変化させることを特徴とする請求項４記
載の移動物体検出装置。
【請求項６】画像入力手段と、背景画像または入力画像
を記憶する画像記憶部と、前記画像入力手段より得られ
た入力画像と前記記憶部に記憶された画像との差分を計
算する差分手段と、残像を記憶する残像記憶手段と、前
記差分手段による差分結果と前記残像記憶手段に記憶さ
れた残像画像とを画素ごとに所定の割合で加算して新た
な残像画像を得る残像生成手段とを備えたことを特徴と
する移動物体検出装置。