JPH0422280A

JPH0422280A - 画像の動き検出装置

Info

Publication number: JPH0422280A
Application number: JP2127375A
Authority: JP
Inventors: Hiroshi Ishii; 浩史石井; Toshiyuki Kawahara; 俊之河原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1990-05-16
Filing date: 1990-05-16
Publication date: 1992-01-27
Anticipated expiration: 2012-11-19
Also published as: JP2679778B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、撮像装置の揺れやバンニングなどにより、撮
像された画像の全体が動く場合でも、背景とは異なる動
きをもつ物体だけを検出することが可能なように構成さ
れた画像の動き検出装置に間するものである。

従来の技術画像内で動きを持つ物体を検出する装置として、従来、
第１０図に示すような装置がある。これはフレームメモ
リ３に前フレームの画像信号を記憶しておき、現フレー
ムの画像信号３４が人力されるとき、前フレームと現フ
１ノ−ムの各画素の信号の差分をとり、この差分値が所
定の値を超える５とき、その画素を動き領域であるとす
るものである。たとえば、第１１図（ａ）に示すように
、背景が静止した状態で物が動くような場合、この装置
は２フレーム問差分を取ることにより第１１図（ｂ）に
示すように、画像内で動きを持つ物体として、移動物だ
けを検出することができる。

発明が解決しようとする課題しかしながら、従来の画像の動き検出装置では第１２図
（ａ）に示すようζこ、バンニングなどの撮像装置の動
きによって、背景が静止していない状態では、この装置
では２フレーム閏差分を取ることにより第１２図（ｂ）
に示すように、背景も動き領域として検出されるため、
画像内て移動物だけを検出できない。

本発明は、上記従来の課題を解決するもので、背景が静
止していない状態でも、背景とは異なる動きをもつ物体
だけを検出することができる画像の動き検出装置を提供
することを目的とする。

課題を解決するための手段本発明の画像の動き検出装置は、背景が静止していない
状態でも、背景とは異なる動きをもつ物体だけを検出す
ることを可能とするため、全体のの動きを補正する手段
と、前記補正手段の出力を用いることにより前記全体の
動きとは異なる動きをもつ領域を検出する検出手段を有
している。

作用本発明の画像の動き検出装置において、全体の動きを補
正する手段により、撮像装置の撮影方向の変化などによ
る画像の画面全般の動きが補正される。この補正された
出力画像信号を用いて動き検出を行うことにより、全体
の動きとは異なる動きをもつ移動物だけを検出すること
が可能となる。

実施例以下に本発明の実施例を図面を参照して説明する。

第１図は本発明の第１の実施例における画像の動き検出
装置のブロック図を示すものである。第１図において、
１は動きベクトル検出手段、２は代表動きベクトル決定
手段、３．３ａはフレームメモリ、４は読みだし制纒手
段、５は差分、しきい値処理手段、６はヌディアンフィ
ルタ、７は動き振幅・分散算出手段、３４は入力端子で
ある。

この画像の動き検出装置の動作を第２図を用いながら説
明する。

まず、第２図において、８は前フレームの画像、９は現
プし−１１の画像、ｌＯは画像内の移動物の動きベクト
ル、１１は画像内の背景の動きベクトル、１２は画像内
の移動物、１３は画面内の各動きベクトル検出領域、１
４は０ベクトル、１５は画像内の背景の動きベクトルの
逆ベクトル、１６は２フレームの画像を差分、しきい値
処理して検出される移動物の領域、１７は２フレームの
動き補正が完全でないため、画像を差分、しきい値処理
したとき動き領域として検出される背景のエツジ部分、
１８は前フレームの画面位置、１９は現フレームの画面
位置である。

まず本装置の入力端子３４に、第２図（ａ）に示すよう
に、前フレー１１の画像８に対し、背景と移動物１２を
含めた全般に動きをもつ現フレームの画像９が入力され
る。動きベクトル検出手段１において、第２図（ｂ）に
示すように、画面を１６分割した各動きベクトル検出領
域１３でそれぞれ画像の動きベクトルが検出される。移
動物１２の主に存在する領域では、移動物１２の動きベ
クトルｌＯが検出され、おもに背景の絵柄が存在する領
域では、背景の動きベクトル１１が検出される。また、
絵柄が存在しないような領域では、０ヘクトル１４を検
出する６　代表動きベクトル決定手段２ては、各動きベ
クトル検出領域１３から検出される１６のベクトルの統
計的に最も多くのベクトルが一致しているベクトルを、
背景の動きベクトル１１として決定し出力する。前記統
計的に最も多くのベクトルが一致しているベクトルを算
出する方法は、ベクトルの水平方向垂直方向のベクトル
値について２次元ヒストグラムをとり、その２次元ヒス
トグラム値が最大となるベクトル値を求めるものである
。この動作を簡単に第２図（ｆ）、　（ｇ）を用いて説
明する。第２図（ｆ）は代表動きベクトル決定手段２に
人力される動きベクトルの点を検出範囲内でプロットし
たものである。この第２図（ｇ）はこのヒストグラムを
、水平方向だけから見たものである。この最大点を検出
することにより、背景の動きベクトル１１出力する。フ
レームメモリ３はこの背景の動きベクトル１１が検出さ
れる間、現フレームの画像信号を記憶する。読みだし制
御手段４は動きベクトル１１を基にして、第２図（ｅ）
に示すように、前フレームの出力位置１８を基準に、動
きベクトル１１の逆ベクトル１５の方向に現フレームの
出力位置１９をシフトしてフレームメモリ３から画像信
号を読みだし、出力する。フレームメモリ３ａは読みだ
し制御手段４の前フレームの出力を記憶する。差分、し
きい値処理手段５は、フレームメモリ３ａからの前フレ
ームの画像信号と、読みだし制御手段４の現フレームの
画像信号の差分を取り、その絶対値がしきい値を超える
ところの画素を、動き領域として出力する。その出力が
第２図（ｄ）の１６．１７のようζこ斜線で示す部分で
ある。ただし、動きベクトル検出の微少な誤差や、また
はシェーディングなどの画像の歪み、または画面の回転
などにより、平行移動では背景の動きを完全ζこ補正で
きない場合、１７に示すようζこ背星の絵柄のエツジ部
分に、動き領域としで検出される場合がある。これは一
般にエツジ部分のみに点または線状に発生するので、メ
デイアンフィルタ６により、取り除くことができ、第２
図（ｅ）に示すように移動物による動き領域１６だけが
出力される。この背景のエツジ部分に発生する動き領域
として検出される部分の大きさは、たとえはシェーディ
ングなどの画像の歪みを原因とする場合、背景の動きベ
クトルの大きさより予測できる。

また検出誤差や、画面の回転を原因とする場合、動きベ
クトル検出手段１で検出される各検出領域の動きベクト
ルの一致度つまり、第２図（ｇ）に示す背景の動きベク
トル１１に集まる動きベクトルの分散２９０大きさより
予測できる。動き振幅・分散算出手段７は、背景の動き
ベクトル１１の振幅、分散２９を求め、メデイアンフィ
ルタ６に出力する。メデイアンフィルタ６は、動き振幅
・分散算出手段７より入力される背景の動きベクトル１
１、分散２６より、これに応してメデイアンフィルタの
マトリクスの大きさを変化させる。このことにより、動
きが大きく、背景のエツジ部分に発生する動き領域の部
分か大きくなってもこれを取り除くことができる。

次に、以下本発明の第２の実施例について、図面を参照
しながら説明する。第３図は本発明の第２の実施例にお
ける画像の動き検出装置のブロック図を示すものである
。第３図において、第１図と、同じ要素には、同じ番号
をつけている。この画像の動き検出装置の動作を第４図
を用いながら説明する。第４図において、第２図と、同
じ要素には、同じ番号をつけている。

まず本装置の入力端子３４に、第１の実施例と同様に、
第４図（ａ）に示すように、前フレームの画像８に対し
、背景と移動物１２を含めた全般に動きをもつ現フレー
ムの画像９が入力される。

動きベクトル検出１と代表動きベクトル決定手段２の動
作は、第１の実施例と同様である。フレームメモリ３は
この背景の動きベクトル１１が検出されるあいだ現フレ
ームの画像信号を記憶する。

そのとき同時に、フレームメモリ３ａは前フレームの画
像信号を記憶している。読みだし制御手段４は動きベク
トル１１を基にして、第４図（Ｃ）に示すように、現フ
レームの位置１９を基準に、動きベクトル１１の方向に
前フレームの出力位置１８をシフトして、フし−ムメモ
リ３ａから画像信号を読みだし、出力する。差分、しき
い値処理手段５は、フレームメモリ３からの現フレーム
の画像信号と、読みだし制御手段４の出力の前フレーム
の画像信号の差分を取り、その絶対値がしきい値を超え
るところの画素を、動き領域として出力する。その出力
が第４図（ｄ）の１６．１７のように斜線で示す部分で
ある。これも第１の実施例同様、動きベクトル検出の微
少な誤差や、またはシェーディングなどの画像の歪みに
より、背景の動きを完全に補正できない場合、１７に示
すように背景の絵柄のエツジ部分に、動き領域として検
出される場合がある。振幅算出手段７、メデイアンフィ
ルタ６は第１の実施例と同様に動作し、これを取り除き
、第４図　＜ｅ＞に示ずように移動物による動き領域１
６だけが出力される。ここで第１の実施例は前フレーム
の補正出力画面を基準にして現フレームの位置をシフト
するため第２図（ｅ）に示すように補正された画面の座
標を基準に、移動物による動き領域１６が出力されるが
、第２の実施例は現フ！ノームを基準にして現フレーム
の位置をシフトするため第４図（ｅ）に示すように現フ
ィールドの両面の座標を基準に、移動物による動き領域
１６が出力される。

以下本発明の第３の実施例について、図面を参照しなが
ら説明する。第５図は本発明の第３の実施例における画
像の動き検出装置のブロック図を示すものである。第５
図において、第２図と、同じ要素には、同じ番号をつけ
ている。第５図ζこおいて、１ａは動きベクトル検出手
段である。この画像の動き検出装置の動作を第６図を用
いながら説明する。第６図（ａ）において、第２図と、
同じ要素には、同じ番号をつけている。

第６図（ｂ）において、２６は相間間数、２７は背景部
分で得られる相間間数、２８は移動物の領域で得られる
相間間数である。

まず本装置に、第６図（ａ）に示すように、前フレーム
の画像８に対し、背景と移動物１２を含めた全般に動き
をもつ現フレームの画像９が入力される。動きベクトル
検出手段１ａにおいては、まず、画面全体のデータにつ
いて第６図（ｂ）に示すように、動きベクトル検出範囲
内の偏移における差分の絶対値を相間間数２６として求
める。

この相間間数２６は、背景部分で得られる相関関数２７
と移動物の領域で得られる相関間数２８を加算したもの
である。ここで、移動物の面積が背景に対して十分小さ
ければ、相関関数２７の平均的振幅が相関間数２８に比
べ十分大きくなるため、相間間数２６の最小点を求める
ことにより、背景の動きベクトル１１を求めることがで
きる。動きベクトル検出手段１ａはこのようにして、相
間間数２６の最小点を求め、背景の動きベクトル１１を
検出し、出力する。フレームメモリ３はこの背景の動き
ベクトル１１が検出される閏、現フレームの画像信号を
記憶する。そのとき同時に、フレームメモリ３ａは前フ
レームの画像信号を記憶している。以後、読みだし制御
手段４、差分、しきい値処理手段５、メデイアンフィル
タ６の動作は第２の実施例と同様である。

以下本発明の第４の実施例について、図面を参照しなが
ら説明する。第７図は本発明の第４の実施例における画
像の動き検出装置のブロック図を示すものである。第７
図において、第１図と、同じ要素には、同じ番号をつけ
ている。第７図において、２０は撮像装置に取り付けら
れた加速度センサ、２１はズーム倍率センサ、２２は動
き算出手段、２６は読みだし制御、データ補間手段であ
る。この画像の動き検出装置の動作を第８図を用いなが
ら説明する。第８図において、第２図と、同じ要素には
、同じ番号をつけている。第８図において、２３は前フ
レームに対する現フレームの画面中心部分の動きベクト
ル、２４は前フレームに対する現フレームの画面中心を
中心とする周辺部分の動きの回転角度、２５は前フレー
ムに対する現フレームのズー１１倍率の変化の割合であ
る。

まず本装置の入力端子３３４に、第８図（ａ）ζこ示す
ように、前フレームの画像８に対し、背景と移動物１２
を含めた全般に動きをもつ現フレームの画像９が人力さ
れる。フレームメモリ３ａは前フレームの画像信号を記
憶している。

このとき、撮像装置に取り付けられた加速度センサ２０
より、撮像装置の撮影方向の角度の変化および、撮影方
向を中心とした回転角度が、動き算出手段２２に人力さ
れる。また同時にズーム倍率センサ２１から、ズーム倍
率が動き算出１段２２に人力される。動き算出手段２２
は、第８図（ａ）に示す前フレームに対する現フレーム
の画面中心部分の動きベクトル２３、前フレームに対す
る現フレームの画面中心を中心とする周辺部分の動きの
回転角度２４、前フレームに対する現フレームのズーム
倍率の変化の割合２５を算出する。

読みだし制御、データ補間手段２６は、第８図（ｂ）に
示すように、現フレームの位置１９を基準に、フレーム
メモリ３ａから前フレームの画像信号を読みだし、デー
タ補間を行い出力する。差分、しきい値処理手段５は、
フ１ノームメモリ３からの現フレームの画像信号と、読
みだし制御手段４の出力の前フレームの画像信号の差分
を取り、その絶対値がしきい値を超えるところの画素を
、動き領域として出力する。その出力が第８図（Ｃ）の
１６．１７のように斜線で示す部分である。これも第１
の実施例同様、動きベクトル検出の微少な誤差や、また
はシェーディングなどの画像の歪みにより、背景の動き
を完全に補正できない場合、１７に示すように背景の絵
柄のエツジ部分に、動き領域として検出される場合があ
る。振幅算出手段７、メデイアンフィルタ６は第１の実
施例と同様に動作し、これを取り除き、第８図（ｄ）に
示すように移動物による動き領域１６だけが出力される
。

なお、第１、第２の実施例では、２フレーム閏の画像全
体の平行移動の動きを補正しているが、平行移動の動き
だけではなく、全体的な回転、拡大の動きをたとえば、
第７図（ａ）、　　（ｂ）のように検出し、第８図（ａ
）、　　（ｂ）のように２フレームの一方を回転、拡大
処理して、２のフレーム間の全体的動きを補正し、その
全体的動きとは異なる動き領域を検出する装置とするこ
とも当然考えられる。

また第４の実施例では加速度センサとズーム倍率センサ
の出力を用いて、撮像方向とズーム倍率の変化を算出し
たが、これは撮像状態を信号化するものであれば良い。

たとえば第５の実施例として第９図に示す画像の動き検
出装置が考えられる。第４の実施例と異なる点は、撮像
装置の撮像方向を制御する手段３０、ズーム倍率を制御
する手段３１等を備え、それぞれより撮像方向制御信号
、ズーム倍率制御信号を出力する点と、また動き算出手
段２２において、第４の実施例の加速度センサの出力の
代わりに撮像方向の制御信号を用い、また同様にズーム
倍率センサの代わりにズーム倍率制御信号を用いる点で
ある。

発明の効果以上のように本発明は、画像信号の全体の動きを補正す
る手段と、その補正手段の出力の２フレームの画像を比
較し、異なる出力値の領域を検出する手段を有すること
により、撮像装置の揺れやパンニングにより、画像全体
が動いている場合でも、その画像全体の動きとは異なる
動きをもつ移動物だけを検出できる画像の動き検出装置
を実現できるものである。

【図面の簡単な説明】

第１図は本発明の第１の実施例の画像の動き検出装置の
ブロック図、第２図は本発明の第１の実施例における画
像の動き検出装置の動作を説明するための画像図、第３
図は本発明の第２の実施例の画像の動き検出装置のブロ
ック図、第４図は本発明の第２の実施例ζこおける画像
の動き検出装置の動作を説明するための画像図、第５図
は本発明の第３の実施例の画像の動き検出装置のブロッ
ク図、第６図は本発明の第３の実施例における画像の動
き検出装置の動作を説明するための画像図、第７図は本
発明の第４の実施例の画像の動き検出装置のブロック図
、第８図は本発明の第４の実施例における画像の動き検
出装置の動作を説明するための画像図、第９図は本発明
の第５の実施例の画像の動き検出装置のブロック図、第
１０図は従来例の画像の動き検出装置のブロック図、第
１１図、第１２図は従来例の画像の動き検出装置の動作
を説明するための画像図である。Ｌｌａ・・・動きベクトル検出手段、２・・・代表動き
ベクトル決定手段、３．３ａ・・・フレーＪ１メモリ、
４・・・読みだし制御手段、５・・・差分、しきい値処
理手段、６・・・メデイアンフィルタ、７・・・動き振
幅・分散算出手段、８・・・前フレームの画像、９・・
・現フレームの画像、ｌＯ・・・画像内の移動物の動き
ベクトル、１１・・・画像内の背景の動きベクトル、１
２・・・画像内の移動物、１３・・・画面内の各動きベ
クトル検出領域、１４・・・０ベクトル、１５・・・画
像内の背景の動きベクトルの逆ベクトル、１６・・・移
動物による動き領域、１７・・・動き領域として検出さ
れる背景のエツジ部分、１８・・・前フレームの画面位
置、１９・・・現フレームの画面位置、２０争０加速度
センサ、２１・・◆ズーム倍率センサ、２２・・・動き
算出手段、２３・・・画面中心における背景の動きベク
トル、２４・・・画面中心における背景の動きの回転角
、２５・・・ズーム倍率の変化、２６・・・読みだし制
御、データ補間手段、２９・・・動きベクトルの分散、
３０・・・撮像方向制御手段、３１・・・ズーム倍率制
御手段、３４・・・画像入力端子。代理人　弁理士　松　１）正　道第１２：検出手段４：補正手段５：比較検出手段第図（Ｑ）（ｂ）第２図第２図（ｆ）１０ゴ１１１第３図第４図（Ｑ）（ｂ）第５図第６図１〇二＼１１（ｂ）第７図第８図（ａ）（ｂ）第８図（Ｃ）（ｄ）第９図第７０図第１１図（Ｑ）（ｂ）

Claims

【特許請求の範囲】

（１）画像信号の全体の動きを補正する補正手段と、前
記補正手段によって補正された少なくとも２フレーム以
上の画像を比較し、信号の値の異なる領域を検出する比
較検出手段を備えたことを特徴とする画像の動き検出装
置。
（２）画像信号を用いて画像信号の全体の動きを検出す
る検出手段と、前記検出手段により検出された動きをも
とに画像信号の全体の動きを補正する補正手段と、前記
補正手段によって補正された少なくとも２フレーム以上
の画像を比較し、信号の値の異なる領域を検出する比較
検出手段を備えたことを特徴とする画像の動き検出装置
。
（３）撮像状態を信号化して出力する出力手段と、前記
撮像状態を表わす信号を用いて画像信号の全体の動きを
検出する検出手段と、前記動きの検出手段により検出さ
れた動きをもとに、画像信号の全体の動きを補正する補
正手段と、前記補正手段によって補正された少なくとも
２フレーム以上の画像を比較し、信号の値の異なる領域
を検出する比較検出手段を備えたことを特徴とする画像
の動き検出装置。